|
21. August 2008
MSNBot verfälscht Nutzungsstatistiken - inkognitoMSNBot, der Crawler von Microsofts Live Search identifiziert sich normalerweise mit einem eigenen User-Agent String. Dem Betreiber des Flashcounter-Services von Webmasterpro.de fiel nun ein Bot auf, der auf vielen Seiten hohen Traffic erzeugt. Dieser entpuppte sich als undercover MSNBot. Normalerweise benutzen alle großen Suchmaschinen einerseits ihre Bots mit gängiger Kennung. Im Fall des MSNBot ist dies "msnbot/1.0 (+http://search.msn.com/msnbot.htm)". Neben diesem direkt erkennbaren existieren auch noch "Undercover-Bots", die von den Servern nicht als solche erkannt werden. Deren Aufgabe besteht darin, zu überprüfen, ob Suchmaschinencrawlern eventuell andere Inhalte präsentiert werden als dem Otto-Normalverbraucher. Laut Berechnungen von Webmasterpro macht dieser Undercover-Bot im Schnitt gut 2% des Webseiten-Traffics aus, in manchen Fällen sogar noch mehr. Aufgefallen war der Sachverhalt durch unproportional viele Zugriffe von bestimmten IP-Adressbereichen und einem hohen Anteil vom M$ Windows Server 2003, der über den FlashCounter getrackt wurde. Bislang ist unklar warum bei Windows diese Verfahrensweise gewählt wurde. (-rbrueckner) (via WebmasterPro, thx!) Verwandte News
Trackbacks
Das macht MSN schon Jahrelang so. Genauso auch wie Google.... Hollii am 21.08.2008 20:05
Bei genauem lesen dieses Artikels wird sicher auch dir aufgefallen sein, dass erwähnt worden ist, dass dies gängige Praxis unter den Suchmaschinen ist. Beachte man hierzu auch folgenden Absatz: Zitat: Der MSNBot zeigt sich im Gegensatz zu anderen Marktgrößen wie dem Suchmaschinenmarktführer Google und seinem Kollegen Yahoo! viel häufiger undercover. Der MSNBot verschleiert 10mal häufiger seine Identität als der GoogleBot, ... rbrueckner am 21.08.2008 21:10
|