gulli: MSNBot verfälscht Nutzungsstatistiken - inkognito

Anzeige

gulli:Newsbox

21. August 2008

MSNBot verfälscht Nutzungsstatistiken - inkognito

MSNBot, der Crawler von Microsofts Live Search identifiziert sich normalerweise mit einem eigenen User-Agent String. Dem Betreiber des Flashcounter-Services von Webmasterpro.de fiel nun ein Bot auf, der auf vielen Seiten hohen Traffic erzeugt. Dieser entpuppte sich als undercover MSNBot.

Normalerweise benutzen alle großen Suchmaschinen einerseits ihre Bots mit gängiger Kennung. Im Fall des MSNBot ist dies "msnbot/1.0 (+http://search.msn.com/msnbot.htm)". Neben diesem direkt erkennbaren existieren auch noch "Undercover-Bots", die von den Servern nicht als solche erkannt werden. Deren Aufgabe besteht darin, zu überprüfen, ob Suchmaschinencrawlern eventuell andere Inhalte präsentiert werden als dem Otto-Normalverbraucher.

Der MSNBot zeigt sich im Gegensatz zu anderen Marktgrößen wie dem Suchmaschinenmarktführer Google und seinem Kollegen Yahoo! viel häufiger undercover. Der MSNBot verschleiert 10mal häufiger seine Identität als der GoogleBot, welcher sich wiederum 10mal häufiger undercover zeigt als der von Yahoo!. Der MSNBot präsentiert sich undercover meistens als ein Nutzer des Betriebssystems Windows Server 2003 und dem Internet Explorer 7.0 als User Agent.

Laut Berechnungen von Webmasterpro macht dieser Undercover-Bot im Schnitt gut 2% des Webseiten-Traffics aus, in manchen Fällen sogar noch mehr. Aufgefallen war der Sachverhalt durch unproportional viele Zugriffe von bestimmten IP-Adressbereichen und einem hohen Anteil vom M$ Windows Server 2003, der über den FlashCounter getrackt wurde. Bislang ist unklar warum bei Windows diese Verfahrensweise gewählt wurde. (-rbrueckner)

(via WebmasterPro, thx!)

  • Das macht MSN schon Jahrelang so. Genauso auch wie Google....

  • Bei genauem lesen dieses Artikels wird sicher auch dir aufgefallen sein, dass erwähnt worden ist, dass dies gängige Praxis unter den Suchmaschinen ist. Beachte man hierzu auch folgenden Absatz: Zitat: Der MSNBot zeigt sich im Gegensatz zu anderen Marktgrößen wie dem Suchmaschinenmarktführer Google und seinem Kollegen Yahoo! viel häufiger undercover. Der MSNBot verschleiert 10mal häufiger seine Identität als der GoogleBot, ...

    rbrueckner am 21.08.2008 21:10
  • © copyright 1998-2009 gulli.com  | home | sitemap | kontakt | impressum | partner | downloads |