MSNBot verfälscht Nutzungsstatistiken - inkognito

MSNBot, der Crawler von Microsofts Live Search identifiziert sich normalerweise mit einem eigenen User-Agent String. Dem Betreiber des Flashcounter-Services von Webmasterpro.de fiel nun ein Bot auf, der auf vielen Seiten hohen Traffic erzeugt. Dieser entpuppte sich als undercover MSNBot.

Normalerweise benutzen alle großen Suchmaschinen einerseits ihre Bots mit gängiger Kennung. Im Fall des MSNBot ist dies "msnbot/1.0 (+http://search.msn.com/msnbot.htm)". Neben diesem direkt erkennbaren existieren auch noch "Undercover-Bots", die von den Servern nicht als solche erkannt werden. Deren Aufgabe besteht darin, zu überprüfen, ob Suchmaschinencrawlern eventuell andere Inhalte präsentiert werden als dem Otto-Normalverbraucher.

Der MSNBot zeigt sich im Gegensatz zu anderen Marktgrößen wie dem Suchmaschinenmarktführer Google und seinem Kollegen Yahoo! viel häufiger undercover. Der MSNBot verschleiert 10mal häufiger seine Identität als der GoogleBot, welcher sich wiederum 10mal häufiger undercover zeigt als der von Yahoo!. Der MSNBot präsentiert sich undercover meistens als ein Nutzer des Betriebssystems Windows Server 2003 und dem Internet Explorer 7.0 als User Agent.

Laut Berechnungen von Webmasterpro macht dieser Undercover-Bot im Schnitt gut 2% des Webseiten-Traffics aus, in manchen Fällen sogar noch mehr. Aufgefallen war der Sachverhalt durch unproportional viele Zugriffe von bestimmten IP-Adressbereichen und einem hohen Anteil vom M$ Windows Server 2003, der über den FlashCounter getrackt wurde. Bislang ist unklar warum bei Windows diese Verfahrensweise gewählt wurde. (-rbrueckner)

(via WebmasterPro, thx!)

News Redaktion am Donnerstag, 21.08.2008 18:13 Uhr

tags Tags: crawler microsoft msn live search windows bot flashcounter webmasterpro

Weitere interessante News

2 Reaktionen zu dieser Nachricht

rbrueckner am 21.08.2008 21:10:28

Bei genauem lesen dieses Artikels wird sicher auch dir aufgefallen sein, dass erwähnt worden ist, dass dies gängige Praxis unter den Suchmaschinen ist. Beachte man hierzu auch folgenden Absatz:Der MSNBot zeigt sich im Gegensatz zu anderen Marktgrößen wie dem Suchmaschinenmarktführer Goog ...
Hollii am 21.08.2008 20:05:52

Das macht MSN schon Jahrelang so. Genauso auch wie Google.... ...
gullinews am 21.08.2008 17:29:03

MSNBot, der Crawler von Microsofts Live Search identifiziert sich normalerweise mit einem eigenen User-Agent String. Dem Betreiber des Flashcounter-Services von Webmasterpro.de fiel nun ein Bot auf, der auf vielen Seiten hohen Traffic erzeugt. Dieser entpuppte sich als undercover MSNBot. Nor ...

weitere Kommentare lesen Nachricht kommentieren

News [Kurioses]

Apple filterte den Begriff "Jailbreak" im iTunes Store

Lars Sobiraj am 20.05.2012, 16:54 Uhr

Im US-amerikanischen iTunes Store wurden statt dem Begriff "Jailbreak" lediglich Sternchen zwischen dem Anfangs- und Endbuchstaben angezeigt. Davon waren letztlich alle Kategorien betroffen. So wurden neben Apps auch Klingeltöne, Podcasts, Musikstücke, ganze Alben und eBooks zensiert angezeigt. Laut den Untersuchungen von Shoutpedia waren mehrere Monate lang 95% aller Begriffe davon betroffen.

mehr mehr lesen...