Google-Software soll dem GCHQ beim Data-Mining helfen

Das britische Government Communications Headquarter (GCHQ) hat offenbar Probleme, der durch umfangreiche Überwachungsprogramme gesammelten Daten Herr zu werden - man droht sozusagen, in der angesammelten Datenflut zu ertrinken. Daher wendete sich die Behörde nun an ein Unternehmen, das Erfahrung damit hat, komplexe Datenmengen zu ordnen: den Suchmaschinengiganten Google.

Das GCHQ betreibt in großen Umfang Kommunikationsüberwachung. Bei Bürgerrechtlern kam die Organisation daher heftig in die Kritik. Offenbar gibt es jedoch nicht nur ethische, sondern ganz praktische Probleme mit der enormen Datenflut: die Mitarbeiter drohen schlicht, den Überblick zu verlieren und mit der Analyse der Daten nicht mehr hinterher zu kommen.

Das GCHQ heuerte daher nun einen Experten an, der die patentierte MapReduce-Datamining-Software, die früher auch bei Google Anwendung fand, für die Belange der Behörde konfigurieren soll. MapReduce basiert darauf, komplexe Analyse-Aufgaben in kleinere Teilaufgaben aufzuteilen, die vom Computer leicht bewältigt werden können. Beim GCHQ soll die Software auf "parallelen Cluster-Systemen" eingesetzt werden. Das IT-Newsportal "The Register" geht davon aus, dass das GCHQ insgesamt über rund eine Viertelmillion Server verfügt. Diese werden als Cluster eingesetzt und ersetzen die veralteten Supercomputer aus der Zeit des Kalten Krieges, die das GCHQ zuvor verwendete.

MapReduce, das im Jahr 2004 seinen Anfang nahm, wurde von Google Anfang des Jahres patentiert. Die Software kann jedoch über das Open-Source-Projekt Hadoop weiterhin auch von anderen Unternehmen genutzt werden. Google selbst verwendet dagegen schon wieder eine andere Software, nämlich die verteilte Datenbank-Infrastruktur BigTable. Ob nun MapReduce die Probleme des GCHQ lösen kann, bleibt abzuwarten.

Text-Quellen: The Register

Annika Kremer am Montag, 08.11.2010 23:27 Uhr

tags Tags: google großbritannien gchq überwachung data mining mapreduce hadoop

Weitere interessante News

4 Reaktionen zu dieser Nachricht

csLestard am 09.11.2010 19:32:59

Der Zusammenhang MapReduce und BigTable ist meines Wissens nicht ganz korrekt im Artikel beschrieben. MapReduce ist ein Verfahren, BigTable ein Datenbanksystem. MapReduce besteht aus 2 Schritten (map und Reduce). Der Artikel hat den Map-Teil schon richtig beschrieben, nämlich die Zerlegung der Au ...
Jones2007 am 09.11.2010 11:14:41

in Zukunft nurnoch bei Google "Terroristen" eingeben und schon hat man eine aktuelle Liste :T ... es funktioniert auch "Hartz 4 Empfänger" , "Regimekritiker" und und und ... ...
Bellethiel am 09.11.2010 05:00:23

Die spinnen, die Briten... ...
Artesia am 09.11.2010 00:12:57

Falls es das GCHQ nicht selbst gebacken kriegt, könnte Google das Wühlen in den gesammelten Daten der Überwachungs selbst übernehmen und gleich online stellen. Die Briten haben doch sicher nichts zum Verbergen. :D ...
Annika_Kremer am 08.11.2010 23:27:48

Das britische Government Communications Headquarter (GCHQ) hat offenbar Probleme, der durch umfangreiche Überwachungsprogramme gesammelten Daten Herr zu werden - man droht sozusagen, in der angesammelten Datenflut zu ertrinken. Daher wendete sich die Behörde nun an ein Unternehmen, das Erfahrung d ...

weitere Kommentare lesen Nachricht kommentieren

News [Kurioses]

Apple filterte den Begriff "Jailbreak" im iTunes Store

Lars Sobiraj am 20.05.2012, 16:54 Uhr

Im US-amerikanischen iTunes Store wurden statt dem Begriff "Jailbreak" lediglich Sternchen zwischen dem Anfangs- und Endbuchstaben angezeigt. Davon waren letztlich alle Kategorien betroffen. So wurden neben Apps auch Klingeltöne, Podcasts, Musikstücke, ganze Alben und eBooks zensiert angezeigt. Laut den Untersuchungen von Shoutpedia waren mehrere Monate lang 95% aller Begriffe davon betroffen.

mehr mehr lesen...