Distributed Computing the Google way – Eine Einführung in Apache Hadoop

Überall im Netz hinterlassen wir Kommentare, laden Fotos und Videos hoch, updaten unseren Status bei Facebook, bloggen, twittern, chatten, usw. Die Systeme generieren und verwalten immer mehr und mehr Daten. Das exponentielle Wachstum dieser Daten war für viele Pionier-Unternehmen wie Google, Yahoo, Amazon und Facebook eine große Herausforderung. Sie müssen Petabytes von Daten analysieren, um herauszufinden, welche Webseiten gut sind, welche Bücher Sie interessieren könnten und welche Werbung für Sie am besten geeignet ist. Dafür waren die existierenden Werkzeuge unzureichend.

Google war das erste Unternehmen, dass sein System – genannt MapReduce – zur Skalierung seiner Datenverarbeitung veröffentlicht hat. Apache Hadoop ist eine Open-Source Implementierung vom MapReduce Algorithmus und stellt heutzutage ein Kernstück der Infrastruktur vieler Unternehmen wie Yahoo, Facebook, LinkedIn oder Twitter dar. Doch die Anforderung, immer größere Datenmengen zu verarbeiten, trifft nun auch immer mehr herkömmliche Unternehmen und verlangt den Entwicklern völlig neue Fähigkeiten ab. Dieser Vortrag zeigt, wie man diesem Problem mit dem Apache Hadoop Framework begegnen kann.