Blick nicht so ganz durch

[RcRaCk2k]

Servus Leute,

eins vorab - eigentlich kenn ich mich in Linux und allem recht gut aus - auch in der Begriffs-Welt bin ich nicht weit hinterher, aber nun frage ich mich doch, was ein Cluster eigentlich ist?

Handelt es sich bei HADOOP um einem Cluster

- um mehr GiB Festplatten-Sepeicher zu bekommen,
- um CPU-Power zu kombinieren und so z.B. einen SuperComputer zu bauen,
- um Daten auf den Festplatten auf allen Nodes synchron zu halten,
- um ein intelligentes RAID-5 auf Netzwerkbasis

????

Was ist nun ein Cluster? :-)

Macht so ein Cluster nur auf "nicht-dynamischen"-Seiten / Download-Seiten Sinn?

Lässt sich ein Cluster sinnvoll für eine Datenbank-Applikation betreiben um somit mehrere Nutzer zur selben Zeit mit Daten zu versorgen? Und sind zu jedem Zeitpunkt die Daten auch wirklich synchron?

Liebe Grüße,
Michael.

[elefant]

http://de.wikipedia.org/wiki/Computercluster

[verlinker]

elefant schrieb:
-------------------------------------------------------
> de.wikipedia.org

was ne Leistung, du kannst verlinken.

Die Frage ist aber durchaus berechtigt. Was macht das Ding? Ist es für Ausfallsicherheit oder Lastverteilung gedacht (um es mal auf 2 Kategorien einzudampfen).

verlinker

[abbe]

verlinker schrieb:
> Die Frage ist aber durchaus berechtigt. Was macht
> das Ding? Ist es für Ausfallsicherheit oder
> Lastverteilung gedacht (um es mal auf 2 Kategorien
> einzudampfen).

"Apache Hadoop is a free Java software framework that supports data intensive distributed applications running on large clusters of commodity computers.[1] It enables applications to work with thousands of nodes and petabytes of data. Hadoop was inspired by Google's MapReduce and Google File System (GFS) papers."

http://en.wikipedia.org/wiki/Hadoop

Es geht darum, Such- und Sortier-Algorithmen auf _riesige_ Datenmengen anzuwenden. Diese müssen natürlich irgendwo vorgehalten werden (deshalb ist ein distributed filesystem vorhanden), aber auch verteiltes Rechnen muss irgendwie gesteuert werden ("Job Tracker" und "Task Tracker").

last.fm benutzt zB auch Hadoop um ihre riesigen Datenbestände zu verwalten und auszuwerten (zB das Suchen von Musiknachbarn).

[elephantus]

Hadoop hat ein eigens Java-Filesystem, das die Daten auf mind. 3 Systeme a 64MB-Dateien verteilt. Das gewährt Ausfallsicherheit ähnlich einem RAID.

Wenn ich es richtig verstanden habe, gibt es den Job Tracker, der weiß wo die Daten liegen und entscheidet, wo gewünschte Operationen (möglichst auf der selben Maschine) damit durchgeführt werden.

Yahoo! setzt es auf seinen Clustern ein.