1. Foren
  2. Kommentare
  3. OpenSource
  4. Alle Kommentare zum Artikel
  5. › HadoopDB - Hybrid aus Hadoop und…

MapReduce

  1. Thema

Neues Thema Ansicht wechseln


  1. MapReduce

    Autor: Jörg Zweier 28.07.09 - 16:12

    Von MapReduce liest man in letzter Zeit häufiger. Ich dachte immer, das wären Techniken, für Arrays, dass auf jedes Element eine bestimmte Funktion angewandt werden kann. Aber tatsächlich soll das irgendetwas von Google sein. Was ist der Unterschied? Wäre nett, wenn jemand dieses Missverständnis mal aufklären könnte.

  2. Re: MapReduce

    Autor: ronninaldo 28.07.09 - 16:28

    auf wikipedia gibts einen artikel dazu

  3. Re: MapReduce

    Autor: Jörg Zweier 28.07.09 - 16:43

    Ich hätte hier nicht gefragt, wenn ich nicht schon dort geschaut hätte. Leider bin ich kein Mathematiker und tue mich sehr schwer, die besagten Gleichungen nachvollziehen zu können. Gerade diese tragen zum Verständnis bei. Wäre nett, wenn du mir das erklären könntest.

  4. Re: MapReduce

    Autor: Siga9876 28.07.09 - 18:28

    Da gehts doch nur um Konzepte. Die "Formeln" (sind eher Code-Teile/Definitionen/...) kann man auch ignorieren.
    Die Aufgabe an Sklaven verteilen und die Ergebnisse zusammenführen. Macht jede Firma. Aber nicht so effizient wie Google.

    Interessant dazu ist evtl noch ein Nebensatz aus der ct (über irgendwas, vermutlich parallel-programmieren): wenn komplette Daten des Problemes in den Cache passen (oder man das Problem entsprechend designt, sich den Mund also nicht zu voll stopft), dann kann der Speed-UP durch mehrere Prozessoren überl-linear sein. D.h. man wird mehr als doppelt so schnell (was spacken wohl erstmal pauschal bestreiten würden aber zwei 25kmH(+Tuning ;-)-Pizza-Mopeds liefern 10 Pizzen in der Stadt trotzdem schneller als ein 450kmH-Pizza-Porsche).
    Dadurch könnten auf verteilten Normalo-PCs deutliche Steigerungen gegenüber einem fetten SuperRechner für dasselbe Problem (SuchAnfragen, Werbung verteilen) erreicht werden.

  5. Re: MapReduce

    Autor: Jörg Zweier 28.07.09 - 21:51

    Öh, sorry, aber ich kann mit deinem Post rein gar nichts anfangen.

    Wenn ich "Die Aufgabe an Sklaven verteilen und die Ergebnisse zusammenführen. Macht jede Firma." richtig verstanden habe, geht es einfach nur um Clustering? Dass man einen Masterserver hat und ganz viele Nodes, die von dem Masterserver Aufgaben entgegennehmen.

    Beim zweiten Teil handelt es sich vermutlich darum, dass Daten vorrätig im RAM gelagert werden, aber nicht zu viele, weil sonst die Abläufe verstopfen??? Ich bin sehr verwirrt.

    Ich hoffe, dass ich nicht der einzige bin, der gerade ein Brett vorm Kopf hat und absolut gar nichts nachvollziehen kann. :D

  6. Re: MapReduce

    Autor: Siga9876 28.07.09 - 23:45

    Na ja. Vermutlich ist der Trick/das Besondere darin, das man ein FrameWork/Library hat, das einen bei der Verteilung der Arbeit unterstützt und man es vermutlich halbwegs standartisiert macht. Das erleichtert dann das Leben deutlich. Auch kann man dann alle Rechner von Google nutzen und nicht nur die Rechner auf dem eigenen Stockwerk(oder wo auch immer), wo man seine private Lösung für verteilung zusammengeschustert hat.
    Die heutige Golem-Meldung über diese Cloud-Control-Software wäre sonst ja auch egal/überflüssig.

    Wenn man Probleme lösen will, ist man hungrig auf Lösungen und frisst auch Hinweise statt Komplettlösungen (dafür gibts teure Leute von IBM/SAP/...). Ich schreibe hier keine abgebbaren Referate/Hausarbeiten.

  7. Re: MapReduce

    Autor: Amerikaner 28.07.09 - 23:46

    Map-Reduce hilft bei der Verteilung des Aufwands. Ein Cluster mit einen "Master" und 10 "Sklaven" (nach Siga9876 System) soll die Maximum einer Vector mit zehn Milion Elementen berechnen. Jeder Knot bekommt einen Milion elemente, danach wird den 'Master" eine Ergebniss liefern, bassiert auf die 10 Ergebnisse der "Sklaven". Solche einfacher Berechnung entspricht aber viel Programierungsaufwand (netwerkuebertragung, synchronizationen, usw). MapReduce abstractiert die Uebertragungs- und Synchronizationsebene durch eine einfaches Konzept: Map Aktionen laufen parallel auf alle Zelle einer Vector (beispiel: vector durch skalar multiplizieren) warend Reduce Aktionen berechnet etwas wie eine Summe, max/min oder Norm.
    Es gibt verschiedene MapReduce implementierungen zum Beispiel fuer Cluster oder fuer Grafikkarte (NVidia-CUDA).

  8. Re: MapReduce

    Autor: Jörg Zweier 29.07.09 - 01:20

    Danke fuer die Erklaerung.

    PS: Bist du wirklich Amerikaner?

  9. Re: MapReduce

    Autor: Amerikaner 29.07.09 - 15:03

    PS:

    Ja.

    :)

  10. Re: MapReduce

    Autor: Jörg Zweier 29.07.09 - 17:07

    Hehe, merkt man. :)

  1. Thema

Neues Thema Ansicht wechseln


Um zu kommentieren, loggen Sie sich bitte ein oder registrieren Sie sich. Sie müssen ausserdem in Ihrem Account-Profil unter Forum einen Nutzernamen vergeben haben. Zum Login

Stellenmarkt
  1. Schaeffler Technologies AG & Co. KG, Herzogenaurach
  2. Landwirtschaftliche Rentenbank, Frankfurt am Main
  3. Melitta Business Service Center GmbH & Co. KG, Minden
  4. über duerenhoff GmbH, Raum München

Golem pur
  • Golem.de ohne Werbung nutzen

Anzeige
Hardware-Angebote
  1. (reduzierte Überstände, Restposten & Co.)


Haben wir etwas übersehen?

E-Mail an news@golem.de


IT-Freelancer: Der kürzeste Pfad zum nächsten Projekt
IT-Freelancer
Der kürzeste Pfad zum nächsten Projekt

Die Nachfrage nach IT-Freelancern ist groß - die Konkurrenz aber auch. Der nächste Auftrag kommt meist aus dem eigenen Netzwerk oder von Vermittlern. Doch wie findet man den passenden Mix?
Ein Bericht von Manuel Heckel

  1. Selbstständiger Sysadmin "Jetzt fehlen nur noch die Aufträge"

Poco X3 NFC im Test: Xiaomis neuer Preisbrecher überzeugt
Poco X3 NFC im Test
Xiaomis neuer Preisbrecher überzeugt

Das Poco X3 NFC ist Xiaomis jüngstes preiswertes Smartphone, die Ausstattung verspricht angesichts des Preises einiges - und hält etliches.
Ein Test von Tobias Költzsch

  1. Xiaomi Neues Poco-Smartphone mit Vierfachkamera kostet 200 Euro
  2. Smartphone Xiaomi stellt dritte Generation verdeckter Frontkameras vor
  3. Xiaomi Mi 10 Ultra kommt mit 120-Watt-Schnellladen

Geforce RTX 3080: Wir legen die Karten offen
Geforce RTX 3080
Wir legen die Karten offen

Am 16. September 2020 geht der Test der Geforce RTX 3080 online. Wir zeigen vorab, welche Grafikkarten und welche Spiele wir einsetzen werden.

  1. Ethereum-Mining Nvidias Ampere-Karten könnten Crypto-Boom auslösen
  2. Gaming Warum DLSS das bessere 8K ist
  3. Nvidia Ampere Geforce RTX 3000 verdoppeln Gaming-Leistung