Abo
  1. Foren
  2. Kommentare
  3. Internet
  4. Alle Kommentare zum Artikel
  5. › Quaero - Politiker sorgen sich um…

Verteilte Suchmashienen Software ?

  1. Thema
  1. 1
  2. 2

Neues Thema Ansicht wechseln


  1. Verteilte Suchmashienen Software ?

    Autor: Gerlem 20.11.06 - 12:12

    Verteilte Suchmashienen Software ? auf tausenden clients ?

    Die Open-Source community macht vor wies richtig geht siehe http://www.Yacy.net wundert mich wirklich das solch ein Konsortium aus verschiedenen Konzernen das nicht auf die Reihe bekommt.

    Dabei wäre es doch technisch kein Problem einen dezentralen crawler auf allen möglichen behörden Desktops laufen zu lassen der die restliche freie Bandbreite nutzt um das Internet zu indexieren und die komprimierten Pakete an den Hauptserver sendet.

    Tja aber vermutlich sind die der Meinung das Open-Source Pöse ist und deshalb entwickeln sie auf kosten der allgemeinheit eine neue eigene Technologie.

  2. Re: Verteilte Suchmashienen Software ?

    Autor: SebastianX 20.11.06 - 12:19

    Gerlem schrieb:
    -------------------------------------------------------
    > Verteilte Suchmashienen Software ? auf tausenden
    > clients ?
    >
    > Die Open-Source community macht vor wies richtig
    > geht siehe www.Yacy.net wundert mich wirklich das
    > solch ein Konsortium aus verschiedenen Konzernen
    > das nicht auf die Reihe bekommt.
    >
    > Dabei wäre es doch technisch kein Problem einen
    > dezentralen crawler auf allen möglichen behörden
    > Desktops laufen zu lassen der die restliche freie
    > Bandbreite nutzt um das Internet zu indexieren und
    > die komprimierten Pakete an den Hauptserver
    > sendet.
    >
    > Tja aber vermutlich sind die der Meinung das
    > Open-Source Pöse ist und deshalb entwickeln sie
    > auf kosten der allgemeinheit eine neue eigene
    > Technologie.

    Naja, wenn sie tatsächlich eine Konkurrenz zu Google & Co entwickeln wollen, dürfen die nicht auf so eine Art verteilter Suchmaschine setzen, da das nie Massentauglich werden würde.

    Ich glaube die meinen da eher, dass sie keine Ahnung mit der notwendigen Cluster-Technologie haben (Google hat dafür ja ein eigenes Dateisystem entwickelt, und so).

  3. eigenes dateisystem von google?

    Autor: x1XX1x 20.11.06 - 13:02

    woher stammt die info. hab davon noch nichts gehört. wäre mir absolut neu.

  4. Re: eigenes dateisystem von google?

    Autor: Sukram71 20.11.06 - 13:16

    x1XX1x schrieb:
    -------------------------------------------------------
    > woher stammt die info. hab davon noch nichts
    > gehört. wäre mir absolut neu.

    Doch das ist so, hab ich auch schon gelesen.

    Ich hab mal irgendwo was über die Computerausstattung deren Rechenzentren gelesen. Da gehen einem die Augen über.
    Die setzen wohl auf ganz normale PCs mit jeweils normalen Festplatten drinn. Dafür aber gleich tausende an einem Fleck und die unterschiedlichen Rechner arbeiten zusammen, wie eine einzige Festplatte, so ungefähr. Vielleicht hat jemand mal nen Link.

    Dadurch müssen die nicht immer neue riesen Super-Computer kaufen, sondern kaufen einfach ganz normale PCs und normale Festplatten. Und weil die Technik immer billiger wird, steigen deren Kosten bei Erweiterungen nicht mal so besonders an.

  5. Re: eigenes dateisystem von google?

    Autor: chomp 20.11.06 - 13:50


    hier steht nix von Dateisystem
    http://de.wikipedia.org/wiki/Google#Technik




    Sukram71 schrieb:
    -------------------------------------------------------
    > x1XX1x schrieb:
    > --------------------------------------------------
    > -----
    > > woher stammt die info. hab davon noch
    > nichts
    > gehört. wäre mir absolut neu.
    >
    > Doch das ist so, hab ich auch schon gelesen.
    >
    > Ich hab mal irgendwo was über die
    > Computerausstattung deren Rechenzentren gelesen.
    > Da gehen einem die Augen über.
    > Die setzen wohl auf ganz normale PCs mit jeweils
    > normalen Festplatten drinn. Dafür aber gleich
    > tausende an einem Fleck und die unterschiedlichen
    > Rechner arbeiten zusammen, wie eine einzige
    > Festplatte, so ungefähr. Vielleicht hat jemand mal
    > nen Link.
    >
    > Dadurch müssen die nicht immer neue riesen
    > Super-Computer kaufen, sondern kaufen einfach ganz
    > normale PCs und normale Festplatten. Und weil die
    > Technik immer billiger wird, steigen deren Kosten
    > bei Erweiterungen nicht mal so besonders an.


  6. Re: Re: google ist nicht gott

    Autor: donotdisturb 20.11.06 - 13:53

    Warum sollte man, das google-Konzept kopieren. Dieses Konzept ist veraltet, heute gibt es multi-core-systeme mit mehereren Gigabytes Rams. (Wenig Verwaltung, Stromverbrauch, Platz, Replikation,...) Man braucht nur
    einen Bruchteil des google-systems. Dieses Konzept ist auf jeden Fall billiger
    als 100.000 Pc's. Ich weiß wovon ich spreche, weil ich so ein System (Prototyp) entwickelt habe. Übrigens die PC's von google sitzen in Racks (Teuer) und haben
    mit billigen Supermarkt-Pc's nichts zu tun.

  7. Re: eigenes dateisystem von google?

    Autor: Sukram71 20.11.06 - 14:01

    chomp schrieb:
    -------------------------------------------------------
    > > hier steht nix von Dateisystem
    > de.wikipedia.org

    Ich weis, da hatte ich gerade auch nachgesehen.
    Trotzdem hatte ich vor einiger Zeit sowas gelesen.
    Deswegen hatte ich ja danach gefragt, ob jemand nen anderen Link hat, in dem das genauer beschrieben ist.

    Aber nach meiner Erinnerung ist in etwa so, wie ich ich geschrieben habe. Sehr viele kleine Einzel-Rechner und Einzel-Festplatten, die mit einem Dateisystem so verbunden sind, dass sie als großes ganzes funktionieren. Klingt doch auch irgendwie logisch und nachvollziebar, oder?

    Ich suche mal nach nem Link und meld mich vielleicht gleich wieder. Vielleicht glaubt man mir ja dann ... stöhn ... :)

  8. Re: eigenes dateisystem von google?

    Autor: dadude 20.11.06 - 14:11

    > > hier steht nix von Dateisystem
    > de.wikipedia.org

    wikipedia schweigt sich aus ?
    ja dann kann es auch nicht sein ;-)

  9. Re: eigenes dateisystem von google?

    Autor: Sukram71 20.11.06 - 14:18

    Sukram71 schrieb:

    > Ich suche mal nach nem Link und meld mich
    > vielleicht gleich wieder. Vielleicht glaubt man
    > mir ja dann ... stöhn ... :)


    http://www.jmboard.com/gw/2006/09/13/google-bekommt-patent-fur-dateisystem/

    Das ist zwar nicht der Link, den ich mal gelesen hatte - da wurde alles noch viel besser und auführlicher erklärt, aber der Link tuts erstmal auch.

    In dem GoogleWatchBlog steht sicher noch mehr da drüber. Aber such das selbst raus! Ich sollte hier zwischendurch auch mal was arbeiten und meine Mittagspause ist gleich zuende. :)

  10. Re: eigenes dateisystem von google?

    Autor: Anonymer Hash 20.11.06 - 14:21

    http://labs.google.com/papers/bigtable.html

    x1XX1x schrieb:
    -------------------------------------------------------
    > woher stammt die info. hab davon noch nichts
    > gehört. wäre mir absolut neu.


  11. Re: eigenes dateisystem von google?

    Autor: donotdisturb 20.11.06 - 14:21

    Hier Google suche "google cluster architecture".
    Siehe auch mein Beitrag: google ist nicht Gott" hier

  12. Re: Re: google ist nicht gott

    Autor: Sukram71 20.11.06 - 14:32

    donotdisturb schrieb:
    -------------------------------------------------------

    > Übrigens die PC's von google sitzen in Racks
    > (Teuer) und haben
    > mit billigen Supermarkt-Pc's nichts zu tun.

    Naja, ich hab mir auch nicht vorgestellt, dass die sich bei Aldi in die Schlange stellen und PCs kaufen :)


  13. Re: Re: google ist nicht gott

    Autor: Sukram71 20.11.06 - 14:43

    > donotdisturb schrieb:
    > --------------------------------------------------
    >
    > google ist nicht gott

    Acho, das noch:

    Gemessen an der Hardware-Ausstattung und deren Planung quasi das habe Web zu Spiegeln, um es schneller zu machen (ist das noch aktuell?).
    https://www.golem.de/0511/41666.html
    Und gemessen daran, wo die überalle ihre Finger drinn haben:

    GOOGLE IST GOTT.

    Zumindest im Internet. :)

    Es gibt ja ein paar Leute, die leben fast nur im Web. Irgendwann hat Google so viel Macht, die könnten die Leute in nem eigenen Paralell-Universum leben lassen ohne das die das mitkriegen. :)

    Markus

  14. Re: Re: google ist nicht gott

    Autor: Sukram71 20.11.06 - 14:45

    > donotdisturb schrieb:
    > --------------------------------------------------
    >
    > google ist nicht gott

    Acho, das noch:

    Gemessen an der Hardware-Ausstattung und deren Planung quasi das habe Web zu Spiegeln, um es schneller zu machen (ist das noch aktuell?). https://www.golem.de/0511/41666.html
    Und gemessen daran, wo die überalle ihre Finger drinn haben:

    GOOGLE IST GOTT.

    Zumindest im Internet. :)

    Es gibt ja ein paar Leute, die leben fast nur im Web. Irgendwann hat Google so viel Macht, die könnten die Leute in nem eigenen Paralell-Universum leben lassen ohne das die das mitkriegen.

    Wenn ich Googel wäre, dann würde ich mal ein paar Tage lang nur die Nachrichten-Seiten von vor einem Jahr ins Internet senden und gucken, ob das die Leute merken. :)

    Markus

  15. Re: Re: google ist nicht gott

    Autor: Birdy 20.11.06 - 15:18

    donotdisturb schrieb:
    -------------------------------------------------------
    > Warum sollte man, das google-Konzept kopieren.

    Wer redet hier von einer genauen Kopie? Soweit ich weiss, werden ja extra Unis eingebunden, um eventuell neue Konzepte zu finden.

    > Dieses Konzept ist veraltet, heute gibt es
    > multi-core-systeme mit mehereren Gigabytes Rams.
    > (Wenig Verwaltung, Stromverbrauch, Platz,
    > Replikation,...) Man braucht nur
    > einen Bruchteil des google-systems. Dieses Konzept
    > ist auf jeden Fall billiger
    > als 100.000 Pc's.

    Im Falle von Quad-Core hätte man also statt 100.000 nun 25.000 PCs. Und deswegen soll dann eine völlig neue Architektur zum tragen kommen?!?

    > Übrigens die PC's von google sitzen in Racks
    > (Teuer) und haben
    > mit billigen Supermarkt-Pc's nichts zu tun.

    Im Gegensatz zu vollen "Supercomputern" aber wesentlich günstiger. Und wenn man sich den Platzverbrauch von "Supermarkt-Pcs" ansieht, dann werden sie wieder teuer...

  16. Re: Verteilte Suchmashienen Software ?

    Autor: plöd 20.11.06 - 15:20

    yacy sucks!

  17. Re: Re: google ist nicht gott

    Autor: ChiefAlex 20.11.06 - 15:37


    > Dieses Konzept ist veraltet, heute gibt es
    > multi-core-systeme mit mehereren Gigabytes Rams.
    > (Wenig Verwaltung, Stromverbrauch, Platz,
    > Replikation,...) Man braucht nur
    > einen Bruchteil des google-systems. Dieses Konzept
    > ist auf jeden Fall billiger
    > als 100.000 Pc's.

    stimmt vollkommen. ab einer PC-anzahl im cluster von ca. 500 muss man für den rechengewinn eines zusätzlichen PCs 2 anschließen, der größte teil aller systemressourcen geht in verwaltung, adressierung, kommunikation zwischen den 500+ PCs verloren

  18. Re: Re: google ist nicht gott

    Autor: ChiefAlex 20.11.06 - 15:43

    ach hätte ich fast vergessen: der watungsaufwand von zig racks mit je 50 PCs ist viel aufwändiger und teurer als der eines supercoputers.
    scließlich muss trotz der vielgelobten redundanz der PC-cluster jedes teil das kaputt geht auch wieder ausgetauscht werden. und oftmals geht dieses nur mit bestimmten bauteilen, die mit der zeit teurer werden (seltenheitswert^^, wie die ersatzteile in den space-shuttles der NASA)

  19. Re: Verteilte Suchmashienen Software ?

    Autor: ChiefAlex 20.11.06 - 15:45

    plöd schrieb:
    -------------------------------------------------------
    > yacy sucks!

    verdammter Troll!
    schreib was sinnvolles oder geh zurück in deine höhle!


  20. Re: Re: google ist nicht gott

    Autor: donotdisturb 20.11.06 - 17:36

    > Im Falle von Quad-Core hätte man also statt
    > 100.000 nun 25.000 PCs. Und deswegen soll dann
    > eine völlig neue Architektur zum tragen kommen?!?
    Ich rede nicht von 25.000 PC's sondern ein viel kleinere Anzahl klein-Server (z.b. 100 2xQuad-core Server) mit viel Ram (weil I/O das Hauptproblem ist) und entsprechender Software.

    > Im Gegensatz zu vollen "Supercomputern" aber
    > wesentlich günstiger. Und wenn man sich den
    > Platzverbrauch von "Supermarkt-Pcs" ansieht, dann
    > werden sie wieder teuer...
    Wer redet von Supercomputer, ich meine klein-Server und die sind und werden immer billiger.


  1. Thema
  1. 1
  2. 2

Neues Thema Ansicht wechseln


Um zu kommentieren, loggen Sie sich bitte ein oder registrieren Sie sich. Zum Login

Stellenmarkt
  1. Endress+Hauser Conducta GmbH+Co. KG, Gerlingen (bei Stuttgart)
  2. über PT Personal Trust GmbH, Hamburg (Home-Office möglich)
  3. UmweltBank AG, Nürnberg
  4. OMICRON electronics GmbH, Klaus (Österreich)

Golem pur
  • Golem.de ohne Werbung nutzen

Anzeige
Hardware-Angebote
  1. (reduzierte Überstände, Restposten & Co.)
  2. 204,90€


Haben wir etwas übersehen?

E-Mail an news@golem.de


Google Maps: Karten brauchen Menschen statt Maschinen
Google Maps
Karten brauchen Menschen statt Maschinen

Wenn Karten nicht mehr von Menschen, sondern allein von Maschinen erstellt werden, erfinden diese U-Bahn-Linien, Hochhäuser im Nationalpark und unmögliche Routen. Ein kurze Liste zu den Grenzen der Automatisierung.
Von Sebastian Grüner

  1. Kartendienst Google bringt AR-Navigation und Reiseinformationen in Maps
  2. Maps Duckduckgo mit Kartendienst von Apple
  3. Google Maps zeigt Bikesharing in Berlin, Hamburg, Wien und Zürich

WEG-Gesetz: Bundesländer preschen bei Anspruch auf Ladestellen vor
WEG-Gesetz
Bundesländer preschen bei Anspruch auf Ladestellen vor

Können Elektroauto-Besitzer demnächst den Einbau einer Ladestelle in Tiefgaragen verlangen? Zwei Bundesländer haben entsprechende Ergebnisse einer Arbeitsgruppe schon in einem eigenen Gesetzentwurf aufgegriffen.
Eine Analyse von Friedhelm Greis

  1. Startup Rivian plant elektrochromes Glasdach für seine Elektro-SUVs
  2. Elektroautos Mehr als 7.000 neue Ladepunkte in einem Jahr
  3. Elektroautos GM und Volkswagen verabschieden sich vom klassischen Hybrid

Nachhaltigkeit: Jute im Plastik
Nachhaltigkeit
Jute im Plastik

Baustoff- und Autohersteller nutzen sie zunehmend, doch etabliert sind Verbundwerkstoffe mit Naturfasern noch lange nicht. Dabei gibt es gute Gründe, sie einzusetzen, Umweltschutz ist nur einer von vielen.
Ein Bericht von Werner Pluta

  1. Autos Elektro, Brennstoffzelle oder Diesel?
  2. Energie Wo die Wasserstoffqualität getestet wird
  3. Energiespeicher Heiße Steine sind effizienter als Brennstoffzellen

  1. IT-Arbeit: Was fürs Auge
    IT-Arbeit
    Was fürs Auge

    Notebook, Display und Smartphone sind für alle, die in der IT arbeiten, wichtige Werkzeuge. Damit man etwas mit ihnen anfangen kann, ist ein anderes Werkzeug mindestens genauso wichtig: die Augen. Wir geben Tipps, wie man auch als Freiberufler augenschonend arbeiten kann.

  2. Verfassungsschutz: Einbruch für den Staatstrojaner
    Verfassungsschutz
    Einbruch für den Staatstrojaner

    Der Verfassungsschutz soll künftig auch Computer und Smartphones von Verdächtigen durchsuchen dürfen. Um Staatstrojaner zu installieren, sollen Wohnungseinbrüche erlaubt sein.

  3. Be emobil: Berliner Ladesäulen auf Verbrauchsabrechnung umgestellt
    Be emobil
    Berliner Ladesäulen auf Verbrauchsabrechnung umgestellt

    Der Ladenetzbetreiber Allego hat die Abrechnung der öffentlichen Ladestationen in Berlin umgestellt. Statt eines Pauschalpreises für den Ladevorgang zahlen Elektroautomobilisten in Zukunft nach geladener Strommenge.


  1. 09:01

  2. 14:28

  3. 13:20

  4. 12:29

  5. 11:36

  6. 09:15

  7. 17:43

  8. 16:16