Und nach 200 Tagen ist Schluss?

[pflo]

Oder darf man annehmen, dass jedes halbe Jahr ein neuer Fileserver von dieser Dimension angeschafft wird?

[gaym0r]

pflo schrieb:
--------------------------------------------------------------------------------
> Oder darf man annehmen, dass jedes halbe Jahr ein neuer Fileserver von
> dieser Dimension angeschafft wird?

Weil Daten auch nie gelöscht werden ...

[mouke]

Kann ich mir auch nicht vorstellen; das Gros der facebook-Nutzer löscht doch nichts. Entweder werden alte/selten zugriffene Daten ausgelagert oder in den Zahlen steckt ein Fehler, ansonsten wären diese 100 PB doch schon längst vollgelaufen, wenn man davon ausgeht dass das Wachstum in den letzten 1-2 Jahren vielleicht noch nicht ganz so hoch, aber zumindest in ner vergleichbaren Größenordnung lag..

[Javaen]

Stand da nicht, dass ein großer Teil der Daten auf "einem" Cluster von 100PB Größe abgespeichert sind. Heisst für mich da gibt es noch n paar mehr Cluster ^^

[__destruct()]

Ja, wahrscheinlich ist das ihr Hauptzugriffs-Cluster und sie haben noch eines für alte Daten, auf die selten zugegriffen wird. In dem haben die Server dann wahrscheinlich Festplatten mit viel mehr Kapazität, sind also auch auf den inneren Bahnen nutzbar. Außerdem werden die meisten Server außer zur Datenspeicherung kaum hochwertige Hardware besitzen die Leitungen dort hin logischerweise nur einen Bruchteil der Kapazität der Leitungen zum Hauptzugriffs-Cluster haben.

[TheUnichi]

Javaen schrieb:
--------------------------------------------------------------------------------
> Stand da nicht, dass ein großer Teil der Daten auf "einem" Cluster von
> 100PB Größe abgespeichert sind. Heisst für mich da gibt es noch n paar mehr
> Cluster ^^

Welchen Artikel hättest du denn verwendet?

[theonlyone]

__destruct() schrieb:
--------------------------------------------------------------------------------
> Ja, wahrscheinlich ist das ihr Hauptzugriffs-Cluster und sie haben noch
> eines für alte Daten, auf die selten zugegriffen wird. In dem haben die
> Server dann wahrscheinlich Festplatten mit viel mehr Kapazität, sind also
> auch auf den inneren Bahnen nutzbar. Außerdem werden die meisten Server
> außer zur Datenspeicherung kaum hochwertige Hardware besitzen die Leitungen
> dort hin logischerweise nur einen Bruchteil der Kapazität der Leitungen zum
> Hauptzugriffs-Cluster haben.

In die Richtung wirds gehen.

Macht man doch generell immer so wenn man wirklich enorm viele Daten hat.

Das "wichtigste" was oft angeschaut wird muss hoch verfügbar sein, der Rest wird eben auf billigsten Müll ausgelagert u.U. noch stark komprimiert.

[hairetic]

Ähm ... die Daten liegen in einem Hadoop Cluster.

Die hängen da einfach alle paar Tage ein Rudel neue Fileserver dran und gut ist.

Natürlich ist das nicht trivial oder billig, aber "VOLL" ist der nie^^

[YoungManKlaus]

500TB Rohdaten != 500TB die ich dann tatsächlich speichern muss. Bilder werden doch wenn ich mich richtig erinnere standardmäßig auf niedrige Quali runtergerechnet, und ne Deduplication wenn tausende Leute das selbe Bild raufladen (denke: neueste Meme) hilft auch mal anständig sowohl bei Performance als auch bei Speicherverbrauch.

EDIT: nicht zu vergessen, dass sich Texte ganz hervorragend komprimieren lassen, ganz besonders copy/pastes von "Kopiere das in deinen Status und um exakt 16:28:06.456 in drei Jahren wird dir deine große Liebe erscheinen!!!!1111einself"



1 mal bearbeitet, zuletzt am 24.08.12 12:55 durch YoungManKlaus.