Endlich mal gescheites Tool um große Storages zu testen

[genab.de]

dauert bei mir 3 Stunden, 24 Minuten bis komplett entpackt, wer schaft schneller

[tsx-11]

Da kann ich nicht mithalten, weder beim Platz noch beim Durchsatz. Aber ich bin an das parallelisierte unzip interessiert. Wo gibt's das?

[djc82k]

Pigz ist die Antwort?

[molli123]

Also grob 1,5PB/h schreiben. Also 0,4TB/s... 400GB/s? Was soll das für ein Storage sein?

[quin0r]

molli123 schrieb:
--------------------------------------------------------------------------------
> Also grob 1,5PB/h schreiben. Also 0,4TB/s... 400GB/s? Was soll das für ein
> Storage sein?

Diese Art von Storage gibt es nicht, aber den Nutzer der sich auf die Restzeitangaben von Unzip-tools verlässt, lul.

[Nullmodem]

molli123 schrieb:
--------------------------------------------------------------------------------
> Also grob 1,5PB/h schreiben. Also 0,4TB/s... 400GB/s? Was soll das für ein
> Storage sein?

vielleicht ramfs* :D

nm

* RAM-Disk, wer kein linux benutzt

[Anonymer Nutzer]

Die non-persistente Billigvariante von ramfs: /dev/null

[molli123]

400GB/s als Ramdisk ist auch mindestens ein 4-Sockel Scalable Xeon

[tsx-11]

Warum soll es diese Art von Storage nicht geben?
Mal nachgeschaut, Cray bietet dir ein Storage mit 1.7 TB/s sustained throughput an.

[tsx-11]

Nein, pigz ist gzip.

[molli123]

Aber keinen single Client, der mit der Rate da rein schreiben kann

[tsx-11]

Deswegen meine Frage nach dem parallelisierten unzip :-)

[molli123]

Ja, aber das ist ja auch nur pthread-parallel. Du brauchst etwas, das mpi-parallel ist über Rechnergrenzen hinweg. Das kann bei einer einzelnen Zip-Datei nicht funktionieren

[tsx-11]

Ich hatte auch an ein MPI unzip gedacht. Warum soll das über Rechnergrenzen nicht funktionieren?

[FreiGeistler]

djc82k schrieb:
--------------------------------------------------------------------------------
> Pigz ist die Antwort?

gz und zip ist doch nicht dasselbe?
Und wenn schon pixz. Komprimiert multithreaded 3x so gut mit nur etwas mehr Zeit.

[eeg]

/dev/null

[tsx-11]

/dev/null ist zu langsam.

[djc82k]

FreiGeistler schrieb:
--------------------------------------------------------------------------------
> djc82k schrieb:
> ---------------------------------------------------------------------------
> -----
> > Pigz ist die Antwort?
>
> gz und zip ist doch nicht dasselbe?
> Und wenn schon pixz. Komprimiert multithreaded 3x so gut mit nur etwas mehr
> Zeit.

Defragt war bezogen auf zip, da normalerweise zip ala deflate gepackt ist kann es pigz entpacken alternativ punzip

[Micha_T]

Ahhhhhh man merkt wir sind in einem it forum. Sehr schön ^^

[Anonymer Nutzer]

So als Test für Systeme find ich das auch nett....