-
Endlich mal gescheites Tool um große Storages zu testen
Autor: genab.de 11.07.19 - 18:51
dauert bei mir 3 Stunden, 24 Minuten bis komplett entpackt, wer schaft schneller
-
Re: Endlich mal gescheites Tool um große Storages zu testen
Autor: tsx-11 11.07.19 - 18:57
Da kann ich nicht mithalten, weder beim Platz noch beim Durchsatz. Aber ich bin an das parallelisierte unzip interessiert. Wo gibt's das?
-
Re: Endlich mal gescheites Tool um große Storages zu testen
Autor: djc82k 11.07.19 - 23:07
Pigz ist die Antwort?
-
Re: Endlich mal gescheites Tool um große Storages zu testen
Autor: molli123 12.07.19 - 08:18
Also grob 1,5PB/h schreiben. Also 0,4TB/s... 400GB/s? Was soll das für ein Storage sein?
-
Re: Endlich mal gescheites Tool um große Storages zu testen
Autor: quin0r 12.07.19 - 08:39
molli123 schrieb:
--------------------------------------------------------------------------------
> Also grob 1,5PB/h schreiben. Also 0,4TB/s... 400GB/s? Was soll das für ein
> Storage sein?
Diese Art von Storage gibt es nicht, aber den Nutzer der sich auf die Restzeitangaben von Unzip-tools verlässt, lul. -
Re: Endlich mal gescheites Tool um große Storages zu testen
Autor: Nullmodem 12.07.19 - 09:37
molli123 schrieb:
--------------------------------------------------------------------------------
> Also grob 1,5PB/h schreiben. Also 0,4TB/s... 400GB/s? Was soll das für ein
> Storage sein?
vielleicht ramfs* :D
nm
* RAM-Disk, wer kein linux benutzt -
Re: Endlich mal gescheites Tool um große Storages zu testen
Autor: Anonymer Nutzer 12.07.19 - 09:41
Die non-persistente Billigvariante von ramfs: /dev/null
-
Re: Endlich mal gescheites Tool um große Storages zu testen
Autor: molli123 12.07.19 - 09:45
400GB/s als Ramdisk ist auch mindestens ein 4-Sockel Scalable Xeon
-
Re: Endlich mal gescheites Tool um große Storages zu testen
Autor: tsx-11 12.07.19 - 10:07
Warum soll es diese Art von Storage nicht geben?
Mal nachgeschaut, Cray bietet dir ein Storage mit 1.7 TB/s sustained throughput an. -
Re: Endlich mal gescheites Tool um große Storages zu testen
Autor: tsx-11 12.07.19 - 10:08
Nein, pigz ist gzip.
-
Re: Endlich mal gescheites Tool um große Storages zu testen
Autor: molli123 12.07.19 - 10:56
Aber keinen single Client, der mit der Rate da rein schreiben kann
-
Re: Endlich mal gescheites Tool um große Storages zu testen
Autor: tsx-11 12.07.19 - 11:20
Deswegen meine Frage nach dem parallelisierten unzip :-)
-
Re: Endlich mal gescheites Tool um große Storages zu testen
Autor: molli123 12.07.19 - 11:28
Ja, aber das ist ja auch nur pthread-parallel. Du brauchst etwas, das mpi-parallel ist über Rechnergrenzen hinweg. Das kann bei einer einzelnen Zip-Datei nicht funktionieren
-
Re: Endlich mal gescheites Tool um große Storages zu testen
Autor: tsx-11 12.07.19 - 11:35
Ich hatte auch an ein MPI unzip gedacht. Warum soll das über Rechnergrenzen nicht funktionieren?
-
Re: Endlich mal gescheites Tool um große Storages zu testen
Autor: FreiGeistler 12.07.19 - 15:09
djc82k schrieb:
--------------------------------------------------------------------------------
> Pigz ist die Antwort?
gz und zip ist doch nicht dasselbe?
Und wenn schon pixz. Komprimiert multithreaded 3x so gut mit nur etwas mehr Zeit. -
Re: Endlich mal gescheites Tool um große Storages zu testen
Autor: eeg 12.07.19 - 15:53
/dev/null
-
Re: Endlich mal gescheites Tool um große Storages zu testen
Autor: tsx-11 12.07.19 - 16:08
/dev/null ist zu langsam.
-
Re: Endlich mal gescheites Tool um große Storages zu testen
Autor: djc82k 12.07.19 - 22:30
FreiGeistler schrieb:
--------------------------------------------------------------------------------
> djc82k schrieb:
> ---------------------------------------------------------------------------
> -----
> > Pigz ist die Antwort?
>
> gz und zip ist doch nicht dasselbe?
> Und wenn schon pixz. Komprimiert multithreaded 3x so gut mit nur etwas mehr
> Zeit.
Defragt war bezogen auf zip, da normalerweise zip ala deflate gepackt ist kann es pigz entpacken alternativ punzip -
Re: Endlich mal gescheites Tool um große Storages zu testen
Autor: Micha_T 12.07.19 - 23:45
Ahhhhhh man merkt wir sind in einem it forum. Sehr schön ^^
-
Re: Endlich mal gescheites Tool um große Storages zu testen
Autor: Anonymer Nutzer 13.07.19 - 11:22
So als Test für Systeme find ich das auch nett....