-
Eigenbau
Autor: Ziegelstein 25.04.23 - 16:31
In Anbetracht das 2TB NVMe SSDs mittlerweile für ~70¤ zu haben sind gab es dir Überlegung einen NAS aus NVMe zu bauen. AMD Epycs haben ab zweiter Generation 128 PCIe Lanes. Handelsübliche Motherboards haben (bis zu) 6 / 7 x16 PCIe Anschlüsse. Die Idee wäre ein "günstiges" Motherboard (500¤) + Einsteiger Epyc (300¤) gebraucht über eBay zu besorgen, und den Server dann mit 5 NVMe Erweiterungskarten (je vier NVMe SSDs) + 10 Gbit Nic zu bestücken. Das würde dann 20 NVMe SSD a 2 TB -> 40 TB Speicher bedeuten, für ~1000¤ für den Server + 1400¤ für die SSDs. Ein Problem das ich sehe ist die Tatsache das die SSDs im Dauer(schreib)betrieb vermutlich ziemlich schnell abgenutzt werden, da sind wir noch am überlegen wie wir den Workload (vor allem Videobearbeitung) gestallten, so dass wir nicht nach einem Jahr mit neuen Drives bestücken müssen.
Der Asus NAS sieht im ersten Moment interessant aus, aber ich zweifel ein wenig ob der Jasper Lake mit dem Workload mithalten kann. -
Re: Eigenbau
Autor: derJimmy 25.04.23 - 22:15
Ich würd ja sagen "FreeNAS" oder Selbstbau mit ZFS - aber ZFS und NVME sind sich momentan noch böse. Für ein großes Flash-NAS würde ich aber trotzdem auf eine Kombination aus "ein Arsch voll RAM" und Sata-SSDs zusammen mit einigen NVME's gehen. Ich hab letztens aus einem Xeon E5 V2 mit 148GB registered DDR3 und einem Sack voll Festplatten, Sata-SSDs und zwei NVMEs (inklusive PCIE Adapter) ein selbstbau NAS gebastelt. Es wird alles zuerst im RAM gecached, gleichzeitig sukzessive auf die SSDs verschoben und im Hintergrund als Schedule werden alle ""uralten" und unbenutzten Daten auf die Festplatten umgeparkt. Ich hab das Ding hauptsächlich gebaut, um meine ganzen alten 120 und 250gb SSD irgendeinem Zweck zuzuführen und meinen alten NAS-Platten neues Leben einzuhauchen. Das ganze System hat 12TB benutzbaren Speicherplatz und zieht im Betrieb etwa 85W. Was weder groß noch besonders Energieeffizient ist. Aber es funktioniert.
-
Re: Eigenbau
Autor: derJimmy 25.04.23 - 22:19
Achja - welche 70¤ NVME mit 2TB krieg ich wo?
1 mal bearbeitet, zuletzt am 25.04.23 22:22 durch derJimmy. -
Re: Eigenbau
Autor: Arsenal 25.04.23 - 23:58
Zumindest 80¤: Geizhals dauert bestimmt nicht mehr lange.
Aber um ein 10 GB Link voll zu bekommen reichen ein paar Festplatten auch noch aus. Nur die Zugriffszeit ist halt nicht so prickelnd. Weiß nicht genau was bei Videobearbeitung wichtig ist, bis jetzt haben meine alle noch auf die lokale SSD gepasst. -
Re: Eigenbau
Autor: gdh 26.04.23 - 09:39
Arsenal schrieb:
--------------------------------------------------------------------------------
> Zumindest 80¤: Geizhals dauert bestimmt nicht mehr lange.
>
> Aber um ein 10 GB Link voll zu bekommen reichen ein paar Festplatten auch
> noch aus. Nur die Zugriffszeit ist halt nicht so prickelnd. Weiß nicht
> genau was bei Videobearbeitung wichtig ist, bis jetzt haben meine alle noch
> auf die lokale SSD gepasst.
Wie stellst du dir das technisch vor?
Ich habe „letztens“ mein Netzwerk auf 10gbit hochgezogen und mein bottleneck ist aktuell bei den hdds. 6x10tb in einem raid z2 Verbund.
Wenn ich das jetzt im stripe Betriebe mit 2 vdevs komme ich auf 600mbits x 2 x 2 -> reizt noch keine 10 gibt aus.
Würde meinen ich hätte entweder einen riesigen Redundanz Offset oder müsste auf NVMe Interface gehen.
Habe ich einen Denkfehler? -
Re: Eigenbau
Autor: Isotopp 26.04.23 - 10:37
Du wirst die NVMEs nicht abnutzen.
Die billigsten NVME sind 0.3 DWPD, also bei 2 TB ein Write von 666 GB pro Tag pro Gerät, jeden Tag. Das schaffts Du im Heimumfeld mit keinem Nutzungsprofil.
Weil es NVME sind, und nicht blanker Flash sorgt die Flash Translation Layer für eine gleichmaßige Verteilung der Writes, sogar dann, wenn Du Log Append machst. -
Re: Eigenbau
Autor: mgutt 27.04.23 - 01:58
Für 70 ¤ bekommt man aber auch nur Schrott. Allerdings gab es die Tage die Evo Plus für 100 ¤.
Beim EPYC würde mich der Stromverbrauch abschrecken. Der verballert doch sicher 70W im Leerlauf.
Ich frage mich, ob ein Pro WS W790-ACE sparsamer wäre. Da passen mit Bifurcation Karten und SlimSAS Adapter 20 NVMe und 8x SATA SSDs drauf und mit einem Xeon W3-2423 hätte man auch genug Leistung als Heimserver. Wobei mir ja eine iGPU für Videotranscoding fehlen würde.



