1. Foren
  2. Kommentare
  3. OpenSource
  4. Alle Kommentare zum Artikel
  5. › ZFS ausprobiert: Ein Dateisystem…

ECC ist bei ZFS Pflicht

Am 17. Juli erscheint Ghost of Tsushima; Assassin's Creed Valhalla und Watch Dogs Legions konnten wir auch gerade länger anspielen - Anlass genug, um über Actionspiele, neue Games und die Next-Gen-Konsolen zu sprechen! Unser Chef-Abenteurer Peter Steinlechner stellt sich einer neuen Challenge: euren Fragen.
Er wird sie am 16. Juli von 14 Uhr bis 16 Uhr beantworten.
  1. Thema
  1. 1
  2. 2

Neues Thema Ansicht wechseln


  1. ECC ist bei ZFS Pflicht

    Autor: Cöcönut 11.10.17 - 14:06

    > Dieser ist sinnvoll in Rechenzentren oder bei Backups, beim Desktop-Einsatz muss
    > man aber nicht explizit auf den fehlerkorrigierenden Arbeitsspeicher achten. Auf
    > meinem Notebook beispielsweise läuft eine Installation von ArchLinux unter ZFS,
    > ohne in den letzten sechs Monaten einen einzigen Fehler gezeigt zu haben.

    ZFS verlässt sich darauf dass die Daten im Arbeitsspeicher 100% korrekt sind. Defekter RAM lässt das ZFS Dateisystem zum größten Albtraum werden, wenn nämlich die Daten die einem so wichtig sind kaputtrepariert werden. Das ist bei anderen Dateisystemen NICHT der Fall. Warum/wie genau kann man hier lesen, oder auf vielen anderen Seiten im Netz die sich mit dem Problem auseinandersetzen:

    https://pthree.org/2013/12/10/zfs-administration-appendix-c-why-you-should-use-ecc-ram/

    Der Autor Matthias Riegler hatte hier 6 Monate Glück. Man kann auch ohne Gummi in der Weltgeschichte herumvögeln, ohne ohne dass man sich etwas einfängt, oder mit 120 durch die Fußgängerzone rasen ohne dass man jemanden anfährt. Sobald es dann aber passiert (und das ist selbst beim besten RAM ohne ECC nur eine Frage der Zeit) sind die Daten hin.

    Als IT Seite "für Profis" so eine Aussage zu tätigen ist schlicht verantwortungslos!

  2. Re: ECC ist bei ZFS Pflicht

    Autor: Luckysh0t 11.10.17 - 14:20

    Als Pflicht würde ich es jetzt nicht direkt sehen - eher als "man sollte" denn ein defekter RAM würde auch bei nicht CoW Dateisystemen auf dauer zu defekten Dateien führen.

    Dieses Scrub to Death ist allerdings auch recht selten, wenn man sich danach gezielt erkundigt, somit dürfte ohne ECC RAM ein CoW Dateisystem immernoch "sicherer" sein als zB NTFS und Co.

  3. Re: ECC ist bei ZFS Pflicht

    Autor: xvzf 11.10.17 - 14:35

    Dieses Video fasst ueber die Thematik "fehlerkorrigierender Arbeitsspeicher" im Falle von ZFS alles zusammen!
    https://www.youtube.com/watch?v=52x4PSxbjUg

  4. Re: ECC ist bei ZFS Pflicht

    Autor: _4ubi_ 11.10.17 - 15:01

    Cöcönut schrieb:
    --------------------------------------------------------------------------------
    > > Dieser ist sinnvoll in Rechenzentren oder bei Backups, beim
    > Desktop-Einsatz muss
    > > man aber nicht explizit auf den fehlerkorrigierenden Arbeitsspeicher
    > achten. Auf
    > > meinem Notebook beispielsweise läuft eine Installation von ArchLinux
    > unter ZFS,
    > > ohne in den letzten sechs Monaten einen einzigen Fehler gezeigt zu
    > haben.
    >
    > ZFS verlässt sich darauf dass die Daten im Arbeitsspeicher 100% korrekt
    > sind. Defekter RAM lässt das ZFS Dateisystem zum größten Albtraum werden,
    > wenn nämlich die Daten die einem so wichtig sind kaputtrepariert werden.
    > Das ist bei anderen Dateisystemen NICHT der Fall. Warum/wie genau kann man
    > hier lesen, oder auf vielen anderen Seiten im Netz die sich mit dem Problem
    > auseinandersetzen:
    >
    > pthree.org
    >
    > Der Autor Matthias Riegler hatte hier 6 Monate Glück. Man kann auch ohne
    > Gummi in der Weltgeschichte herumvögeln, ohne ohne dass man sich etwas
    > einfängt, oder mit 120 durch die Fußgängerzone rasen ohne dass man jemanden
    > anfährt. Sobald es dann aber passiert (und das ist selbst beim besten RAM
    > ohne ECC nur eine Frage der Zeit) sind die Daten hin.
    >
    > Als IT Seite "für Profis" so eine Aussage zu tätigen ist schlicht
    > verantwortungslos!

    ZFS ohne ECC ist genauso (un)sicher wie jedes andere FileSystem ohne ECC.
    Aber natürlich, wenn dir die Daten wichtig sind (NAS,Server,etc), dann nimm ZFS mit ECC-RAM.

  5. Re: ECC ist bei ZFS Pflicht

    Autor: YarYar 11.10.17 - 15:09

    Cöcönut schrieb:
    --------------------------------------------------------------------------------
    > Warum/wie genau kann man
    > hier lesen, oder auf vielen anderen Seiten im Netz die sich mit dem Problem
    > auseinandersetzen:
    >
    > pthree.org

    Schönes worst case scenario. Das betrifft aber keine vdevs mit redundanz, wie raidz und mirror. Denn die können anhand der Parity auch korrupte Daten reparieren.

    > Als IT Seite "für Profis" so eine Aussage zu tätigen ist schlicht
    > verantwortungslos!

    Ist es nicht. Ich denke auch das ein raidz im home office ohne ECC RAM hinreichend sicher ist. Da sind die Platten selber oder der Controller schon eher das Problem wenn man von wahrscheinlichkeiten redet.

  6. Re: ECC ist bei ZFS Pflicht

    Autor: Stormking 11.10.17 - 15:17

    Einfach als Homeserver eine Xeon-Workstation der vorletzten oder vorvorletzten Generation holen. Gebraucht is man ab 200-300 Euro dabei, meist sind schon um die 16G (ECC) RAM dabei, und jede Menge freie Steckplätze.

    Dann die internen Schächte mit Platten füllen, bei Bedarf noch einen Laufwerkskäfig von Icydock kaufen, der aus drei 5,25" Schächten fünf 3,5" Schächte macht, und schon hat man ein nettes kleines System herumstehen, auf dem man mit ein bißchen mehr RAM auch locker ein paar VMs betreiben kann.

    Und irgendwann später kauft man noch ein paar kleine NVME SSDs dazu, als Cache und Log Device.

  7. Re: ECC ist bei ZFS Pflicht

    Autor: chithanh 11.10.17 - 15:26

    YarYar schrieb:
    --------------------------------------------------------------------------------

    > Schönes worst case scenario.

    Worst case ist das nicht. Ich glaube, wenn ein Dirty Bit im Cache umfällt und dadurch alle folgenden Schreiboperationen eines Unterbaums bis zum nächsten Reboot ins Leere laufen, das wäre der worst case.

    > Ist es nicht. Ich denke auch das ein raidz im home office ohne ECC RAM
    > hinreichend sicher ist. Da sind die Platten selber oder der Controller
    > schon eher das Problem wenn man von wahrscheinlichkeiten redet.

    Falsche Daten von Platte oder Controller werden von ZFS zumindest erkannt.
    ECC ist überall dort unverzichtbar, wo man schleichenden Datenverlust verhindern muss.

  8. Re: ECC ist bei ZFS Pflicht

    Autor: YarYar 11.10.17 - 15:45

    chithanh schrieb:
    > Falsche Daten von Platte oder Controller werden von ZFS zumindest erkannt.
    > ECC ist überall dort unverzichtbar, wo man schleichenden Datenverlust
    > verhindern muss.

    Noch ein Zitat dazu von Matthew Ahrens (Mitbegründer von ZFS bei SUN und Gründer von OpenZFS):

    "There's nothing special about ZFS that requires/encourages the use of ECC RAM more so than any other filesystem. If you use UFS, EXT, NTFS, btrfs, etc without ECC RAM, you are just as much at risk as if you used ZFS without ECC RAM. Actually, ZFS can mitigate this risk to some degree if you enable the unsupported ZFS_DEBUG_MODIFY flag (zfs_flags=0x10). This will checksum the data while at rest in memory, and verify it before writing to disk, thus reducing the window of vulnerability from a memory error."
    (Quelle:
    https://arstechnica.com/civis/viewtopic.php?f=2&t=1235679&p=26303271#p26303271)

    Zu dem Thema kann man auch sehr schön diesen Artikel lesen:
    http://jrs-s.net/2015/02/03/will-zfs-and-non-ecc-ram-kill-your-data/

    So viel dazu: Kein Angst vor ZFS auf Desktop systemen ohne ECC RAM. Allemal besser als die anderen FS wenn es um Datensicherheit geht.

  9. Re: ECC ist bei ZFS Pflicht

    Autor: Cöcönut 11.10.17 - 15:46

    _4ubi_ schrieb:
    --------------------------------------------------------------------------------
    > ZFS ohne ECC ist genauso (un)sicher wie jedes andere FileSystem ohne ECC.

    Du hast nicht verstanden wie ZFS funktioniert wenn du das glaubst.

    > Aber natürlich, wenn dir die Daten wichtig sind (NAS,Server,etc), dann nimm
    > ZFS mit ECC-RAM.

    Wenn Daten unwichtig sind sollte man sich überlegen ZFS überhaupt einzusetzen, oder die Daten nicht einfach zu löschen.

  10. Re: ECC ist bei ZFS Pflicht

    Autor: YarYar 11.10.17 - 15:51

    Cöcönut schrieb:
    --------------------------------------------------------------------------------
    > _4ubi_ schrieb:
    > ---------------------------------------------------------------------------
    > -----
    > > ZFS ohne ECC ist genauso (un)sicher wie jedes andere FileSystem ohne
    > ECC.
    >
    > Du hast nicht verstanden wie ZFS funktioniert wenn du das glaubst.

    :-)

    Und das kommt direkt nachdem ich das Zitat von Matthew Ahrens gepostet habe. Und der sollte wissen wie ZFS funktioniert.

    :-)

  11. Re: ECC ist bei ZFS Pflicht

    Autor: Cöcönut 11.10.17 - 15:51

    YarYar schrieb:
    --------------------------------------------------------------------------------
    > Cöcönut schrieb:
    > ---------------------------------------------------------------------------
    > -----
    > > Warum/wie genau kann man
    > > hier lesen, oder auf vielen anderen Seiten im Netz die sich mit dem
    > Problem
    > > auseinandersetzen:
    > >
    > > pthree.org
    >
    > Schönes worst case scenario. Das betrifft aber keine vdevs mit redundanz,
    > wie raidz und mirror. Denn die können anhand der Parity auch korrupte Daten
    > reparieren.

    Wenn du einen Fehler im Arbeitsspeicher hast bringt dir Redundanz gar nichts, wenn die Daten fehlerhaft "repariert" werden.

    > > Als IT Seite "für Profis" so eine Aussage zu tätigen ist schlicht
    > > verantwortungslos!
    >
    > Ist es nicht.
    Du hast das Problem noch nicht verstanden.

    > Ich denke auch das ein raidz im home office ohne ECC RAM
    > hinreichend sicher ist. Da sind die Platten selber oder der Controller
    > schon eher das Problem wenn man von wahrscheinlichkeiten redet.

    ZFS sichert dich auch bei einem defekten Controller oder Laufwerk ab, das ist ja gerade der Sinn des Systems. Ist mir übrigens schon passiert. Defekten RAM kann es allerdings nicht verkraften.

  12. Re: ECC ist bei ZFS Pflicht

    Autor: Cöcönut 11.10.17 - 15:55

    YarYar schrieb:
    --------------------------------------------------------------------------------
    > Cöcönut schrieb:
    > ---------------------------------------------------------------------------
    > -----
    > > _4ubi_ schrieb:
    > >
    > ---------------------------------------------------------------------------
    >
    > > -----
    > > > ZFS ohne ECC ist genauso (un)sicher wie jedes andere FileSystem ohne
    > > ECC.
    > >
    > > Du hast nicht verstanden wie ZFS funktioniert wenn du das glaubst.
    >
    > :-)
    >
    > Und das kommt direkt nachdem ich das Zitat von Matthew Ahrens gepostet
    > habe. Und der sollte wissen wie ZFS funktioniert.
    >
    > :-)

    Wir können uns hier unendlich lange darüber unterhalten was wer "gesagt" hat, am Ende zählen aber nur Fakten. Toponce hat unter dem Verlinkten Artikel anhand eines konkreten Szenarios schön erklärt was bei defektem RAM beim scrubbing passiert. Das System ist ohne ECC nicht vor Korruption geschützt.

  13. Re: ECC ist bei ZFS Pflicht

    Autor: YarYar 11.10.17 - 16:03

    Cöcönut schrieb:
    --------------------------------------------------------------------------------
    > Wir können uns hier unendlich lange darüber unterhalten was wer "gesagt"
    > hat, am Ende zählen aber nur Fakten. Toponce hat unter dem Verlinkten
    > Artikel anhand eines konkreten Szenarios schön erklärt was bei defektem RAM
    > beim scrubbing passiert. Das System ist ohne ECC nicht vor Korruption
    > geschützt.

    Toponce steht damit aber im widerspruch zu Matthew Ahrens, dem youtube video das hier verlinkt wurde oder diesem Artikel den ich verlinkt habe: http://jrs-s.net/2015/02/03/will-zfs-and-non-ecc-ram-kill-your-data/

    Das "bad RAM" scrub Szenario das Daten auf der Platte korrumpiert ist beliebig unwahrscheinlich. Es müssen drei sachen gleichzeitig passieren:
    1) Daten werden in einen defekten speicherbereich gelesen. Und als korrupt erkannt weil die checksumme nicht zu den daten passt.
    2) Parity daten werden ebenfalls in einen defekten Speicher bereich gelesen. Und der defekt ist dergestalt das drittens
    3) Eine hash collision stattfinden die ZFS sagt das die parity daten ok sind. Ind diesem Fall werden die korrupten daten zurückgeschrieben auf die Platte.

    Kommt es nicht zu 3) hash collision, erkennt ZFS auch die partity daten als korrupt und schreibt gar nichts. Stattdessen wird der Fehler als irreparabel gemeldet.

    Aber gut. Lassen wir es dabei.

  14. Re: ECC ist bei ZFS Pflicht

    Autor: Richtig Steller 11.10.17 - 16:20

    Cöcönut schrieb:
    --------------------------------------------------------------------------------
    > ZFS verlässt sich darauf dass die Daten im Arbeitsspeicher 100% korrekt
    > sind. Defekter RAM lässt das ZFS Dateisystem zum größten Albtraum werden,
    > wenn nämlich die Daten die einem so wichtig sind kaputtrepariert werden.
    > Das ist bei anderen Dateisystemen NICHT der Fall. Warum/wie genau kann man
    > hier lesen, oder auf vielen anderen Seiten im Netz die sich mit dem Problem
    > auseinandersetzen:
    >
    > pthree.org
    >
    > Der Autor Matthias Riegler hatte hier 6 Monate Glück. Man kann auch ohne
    > Gummi in der Weltgeschichte herumvögeln, ohne ohne dass man sich etwas
    > einfängt, oder mit 120 durch die Fußgängerzone rasen ohne dass man jemanden
    > anfährt. Sobald es dann aber passiert (und das ist selbst beim besten RAM
    > ohne ECC nur eine Frage der Zeit) sind die Daten hin.
    >
    > Als IT Seite "für Profis" so eine Aussage zu tätigen ist schlicht
    > verantwortungslos!

    Ich bin prinzipiell deiner Meinung aber wenn du den Link streust musst du auch http://jrs-s.net/2015/02/03/will-zfs-and-non-ecc-ram-kill-your-data/ streuen.

    Dann stolperst du auch über die Aussage von Matthew Ahrens:

    > There’s nothing special about ZFS that requires/encourages the use of ECC RAM more so than any other filesystem.

    Man muss aber auch bedenken, dass es einen großen Unterschied zwischen 10TB+ Datenspeichern mit entsprechendem RAM (und dann kommt noch NUMA und die entsprechenden Problematiken mit ins Spiel) und einem kleinen privaten Storage mit im Verhältnis wenig RAM gibt.

    Fakt 1: Wenn sich nicht viel im RAM abspielt, weil bspw. kaum RAM vorhanden ist, fällt das Risiko entsprechend aus (der Autor sprach ja auch von einem Notebook... heutige Notebooks gehen selten über 16GB RAM).

    Fakt 2: Alle die behaupten das Risiko sei nicht existent kann man auch vorhalten, dass sie nie wirklich ihre Daten überprüft haben. Um Aussagen treffen zu können müsste man die Checksummen aller Dateien haben bevor man sie auf das ZFS-Storage übertragen hat um diese dann mit den Checksummen vergleichen zu können die man erhält, wenn man die Daten vom ZFS-Storage runterkopiert. Je nach Dateiformat ist ein Bitflip mal schlimmer und mal weniger schlimm.

    Und am Ende: Hätte hätte Fahradkette. Aber dafür hat man ja noch ein ordentliches Backup, denn so wie ein RAID kein Backup ersetzt, ersetzt auch ein ZFS mit seinen Checksummen etc. kein Backup ;)

  15. Re: ECC ist bei ZFS Pflicht

    Autor: falkoh 12.10.17 - 03:40

    Ich habe hier ein kleines mini-ITX Gehäuse von Lian Li (Q25, glaube ich, ist die Modellnummer), ein ASRock EPC612D4I und den kleinsten Xeon E5.

    ECC: japp. ZFS: auch. Und das kann übrigens von Haus aus iSCSI. Insgesamt fühlt sich das wie ein "großes" System an.

  16. Re: ECC ist bei ZFS Pflicht

    Autor: Ovaron 12.10.17 - 06:32

    Stormking schrieb:
    ------------------------------------------------------------------
    > Einfach als Homeserver eine Xeon-Workstation
    > der vorletzten oder vorvorletzten Generation
    > holen. Gebraucht is man ab 200-300 Euro dabei,
    > meist sind schon um die 16G (ECC) RAM dabei,

    Ja, ist toll geeignet für ein NAS mit ZFS. Wenn man eine Umweltsau ist der es völlig wurscht ist das der Schluckspecht sich selbst im Leerlauf schon Unmengen an Energie rein zieht (und in Wärme und damit auch Lärm wandelt) - was vier Alle natürlich nicht sind.
    Xeon Server sind auf Leistung optimiert, nicht aufs Strom sparen. Natürlich gibt es auch da Ausprägungen, aber mit dem Kriterium Leerleistung im Hinterkopf wird die Auswahl schon wieder verdammt anstrengend.



    1 mal bearbeitet, zuletzt am 12.10.17 06:33 durch Ovaron.

  17. Re: ECC ist bei ZFS Pflicht

    Autor: pumok 12.10.17 - 08:39

    Ovaron schrieb:
    --------------------------------------------------------------------------------
    > Wenn man eine Umweltsau ist der es völlig wurscht ist das der Schluckspecht sich selbst im Leerlauf schon Unmengen an Energie rein zieht (und in Wärme und damit auch Lärm wandelt)
    Wenn man den "alten" Xeon wegwirft und einen neuen energiesparenden Atom kauft, ist man genauso eine Umweltsau...
    Daher bitte die Kirche im Dorf lassen.

  18. Re: ECC ist bei ZFS Pflicht

    Autor: gaelic 12.10.17 - 09:13

    Dieses Aussage von im ist ein ziemlicher Topfen.

  19. Re: ECC ist bei ZFS Pflicht

    Autor: Cöcönut 12.10.17 - 10:02

    Hab bei mir einen Atom auf einem Supermicro board... SOC mit 15 W maximaler Leistungsaufnahme, dazu laufen noch ein paar andere Services auf dem Gerät so dass es sich nicht ununterbrochen langweilt, aber ist signifikant sparsamer als ein Xeon. Und der Strom ist zu 100% grün :)

  20. Re: ECC ist bei ZFS Pflicht

    Autor: RaZZE 12.10.17 - 10:17

    Luckysh0t schrieb:
    --------------------------------------------------------------------------------
    > Als Pflicht würde ich es jetzt nicht direkt sehen - eher als "man sollte"
    > denn ein defekter RAM würde auch bei nicht CoW Dateisystemen auf dauer zu
    > defekten Dateien führen.
    >
    > Dieses Scrub to Death ist allerdings auch recht selten, wenn man sich
    > danach gezielt erkundigt, somit dürfte ohne ECC RAM ein CoW Dateisystem
    > immernoch "sicherer" sein als zB NTFS und Co.

    Doch. Wenn dir was an deinen Daten liegt, ist es Pflicht. Alternativ lässt sich das Scrubbing ausschalten.

    Wie der Threadersteller schon gesagt hat, ZFS geht von ECC Ram aus und verlässt sich darauf.

  1. Thema
  1. 1
  2. 2

Neues Thema Ansicht wechseln


Um zu kommentieren, loggen Sie sich bitte ein oder registrieren Sie sich. Sie müssen ausserdem in Ihrem Account-Profil unter Forum einen Nutzernamen vergeben haben. Zum Login

Stellenmarkt
  1. Stadt Regensburg, Regensburg
  2. Felsomat GmbH & Co. KG, Königsbach-Stein
  3. über duerenhoff GmbH, Raum Hamburg
  4. Stromnetz Hamburg GmbH, Hamburg

Golem pur
  • Golem.de ohne Werbung nutzen

Anzeige
Spiele-Angebote
  1. 4,69€
  2. (-5%) 9,49€
  3. (u. a. Assassin's Creed Odyssey für 17,99€, Assassin's Creed Origins für 11€, Far Cry: New...


Haben wir etwas übersehen?

E-Mail an news@golem.de


Complex Event Processing: Informationen fast in Echtzeit auswerten
Complex Event Processing
Informationen fast in Echtzeit auswerten

Ob autonomes Fahren, Aktienhandel oder Onlineshopping: Soll das Ergebnis gut sein, müssen Informationen quasi in Echtzeit ausgewertet werden. Eine gute Lösung dafür: CEP.
Von Boris Mayer

  1. Ubuntu Canonical unterstützt Flutter-Framework unter Linux
  2. Musik Software generiert Nirvana-Songtexte
  3. mmap Codeanalyse mit sechs Zeilen Bash

PC-Hardware: Das kann DDR5-Arbeitsspeicher
PC-Hardware
Das kann DDR5-Arbeitsspeicher

Vierfache Kapazität, doppelte Geschwindigkeit: Ein Überblick zum DDR5-Speicher für Server und Desktop-PCs.
Ein Bericht von Marc Sauter


    Energiewende: Schafft endlich das Brennstoffzellenauto ab!
    Energiewende
    Schafft endlich das Brennstoffzellenauto ab!

    Sie sind teurer und leistungsschwächer als E-Autos und brauchen dreimal so viel Strom. Der Akku hat gewonnen. Wasserstoff sollte für Chemie benutzt werden.
    Ein IMHO von Frank Wunderlich-Pfeiffer

    1. Hyundai Nexo Wasserdampf im Rückspiegel
    2. Brennstoffzellenauto Bayern will 100 Wasserstofftankstellen bauen
    3. Elektromobilität Daimler und Volvo wollen Brennstoffzellen für Lkw entwickeln