1. Foren
  2. Kommentare
  3. Applikationen
  4. Alle Kommentare zum Artikel
  5. › ZFS erklärt: Ein Dateisystem…

Btrfs mit RAID5/6 = FAIL!

  1. Thema

Neues Thema Ansicht wechseln


  1. Btrfs mit RAID5/6 = FAIL!

    Autor: /mecki78 04.11.19 - 13:40

    Btrfs kann nach wie vor kein stabiles RAID5/6:

    https://btrfs.wiki.kernel.org/index.php/Status

    Was steht da bei RAID5/6?
    Richtig, da steht Unstable, unter anderem deswegen:

    > Currently raid5 and raid6 profiles have flaws that make it strongly not recommended as
    > per the Status page.
    >
    > * In less recent releases the parity of resynchronized blocks was not calculated correctly,
    > this has been fixed in recent releases (TBD).
    >
    > * If a crash happens while a raid5/raid6 volume is being written this can result in
    > a "transid" mismatch as in transid verify failed.
    >
    > * The resulting corruption cannot be currently fixed.

    https://btrfs.wiki.kernel.org/index.php/Gotchas#Parity_RAID

    Wobei das in 5.x Kernels gefixed sein mag (endlich!), aber es gibt noch weitere Probleme:

    > Some fixes went to 4.12, namely scrub and auto-repair fixes.
    > Feature marked as mostly OK for now.
    >
    > Further fixes to raid56 related code are applied each release.
    > The write hole is the last missing part, preliminary patches have
    > been posted but needed to be reworked. The parity not c
    > hecksummed note has been removed.

    https://btrfs.wiki.kernel.org/index.php/Status#RAID56

    Und diese Probleme existieren seit ewigen Zeiten. Hier tritt ein ZFS-Killer an, der eines der wichtigsten ZFS Features auch nach so vielen Jahren Entwicklung und Bugfixing immer noch nicht korrekt beherrscht, obwohl die Entwicklung 2007 anfing und seit 2014 Btrfs angeblich stabil ist, was sich aber nur auf ein Subset der ursprünglich angepeilten Features bezieht.

    Zu keinem Zeitpunkt war eine Alpha von ZFS auch nur ansatzweise in so einem Fehlerhaften wie Btrfs Releases, die als "stable" verkauft wurden. Das baut kein Vertrauen auf. Btrfs hatte das schlimmste, was ein Dateisystem haben kann: Bugs, die zu permanenten Datenverlust führen!!! Und das nicht trotz RAID, sondern auch noch wegen RAID. Absolutes No Go!

    Die Linux Community kann einfach keinen Dateisysteme. Ext2 war ein furchtbares Dateisystem, Ext3 war ReiserFS deutlich unterlegen und Btrfs ist nach wie vor ZFS weit unterlegen.

    /Mecki

  2. Re: Btrfs mit RAID5/6 = FAIL!

    Autor: SJ 04.11.19 - 13:53

    das letzte mal als ich btrfs verwendet habe, war mein kompletter Server hinüber nach einem Stromausfall. CoW Sollte ja genau dies verhindern und sicherstellen, dass ich in einen früheren Snapshot booten kann.

    Seither benutz ich nur noch ZFS.

    --
    Wer all meine Fehler findet und die richtig zusammensetzt, erhält die geheime Formel wie man Eisen in Gold umwandeln kann.

  3. Re: Btrfs mit RAID5/6 = FAIL!

    Autor: Spynexes 04.11.19 - 14:03

    Ich habe BRTFS auch ohne mdadm im Hintergrund das RAID 5 selbst verwalten lassen. Lief alles super bis zu dem Tag an dem sich eine Platte verabschiedet hat. Das Dateisystem war auf einmal Read Only. Statt direkt vom Read-Only-System eine Kopie zu machen (ich hatte nicht genug Plattenplatz verfügbar) habe ich das System runtergefahren und die Platte ausgetauscht. Danach ging überhaupt nichts mehr, ich konnte die neue Platte nicht in den bestehenden BTRFS Verbund einhängen weil sich das Dateisystem nicht mehr im degraded Modus mounten lies.
    Keine der Reparatur Anleitungen hat geholfen.
    Am Ende habe ich aufgegeben und meine Daten mit einem Offsite Backup wiederhergestellt. Hat allerdings auch eine Woche gedauert. War ich froh das Offsite Backup zu haben.

    Jetzt läuft wieder mdadm mit ext4. "Snapshots" mach ich mit restic auf eine externe Platte. Die haben bei mir nur dazu gedient im Zweifel eine gelöschte/überschriebene Datei wiederherstellen zu können.

  4. Re: Btrfs mit RAID5/6 = FAIL!

    Autor: zonk 04.11.19 - 16:43

    Btrfs und reiser4 sind die Dateisysteme mit denen ich schon wegen dem Dateisystem Daten verloren habe. Btrf ist für mich ein NoGo und scheint ja auch ziemlich stecken geblieben sein!

  5. Re: Btrfs mit RAID5/6 = FAIL!

    Autor: robinx999 04.11.19 - 19:31

    Interessant wäre hier der Zeitpunkt. Das Write Hole existiert zwar noch aber im wesentlichen ist BTRFS Raid 5 eigentlich relativ stabil
    Aktuell heißt es hier ja
    https://btrfs.wiki.kernel.org/index.php/RAID56
    "The parity RAID code has a specific issue with regard to data integrity: see "write hole", below. It should not be used for metadata. For data, it should be safe as long as a scrub is run immediately after any unclean shutdown."

    Also Metadata im Raid1 Daten im Raid5 und nach einem unsauberen Shutdown auf jeden Fall ein Scrub starten. Klar würde ich nicht umbedingt in einer Produktivumgebung einsetzen aber so schlecht ist es aktuell auch nicht mehr.

    Aber ja ZFS ist sicherlich stärker getestet. Aber bei ein paar dingen ist BTRFS sogar besser. Ungleich große Festplatten und verkleinern eines Volumes klappt dort besser

  6. Re: Btrfs mit RAID5/6 = FAIL!

    Autor: GAK 04.11.19 - 19:48

    robinx999 schrieb:
    --------------------------------------------------------------------------------
    > Das Write Hole existiert zwar noch
    Das ist ein showstopper und damit Game Over für BTRFS bei der Auswahl von Dateisystemen.

    > Aber ja ZFS ist sicherlich stärker getestet. Aber bei ein paar dingen ist
    > BTRFS sogar besser. Ungleich große Festplatten und verkleinern eines
    > Volumes klappt dort besser
    Device removal für ZFS gibt's inzwischen, funktioniert auch (zumindest solange kein RaidZ im Pool ist, das wird aktuell noch nicht unterstützt).

    Aber Stimmt, der Griff in die Murkelkiste was die Laufwerke angeht (ungleich große Platten) ist bei ZFS nicht so das Mittel der Wahl - sollte es aber auch nicht sein falls die Daten einem etwas wert sind (was üblicherweise den meisten aber erst auffällt wenn die Daten dann auch weg sind).

  7. Re: Btrfs mit RAID5/6 = FAIL!

    Autor: robinx999 04.11.19 - 20:01

    Naja BTRFS ist zumindest im Mirror stabil. Die Frage ist ob Setups wie 2 x 2 TB und ein mal 3TB was dann zu 3,5TB Nutzbarem Platz führt etwas ist was man als in Ordnung oder nicht ansieht.

    Wobei ich auch schon zerstörte Zpools gesehen habe.

    Aber zumindest spielt BTRFS selber mit offenen Karten und bezeichnet Raid 5/6 immer noch als Experimental und auch wenn es einige Linux Distributionen zu früh auf den Endanwender los gelassen haben, so muss ich sagen habe ich noch nicht wirklich etwas von Datenverlusten bei BTRFS gehört, sofern man es einschränkt auf Dinge die von den Entwicklern zum Zeitpunkt als Stabil gekennzeichnet waren. Aber dies ist irgendwie ein generelles Problem von einigen Linux Distributionen das Features zu früh auf den Endnutzer los gelassen wurden, das hatte man bei KDE4, Pulseaudio oder auch Systemd alles zwar gut aber zu früh auf den Endnutzer los gelassen und es gab viele Probleme

  8. Re: Btrfs mit RAID5/6 = FAIL!

    Autor: GAK 04.11.19 - 20:14

    robinx999 schrieb:
    --------------------------------------------------------------------------------
    > Naja BTRFS ist zumindest im Mirror stabil. Die Frage ist ob Setups wie 2 x
    > 2 TB und ein mal 3TB was dann zu 3,5TB Nutzbarem Platz führt etwas ist was
    > man als in Ordnung oder nicht ansieht.
    >
    > Wobei ich auch schon zerstörte Zpools gesehen habe.
    Ich auch, nach sowas wie wipefs, zpool labelclear oder zpool -f create auf die partitionen wo gerade noch der Pool war. Oder wenn mehr Platten gestorben sind als Redundanz vorhanden war.

    Ansonsten aber eher nicht, von einem wirklich blöden Bug in 0.7.11 (?) mal abgesehen.

    > ... Pulseaudio oder auch Systemd alles zwar gut ...
    Geschmackssache.
    Die genannten sind eher 'toll wenn man es braucht, aber auch nur solange es auch funktioniert'.
    Dank Aktionen wie https://github.com/systemd/systemd/issues/5644 verzichte ich lieber auf den 'neuen Scheiß' von Herrn P., mir ist ein deterministisch laufendes System lieber als eines das 2 Sekunden schneller bootet. YMMV.



    1 mal bearbeitet, zuletzt am 04.11.19 20:14 durch GAK.

  9. Re: Btrfs mit RAID5/6 = FAIL!

    Autor: /mecki78 04.11.19 - 21:28

    zonk schrieb:
    --------------------------------------------------------------------------------
    > Btrfs und reiser4 sind die Dateisysteme mit denen ich schon wegen dem
    > Dateisystem Daten verloren habe.

    Zu Reiser4: Reiser4 ist eine Neuentwicklung, die von Null auf angefangen wurde und mit ReiserFS hauptsächlich nur den Namen gemein hat, da es sich sonst in diversen wesentlichen Punkten komplett vom Vorgänger unterscheidet. Man wollte alles besser und toller machen und noch mehr Features in das System packen, aber das war vielleicht eine Spur zu viel. Reiser4 hatte ich persönlich nie im Einsatz.

    ReiserFS hingegen war immer ein robustes Dateisystem, das seiner Zeit einfach komfortabler, stabiler, sicherer und manchmal (je nach Situation) sogar schneller als die etablierten Systeme war (wobei Geschwindigkeit war nie der Hauptgrund warum man das eingesetzt hat). Die Version 3.6.23 ging in den Linux Kernel 2.4.1 auf und wurde seither als Teil des Linux Kernels gepflegt. Sollte sich die Stabilität seither verschlechtert haben (kann ich nicht beurteilen, weil ich es da schon nicht mehr im Einsatz hatte), dann gilt auch hier: "blame the community".

    /Mecki

  10. Re: Btrfs mit RAID5/6 = FAIL!

    Autor: 1e3ste4 04.11.19 - 21:37

    SJ schrieb:
    --------------------------------------------------------------------------------
    > das letzte mal als ich btrfs verwendet habe, war mein kompletter Server
    > hinüber nach einem Stromausfall.

    Wann war das? Vor sechs Jahren?

    Nach dem es bei SLES zum Standarddateisystem geworden ist, bezweifel ich, dass es da noch irgendwelche Probleme mit btrfs gibt. Ich benutze es seit zwei Jahren unter Arch Linux und es läuft genauso gut wie die alten Bekannten auch.

  11. Re: Btrfs mit RAID5/6 = FAIL!

    Autor: SJ 05.11.19 - 06:35

    Nein, das war vor 3 Jahren der Fall.

    --
    Wer all meine Fehler findet und die richtig zusammensetzt, erhält die geheime Formel wie man Eisen in Gold umwandeln kann.

  12. Re: Btrfs mit RAID5/6 = FAIL!

    Autor: Plasma 06.11.19 - 11:39

    Abgesehen von den Stabilitätsproblemen fand ich es immer besonders toll dass BTRFS nicht in der Lage ist auf RAIDs den maximalen Speicherplatz richtig zu berechnen. Beispiel: ich hatte ein gespiegeltes RAID gebaut und bekam tatsächlich überall als Gesamtkapazität die addierte Kapazität der beiden Platten (also effektiv doppelt so viel wie eigentlich vorhanden) angezeigt.

    Das betrifft wohl gemerkt die Gesamtkapazität. Bei der verfügbaren Kapazität könnte ich mit Abweichungen von ein paar MiB leben, wenn dem FS die Berechnung zu kompliziert ist. Aber BTRFS kann ja nicht mal die statische Größe der *Gesamtkapazität* ausweisen.

    Ja, es ging doch in dem man über die btrfs-tools irgendeinen verwinkelten Befehl ausführte. Aber sowohl "df" als auch sämtliche Dateimanager haben immer die falsche Zahl angezeigt.

  13. Re: Btrfs mit RAID5/6 = FAIL!

    Autor: black0ut 11.12.19 - 12:45

    Das größte Problem ist wohl, dass es viele benutzt haben ohne sich die Dokumentation bzw. irgendetwas über Raid durchzulesen.

    Ich möchte wissen, wie viele aus dem Stand heraus erklären könnten was ein write hole ist und wie Raid Controller bzw. RaidZ dies umgehen.

    Passiert ein write hole auch wenn der Controller 1gb Cache hat und die Datei 4gb hat? Wirds blockweise geschrieben? Wie siehts mit journaling Filesystemen aus? kann man damit atomare Schreibbefehle herstellen indem man Schreibbefehle reverted?

    ich hoffe, dass jedem der Raid benutzt (egal welches level) klar sein MUSS, dass ein Backup PFLICHT ist.

    Wenn ein controller eine bbu hat um ein write hole zu verhindern wieso verwendet man bei raid anwendungen ohne controller nicht eine USP?

    klingt für mich nach fast niemanden der ernsthaft die technik so nutzen würde wie es sich gehört.

    Raid ist aus dem enterprise segment gekommen und man sollte sich auch dementsprechend viele gedanken machen bevor man leichtsinnig seine daten "verwaltet" und dann jammert weil man sich die arbeit nicht gemacht hat sich damit zu befassen.

    Jeder sollte bevor er eine Raid-Anwendung produktiv nutzt alle fälle duchtesten und stomausfälle und festplatten fails und so weiter und recovery testen.

    man sollte sowieso smartd laufen lassen (periodische short und long tests) und sich die ergebnisse per mail senden lassen, sowie periodisch scrub laufen lassen und sich ebenfalls die ergenisse senden lassen.

    wenn eine platte failed, sollte man sich im klaren sein ob man neu startet oder laufen lässt.

    es ist wie bei vielen anderen sachen, die menschen hoffen auf eine einfache lösung ohne zu wissen was man macht wenn mal was unter der haube nicht passt.

  14. Re: Btrfs mit RAID5/6 = FAIL!

    Autor: mgutt 02.01.20 - 16:58

    Ich finde man sollte nicht unerwähnt lassen, dass sich diese Flaws auf die native RAID Funktionalität von BTRFS beziehen. Wenn man dagegen ein Hardware oder Software RAID mit BTRFS formatiert, dann sind diese Probleme irrelevant, da ja nicht BTRFS den Parity berechnet, sondern zB mdadm. Allerdings ist der Overhead natürlich deutlich größer als bei ZFS.

  15. Re: Btrfs mit RAID5/6 = FAIL!

    Autor: robinx999 02.01.20 - 17:05

    Nunja das Problem ist natürlich das die Selbstreparatur nicht mehr wirklich funktioniert wenn man ein Software Raid eine ebene Darunter einsetz. Also beim genannten Bitrot, wenn ein Bit Falsch geliefert wird und die Festplatte keinen Fehler meldet dann ist ein normales Sofware Raid aufgeschmissen BTRFS / ZFS kann den Fehler aufgrund der Prüfsumme erkennen und von den anderen Platten laden. Hat man ZFS / BTRFS über einem Software / Hardware Raid dann erkennt es zwar einen Fehler kann aber nichts mehr machen

  16. Re: Btrfs mit RAID5/6 = FAIL!

    Autor: mgutt 02.01.20 - 17:27

    Ok, es ginge wohl schon, aber BTRFS kennt in dem Fall nicht die Anzahl der Discs und erstellt nicht genug Metadaten bzw kann sie nicht auf die Discs verteilen, so dass es schlicht kein Backup der Daten gibt, über die BTRFS die Daten wiederherstellen könnte:
    https://superuser.com/a/1131710/129262

    Interessant ist der Tipp zwei mdadm RAID5/6 mit einem BTRFS RAID1 zu verbinden. Nimmt man dazu RAID5 hätte man fast ein RAID6 und die Funktionalität von BTRFS. Aber im privaten Bereich ist so viel Aufwand wegen Bitfehlern fragwürdig und im gewerblichen Bereich wird man ja eh auf ZFS setzen.

    Es ist aber schon komisch, dass die Entwicklung von BTRFS bereits so viele Jahre schläft.

  17. Re: Btrfs mit RAID5/6 = FAIL!

    Autor: robinx999 02.01.20 - 17:47

    Der Post ist aber auch schon recht alt
    Also zumindest wirklich schlafen tut es nicht. https://btrfs.wiki.kernel.org/index.php/Changelog#By_version_.28linux_kernel.29 Da sind änderungen von September 2019 gelistet
    Einiges ist wohl ab dem Kernel 4.12 enthalten (Also bitte nicht mit Debian Strech machen)

    Hier ist übrigens jemand der Ansicht das es Safe ist
    https://blog.wille.io/index.php/2018/12/28/btrfs-with-raid5-is-safe-now/

    Tatsächlich gibt es "nur" noch das Write hole und das kann dazu führen das im Falle eines Plötzlichen Ausfalls (Kernel Panic / Stromausfall) das Parity Bit nicht geschrieben wird. Was natürlich heißt das es im Falle eines Ausfalls einer Festplatte zu Datenverlust kommen kann (die Datei die gerade während dieser Situation geschrieben wurde ist korrupt)
    Das Parity Bit wird auf jeden Fall neu gesetzt wenn man nach so einer Aktion ein Scrub startet (überprüfen aller Dateien und der Checksumme)
    Da Stromausfall / Kernel Panics relativ selten sind halte ich es auch für relativ Sicher aber nicht Absolut sicher und soweit ich es verstehe betrifft das Write Hole auch MD Software Raids

  1. Thema

Neues Thema Ansicht wechseln


Um zu kommentieren, loggen Sie sich bitte ein oder registrieren Sie sich. Zum Login

Stellenmarkt
  1. BREMER AG, Paderborn
  2. Software AG, Darmstadt
  3. Heinrich-Heine-Universität, Düsseldorf
  4. Hays AG, Coburg

Golem pur
  • Golem.de ohne Werbung nutzen

Anzeige
Spiele-Angebote
  1. 25,99€
  2. (-62%) 18,99€
  3. (-67%) 7,59€
  4. 69,99€


Haben wir etwas übersehen?

E-Mail an news@golem.de