Abo
  1. Foren
  2. Kommentare
  3. OpenSource
  4. Alle Kommentare zum Artikel
  5. › ZFS ausprobiert: Ein Dateisystem…

zfs send

  1. Thema

Neues Thema Ansicht wechseln


  1. zfs send

    Autor: jonbae 11.10.17 - 17:17

    Macht zfs send wirklich Sinn? Manche raten davon ab, da unter Umständen mehrere TB als zusammenhängende Datei übers Netz transferiert werden müssen. Das wäre bei rsync nicht der Fall.

    Auch würde mich interessieren ob alte Snapshots bestehen bleiben müssen, damit die neuen, die gesendet werden sollen, die richtige Größe haben. Wäre ziemlich unpraktikabel. Habt ihr da Erfahrungen?

  2. Re: zfs send

    Autor: satriani 11.10.17 - 22:11

    Wozu rsync wenn es zfs send -i gibt?

    ╔═══════════════════════════════════════════╗
      Was hat FreeBSD mit einem massiven Sonnensturm gemeinsam?
      Das Aus für Hacker !
    ╚═══════════════════════════════════════════╝

  3. Re: zfs send

    Autor: GAK 12.10.17 - 00:38

    jonbae schrieb:
    --------------------------------------------------------------------------------
    > Macht zfs send wirklich Sinn? Manche raten davon ab, da unter Umständen
    > mehrere TB als zusammenhängende Datei übers Netz transferiert werden
    > müssen. Das wäre bei rsync nicht der Fall.
    Die geänderten Daten müssen übertragen werden, da kommt man nicht drum herum.

    Die aktuelle Versionen von ZFS on Linux kann auch abgebrochene send operationen fortsetzen (falls das Netzwerk mal wegbricht).

    Ansonsten mal nach 'relentlesspipe' suchen, das löst das Problem indem es den Datenstrom intern in files zerlegt, die puffert und mittels rsync auf das andere System schiebt (und dort wieder einen pipe-fähigen Datenstrom draus macht).

    Jedenfalls ist zfs send -i dem klassischen rsync deutlich überlegen wenn es um große Dateisysteme (oder sowas wie Datenbankfiles) mit vergleichsweise geringen Änderungen geht, denn es muss die geänderten Daten nicht extra suchen.

    Vom Vorteil die Snapshots direkt als TimeMachine nutzen zu können (sowohl an der Quelle als auch auf dem Ziel) mal ganz abgesehen.

  4. Re: zfs send

    Autor: jonbae 12.10.17 - 00:44

    Danke für die ausführliche Erklärung. Das heißt allerdings, dass ich immer mindestens einen gleichen Snapshot auf beiden Seiten haben muss. Und vor dem zfs send muss ein neuer Snapshot erstellt werden.

    Was ist aber wenn ich tagsüber alle Stunde einen Snapshot mache, aber nur einmal die Woche ein zfs send machen will. Vorher alle Snapshots löschen, außer den Neusten und den vor einer Woche?

  5. Re: zfs send

    Autor: Cöcönut 12.10.17 - 10:09

    Du kannst beliebige Snapshots senden, nicht nur den neusten.
    Das ist etwa so als würdest du eine Datei in einem bestimmten Verzeichnis über scp/rsync verschicken. Da kannst du auch auswählen was du schicken willst und musst nicht die letzte Datei senden. Ganz unkompliziert.

  6. Re: zfs send

    Autor: jonbae 12.10.17 - 11:48

    Vielleicht denke ich da wirklich zu kompliziert. Wenn ich jetzt auf dem NAS folgende Sanpshots habe:

    snap_2017-10-09_09-00
    snap_2017-10-09_13-00
    snap_2017-10-09_18-00
    [...]
    snap_2017-10-16_09-00
    snap_2017-10-16_13-00
    snap_2017-10-16_18-00

    Und auf dem Backup liegt nur der Zustand von "snap_2017-10-09_18-00".

    Könnte ich dann vom NAS "snap_2017-10-16_18-00" senden, ohne die dazwischen? Im letzten Snapshot vom NAS ist doch nur der Unterschied drin zum vorherigen, von dem aber der Backupserver nichts weiß.

    Muss das mal ein bisschen Testen.

  7. Re: zfs send

    Autor: elcaron 13.10.17 - 16:59

    Also ich benutze btrfs send (ist ja quasi das Gleiche) um jede Nacht ein Offsitebackup zu machen. Die Datenbasis sind ungefähr 1TB, hunderttausende Dateien. Dazukommende Daten sind größenmäßig vor allem Fotos und (4k) Videos vom Handy.
    Heute Nacht hat der gesamte Vorgang 12 Minuten gedauert.
    Auf der Empfängerseite behalte ich alle Snapshots, auf der Senderseite die letzten 10.

  8. Re: zfs send

    Autor: GAK 14.10.17 - 11:47

    jonbae schrieb:
    --------------------------------------------------------------------------------
    > Vielleicht denke ich da wirklich zu kompliziert. Wenn ich jetzt auf dem NAS
    > folgende Sanpshots habe:
    >
    > snap_2017-10-09_09-00
    > snap_2017-10-09_13-00
    > snap_2017-10-09_18-00
    > [...]
    > snap_2017-10-16_09-00
    > snap_2017-10-16_13-00
    > snap_2017-10-16_18-00
    >
    > Und auf dem Backup liegt nur der Zustand von "snap_2017-10-09_18-00".
    >
    > Könnte ich dann vom NAS "snap_2017-10-16_18-00" senden, ohne die
    > dazwischen?
    Ja.

    > Im letzten Snapshot vom NAS ist doch nur der Unterschied drin
    > zum vorherigen, von dem aber der Backupserver nichts weiß.

    Ein zfs send überträgt immer den Unterschied zwischen dem mit -i/I spezifizierten Snapshot (dem Anfangszustand) und dem Zielzustand/Snapshot (egal was dazwischen liegt). Betrachte nun 'kein -i/I angegeben' als 'leerer Anfangszustand' leer und alles wird übertragen.

    Ja. Du hast generell zwei Optionen:
    1) senden als volles Dataset, dann brauchst Du nichts auf dem Ziel,
    2) senden als Incremental (mit -i/I), braucht einen gemeinsamen Ausgangszustand auf beiden Systemen.

    In Deinem Beispiel:
    zfs send -i @snap_2017-10-09_18-00 <src>@snap_2017-10-16_18-00 | ssh -o BatchMode=yes <host> 'zfs recv <dest>'
    schafft alle Änderungen zwischen @snap_2017-10-09_18-00 und @snap_2017-10-16_18-00 auf das Ziel (welches @snap_2017-10-09_18-00 hat und damit diesen Datenstrom aufnehmen kann, ein Incremental ist nur in Verbindung mit dessen Anfangszustand brauchbar).
    Wenn du -I statt -i nimmst um den Anfangszustand zu spezifizieren dann werden auf dem Ziel auch die Snapshots dazwischen angelegt (und die dafür nötigen Informationen, also Daten die dazwischen existierten aber in @snap_2017-10-16_18-00 nicht mehr referenziert sind, mit übertragen).

  9. Re: zfs send

    Autor: jonbae 14.10.17 - 21:50

    Danke @GAK, für die aufschlussreiche Erklärung! Das klingt doch sehr cool, mit dieser Option hat man genug Spielraum. Auch sollte der Transfer im Ideal schneller sein, wenn man z.B. viele kleine Dateien hätte, die dazu kommen. Eine Große Datei wird ja schneller transferiert, als viele Kleine.

  1. Thema

Neues Thema Ansicht wechseln


Um zu kommentieren, loggen Sie sich bitte ein oder registrieren Sie sich. Zum Login

Stellenmarkt
  1. Universal Music GmbH, Berlin
  2. rhenag Rheinische Energie Aktiengesellschaft, Siegburg
  3. über experteer GmbH, Raum Sindelfingen
  4. Gemeinde Burgkirchen a.d.Alz, Burgkirchen a.d. Alz

Golem pur
  • Golem.de ohne Werbung nutzen

Anzeige
Spiele-Angebote
  1. 44,99€
  2. (-10%) 53,99€
  3. 229,00€
  4. 43,99€


Haben wir etwas übersehen?

E-Mail an news@golem.de


Ryzen 7 3800X im Test: Der schluckt zu viel
Ryzen 7 3800X im Test
"Der schluckt zu viel"

Minimal mehr Takt, vor allem aber ein höheres Power-Budget für gestiegene Frequenzen unter Last: Das war unsere Vorstellung vor dem Test des Ryzen 7 3800X. Doch die Achtkern-CPU überrascht negativ, weil AMD es beim günstigeren 3700X bereits ziemlich gut meinte.
Ein Test von Marc Sauter

  1. Agesa 1003abba Microcode-Update taktet Ryzen 3000 um 50 MHz höher
  2. Agesa 1003abb Viele ältere Platinen erhalten aktuelles UEFI für Ryzen 3000
  3. Ryzen 5 3400G und Ryzen 3 3200G im Test Picasso passt

Manipulierte Zustimmung: Datenschützer halten die meisten Cookie-Banner für illegal
Manipulierte Zustimmung
Datenschützer halten die meisten Cookie-Banner für illegal

Nur die wenigsten Cookie-Banner entsprechen den Vorschriften der DSGVO, wie eine Studie feststellt. Die Datenschutzbehörden halten sich mit Sanktionen aber noch zurück.
Ein Bericht von Christiane Schulzki-Haddouti

  1. Chrome & Privacy Google möchte uns in Zukunft anders tracken
  2. Tracking Google und Facebook tracken auch auf vielen Pornoseiten
  3. Android Apps kommen auch ohne Berechtigung an Trackingdaten

Verkehrssicherheit: Die Lehren aus dem tödlichen SUV-Unfall
Verkehrssicherheit
Die Lehren aus dem tödlichen SUV-Unfall

Soll man tonnenschwere SUV aus den Innenstädten verbannen? Oder sollten technische Systeme schärfer in die Fahrzeugsteuerung eingreifen? Nach einem Unfall mit vier Toten in Berlin mangelt es nicht an radikalen Vorschlägen.
Eine Analyse von Friedhelm Greis

  1. Torc Robotics Daimler-Tochter testet selbstfahrende Lkw
  2. Edag Citybot Wandelbares Auto mit Rucksackmodulen gegen Verkehrsprobleme
  3. Tusimple UPS testet automatisiert fahrende Lkw

  1. iOS 13 im Test: Apple macht iOS hübscher
    iOS 13 im Test
    Apple macht iOS hübscher

    Ab dem 19. September 2019 wird die fertige Version von iOS 13 verteilt. Apple hat den Fokus diesmal mehr auf sichtbare Verbesserungen des Nutzererlebnisses gelegt: Wir haben uns den neuen Dark Mode, die verbesserte Kamera-App und weitere Neuerungen angeschaut und interessante Funktionen gefunden.

  2. T-Systems: Niemand konnte erklären, "warum wir so aufgestellt sind"
    T-Systems
    Niemand konnte erklären, "warum wir so aufgestellt sind"

    Die komplizierte Struktur bei T-Systems konnte dem Chef Adel Al-Saleh niemand logisch erklären. Nun wechseln 5.000 T-Systems-Beschäftigte zur Telekom Deutschland.

  3. Rainbow Six Siege: Ubisoft will mit Unterlassungsbriefen DDoS-Cheater bekämpfen
    Rainbow Six Siege
    Ubisoft will mit Unterlassungsbriefen DDoS-Cheater bekämpfen

    Unterlassungsbriefe sollen dabei helfen, das mittlerweile schwerwiegende Problem von DDoS-Angriffen in Rainbow Six Siege zu bekämpfen. Ubisoft will allerdings auch eigene technische Makel in der Netzwerkinfrastruktur beheben und die Cheater so effizienter verbannen.


  1. 12:03

  2. 12:02

  3. 11:17

  4. 11:05

  5. 10:50

  6. 10:33

  7. 10:11

  8. 09:56