Abo
  1. Foren
  2. Kommentare
  3. OpenSource
  4. Alle Kommentare zum Artikel
  5. › ZFS ausprobiert: Ein Dateisystem…

zfs send

  1. Thema

Neues Thema Ansicht wechseln


  1. zfs send

    Autor: jonbae 11.10.17 - 17:17

    Macht zfs send wirklich Sinn? Manche raten davon ab, da unter Umständen mehrere TB als zusammenhängende Datei übers Netz transferiert werden müssen. Das wäre bei rsync nicht der Fall.

    Auch würde mich interessieren ob alte Snapshots bestehen bleiben müssen, damit die neuen, die gesendet werden sollen, die richtige Größe haben. Wäre ziemlich unpraktikabel. Habt ihr da Erfahrungen?

  2. Re: zfs send

    Autor: satriani 11.10.17 - 22:11

    Wozu rsync wenn es zfs send -i gibt?

    ╔═══════════════════════════════════════════╗
      Was hat FreeBSD mit einem massiven Sonnensturm gemeinsam?
      Das Aus für Hacker !
    ╚═══════════════════════════════════════════╝

  3. Re: zfs send

    Autor: GAK 12.10.17 - 00:38

    jonbae schrieb:
    --------------------------------------------------------------------------------
    > Macht zfs send wirklich Sinn? Manche raten davon ab, da unter Umständen
    > mehrere TB als zusammenhängende Datei übers Netz transferiert werden
    > müssen. Das wäre bei rsync nicht der Fall.
    Die geänderten Daten müssen übertragen werden, da kommt man nicht drum herum.

    Die aktuelle Versionen von ZFS on Linux kann auch abgebrochene send operationen fortsetzen (falls das Netzwerk mal wegbricht).

    Ansonsten mal nach 'relentlesspipe' suchen, das löst das Problem indem es den Datenstrom intern in files zerlegt, die puffert und mittels rsync auf das andere System schiebt (und dort wieder einen pipe-fähigen Datenstrom draus macht).

    Jedenfalls ist zfs send -i dem klassischen rsync deutlich überlegen wenn es um große Dateisysteme (oder sowas wie Datenbankfiles) mit vergleichsweise geringen Änderungen geht, denn es muss die geänderten Daten nicht extra suchen.

    Vom Vorteil die Snapshots direkt als TimeMachine nutzen zu können (sowohl an der Quelle als auch auf dem Ziel) mal ganz abgesehen.

  4. Re: zfs send

    Autor: jonbae 12.10.17 - 00:44

    Danke für die ausführliche Erklärung. Das heißt allerdings, dass ich immer mindestens einen gleichen Snapshot auf beiden Seiten haben muss. Und vor dem zfs send muss ein neuer Snapshot erstellt werden.

    Was ist aber wenn ich tagsüber alle Stunde einen Snapshot mache, aber nur einmal die Woche ein zfs send machen will. Vorher alle Snapshots löschen, außer den Neusten und den vor einer Woche?

  5. Re: zfs send

    Autor: Cöcönut 12.10.17 - 10:09

    Du kannst beliebige Snapshots senden, nicht nur den neusten.
    Das ist etwa so als würdest du eine Datei in einem bestimmten Verzeichnis über scp/rsync verschicken. Da kannst du auch auswählen was du schicken willst und musst nicht die letzte Datei senden. Ganz unkompliziert.

  6. Re: zfs send

    Autor: jonbae 12.10.17 - 11:48

    Vielleicht denke ich da wirklich zu kompliziert. Wenn ich jetzt auf dem NAS folgende Sanpshots habe:

    snap_2017-10-09_09-00
    snap_2017-10-09_13-00
    snap_2017-10-09_18-00
    [...]
    snap_2017-10-16_09-00
    snap_2017-10-16_13-00
    snap_2017-10-16_18-00

    Und auf dem Backup liegt nur der Zustand von "snap_2017-10-09_18-00".

    Könnte ich dann vom NAS "snap_2017-10-16_18-00" senden, ohne die dazwischen? Im letzten Snapshot vom NAS ist doch nur der Unterschied drin zum vorherigen, von dem aber der Backupserver nichts weiß.

    Muss das mal ein bisschen Testen.

  7. Re: zfs send

    Autor: elcaron 13.10.17 - 16:59

    Also ich benutze btrfs send (ist ja quasi das Gleiche) um jede Nacht ein Offsitebackup zu machen. Die Datenbasis sind ungefähr 1TB, hunderttausende Dateien. Dazukommende Daten sind größenmäßig vor allem Fotos und (4k) Videos vom Handy.
    Heute Nacht hat der gesamte Vorgang 12 Minuten gedauert.
    Auf der Empfängerseite behalte ich alle Snapshots, auf der Senderseite die letzten 10.

  8. Re: zfs send

    Autor: GAK 14.10.17 - 11:47

    jonbae schrieb:
    --------------------------------------------------------------------------------
    > Vielleicht denke ich da wirklich zu kompliziert. Wenn ich jetzt auf dem NAS
    > folgende Sanpshots habe:
    >
    > snap_2017-10-09_09-00
    > snap_2017-10-09_13-00
    > snap_2017-10-09_18-00
    > [...]
    > snap_2017-10-16_09-00
    > snap_2017-10-16_13-00
    > snap_2017-10-16_18-00
    >
    > Und auf dem Backup liegt nur der Zustand von "snap_2017-10-09_18-00".
    >
    > Könnte ich dann vom NAS "snap_2017-10-16_18-00" senden, ohne die
    > dazwischen?
    Ja.

    > Im letzten Snapshot vom NAS ist doch nur der Unterschied drin
    > zum vorherigen, von dem aber der Backupserver nichts weiß.

    Ein zfs send überträgt immer den Unterschied zwischen dem mit -i/I spezifizierten Snapshot (dem Anfangszustand) und dem Zielzustand/Snapshot (egal was dazwischen liegt). Betrachte nun 'kein -i/I angegeben' als 'leerer Anfangszustand' leer und alles wird übertragen.

    Ja. Du hast generell zwei Optionen:
    1) senden als volles Dataset, dann brauchst Du nichts auf dem Ziel,
    2) senden als Incremental (mit -i/I), braucht einen gemeinsamen Ausgangszustand auf beiden Systemen.

    In Deinem Beispiel:
    zfs send -i @snap_2017-10-09_18-00 <src>@snap_2017-10-16_18-00 | ssh -o BatchMode=yes <host> 'zfs recv <dest>'
    schafft alle Änderungen zwischen @snap_2017-10-09_18-00 und @snap_2017-10-16_18-00 auf das Ziel (welches @snap_2017-10-09_18-00 hat und damit diesen Datenstrom aufnehmen kann, ein Incremental ist nur in Verbindung mit dessen Anfangszustand brauchbar).
    Wenn du -I statt -i nimmst um den Anfangszustand zu spezifizieren dann werden auf dem Ziel auch die Snapshots dazwischen angelegt (und die dafür nötigen Informationen, also Daten die dazwischen existierten aber in @snap_2017-10-16_18-00 nicht mehr referenziert sind, mit übertragen).

  9. Re: zfs send

    Autor: jonbae 14.10.17 - 21:50

    Danke @GAK, für die aufschlussreiche Erklärung! Das klingt doch sehr cool, mit dieser Option hat man genug Spielraum. Auch sollte der Transfer im Ideal schneller sein, wenn man z.B. viele kleine Dateien hätte, die dazu kommen. Eine Große Datei wird ja schneller transferiert, als viele Kleine.

Neues Thema Ansicht wechseln


Um zu kommentieren, loggen Sie sich bitte ein oder registrieren Sie sich. Zum Login

Stellenmarkt
  1. Stiegelmeyer GmbH & Co. KG, Herford
  2. Bosch Gruppe, Stuttgart
  3. Bosch Gruppe, Leonberg
  4. ITC Consult GmbH, Wiesbaden

Golem pur
  • Golem.de ohne Werbung nutzen

Anzeige
Hardware-Angebote
  1. 23,99€
  2. 119,90€
  3. 216,50€


Haben wir etwas übersehen?

E-Mail an news@golem.de


Alienware m15 vs Asus ROG Zephyrus M: Gut gekühlt ist halb gewonnen
Alienware m15 vs Asus ROG Zephyrus M
Gut gekühlt ist halb gewonnen

Wer auf LAN-Partys geht, möchte nicht immer einen Tower schleppen. Ein Gaming-Notebook wie das Alienware m15 und das Asus ROG Zephyrus M tut es auch, oder? Golem.de hat beide ähnlich ausgestatteten Notebooks gegeneinander antreten lassen und festgestellt: Die Kühlung macht den Unterschied.
Ein Test von Oliver Nickel

  1. Alienware m17 Dell packt RTX-Grafikeinheit in sein 17-Zoll-Gaming-Notebook
  2. Interview Alienware "Keiner baut dir einen besseren Gaming-PC als du selbst!"
  3. Dell Alienware M15 wird schlanker und läuft 17 Stunden

Elektromobilität: Der Umweltbonus ist gescheitert
Elektromobilität
Der Umweltbonus ist gescheitert

Trotz eines spürbaren Anstiegs zum Jahresbeginn kann man den Umweltbonus als gescheitert bezeichnen. Bislang wurden weniger als 100.000 Elektroautos gefördert. Wenn der Bonus Ende Juni ausläuft, sind noch immer einige Millionen Euro vorhanden. Die Fraktion der Grünen will stattdessen Anreize über die Kfz-Steuer schaffen.
Eine Analyse von Dirk Kunde

  1. Elektromobilität Nikola Motors kündigt E-Lkw ohne Brennstoffzelle an
  2. SPNV Ceské dráhy will akkubetriebene Elektrotriebzüge testen
  3. Volkswagen Electrify America nutzt Tesla-Powerpacks zur Deckung von Spitzen

Tesla: Kleiner Gewinn, ungewisse Zukunft
Tesla
Kleiner Gewinn, ungewisse Zukunft

Tesla erzielt im vierten Quartal 2018 einen kleinen Gewinn. Doch mit Entlassungen, Schuldenberg, Preisanhebungen beim Laden, Wegfall des Empfehlungsprogramms und zunehmendem Wettbewerb durch andere Hersteller sieht die Zukunft des Elektroauto-Herstellers durchwachsen aus.
Eine Analyse von Dirk Kunde

  1. Tesla Model 3 Tesla macht alle Varianten des Model 3 günstiger
  2. Kundenprotest Tesla senkt Supercharger-Preise wieder
  3. Stromladetankstellen Tesla erhöht Supercharger-Preise drastisch

  1. Uploadfilter: EU-Kommission bezeichnet Reformkritiker als "Mob"
    Uploadfilter
    EU-Kommission bezeichnet Reformkritiker als "Mob"

    In der Debatte über die Reform des EU-Urheberrechts verschärft sich der Ton. Während die EU-Kommission Vergleiche mit dem Brexit-Referendum zieht und Unions-Politiker von Fake-Kampagnen sprechen, gehen Tausende Gegner von Uploadfiltern in Köln auf die Straße.

  2. Datenschutz: 18.000 Android-Apps spionieren Nutzer unzulässig aus
    Datenschutz
    18.000 Android-Apps spionieren Nutzer unzulässig aus

    Selbst populäre Apps mit Hunderten Millionen Nutzern verstoßen gegen die Werberichtlinien von Google. Das Unternehmen reagierte monatelang nicht auf die Vorwürfe.

  3. Erneuerbare Energien: Shell übernimmt Heimakku-Hersteller Sonnen
    Erneuerbare Energien
    Shell übernimmt Heimakku-Hersteller Sonnen

    Der Erdölkonzern Shell setzt sein Engagement im Bereich erneuerbare Energien fort. Nun kauft das Unternehmen einen Konkurrenten für Teslas Powerwalls aus dem Allgäu.


  1. 16:51

  2. 13:16

  3. 11:39

  4. 09:02

  5. 19:17

  6. 18:18

  7. 17:45

  8. 16:20