1. Foren
  2. Kommentare
  3. OpenSource
  4. Alle Kommentare zum Artikel
  5. › ZFS ausprobiert: Ein Dateisystem…

zfs send

Expertentalk zu DDR5-Arbeitsspeicher am 7.7.2020 Am 7. Juli 2020 von 15:30 bis 17:00 Uhr wird Hardware-Redakteur Marc Sauter eure Fragen zu DDR5 beantworten.
  1. Thema

Neues Thema Ansicht wechseln


  1. zfs send

    Autor: jonbae 11.10.17 - 17:17

    Macht zfs send wirklich Sinn? Manche raten davon ab, da unter Umständen mehrere TB als zusammenhängende Datei übers Netz transferiert werden müssen. Das wäre bei rsync nicht der Fall.

    Auch würde mich interessieren ob alte Snapshots bestehen bleiben müssen, damit die neuen, die gesendet werden sollen, die richtige Größe haben. Wäre ziemlich unpraktikabel. Habt ihr da Erfahrungen?

  2. Re: zfs send

    Autor: satriani 11.10.17 - 22:11

    Wozu rsync wenn es zfs send -i gibt?

    ╔═══════════════════════════════════════════╗
      Was hat FreeBSD mit einem massiven Sonnensturm gemeinsam?
      Das Aus für Hacker !
    ╚═══════════════════════════════════════════╝

  3. Re: zfs send

    Autor: GAK 12.10.17 - 00:38

    jonbae schrieb:
    --------------------------------------------------------------------------------
    > Macht zfs send wirklich Sinn? Manche raten davon ab, da unter Umständen
    > mehrere TB als zusammenhängende Datei übers Netz transferiert werden
    > müssen. Das wäre bei rsync nicht der Fall.
    Die geänderten Daten müssen übertragen werden, da kommt man nicht drum herum.

    Die aktuelle Versionen von ZFS on Linux kann auch abgebrochene send operationen fortsetzen (falls das Netzwerk mal wegbricht).

    Ansonsten mal nach 'relentlesspipe' suchen, das löst das Problem indem es den Datenstrom intern in files zerlegt, die puffert und mittels rsync auf das andere System schiebt (und dort wieder einen pipe-fähigen Datenstrom draus macht).

    Jedenfalls ist zfs send -i dem klassischen rsync deutlich überlegen wenn es um große Dateisysteme (oder sowas wie Datenbankfiles) mit vergleichsweise geringen Änderungen geht, denn es muss die geänderten Daten nicht extra suchen.

    Vom Vorteil die Snapshots direkt als TimeMachine nutzen zu können (sowohl an der Quelle als auch auf dem Ziel) mal ganz abgesehen.

  4. Re: zfs send

    Autor: jonbae 12.10.17 - 00:44

    Danke für die ausführliche Erklärung. Das heißt allerdings, dass ich immer mindestens einen gleichen Snapshot auf beiden Seiten haben muss. Und vor dem zfs send muss ein neuer Snapshot erstellt werden.

    Was ist aber wenn ich tagsüber alle Stunde einen Snapshot mache, aber nur einmal die Woche ein zfs send machen will. Vorher alle Snapshots löschen, außer den Neusten und den vor einer Woche?

  5. Re: zfs send

    Autor: Cöcönut 12.10.17 - 10:09

    Du kannst beliebige Snapshots senden, nicht nur den neusten.
    Das ist etwa so als würdest du eine Datei in einem bestimmten Verzeichnis über scp/rsync verschicken. Da kannst du auch auswählen was du schicken willst und musst nicht die letzte Datei senden. Ganz unkompliziert.

  6. Re: zfs send

    Autor: jonbae 12.10.17 - 11:48

    Vielleicht denke ich da wirklich zu kompliziert. Wenn ich jetzt auf dem NAS folgende Sanpshots habe:

    snap_2017-10-09_09-00
    snap_2017-10-09_13-00
    snap_2017-10-09_18-00
    [...]
    snap_2017-10-16_09-00
    snap_2017-10-16_13-00
    snap_2017-10-16_18-00

    Und auf dem Backup liegt nur der Zustand von "snap_2017-10-09_18-00".

    Könnte ich dann vom NAS "snap_2017-10-16_18-00" senden, ohne die dazwischen? Im letzten Snapshot vom NAS ist doch nur der Unterschied drin zum vorherigen, von dem aber der Backupserver nichts weiß.

    Muss das mal ein bisschen Testen.

  7. Re: zfs send

    Autor: elcaron 13.10.17 - 16:59

    Also ich benutze btrfs send (ist ja quasi das Gleiche) um jede Nacht ein Offsitebackup zu machen. Die Datenbasis sind ungefähr 1TB, hunderttausende Dateien. Dazukommende Daten sind größenmäßig vor allem Fotos und (4k) Videos vom Handy.
    Heute Nacht hat der gesamte Vorgang 12 Minuten gedauert.
    Auf der Empfängerseite behalte ich alle Snapshots, auf der Senderseite die letzten 10.

  8. Re: zfs send

    Autor: GAK 14.10.17 - 11:47

    jonbae schrieb:
    --------------------------------------------------------------------------------
    > Vielleicht denke ich da wirklich zu kompliziert. Wenn ich jetzt auf dem NAS
    > folgende Sanpshots habe:
    >
    > snap_2017-10-09_09-00
    > snap_2017-10-09_13-00
    > snap_2017-10-09_18-00
    > [...]
    > snap_2017-10-16_09-00
    > snap_2017-10-16_13-00
    > snap_2017-10-16_18-00
    >
    > Und auf dem Backup liegt nur der Zustand von "snap_2017-10-09_18-00".
    >
    > Könnte ich dann vom NAS "snap_2017-10-16_18-00" senden, ohne die
    > dazwischen?
    Ja.

    > Im letzten Snapshot vom NAS ist doch nur der Unterschied drin
    > zum vorherigen, von dem aber der Backupserver nichts weiß.

    Ein zfs send überträgt immer den Unterschied zwischen dem mit -i/I spezifizierten Snapshot (dem Anfangszustand) und dem Zielzustand/Snapshot (egal was dazwischen liegt). Betrachte nun 'kein -i/I angegeben' als 'leerer Anfangszustand' leer und alles wird übertragen.

    Ja. Du hast generell zwei Optionen:
    1) senden als volles Dataset, dann brauchst Du nichts auf dem Ziel,
    2) senden als Incremental (mit -i/I), braucht einen gemeinsamen Ausgangszustand auf beiden Systemen.

    In Deinem Beispiel:
    zfs send -i @snap_2017-10-09_18-00 <src>@snap_2017-10-16_18-00 | ssh -o BatchMode=yes <host> 'zfs recv <dest>'
    schafft alle Änderungen zwischen @snap_2017-10-09_18-00 und @snap_2017-10-16_18-00 auf das Ziel (welches @snap_2017-10-09_18-00 hat und damit diesen Datenstrom aufnehmen kann, ein Incremental ist nur in Verbindung mit dessen Anfangszustand brauchbar).
    Wenn du -I statt -i nimmst um den Anfangszustand zu spezifizieren dann werden auf dem Ziel auch die Snapshots dazwischen angelegt (und die dafür nötigen Informationen, also Daten die dazwischen existierten aber in @snap_2017-10-16_18-00 nicht mehr referenziert sind, mit übertragen).

  9. Re: zfs send

    Autor: jonbae 14.10.17 - 21:50

    Danke @GAK, für die aufschlussreiche Erklärung! Das klingt doch sehr cool, mit dieser Option hat man genug Spielraum. Auch sollte der Transfer im Ideal schneller sein, wenn man z.B. viele kleine Dateien hätte, die dazu kommen. Eine Große Datei wird ja schneller transferiert, als viele Kleine.

  1. Thema

Neues Thema Ansicht wechseln


Um zu kommentieren, loggen Sie sich bitte ein oder registrieren Sie sich. Sie müssen ausserdem in Ihrem Account-Profil unter Forum einen Nutzernamen vergeben haben. Zum Login

Stellenmarkt
  1. Hornbach-Baumarkt-AG, Bornheim bei Landau / Pfalz
  2. SCHUFA Holding AG, Wiesbaden
  3. Allianz Deutschland AG, Stuttgart
  4. über duerenhoff GmbH, Wertheim

Golem pur
  • Golem.de ohne Werbung nutzen

Anzeige
Top-Angebote
  1. 429,57€ (Bestpreis!)
  2. (heutige Tagesangebote: u. a. Huawei MateBook D 13 + Huawei Freebuds 3 für 876,34€, Xiaomi Mi...
  3. (u. a. VU+ Zero 4K, Kabel-/Terr.-Receiver für 134,90€, Hasbro Nerf Laser Ops DeltaBurst für 19...


Haben wir etwas übersehen?

E-Mail an news@golem.de


Mehrwertsteuersenkung: Worauf Firmen sich einstellen müssen
Mehrwertsteuersenkung
Worauf Firmen sich einstellen müssen

Wegen der Mehrwertsteuersenkung müssen viele Unternehmen in kürzester Zeit ihre Software umstellen. Alle möglichen Sonderfälle müssen berücksichtigt werden, der Aufwand ist enorm.
Von Boris Mayer

  1. Raumfahrt Vega-Raketenstart während Corona-Ausbruchs verschoben
  2. Corona Google und Microsoft starten Weiterbildungsprogramme
  3. Kontaktverfolgung Datenschützer kritisieren offene Gästelisten

Außerirdische Intelligenz: Warum haben wir noch keine Aliens gefunden?
Außerirdische Intelligenz
Warum haben wir noch keine Aliens gefunden?

Seit Jahrzehnten gucken wir mit Teleskopen tief ins All. Außerirdische haben wir zwar bisher nicht entdeckt, das ist aber kein Grund, an ihrer Existenz zu zweifeln.
Von Miroslav Stimac


    Laravel/Telescope: Die Sicherheitslücke bei einer Bank, die es nicht gibt
    Laravel/Telescope
    Die Sicherheitslücke bei einer Bank, die es nicht gibt

    Ein Leser hat uns auf eine Sicherheitslücke auf der Webseite einer Onlinebank hingewiesen. Die Lücke war echt und betrifft auch andere Seiten - die Bank jedoch scheint es nie gegeben zu haben.
    Ein Bericht von Hanno Böck

    1. IT-Sicherheitsgesetz Regierung streicht Passagen zu Darknet und Passwörtern
    2. Callcenter Sicherheitsexperte hackt Microsoft-Betrüger
    3. Sicherheit "E-Mail ist das Fax von morgen"