Abo
  1. Foren
  2. Kommentare
  3. OpenSource
  4. Alle Kommentare zum Artikel
  5. › ZFS ausprobiert: Ein Dateisystem…

zfs send

  1. Thema

Neues Thema Ansicht wechseln


  1. zfs send

    Autor: jonbae 11.10.17 - 17:17

    Macht zfs send wirklich Sinn? Manche raten davon ab, da unter Umständen mehrere TB als zusammenhängende Datei übers Netz transferiert werden müssen. Das wäre bei rsync nicht der Fall.

    Auch würde mich interessieren ob alte Snapshots bestehen bleiben müssen, damit die neuen, die gesendet werden sollen, die richtige Größe haben. Wäre ziemlich unpraktikabel. Habt ihr da Erfahrungen?

  2. Re: zfs send

    Autor: satriani 11.10.17 - 22:11

    Wozu rsync wenn es zfs send -i gibt?

    ╔═══════════════════════════════════════════╗
      Was hat FreeBSD mit einem massiven Sonnensturm gemeinsam?
      Das Aus für Hacker !
    ╚═══════════════════════════════════════════╝

  3. Re: zfs send

    Autor: GAK 12.10.17 - 00:38

    jonbae schrieb:
    --------------------------------------------------------------------------------
    > Macht zfs send wirklich Sinn? Manche raten davon ab, da unter Umständen
    > mehrere TB als zusammenhängende Datei übers Netz transferiert werden
    > müssen. Das wäre bei rsync nicht der Fall.
    Die geänderten Daten müssen übertragen werden, da kommt man nicht drum herum.

    Die aktuelle Versionen von ZFS on Linux kann auch abgebrochene send operationen fortsetzen (falls das Netzwerk mal wegbricht).

    Ansonsten mal nach 'relentlesspipe' suchen, das löst das Problem indem es den Datenstrom intern in files zerlegt, die puffert und mittels rsync auf das andere System schiebt (und dort wieder einen pipe-fähigen Datenstrom draus macht).

    Jedenfalls ist zfs send -i dem klassischen rsync deutlich überlegen wenn es um große Dateisysteme (oder sowas wie Datenbankfiles) mit vergleichsweise geringen Änderungen geht, denn es muss die geänderten Daten nicht extra suchen.

    Vom Vorteil die Snapshots direkt als TimeMachine nutzen zu können (sowohl an der Quelle als auch auf dem Ziel) mal ganz abgesehen.

  4. Re: zfs send

    Autor: jonbae 12.10.17 - 00:44

    Danke für die ausführliche Erklärung. Das heißt allerdings, dass ich immer mindestens einen gleichen Snapshot auf beiden Seiten haben muss. Und vor dem zfs send muss ein neuer Snapshot erstellt werden.

    Was ist aber wenn ich tagsüber alle Stunde einen Snapshot mache, aber nur einmal die Woche ein zfs send machen will. Vorher alle Snapshots löschen, außer den Neusten und den vor einer Woche?

  5. Re: zfs send

    Autor: Cöcönut 12.10.17 - 10:09

    Du kannst beliebige Snapshots senden, nicht nur den neusten.
    Das ist etwa so als würdest du eine Datei in einem bestimmten Verzeichnis über scp/rsync verschicken. Da kannst du auch auswählen was du schicken willst und musst nicht die letzte Datei senden. Ganz unkompliziert.

  6. Re: zfs send

    Autor: jonbae 12.10.17 - 11:48

    Vielleicht denke ich da wirklich zu kompliziert. Wenn ich jetzt auf dem NAS folgende Sanpshots habe:

    snap_2017-10-09_09-00
    snap_2017-10-09_13-00
    snap_2017-10-09_18-00
    [...]
    snap_2017-10-16_09-00
    snap_2017-10-16_13-00
    snap_2017-10-16_18-00

    Und auf dem Backup liegt nur der Zustand von "snap_2017-10-09_18-00".

    Könnte ich dann vom NAS "snap_2017-10-16_18-00" senden, ohne die dazwischen? Im letzten Snapshot vom NAS ist doch nur der Unterschied drin zum vorherigen, von dem aber der Backupserver nichts weiß.

    Muss das mal ein bisschen Testen.

  7. Re: zfs send

    Autor: elcaron 13.10.17 - 16:59

    Also ich benutze btrfs send (ist ja quasi das Gleiche) um jede Nacht ein Offsitebackup zu machen. Die Datenbasis sind ungefähr 1TB, hunderttausende Dateien. Dazukommende Daten sind größenmäßig vor allem Fotos und (4k) Videos vom Handy.
    Heute Nacht hat der gesamte Vorgang 12 Minuten gedauert.
    Auf der Empfängerseite behalte ich alle Snapshots, auf der Senderseite die letzten 10.

  8. Re: zfs send

    Autor: GAK 14.10.17 - 11:47

    jonbae schrieb:
    --------------------------------------------------------------------------------
    > Vielleicht denke ich da wirklich zu kompliziert. Wenn ich jetzt auf dem NAS
    > folgende Sanpshots habe:
    >
    > snap_2017-10-09_09-00
    > snap_2017-10-09_13-00
    > snap_2017-10-09_18-00
    > [...]
    > snap_2017-10-16_09-00
    > snap_2017-10-16_13-00
    > snap_2017-10-16_18-00
    >
    > Und auf dem Backup liegt nur der Zustand von "snap_2017-10-09_18-00".
    >
    > Könnte ich dann vom NAS "snap_2017-10-16_18-00" senden, ohne die
    > dazwischen?
    Ja.

    > Im letzten Snapshot vom NAS ist doch nur der Unterschied drin
    > zum vorherigen, von dem aber der Backupserver nichts weiß.

    Ein zfs send überträgt immer den Unterschied zwischen dem mit -i/I spezifizierten Snapshot (dem Anfangszustand) und dem Zielzustand/Snapshot (egal was dazwischen liegt). Betrachte nun 'kein -i/I angegeben' als 'leerer Anfangszustand' leer und alles wird übertragen.

    Ja. Du hast generell zwei Optionen:
    1) senden als volles Dataset, dann brauchst Du nichts auf dem Ziel,
    2) senden als Incremental (mit -i/I), braucht einen gemeinsamen Ausgangszustand auf beiden Systemen.

    In Deinem Beispiel:
    zfs send -i @snap_2017-10-09_18-00 <src>@snap_2017-10-16_18-00 | ssh -o BatchMode=yes <host> 'zfs recv <dest>'
    schafft alle Änderungen zwischen @snap_2017-10-09_18-00 und @snap_2017-10-16_18-00 auf das Ziel (welches @snap_2017-10-09_18-00 hat und damit diesen Datenstrom aufnehmen kann, ein Incremental ist nur in Verbindung mit dessen Anfangszustand brauchbar).
    Wenn du -I statt -i nimmst um den Anfangszustand zu spezifizieren dann werden auf dem Ziel auch die Snapshots dazwischen angelegt (und die dafür nötigen Informationen, also Daten die dazwischen existierten aber in @snap_2017-10-16_18-00 nicht mehr referenziert sind, mit übertragen).

  9. Re: zfs send

    Autor: jonbae 14.10.17 - 21:50

    Danke @GAK, für die aufschlussreiche Erklärung! Das klingt doch sehr cool, mit dieser Option hat man genug Spielraum. Auch sollte der Transfer im Ideal schneller sein, wenn man z.B. viele kleine Dateien hätte, die dazu kommen. Eine Große Datei wird ja schneller transferiert, als viele Kleine.

Neues Thema Ansicht wechseln


Um zu kommentieren, loggen Sie sich bitte ein oder registrieren Sie sich. Zum Login

Stellenmarkt
  1. Art-Invest Real Estate Management GmbH & Co KG, Köln
  2. Encory GmbH, Unterschleissheim
  3. Fraunhofer-Institut für Optronik, Systemtechnik und Bildauswertung IOSB, Karlsruhe, Ettlingen
  4. Fleischprüfring Bayern e.V., Vierkirchen

Golem pur
  • Golem.de ohne Werbung nutzen

Anzeige
Spiele-Angebote
  1. (-80%) 5,50€
  2. 3,99€ statt 19,99€
  3. 0,49€
  4. (-81%) 0,75€


Haben wir etwas übersehen?

E-Mail an news@golem.de


Mobile-Games-Auslese: Games-Kunstwerke für die Hosentasche
Mobile-Games-Auslese
Games-Kunstwerke für die Hosentasche

Cultist Simulator, Photographs, Dungeon Warfare 2 und mehr: Diesen Monat lockt eine besonders hochkarätige Auswahl an kniffligen, gruseligen und komplexen Games an die mobilen Spielgeräte.
Von Rainer Sigl

  1. Spielebranche Auch buntes Spieleblut ist in China künftig verboten
  2. Remake Agent XIII kämpft wieder um seine Identität
  3. Workers & Resources im Test Vorwärts immer, rückwärts nimmer

Das andere How-to: Deutsch lernen für Programmierer
Das andere How-to
Deutsch lernen für Programmierer

Programmierer schlagen sich ständig mit der Syntax und Semantik von Programmiersprachen herum. Der US-Amerikaner Mike Stipicevic hat aus der Not eine Tugend gemacht und nutzt sein Wissen über obskure Grammatiken, um Deutsch zu lernen.
Von Mike Stipicevic

  1. Programmiersprachen, Pakete, IDEs So steigen Entwickler in Machine Learning ein
  2. Software-Entwickler Welche Programmiersprache soll ich lernen?

Bethesda: Ich habe TES Blades für 5,50 Euro durchgespielt
Bethesda
Ich habe TES Blades für 5,50 Euro durchgespielt

Rund sechs Wochen lang hatte ich täglich viele spaßige und auch einige frustrierende Erlebnisse in Tamriel: Mittlerweile habe ich den Hexenkönig in TES Blades besiegt - ohne dafür teuer bezahlen zu müssen.
Ein Bericht von Marc Sauter

  1. Bethesda TES Blades ist für alle verfügbar
  2. TES Blades im Test Tolles Tamriel trollt
  3. Bethesda TES Blades startet in den Early Access

  1. Customer First: SAP-Anwender sind in der Landschaft gefangen
    Customer First
    SAP-Anwender sind in der Landschaft gefangen

    SAP-Kunden sind treu, weil sie die eingeführte SAP-Landschaft nicht so einfach ablösen können. Doch sie bleiben auch deswegen, weil die Geschäftsprozesse gut unterstützt werden.

  2. Konsolenleak: Microsoft stellt angeblich nur Specs der nächsten Xbox vor
    Konsolenleak
    Microsoft stellt angeblich nur Specs der nächsten Xbox vor

    Die Veröffentlichungstermine von Spielen wie Cyberpunk 2077 und Gears 5, dazu die wichtigsten Spezifikationen der nächsten Xbox möchte Microsoft laut einem Leak während der Pressekonferenz auf der E3 vorstellen. Gerüchte gibt es auch über die Streamingpläne von Nintendo.

  3. FCC: Regulierer für Übernahme von Sprint durch T-Mobile US
    FCC
    Regulierer für Übernahme von Sprint durch T-Mobile US

    Nach offenbar weitgehenden Zugeständnissen beim Netzausbau auf dem Land und bei 5G hat der Regulierer in den USA dem Kauf von Sprint zugestimmt. Für die Telekom steigen damit die Kosten.


  1. 18:21

  2. 18:06

  3. 16:27

  4. 16:14

  5. 15:59

  6. 15:15

  7. 15:00

  8. 14:38