Abo
  1. Foren
  2. Kommentare
  3. Security
  4. Alle Kommentare zum Artikel
  5. › Mega: Massive Kritik an der…

Deduplizierung

Anzeige
  1. Thema

Neues Thema Ansicht wechseln


  1. Deduplizierung

    Autor: snoogie2k 23.01.13 - 16:22

    Ich habe da mal eine Frage zur Deduplizierung:

    Ich stelle mir das so vor, dass da auf einer HW-nahen Ebene die Dateien in Blöcke aufgebrochen werden (sagen wir einfach mal 4KB). Dann wird geschaut, ob dieser Block schon mal identisch irgendwo abgelegt wurde, falls ja speichere ich nur die Referenz zu dem bestehenden Block. Bei einer festen Blocksize ist die maximale Anzahl an verschiedenen Blöcken ja beschränkt, da kann man doch wunderbar deduplizieren oder sehe ich das falsch?


    Viele Grüße,
    Snoogie

  2. Re: Deduplizierung

    Autor: Husare 23.01.13 - 16:28

    So sehe ich das auch. Und ich denke mit zunehmender Datenmenge steigt die Effizienz der blockweisen Deduplizierung.

  3. Re: Deduplizierung

    Autor: Xstream 23.01.13 - 16:35

    es gibt 2^(8*4096) verschiedene 4k blöcke, das heißt um alle davon ein mal zu speichern braucht man (2^(8*4096))*4096 byte speicher, das ist weit mehr als praktikabel.
    in wirklichkeit wird da eine technik namens konvergente verschlüsselung genutzt.
    gute erklärung dazu wie das funktioniert: nerdland.net/2011/09/build-your-own-bitcasa/

  4. Re: Deduplizierung

    Autor: nightfire2xs 23.01.13 - 16:54

    snoogie2k schrieb:
    --------------------------------------------------------------------------------
    > Ich habe da mal eine Frage zur Deduplizierung:
    >
    > Ich stelle mir das so vor, dass da auf einer HW-nahen Ebene die Dateien in
    > Blöcke aufgebrochen werden (sagen wir einfach mal 4KB). Dann wird geschaut,
    > ob dieser Block schon mal identisch irgendwo abgelegt wurde, falls ja
    > speichere ich nur die Referenz zu dem bestehenden Block. Bei einer festen
    > Blocksize ist die maximale Anzahl an verschiedenen Blöcken ja beschränkt,
    > da kann man doch wunderbar deduplizieren oder sehe ich das falsch?
    >
    > Viele Grüße,
    > Snoogie

    Nein, dass sieht du korrekt.
    Jedes Dateisystem muss ohnehin Pointer zu den Blöcken speichern. Bei Dedup wird dann einfach der Pointer "verbogen" und der Block eben nicht x-mal sondern nur 1mal gespeichert. Da dies auf Block- und nicht Datei-Ebene passiert funktioniert dies dann auch bei identischen Blöcken in ansonsten vollkommen unterschiedlichen Dateien.

    NF2XS

  5. Re: Deduplizierung

    Autor: Husare 23.01.13 - 17:38

    Der Link funktioniert leider nicht.

  6. Re: Deduplizierung

    Autor: MartinStein 23.01.13 - 17:50

    Das Prinzip und Problem mit der Konvergenten Verschlüsselung ist aber, dass gleiche Dateien (fast) gleich verschlüsselt werden. D.h. man kann ggf. herausfinden, wer welche Datei gespeichert hat.

    Deduplizierung funktioniert dann, wenn einige Blöcke viel öfter vorkommen als Andere. Designkriterium guter Verschlüsselung ist aber, dass alle Ciphertexte gleichwahrscheinlich sind. Deduplizierung wird damit schwierig.

  7. Re: Deduplizierung

    Autor: Xstream 23.01.13 - 17:52

    google cache:
    > http://webcache.googleusercontent.com/search?q=cache:9rNNeSqus6UJ:nerdland.net/2011/09/build-your-own-bitcasa/&hl=de&lr=lang_en|lang_de&client=firefox-beta&tbo=d&gl=de&tbs=lr:lang_1en|lang_1de&strip=1

  8. Re: Deduplizierung

    Autor: Husare 23.01.13 - 18:15

    Danke, daran habe ich gar nicht gedacht und war auch eigentlich zu faul. :D

Neues Thema Ansicht wechseln


Um zu kommentieren, loggen Sie sich bitte ein oder registrieren Sie sich. Zum Login

Anzeige
Stellenmarkt
  1. Daimler AG, Leinfelden-Echterdingen
  2. Information Design One AG, Frankfurt am Main
  3. DR. JOHANNES HEIDENHAIN GmbH, Traunreut (Raum Rosenheim)
  4. censhare AG, München, Freiburg im Breisgau

Golem pur
  • Golem.de ohne Werbung nutzen

Anzeige
Top-Angebote
  1. 147,89€ (Vergleichspreis ab 219€)
  2. 79,90€


Haben wir etwas übersehen?

E-Mail an news@golem.de


MX Board Silent im Praxistest: Der viel zu teure Feldversuch von Cherry
MX Board Silent im Praxistest
Der viel zu teure Feldversuch von Cherry
  1. Patentantrag Apple denkt über Tastatur mit Siri-, Emoji- und Teilen-Taste nach
  2. Kanex Faltbare Bluetooth-Tastatur für mehrere Geräte gleichzeitig
  3. Surface Ergonomic Keyboard Microsofts Neuauflage der Mantarochen-Tastatur

Der große Ultra-HD-Blu-ray-Test (Teil 2): 4K-Hardware ist nichts für Anfänger
Der große Ultra-HD-Blu-ray-Test (Teil 2)
4K-Hardware ist nichts für Anfänger
  1. Der große Ultra-HD-Blu-ray-Test (Teil 1) 4K-Filme verzeihen keine Fehler
  2. Deutsche Verkaufszahlen Unberechtigter Jubel über die UHD-Blu-ray
  3. 4K Blu-ray Sonys erster UHD-Player kommt im Frühjahr 2017

LineageOS im Test: Das neue Cyanogenmod ist fast das alte Cyanogenmod
LineageOS im Test
Das neue Cyanogenmod ist fast das alte Cyanogenmod
  1. Ex-Cyanogenmod LineageOS startet mit den ersten fünf Smartphones
  2. Smartphone-OS Cyanogenmod ist tot, lang lebe Lineage

  1. Torus: CoreOS gibt weitere Eigenentwicklung auf
    Torus
    CoreOS gibt weitere Eigenentwicklung auf

    Das erst im Sommer begonnene Projekt Torus von Cloud-Spezialist CoreOS wird schon wieder beendet. Der Grund dafür deutet auf eine deutliche stärkere Zuwendung von CoreOS zu Kubernetes und dessen Community hin.

  2. Hololens: Verbesserte AR-Brille soll nicht vor 2019 kommen
    Hololens
    Verbesserte AR-Brille soll nicht vor 2019 kommen

    Doch keine preiswerte Hololens in naher Zukunft: Microsoft will die zweite Version der AR-Brille zugunsten eines späteren und verbesserten Modells streichen. Dieses wird aber wohl erst in ein paar Jahren kommen.

  3. Halo Wars 2 im Test: Echtzeit-Strategie für Supersoldaten
    Halo Wars 2 im Test
    Echtzeit-Strategie für Supersoldaten

    Die Welt aus Halo trifft auf epische Echtzeit-Strategie im Stil von Command & Conquer: Halo Wars 2 bietet auf Xbox One und Windows-PC tolle Unterhaltung - und einen neuen Modus, dem sogar Gegner von Sammelkarten eine Chance geben sollten.


  1. 16:27

  2. 15:23

  3. 14:00

  4. 13:12

  5. 12:07

  6. 12:06

  7. 11:59

  8. 11:40