Deduplizierung

[snoogie2k]

Ich habe da mal eine Frage zur Deduplizierung:

Ich stelle mir das so vor, dass da auf einer HW-nahen Ebene die Dateien in Blöcke aufgebrochen werden (sagen wir einfach mal 4KB). Dann wird geschaut, ob dieser Block schon mal identisch irgendwo abgelegt wurde, falls ja speichere ich nur die Referenz zu dem bestehenden Block. Bei einer festen Blocksize ist die maximale Anzahl an verschiedenen Blöcken ja beschränkt, da kann man doch wunderbar deduplizieren oder sehe ich das falsch?


Viele Grüße,
Snoogie

[Husare]

So sehe ich das auch. Und ich denke mit zunehmender Datenmenge steigt die Effizienz der blockweisen Deduplizierung.

[Xstream]

es gibt 2^(8*4096) verschiedene 4k blöcke, das heißt um alle davon ein mal zu speichern braucht man (2^(8*4096))*4096 byte speicher, das ist weit mehr als praktikabel.
in wirklichkeit wird da eine technik namens konvergente verschlüsselung genutzt.
gute erklärung dazu wie das funktioniert: nerdland.net/2011/09/build-your-own-bitcasa/

[nightfire2xs]

snoogie2k schrieb:
--------------------------------------------------------------------------------
> Ich habe da mal eine Frage zur Deduplizierung:
>
> Ich stelle mir das so vor, dass da auf einer HW-nahen Ebene die Dateien in
> Blöcke aufgebrochen werden (sagen wir einfach mal 4KB). Dann wird geschaut,
> ob dieser Block schon mal identisch irgendwo abgelegt wurde, falls ja
> speichere ich nur die Referenz zu dem bestehenden Block. Bei einer festen
> Blocksize ist die maximale Anzahl an verschiedenen Blöcken ja beschränkt,
> da kann man doch wunderbar deduplizieren oder sehe ich das falsch?
>
> Viele Grüße,
> Snoogie

Nein, dass sieht du korrekt.
Jedes Dateisystem muss ohnehin Pointer zu den Blöcken speichern. Bei Dedup wird dann einfach der Pointer "verbogen" und der Block eben nicht x-mal sondern nur 1mal gespeichert. Da dies auf Block- und nicht Datei-Ebene passiert funktioniert dies dann auch bei identischen Blöcken in ansonsten vollkommen unterschiedlichen Dateien.

NF2XS

[Husare]

Der Link funktioniert leider nicht.

[MartinStein]

Das Prinzip und Problem mit der Konvergenten Verschlüsselung ist aber, dass gleiche Dateien (fast) gleich verschlüsselt werden. D.h. man kann ggf. herausfinden, wer welche Datei gespeichert hat.

Deduplizierung funktioniert dann, wenn einige Blöcke viel öfter vorkommen als Andere. Designkriterium guter Verschlüsselung ist aber, dass alle Ciphertexte gleichwahrscheinlich sind. Deduplizierung wird damit schwierig.

[Xstream]

google cache:
> http://webcache.googleusercontent.com/search?q=cache:9rNNeSqus6UJ:nerdland.net/2011/09/build-your-own-bitcasa/&hl=de&lr=lang_en|lang_de&client=firefox-beta&tbo=d&gl=de&tbs=lr:lang_1en|lang_1de&strip=1

[Husare]

Danke, daran habe ich gar nicht gedacht und war auch eigentlich zu faul. :D