1. Foren
  2. Kommentare
  3. Security
  4. Alle Kommentare zum Artikel
  5. › Mega: Massive Kritik an der…

Deduplizierung

Anzeige
  1. Thema

Neues Thema Ansicht wechseln


  1. Deduplizierung

    Autor snoogie2k 23.01.13 - 16:22

    Ich habe da mal eine Frage zur Deduplizierung:

    Ich stelle mir das so vor, dass da auf einer HW-nahen Ebene die Dateien in Blöcke aufgebrochen werden (sagen wir einfach mal 4KB). Dann wird geschaut, ob dieser Block schon mal identisch irgendwo abgelegt wurde, falls ja speichere ich nur die Referenz zu dem bestehenden Block. Bei einer festen Blocksize ist die maximale Anzahl an verschiedenen Blöcken ja beschränkt, da kann man doch wunderbar deduplizieren oder sehe ich das falsch?


    Viele Grüße,
    Snoogie

    Benutzer wird von Ihnen ignoriert. Anzeigen

  2. Re: Deduplizierung

    Autor Husare 23.01.13 - 16:28

    So sehe ich das auch. Und ich denke mit zunehmender Datenmenge steigt die Effizienz der blockweisen Deduplizierung.

    Benutzer wird von Ihnen ignoriert. Anzeigen

  3. Re: Deduplizierung

    Autor Xstream 23.01.13 - 16:35

    es gibt 2^(8*4096) verschiedene 4k blöcke, das heißt um alle davon ein mal zu speichern braucht man (2^(8*4096))*4096 byte speicher, das ist weit mehr als praktikabel.
    in wirklichkeit wird da eine technik namens konvergente verschlüsselung genutzt.
    gute erklärung dazu wie das funktioniert: nerdland.net/2011/09/build-your-own-bitcasa/

    Benutzer wird von Ihnen ignoriert. Anzeigen

  4. Re: Deduplizierung

    Autor nightfire2xs 23.01.13 - 16:54

    snoogie2k schrieb:
    --------------------------------------------------------------------------------
    > Ich habe da mal eine Frage zur Deduplizierung:
    >
    > Ich stelle mir das so vor, dass da auf einer HW-nahen Ebene die Dateien in
    > Blöcke aufgebrochen werden (sagen wir einfach mal 4KB). Dann wird geschaut,
    > ob dieser Block schon mal identisch irgendwo abgelegt wurde, falls ja
    > speichere ich nur die Referenz zu dem bestehenden Block. Bei einer festen
    > Blocksize ist die maximale Anzahl an verschiedenen Blöcken ja beschränkt,
    > da kann man doch wunderbar deduplizieren oder sehe ich das falsch?
    >
    > Viele Grüße,
    > Snoogie

    Nein, dass sieht du korrekt.
    Jedes Dateisystem muss ohnehin Pointer zu den Blöcken speichern. Bei Dedup wird dann einfach der Pointer "verbogen" und der Block eben nicht x-mal sondern nur 1mal gespeichert. Da dies auf Block- und nicht Datei-Ebene passiert funktioniert dies dann auch bei identischen Blöcken in ansonsten vollkommen unterschiedlichen Dateien.

    NF2XS

    Benutzer wird von Ihnen ignoriert. Anzeigen

  5. Re: Deduplizierung

    Autor Husare 23.01.13 - 17:38

    Der Link funktioniert leider nicht.

    Benutzer wird von Ihnen ignoriert. Anzeigen

  6. Re: Deduplizierung

    Autor MartinStein 23.01.13 - 17:50

    Das Prinzip und Problem mit der Konvergenten Verschlüsselung ist aber, dass gleiche Dateien (fast) gleich verschlüsselt werden. D.h. man kann ggf. herausfinden, wer welche Datei gespeichert hat.

    Deduplizierung funktioniert dann, wenn einige Blöcke viel öfter vorkommen als Andere. Designkriterium guter Verschlüsselung ist aber, dass alle Ciphertexte gleichwahrscheinlich sind. Deduplizierung wird damit schwierig.

    Benutzer wird von Ihnen ignoriert. Anzeigen

  7. Re: Deduplizierung

    Autor Xstream 23.01.13 - 17:52

    google cache:
    > http://webcache.googleusercontent.com/search?q=cache:9rNNeSqus6UJ:nerdland.net/2011/09/build-your-own-bitcasa/&hl=de&lr=lang_en|lang_de&client=firefox-beta&tbo=d&gl=de&tbs=lr:lang_1en|lang_1de&strip=1

    Benutzer wird von Ihnen ignoriert. Anzeigen

  8. Re: Deduplizierung

    Autor Husare 23.01.13 - 18:15

    Danke, daran habe ich gar nicht gedacht und war auch eigentlich zu faul. :D

    Benutzer wird von Ihnen ignoriert. Anzeigen

Neues Thema Ansicht wechseln


Entschuldigung, nur registrierte Benutzer dürfen in diesem Forum schreiben. Klicken Sie hier um sich einzuloggen


Anzeige

Haben wir etwas übersehen?

E-Mail an news@golem.de


iPhone 6 und iPhone 6 Plus im Test: Aus klein mach groß und größer
iPhone 6 und iPhone 6 Plus im Test
Aus klein mach groß und größer
  1. Seek Thermal Wärmebildkamera mit Lightning-Anschluss fürs iPhone
  2. #Bentgate Verbiegt sich das iPhone 6 Plus in der Hosentasche?
  3. Flir One PIN-Ausspähung per Wärmesensor

Lytro: Lichtfeldfotografie bildet die Tiefe der Welt ab
Lytro
Lichtfeldfotografie bildet die Tiefe der Welt ab
  1. Minikamera Ai-Ball Die WLAN-Kamera aus dem Überraschungsei
  2. Photokina 2014 Olympus stellt Open-Source-Kamerakonzept vor
  3. Digitalkamera Nikon zeigt erste Vollformat-DSLR mit Klappdisplay

Zoobotics: Vier- und sechsbeinige Pappkameraden
Zoobotics
Vier- und sechsbeinige Pappkameraden
  1. Roboter Künstlicher Krake schwimmt schneller und effizienter
  2. Robotik Verformbares Gewebe wird zum Aktor
  3. Schnell, aber ungenau Roboter springt im Explosionsschritt

  1. Akamai: Deutschlands Datenrate liegt bei 8,9 MBit/s durchschnittlich
    Akamai
    Deutschlands Datenrate liegt bei 8,9 MBit/s durchschnittlich

    Der CDN-Betreiber Akamai hat wieder die Daten über seine weltweit verteilten Internetplattformen gesammelt. Danach ist in Deutschland die durchschnittliche Verbindungsgeschwindigkeit um 23 Prozent gestiegen. Doch in vielen anderen Ländern war die Steigerung stärker.

  2. Niedriger Schmelzpunkt: 3D-Drucken mit metallischer Tinte
    Niedriger Schmelzpunkt
    3D-Drucken mit metallischer Tinte

    Zwei chinesische Forscher haben ein neuartiges 3D-Druckverfahren entwickelt. Damit lassen sich Objekte mit einer flüssigen Tinte aus Metall aufbauen.

  3. Tiger and Dragon II: Netflix bietet ersten Kinofilm gleichzeitig zur Premiere
    Tiger and Dragon II
    Netflix bietet ersten Kinofilm gleichzeitig zur Premiere

    Netflix hat einen Pakt mit den Imax-Kinos geschlossen: Tiger and Dragon II wird gleichzeitig in diesen Kinos und bei dem Streaming-Dienst anlaufen. Damit soll gezeigt werden, dass ein Kinofilm nicht erst Monate später im Verleih der Videotheken verfügbar sein muss.


  1. 19:30

  2. 18:21

  3. 17:15

  4. 15:31

  5. 15:03

  6. 14:46

  7. 14:38

  8. 14:12