1. Foren
  2. Kommentare
  3. Security
  4. Alle Kommentare zum Artikel
  5. › Mega: Massive Kritik an der…

Deduplizierung

Anzeige
  1. Thema

Neues Thema Ansicht wechseln


  1. Deduplizierung

    Autor: snoogie2k 23.01.13 - 16:22

    Ich habe da mal eine Frage zur Deduplizierung:

    Ich stelle mir das so vor, dass da auf einer HW-nahen Ebene die Dateien in Blöcke aufgebrochen werden (sagen wir einfach mal 4KB). Dann wird geschaut, ob dieser Block schon mal identisch irgendwo abgelegt wurde, falls ja speichere ich nur die Referenz zu dem bestehenden Block. Bei einer festen Blocksize ist die maximale Anzahl an verschiedenen Blöcken ja beschränkt, da kann man doch wunderbar deduplizieren oder sehe ich das falsch?


    Viele Grüße,
    Snoogie

    Benutzer wird von Ihnen ignoriert. Anzeigen

  2. Re: Deduplizierung

    Autor: Husare 23.01.13 - 16:28

    So sehe ich das auch. Und ich denke mit zunehmender Datenmenge steigt die Effizienz der blockweisen Deduplizierung.

    Benutzer wird von Ihnen ignoriert. Anzeigen

  3. Re: Deduplizierung

    Autor: Xstream 23.01.13 - 16:35

    es gibt 2^(8*4096) verschiedene 4k blöcke, das heißt um alle davon ein mal zu speichern braucht man (2^(8*4096))*4096 byte speicher, das ist weit mehr als praktikabel.
    in wirklichkeit wird da eine technik namens konvergente verschlüsselung genutzt.
    gute erklärung dazu wie das funktioniert: nerdland.net/2011/09/build-your-own-bitcasa/

    Benutzer wird von Ihnen ignoriert. Anzeigen

  4. Re: Deduplizierung

    Autor: nightfire2xs 23.01.13 - 16:54

    snoogie2k schrieb:
    --------------------------------------------------------------------------------
    > Ich habe da mal eine Frage zur Deduplizierung:
    >
    > Ich stelle mir das so vor, dass da auf einer HW-nahen Ebene die Dateien in
    > Blöcke aufgebrochen werden (sagen wir einfach mal 4KB). Dann wird geschaut,
    > ob dieser Block schon mal identisch irgendwo abgelegt wurde, falls ja
    > speichere ich nur die Referenz zu dem bestehenden Block. Bei einer festen
    > Blocksize ist die maximale Anzahl an verschiedenen Blöcken ja beschränkt,
    > da kann man doch wunderbar deduplizieren oder sehe ich das falsch?
    >
    > Viele Grüße,
    > Snoogie

    Nein, dass sieht du korrekt.
    Jedes Dateisystem muss ohnehin Pointer zu den Blöcken speichern. Bei Dedup wird dann einfach der Pointer "verbogen" und der Block eben nicht x-mal sondern nur 1mal gespeichert. Da dies auf Block- und nicht Datei-Ebene passiert funktioniert dies dann auch bei identischen Blöcken in ansonsten vollkommen unterschiedlichen Dateien.

    NF2XS

    Benutzer wird von Ihnen ignoriert. Anzeigen

  5. Re: Deduplizierung

    Autor: Husare 23.01.13 - 17:38

    Der Link funktioniert leider nicht.

    Benutzer wird von Ihnen ignoriert. Anzeigen

  6. Re: Deduplizierung

    Autor: MartinStein 23.01.13 - 17:50

    Das Prinzip und Problem mit der Konvergenten Verschlüsselung ist aber, dass gleiche Dateien (fast) gleich verschlüsselt werden. D.h. man kann ggf. herausfinden, wer welche Datei gespeichert hat.

    Deduplizierung funktioniert dann, wenn einige Blöcke viel öfter vorkommen als Andere. Designkriterium guter Verschlüsselung ist aber, dass alle Ciphertexte gleichwahrscheinlich sind. Deduplizierung wird damit schwierig.

    Benutzer wird von Ihnen ignoriert. Anzeigen

  7. Re: Deduplizierung

    Autor: Xstream 23.01.13 - 17:52

    google cache:
    > http://webcache.googleusercontent.com/search?q=cache:9rNNeSqus6UJ:nerdland.net/2011/09/build-your-own-bitcasa/&hl=de&lr=lang_en|lang_de&client=firefox-beta&tbo=d&gl=de&tbs=lr:lang_1en|lang_1de&strip=1

    Benutzer wird von Ihnen ignoriert. Anzeigen

  8. Re: Deduplizierung

    Autor: Husare 23.01.13 - 18:15

    Danke, daran habe ich gar nicht gedacht und war auch eigentlich zu faul. :D

    Benutzer wird von Ihnen ignoriert. Anzeigen

Neues Thema Ansicht wechseln


Entschuldigung, nur registrierte Benutzer dürfen in diesem Forum schreiben. Klicken Sie hier um sich einzuloggen

Sony Xperia Z4 Tablet im Hands on: Gespenstisch leicht
Sony Xperia Z4 Tablet im Hands on
Gespenstisch leicht
  1. Xperia M4 Aqua im Hands on Sonys preisgünstiger Einstieg in die Unterwasserwelt
  2. Xperia E4g Sony bringt LTE-Einsteiger-Smartphone auf den Markt
  3. Smartphones Samsungs Marktanteil schrumpft auch in Europa

Test USB 3.1 mit Stecker Typ C: Die Alleskönner-Schnittstelle
Test USB 3.1 mit Stecker Typ C
Die Alleskönner-Schnittstelle
  1. Mit Stecker Typ C Asrock stattet Intel-Mainboards mit USB-3.1-Karte aus
  2. Datentransfer Forscher schicken 100 GBit/s per Lichtstrahl durch die Luft
  3. USB 3.1 Richtig schnelle Mangelware

Nachruf: Dif-tor heh smusma, Mr. Spock!
Nachruf
Dif-tor heh smusma, Mr. Spock!
  1. Leonard Nimoys Mr. Spock Der außerirdische Nerd
  2. Virtuelle Realität Oculus VR kauft Ingenieure fürs Holodeck

  1. Dual-Boot: Console OS bringt Android-Spiele auf x86-Rechner
    Dual-Boot
    Console OS bringt Android-Spiele auf x86-Rechner

    Hinter Console OS verbirgt sich eine Android-Portierung für x86-Systeme. Das Betriebssystem läuft im Dual-Boot-Betrieb mit Windows und unterstützt Grafikschnittstellen wie OpenGL ES. Die erste öffentliche Entwickler-Version ist jedoch ein wenig veraltet.

  2. Streaming: O2 will trotz Drosselung Watchever anbieten
    Streaming
    O2 will trotz Drosselung Watchever anbieten

    O2 verkauft Watchever zum Vorzugspreis und rechnet den Streamingdienst auch über die Mobilfunkrechnung ab. Doch seit vergangenem Monat drosselt O2. Nutzt ein Kunde drei Monate in Folge mehr als 300 GByte oder 500 GByte, wird auf 2 MBit/s reduziert.

  3. Mozilla-Browser: 64-Bit-Firefox ist bereit für Alpha-Tests
    Mozilla-Browser
    64-Bit-Firefox ist bereit für Alpha-Tests

    Die aktuelle Developer Edition enthält eine 64-Bit-Version von Firefox für Windows. Zudem ermöglicht WebRTC mehrere Streams und nutzt Perfect-Forward-Secrecy. Final soll die Version Mitte Mai erscheinen.


  1. 15:47

  2. 15:42

  3. 13:58

  4. 13:44

  5. 13:22

  6. 13:11

  7. 13:05

  8. 12:02