Abo
  1. Foren
  2. Kommentare
  3. Security
  4. Alle Kommentare zum Artikel
  5. › Mega: Massive Kritik an der…

Deduplizierung

Anzeige
  1. Thema

Neues Thema Ansicht wechseln


  1. Deduplizierung

    Autor: snoogie2k 23.01.13 - 16:22

    Ich habe da mal eine Frage zur Deduplizierung:

    Ich stelle mir das so vor, dass da auf einer HW-nahen Ebene die Dateien in Blöcke aufgebrochen werden (sagen wir einfach mal 4KB). Dann wird geschaut, ob dieser Block schon mal identisch irgendwo abgelegt wurde, falls ja speichere ich nur die Referenz zu dem bestehenden Block. Bei einer festen Blocksize ist die maximale Anzahl an verschiedenen Blöcken ja beschränkt, da kann man doch wunderbar deduplizieren oder sehe ich das falsch?


    Viele Grüße,
    Snoogie

  2. Re: Deduplizierung

    Autor: Husare 23.01.13 - 16:28

    So sehe ich das auch. Und ich denke mit zunehmender Datenmenge steigt die Effizienz der blockweisen Deduplizierung.

  3. Re: Deduplizierung

    Autor: Xstream 23.01.13 - 16:35

    es gibt 2^(8*4096) verschiedene 4k blöcke, das heißt um alle davon ein mal zu speichern braucht man (2^(8*4096))*4096 byte speicher, das ist weit mehr als praktikabel.
    in wirklichkeit wird da eine technik namens konvergente verschlüsselung genutzt.
    gute erklärung dazu wie das funktioniert: nerdland.net/2011/09/build-your-own-bitcasa/

  4. Re: Deduplizierung

    Autor: nightfire2xs 23.01.13 - 16:54

    snoogie2k schrieb:
    --------------------------------------------------------------------------------
    > Ich habe da mal eine Frage zur Deduplizierung:
    >
    > Ich stelle mir das so vor, dass da auf einer HW-nahen Ebene die Dateien in
    > Blöcke aufgebrochen werden (sagen wir einfach mal 4KB). Dann wird geschaut,
    > ob dieser Block schon mal identisch irgendwo abgelegt wurde, falls ja
    > speichere ich nur die Referenz zu dem bestehenden Block. Bei einer festen
    > Blocksize ist die maximale Anzahl an verschiedenen Blöcken ja beschränkt,
    > da kann man doch wunderbar deduplizieren oder sehe ich das falsch?
    >
    > Viele Grüße,
    > Snoogie

    Nein, dass sieht du korrekt.
    Jedes Dateisystem muss ohnehin Pointer zu den Blöcken speichern. Bei Dedup wird dann einfach der Pointer "verbogen" und der Block eben nicht x-mal sondern nur 1mal gespeichert. Da dies auf Block- und nicht Datei-Ebene passiert funktioniert dies dann auch bei identischen Blöcken in ansonsten vollkommen unterschiedlichen Dateien.

    NF2XS

  5. Re: Deduplizierung

    Autor: Husare 23.01.13 - 17:38

    Der Link funktioniert leider nicht.

  6. Re: Deduplizierung

    Autor: MartinStein 23.01.13 - 17:50

    Das Prinzip und Problem mit der Konvergenten Verschlüsselung ist aber, dass gleiche Dateien (fast) gleich verschlüsselt werden. D.h. man kann ggf. herausfinden, wer welche Datei gespeichert hat.

    Deduplizierung funktioniert dann, wenn einige Blöcke viel öfter vorkommen als Andere. Designkriterium guter Verschlüsselung ist aber, dass alle Ciphertexte gleichwahrscheinlich sind. Deduplizierung wird damit schwierig.

  7. Re: Deduplizierung

    Autor: Xstream 23.01.13 - 17:52

    google cache:
    > http://webcache.googleusercontent.com/search?q=cache:9rNNeSqus6UJ:nerdland.net/2011/09/build-your-own-bitcasa/&hl=de&lr=lang_en|lang_de&client=firefox-beta&tbo=d&gl=de&tbs=lr:lang_1en|lang_1de&strip=1

  8. Re: Deduplizierung

    Autor: Husare 23.01.13 - 18:15

    Danke, daran habe ich gar nicht gedacht und war auch eigentlich zu faul. :D

Neues Thema Ansicht wechseln


Um zu kommentieren, loggen Sie sich bitte ein oder registrieren Sie sich. Zum Login

Anzeige
Stellenmarkt
  1. über Robert Half Technology, Hamburg (Home-Office möglich)
  2. BCC Unternehmensberatung GmbH, Eschborn bei Frankfurt am Main
  3. time:matters GmbH, Neu-Isenburg
  4. Laube Automobile GmbH, Weischlitz

Golem pur
  • Golem.de ohne Werbung nutzen

Anzeige
Blu-ray-Angebote
  1. (u. a. Jurassic World, Fast & Furious 7, Die Unfassbaren, Interstellar, Terminator 5)
  2. (u. a. Interstellar 8,99€, Django Unchained 8,99€, Das Leben des Brian 7,99€)
  3. (u. a. Minions 11,97€, Game of Thrones, The Dark Knight Trilogy)


Haben wir etwas übersehen?

E-Mail an news@golem.de


Avegant Glyph aufgesetzt: Echtes Kopfkino
Avegant Glyph aufgesetzt
Echtes Kopfkino

Next Gen Memory: So soll der Speicher der nahen Zukunft aussehen
Next Gen Memory
So soll der Speicher der nahen Zukunft aussehen
  1. Arbeitsspeicher DDR5 nähert sich langsam der Marktreife
  2. SK Hynix HBM2-Stacks mit 4 GByte ab dem dritten Quartal verfügbar
  3. Arbeitsspeicher Crucial liefert erste NVDIMMs mit DDR4 aus

Wiper Blitz 2.0 im Test: Kein spießiges Rasenmähen mehr am Samstag (Teil 2)
Wiper Blitz 2.0 im Test
Kein spießiges Rasenmähen mehr am Samstag (Teil 2)
  1. Softrobotik Oktopus-Roboter wird mit Gas angetrieben
  2. Warenzustellung Schweizer Post testet autonome Lieferroboter
  3. Lockheed Martin Roboter Spider repariert Luftschiffe

  1. Autonomes Fahren: Suchmaschinenkonzern Yandex baut fahrerlosen Bus
    Autonomes Fahren
    Suchmaschinenkonzern Yandex baut fahrerlosen Bus

    Noch ein Suchmaschinenbetreiber, der sich mit autonomem Fahren beschäftigt: Das russische Unternehmen Yandex entwickelt zusammen mit mehreren Partnern einen fahrerlosen Bus. Bei dem Projekt ist auch ein deutscher Konzern dabei.

  2. No Man's Sky: Steam wehrt sich gegen Erstattungen
    No Man's Sky
    Steam wehrt sich gegen Erstattungen

    In Foren machen Berichte die Runde, wonach auch nach vielen Spielstunden eine Rückgabe von No Man's Sky auf Steam möglich sei. Nun macht Valve deutlich, dass die regulären Erstattungsrichtlinien gelten.

  3. Electronic Arts: Battlefield 1 setzt Gold, aber nicht Plus voraus
    Electronic Arts
    Battlefield 1 setzt Gold, aber nicht Plus voraus

    Derzeit startet die offene Beta von Battlefield 1 - mit unterschiedlichen Bedingungen für Nutzer der Playstation 4 und Xbox Live: Nur auf einem der beiden Systeme ist keine kostenpflichtige Mitgliedschaft nötig.


  1. 17:39

  2. 17:19

  3. 15:32

  4. 15:01

  5. 14:57

  6. 14:24

  7. 14:00

  8. 12:59