Abo
  1. Foren
  2. Kommentare
  3. Security
  4. Alle Kommentare zum Artikel
  5. › Mega: Massive Kritik an der…

Deduplizierung

Anzeige
  1. Thema

Neues Thema Ansicht wechseln


  1. Deduplizierung

    Autor: snoogie2k 23.01.13 - 16:22

    Ich habe da mal eine Frage zur Deduplizierung:

    Ich stelle mir das so vor, dass da auf einer HW-nahen Ebene die Dateien in Blöcke aufgebrochen werden (sagen wir einfach mal 4KB). Dann wird geschaut, ob dieser Block schon mal identisch irgendwo abgelegt wurde, falls ja speichere ich nur die Referenz zu dem bestehenden Block. Bei einer festen Blocksize ist die maximale Anzahl an verschiedenen Blöcken ja beschränkt, da kann man doch wunderbar deduplizieren oder sehe ich das falsch?


    Viele Grüße,
    Snoogie

  2. Re: Deduplizierung

    Autor: Husare 23.01.13 - 16:28

    So sehe ich das auch. Und ich denke mit zunehmender Datenmenge steigt die Effizienz der blockweisen Deduplizierung.

  3. Re: Deduplizierung

    Autor: Xstream 23.01.13 - 16:35

    es gibt 2^(8*4096) verschiedene 4k blöcke, das heißt um alle davon ein mal zu speichern braucht man (2^(8*4096))*4096 byte speicher, das ist weit mehr als praktikabel.
    in wirklichkeit wird da eine technik namens konvergente verschlüsselung genutzt.
    gute erklärung dazu wie das funktioniert: nerdland.net/2011/09/build-your-own-bitcasa/

  4. Re: Deduplizierung

    Autor: nightfire2xs 23.01.13 - 16:54

    snoogie2k schrieb:
    --------------------------------------------------------------------------------
    > Ich habe da mal eine Frage zur Deduplizierung:
    >
    > Ich stelle mir das so vor, dass da auf einer HW-nahen Ebene die Dateien in
    > Blöcke aufgebrochen werden (sagen wir einfach mal 4KB). Dann wird geschaut,
    > ob dieser Block schon mal identisch irgendwo abgelegt wurde, falls ja
    > speichere ich nur die Referenz zu dem bestehenden Block. Bei einer festen
    > Blocksize ist die maximale Anzahl an verschiedenen Blöcken ja beschränkt,
    > da kann man doch wunderbar deduplizieren oder sehe ich das falsch?
    >
    > Viele Grüße,
    > Snoogie

    Nein, dass sieht du korrekt.
    Jedes Dateisystem muss ohnehin Pointer zu den Blöcken speichern. Bei Dedup wird dann einfach der Pointer "verbogen" und der Block eben nicht x-mal sondern nur 1mal gespeichert. Da dies auf Block- und nicht Datei-Ebene passiert funktioniert dies dann auch bei identischen Blöcken in ansonsten vollkommen unterschiedlichen Dateien.

    NF2XS

  5. Re: Deduplizierung

    Autor: Husare 23.01.13 - 17:38

    Der Link funktioniert leider nicht.

  6. Re: Deduplizierung

    Autor: MartinStein 23.01.13 - 17:50

    Das Prinzip und Problem mit der Konvergenten Verschlüsselung ist aber, dass gleiche Dateien (fast) gleich verschlüsselt werden. D.h. man kann ggf. herausfinden, wer welche Datei gespeichert hat.

    Deduplizierung funktioniert dann, wenn einige Blöcke viel öfter vorkommen als Andere. Designkriterium guter Verschlüsselung ist aber, dass alle Ciphertexte gleichwahrscheinlich sind. Deduplizierung wird damit schwierig.

  7. Re: Deduplizierung

    Autor: Xstream 23.01.13 - 17:52

    google cache:
    > http://webcache.googleusercontent.com/search?q=cache:9rNNeSqus6UJ:nerdland.net/2011/09/build-your-own-bitcasa/&hl=de&lr=lang_en|lang_de&client=firefox-beta&tbo=d&gl=de&tbs=lr:lang_1en|lang_1de&strip=1

  8. Re: Deduplizierung

    Autor: Husare 23.01.13 - 18:15

    Danke, daran habe ich gar nicht gedacht und war auch eigentlich zu faul. :D

Neues Thema Ansicht wechseln


Um zu kommentieren, loggen Sie sich bitte ein oder registrieren Sie sich. Zum Login

Anzeige
Stellenmarkt
  1. AOK Rheinland/Hamburg - Die Gesundheitskasse, Köln
  2. PENTASYS AG, München, Frankfurt am Main, Nürnberg, Stuttgart, Hamburg
  3. SOFLEX Fertigungssteuerungs-GmbH über SLP Personalberatung GmbH, Rottenburg
  4. enercity, Hannover

Golem pur
  • Golem.de ohne Werbung nutzen

Anzeige
Hardware-Angebote
  1. (täglich neue Deals)
  2. (reduzierte Überstände, Restposten & Co.)
  3. bei Caseking


Haben wir etwas übersehen?

E-Mail an news@golem.de


Intel Core i7-7700K im Test: Kaby Lake = Skylake + HEVC + Overclocking
Intel Core i7-7700K im Test
Kaby Lake = Skylake + HEVC + Overclocking
  1. Kaby Lake Intel macht den Pentium dank HT fast zum Core i3
  2. Kaby Lake Refresh Intel plant weitere 14-nm-CPU-Generation
  3. Intel Kaby Lake Vor der Vorstellung schon im Handel

GPD Win im Test: Crysis in der Hosentasche
GPD Win im Test
Crysis in der Hosentasche
  1. Essential Android-Erfinder Rubin will neues Smartphone entwickeln
  2. Google Maps Google integriert Uber in Karten-App
  3. Tastaturhülle Canopy hält Magic Keyboard und iPad zum Arbeiten zusammen

Wonder Workshop Dash im Test: Ein Roboter riskiert eine kesse Lippe
Wonder Workshop Dash im Test
Ein Roboter riskiert eine kesse Lippe
  1. Supermarkt-Automatisierung Einkaufskorb rechnet ab und packt ein
  2. Robot Operating System Was Bratwurst-Bot und autonome Autos gemeinsam haben
  3. Roboterarm Dobot M1 - der Industrieroboter für daheim

  1. taz: Strafbefehl in der Keylogger-Affäre
    taz
    Strafbefehl in der Keylogger-Affäre

    Die Aufarbeitung der Keylogger-Affäre in der taz schreitet voran. Gegen einen ehemaligen Mitarbeiter wurde ein Strafbefehl zur Zahlung von 6.400 Euro verhängt. Der Verhandlung blieb der Mann allerdings fern.

  2. Respawn Entertainment: Live Fire soll in Titanfall 2 zünden
    Respawn Entertainment
    Live Fire soll in Titanfall 2 zünden

    Für Titanfall 2 sind keine zahlungspflichtigen Erweiterungen geplant. Jetzt stellt Entwickler Respawn Entertainment ein größeres kostenloses Addon vor. Es enthält neben neuen Karten unter anderem den Multiplayermodus Live Fire.

  3. Bootcode: Freie Firmware für Raspberry Pi startet Linux-Kernel
    Bootcode
    Freie Firmware für Raspberry Pi startet Linux-Kernel

    Die freie Bootcode-Firmware für den Raspberry Pi kann erstmals dazu genutzt werden, den Linux-Kernel direkt zu starten. Von dieser Alternative zu der proprietären Firmware von Broadcom könnten künftig auch der freie Grafiktreiber und andere Kernel-Module profitieren.


  1. 18:02

  2. 17:38

  3. 17:13

  4. 14:17

  5. 13:21

  6. 12:30

  7. 12:08

  8. 12:01