Abo
  1. Foren
  2. Kommentare
  3. Security
  4. Alle Kommentare zum Artikel
  5. › Mega: Massive Kritik an der…

Deduplizierung

  1. Thema

Neues Thema Ansicht wechseln


  1. Deduplizierung

    Autor: snoogie2k 23.01.13 - 16:22

    Ich habe da mal eine Frage zur Deduplizierung:

    Ich stelle mir das so vor, dass da auf einer HW-nahen Ebene die Dateien in Blöcke aufgebrochen werden (sagen wir einfach mal 4KB). Dann wird geschaut, ob dieser Block schon mal identisch irgendwo abgelegt wurde, falls ja speichere ich nur die Referenz zu dem bestehenden Block. Bei einer festen Blocksize ist die maximale Anzahl an verschiedenen Blöcken ja beschränkt, da kann man doch wunderbar deduplizieren oder sehe ich das falsch?


    Viele Grüße,
    Snoogie

  2. Re: Deduplizierung

    Autor: Husare 23.01.13 - 16:28

    So sehe ich das auch. Und ich denke mit zunehmender Datenmenge steigt die Effizienz der blockweisen Deduplizierung.

  3. Re: Deduplizierung

    Autor: Xstream 23.01.13 - 16:35

    es gibt 2^(8*4096) verschiedene 4k blöcke, das heißt um alle davon ein mal zu speichern braucht man (2^(8*4096))*4096 byte speicher, das ist weit mehr als praktikabel.
    in wirklichkeit wird da eine technik namens konvergente verschlüsselung genutzt.
    gute erklärung dazu wie das funktioniert: nerdland.net/2011/09/build-your-own-bitcasa/

  4. Re: Deduplizierung

    Autor: nightfire2xs 23.01.13 - 16:54

    snoogie2k schrieb:
    --------------------------------------------------------------------------------
    > Ich habe da mal eine Frage zur Deduplizierung:
    >
    > Ich stelle mir das so vor, dass da auf einer HW-nahen Ebene die Dateien in
    > Blöcke aufgebrochen werden (sagen wir einfach mal 4KB). Dann wird geschaut,
    > ob dieser Block schon mal identisch irgendwo abgelegt wurde, falls ja
    > speichere ich nur die Referenz zu dem bestehenden Block. Bei einer festen
    > Blocksize ist die maximale Anzahl an verschiedenen Blöcken ja beschränkt,
    > da kann man doch wunderbar deduplizieren oder sehe ich das falsch?
    >
    > Viele Grüße,
    > Snoogie

    Nein, dass sieht du korrekt.
    Jedes Dateisystem muss ohnehin Pointer zu den Blöcken speichern. Bei Dedup wird dann einfach der Pointer "verbogen" und der Block eben nicht x-mal sondern nur 1mal gespeichert. Da dies auf Block- und nicht Datei-Ebene passiert funktioniert dies dann auch bei identischen Blöcken in ansonsten vollkommen unterschiedlichen Dateien.

    NF2XS

  5. Re: Deduplizierung

    Autor: Husare 23.01.13 - 17:38

    Der Link funktioniert leider nicht.

  6. Re: Deduplizierung

    Autor: MartinStein 23.01.13 - 17:50

    Das Prinzip und Problem mit der Konvergenten Verschlüsselung ist aber, dass gleiche Dateien (fast) gleich verschlüsselt werden. D.h. man kann ggf. herausfinden, wer welche Datei gespeichert hat.

    Deduplizierung funktioniert dann, wenn einige Blöcke viel öfter vorkommen als Andere. Designkriterium guter Verschlüsselung ist aber, dass alle Ciphertexte gleichwahrscheinlich sind. Deduplizierung wird damit schwierig.

  7. Re: Deduplizierung

    Autor: Xstream 23.01.13 - 17:52

    google cache:
    > http://webcache.googleusercontent.com/search?q=cache:9rNNeSqus6UJ:nerdland.net/2011/09/build-your-own-bitcasa/&hl=de&lr=lang_en|lang_de&client=firefox-beta&tbo=d&gl=de&tbs=lr:lang_1en|lang_1de&strip=1

  8. Re: Deduplizierung

    Autor: Husare 23.01.13 - 18:15

    Danke, daran habe ich gar nicht gedacht und war auch eigentlich zu faul. :D

Neues Thema Ansicht wechseln


Um zu kommentieren, loggen Sie sich bitte ein oder registrieren Sie sich. Zum Login

Stellenmarkt
  1. Nash Technologies Stuttgart GmbH, Stuttgart
  2. Landeshauptstadt München, München
  3. Pensions-Sicherungs-Verein VVaG, Köln
  4. Landesbetrieb IT.Niedersachsen, Braunschweig

Golem pur
  • Golem.de ohne Werbung nutzen

Anzeige
Blu-ray-Angebote
  1. 24,99€ (Vorbesteller-Preisgarantie)


Haben wir etwas übersehen?

E-Mail an news@golem.de


Raumfahrt 2017: Wie SpaceX die Branche in Aufruhr versetzt
Raumfahrt 2017
Wie SpaceX die Branche in Aufruhr versetzt
  1. Planetologie Forscher finden große Eisvorkommen auf dem Mars
  2. SpaceX Geheimer Satellit der US-Regierung ist startklar
  3. Raumfahrt Nasa wählt zwei Missionen in unserem Sonnensystem aus

Datenschutz an der Grenze: Wer alles löscht, macht sich verdächtig
Datenschutz an der Grenze
Wer alles löscht, macht sich verdächtig
  1. US-Grenzkontrolle Durchsuchung elektronischer Geräte wird leicht eingeschränkt
  2. Forschungsförderung Medizin-Nobelpreisträger Rosbash kritisiert Trump
  3. Baden Württemberg Streit über "Cyberwehr" im Landtag

Künstliche Intelligenz: Die dummen Computer noch dümmer machen
Künstliche Intelligenz
Die dummen Computer noch dümmer machen
  1. Linksunten.indymedia.org E-Mails, Computer, Briefpost - alles beschlagnahmt
  2. Homebrew-System auf Nintendos Switch Glitch the Switch!
  3. Soziale Medien Social Bots verzweifelt gesucht

  1. Sieben Touchscreens: Nissan Xmotion verwendet Koi als virtuellen Assistenten
    Sieben Touchscreens
    Nissan Xmotion verwendet Koi als virtuellen Assistenten

    Nissan zeigt mit dem Xmotion, wie Autos aussehen könnten, bei denen weitgehend auf manuelle Bedienelemente verzichtet wird. Nicht weniger als sieben Touchscreens stehen Fahrer und Beifahrer zur Verfügung. Ein Koi-Karpfen fungiert als virtueller Assistent.

  2. Intellimouse Classic: Microsofts beliebte Maus kehrt zurück
    Intellimouse Classic
    Microsofts beliebte Maus kehrt zurück

    Microsoft bringt die klassische Intellimouse in einer Neuauflage auf den Markt. Bei der Bauform hat sich der Hersteller an dem Maus-Erfolgsmodell aus den 1990er Jahren orientiert.

  3. Investition verdoppelt: Ford steckt elf Milliarden US-Dollar in Elektroautos
    Investition verdoppelt
    Ford steckt elf Milliarden US-Dollar in Elektroautos

    Ford steckt statt wie ursprünglich geplant 4,5 Milliarden US-Dollar mehr als doppelt so viel in die Forschung und Entwicklung eigener Elektroautos. Das Unternehmen will nun elf Milliarden US-Dollar in Elektroantriebe investieren.


  1. 07:44

  2. 07:29

  3. 07:14

  4. 18:28

  5. 17:50

  6. 16:57

  7. 16:19

  8. 13:04