Abo
  1. Foren
  2. Kommentare
  3. Security
  4. Alle Kommentare zum Artikel
  5. › Mega: Massive Kritik an der…

Deduplizierung

Anzeige
  1. Thema

Neues Thema Ansicht wechseln


  1. Deduplizierung

    Autor: snoogie2k 23.01.13 - 16:22

    Ich habe da mal eine Frage zur Deduplizierung:

    Ich stelle mir das so vor, dass da auf einer HW-nahen Ebene die Dateien in Blöcke aufgebrochen werden (sagen wir einfach mal 4KB). Dann wird geschaut, ob dieser Block schon mal identisch irgendwo abgelegt wurde, falls ja speichere ich nur die Referenz zu dem bestehenden Block. Bei einer festen Blocksize ist die maximale Anzahl an verschiedenen Blöcken ja beschränkt, da kann man doch wunderbar deduplizieren oder sehe ich das falsch?


    Viele Grüße,
    Snoogie

  2. Re: Deduplizierung

    Autor: Husare 23.01.13 - 16:28

    So sehe ich das auch. Und ich denke mit zunehmender Datenmenge steigt die Effizienz der blockweisen Deduplizierung.

  3. Re: Deduplizierung

    Autor: Xstream 23.01.13 - 16:35

    es gibt 2^(8*4096) verschiedene 4k blöcke, das heißt um alle davon ein mal zu speichern braucht man (2^(8*4096))*4096 byte speicher, das ist weit mehr als praktikabel.
    in wirklichkeit wird da eine technik namens konvergente verschlüsselung genutzt.
    gute erklärung dazu wie das funktioniert: nerdland.net/2011/09/build-your-own-bitcasa/

  4. Re: Deduplizierung

    Autor: nightfire2xs 23.01.13 - 16:54

    snoogie2k schrieb:
    --------------------------------------------------------------------------------
    > Ich habe da mal eine Frage zur Deduplizierung:
    >
    > Ich stelle mir das so vor, dass da auf einer HW-nahen Ebene die Dateien in
    > Blöcke aufgebrochen werden (sagen wir einfach mal 4KB). Dann wird geschaut,
    > ob dieser Block schon mal identisch irgendwo abgelegt wurde, falls ja
    > speichere ich nur die Referenz zu dem bestehenden Block. Bei einer festen
    > Blocksize ist die maximale Anzahl an verschiedenen Blöcken ja beschränkt,
    > da kann man doch wunderbar deduplizieren oder sehe ich das falsch?
    >
    > Viele Grüße,
    > Snoogie

    Nein, dass sieht du korrekt.
    Jedes Dateisystem muss ohnehin Pointer zu den Blöcken speichern. Bei Dedup wird dann einfach der Pointer "verbogen" und der Block eben nicht x-mal sondern nur 1mal gespeichert. Da dies auf Block- und nicht Datei-Ebene passiert funktioniert dies dann auch bei identischen Blöcken in ansonsten vollkommen unterschiedlichen Dateien.

    NF2XS

  5. Re: Deduplizierung

    Autor: Husare 23.01.13 - 17:38

    Der Link funktioniert leider nicht.

  6. Re: Deduplizierung

    Autor: MartinStein 23.01.13 - 17:50

    Das Prinzip und Problem mit der Konvergenten Verschlüsselung ist aber, dass gleiche Dateien (fast) gleich verschlüsselt werden. D.h. man kann ggf. herausfinden, wer welche Datei gespeichert hat.

    Deduplizierung funktioniert dann, wenn einige Blöcke viel öfter vorkommen als Andere. Designkriterium guter Verschlüsselung ist aber, dass alle Ciphertexte gleichwahrscheinlich sind. Deduplizierung wird damit schwierig.

  7. Re: Deduplizierung

    Autor: Xstream 23.01.13 - 17:52

    google cache:
    > http://webcache.googleusercontent.com/search?q=cache:9rNNeSqus6UJ:nerdland.net/2011/09/build-your-own-bitcasa/&hl=de&lr=lang_en|lang_de&client=firefox-beta&tbo=d&gl=de&tbs=lr:lang_1en|lang_1de&strip=1

  8. Re: Deduplizierung

    Autor: Husare 23.01.13 - 18:15

    Danke, daran habe ich gar nicht gedacht und war auch eigentlich zu faul. :D

Neues Thema Ansicht wechseln


Um zu kommentieren, loggen Sie sich bitte ein oder registrieren Sie sich. Zum Login

Anzeige
Stellenmarkt
  1. T-Systems International GmbH, München, Hannover, Münster, Frankfurt/Main, Düsseldorf
  2. SMARTRAC TECHNOLOGY GmbH, Dresden
  3. hmmh multimediahaus AG, Berlin
  4. ZF Friedrichshafen AG, Passau

Golem pur
  • Golem.de ohne Werbung nutzen

Anzeige
Top-Angebote
  1. 4,99€
  2. 299,90€ (UVP 649,90€)
  3. und bis zu 40 Euro Sofortrabatt erhalten


Haben wir etwas übersehen?

E-Mail an news@golem.de


Canon vs. Nikon: Superzoomer für unter 250 Euro
Canon vs. Nikon
Superzoomer für unter 250 Euro
  1. Snap Spectacles Snapchat stellt Sonnenbrille mit Kamera vor
  2. MacOS 10.12 Fujitsu warnt vor der Nutzung von Scansnap unter Sierra
  3. Bildbearbeitungs-App Prisma offiziell für Android erhältlich

DDoS: Das Internet of Things gefährdet das freie Netz
DDoS
Das Internet of Things gefährdet das freie Netz
  1. Hilfe von Google Brian Krebs' Blog ist nach DDoS-Angriff wieder erreichbar
  2. Picobrew Pico angesehen Ein Bierchen in Ehren ...
  3. Peak Smarte Lampe soll Nutzer zum Erfolg quatschen

MacOS 10.12 im Test: Sierra - Schreck mit System
MacOS 10.12 im Test
Sierra - Schreck mit System
  1. MacOS 10.12 Sierra fungiert als alleiniges Sicherheitsupdate für OS X
  2. MacOS Sierra und iOS 10 Apple schmeißt unsichere Krypto raus
  3. Kaspersky Neue Malware installiert Hintertüren auf Macs

  1. Altiscale: SAP kauft US-Startup für 125 Millionen US-Dollar
    Altiscale
    SAP kauft US-Startup für 125 Millionen US-Dollar

    SAP hat Altiscale gekauft, um bei Big Data mehr Möglichkeiten zu haben. Das Startup könnte in dem deutschen Konzern auch eine neue Strategie in dem Bereich schaffen.

  2. Stiftung Warentest: Mailbox und Posteo gewinnen Mailprovidertest
    Stiftung Warentest
    Mailbox und Posteo gewinnen Mailprovidertest

    Mailbox und Posteo top, Gmail flop - so lässt sich der Mailprovidertest der Stiftung Warentest zusammenfassen. Nachdem der letzte Test zurückgezogen worden war, sollte dieses Mal alles besser laufen. Kritik gibt es trotzdem.

  3. Ausrüster: Kein 5G-Supermobilfunk ohne Glasfasernetz
    Ausrüster
    Kein 5G-Supermobilfunk ohne Glasfasernetz

    Die Ausrüster sehen ein gutes Glasfasernetz als Grundvoraussetzung, damit Deutschland das Ziel erreichen kann, als erstes Land ein 5G-Netz aufzuspannen. Das ist noch nicht ausreichend ausgebaut.


  1. 19:10

  2. 18:10

  3. 16:36

  4. 15:04

  5. 14:38

  6. 14:31

  7. 14:14

  8. 13:38