Abo
  1. Foren
  2. Kommentare
  3. Security
  4. Alle Kommentare zum Artikel
  5. › Mega: Massive Kritik an der…

Deduplizierung

Anzeige
  1. Thema

Neues Thema Ansicht wechseln


  1. Deduplizierung

    Autor: snoogie2k 23.01.13 - 16:22

    Ich habe da mal eine Frage zur Deduplizierung:

    Ich stelle mir das so vor, dass da auf einer HW-nahen Ebene die Dateien in Blöcke aufgebrochen werden (sagen wir einfach mal 4KB). Dann wird geschaut, ob dieser Block schon mal identisch irgendwo abgelegt wurde, falls ja speichere ich nur die Referenz zu dem bestehenden Block. Bei einer festen Blocksize ist die maximale Anzahl an verschiedenen Blöcken ja beschränkt, da kann man doch wunderbar deduplizieren oder sehe ich das falsch?


    Viele Grüße,
    Snoogie

    Benutzer wird von Ihnen ignoriert. Anzeigen

  2. Re: Deduplizierung

    Autor: Husare 23.01.13 - 16:28

    So sehe ich das auch. Und ich denke mit zunehmender Datenmenge steigt die Effizienz der blockweisen Deduplizierung.

    Benutzer wird von Ihnen ignoriert. Anzeigen

  3. Re: Deduplizierung

    Autor: Xstream 23.01.13 - 16:35

    es gibt 2^(8*4096) verschiedene 4k blöcke, das heißt um alle davon ein mal zu speichern braucht man (2^(8*4096))*4096 byte speicher, das ist weit mehr als praktikabel.
    in wirklichkeit wird da eine technik namens konvergente verschlüsselung genutzt.
    gute erklärung dazu wie das funktioniert: nerdland.net/2011/09/build-your-own-bitcasa/

    Benutzer wird von Ihnen ignoriert. Anzeigen

  4. Re: Deduplizierung

    Autor: nightfire2xs 23.01.13 - 16:54

    snoogie2k schrieb:
    --------------------------------------------------------------------------------
    > Ich habe da mal eine Frage zur Deduplizierung:
    >
    > Ich stelle mir das so vor, dass da auf einer HW-nahen Ebene die Dateien in
    > Blöcke aufgebrochen werden (sagen wir einfach mal 4KB). Dann wird geschaut,
    > ob dieser Block schon mal identisch irgendwo abgelegt wurde, falls ja
    > speichere ich nur die Referenz zu dem bestehenden Block. Bei einer festen
    > Blocksize ist die maximale Anzahl an verschiedenen Blöcken ja beschränkt,
    > da kann man doch wunderbar deduplizieren oder sehe ich das falsch?
    >
    > Viele Grüße,
    > Snoogie

    Nein, dass sieht du korrekt.
    Jedes Dateisystem muss ohnehin Pointer zu den Blöcken speichern. Bei Dedup wird dann einfach der Pointer "verbogen" und der Block eben nicht x-mal sondern nur 1mal gespeichert. Da dies auf Block- und nicht Datei-Ebene passiert funktioniert dies dann auch bei identischen Blöcken in ansonsten vollkommen unterschiedlichen Dateien.

    NF2XS

    Benutzer wird von Ihnen ignoriert. Anzeigen

  5. Re: Deduplizierung

    Autor: Husare 23.01.13 - 17:38

    Der Link funktioniert leider nicht.

    Benutzer wird von Ihnen ignoriert. Anzeigen

  6. Re: Deduplizierung

    Autor: MartinStein 23.01.13 - 17:50

    Das Prinzip und Problem mit der Konvergenten Verschlüsselung ist aber, dass gleiche Dateien (fast) gleich verschlüsselt werden. D.h. man kann ggf. herausfinden, wer welche Datei gespeichert hat.

    Deduplizierung funktioniert dann, wenn einige Blöcke viel öfter vorkommen als Andere. Designkriterium guter Verschlüsselung ist aber, dass alle Ciphertexte gleichwahrscheinlich sind. Deduplizierung wird damit schwierig.

    Benutzer wird von Ihnen ignoriert. Anzeigen

  7. Re: Deduplizierung

    Autor: Xstream 23.01.13 - 17:52

    google cache:
    > http://webcache.googleusercontent.com/search?q=cache:9rNNeSqus6UJ:nerdland.net/2011/09/build-your-own-bitcasa/&hl=de&lr=lang_en|lang_de&client=firefox-beta&tbo=d&gl=de&tbs=lr:lang_1en|lang_1de&strip=1

    Benutzer wird von Ihnen ignoriert. Anzeigen

  8. Re: Deduplizierung

    Autor: Husare 23.01.13 - 18:15

    Danke, daran habe ich gar nicht gedacht und war auch eigentlich zu faul. :D

    Benutzer wird von Ihnen ignoriert. Anzeigen

Neues Thema Ansicht wechseln


Entschuldigung, nur registrierte Benutzer dürfen in diesem Forum schreiben. Klicken Sie hier um sich einzuloggen


Anzeige
  1. Softwareentwickler (m/w) (JavaEE)
    XClinical GmbH, München
  2. Featureteamleiter im Bereich Video (m/w)
    Robert Bosch GmbH, Leonberg
  3. Deputy Business System Owner BPM/PM Tool (m/w)
    Daimler AG, Stuttgart
  4. Applikationsingenieur/in ESP - Systemerprobung im Fahrversuch
    Robert Bosch GmbH, Abstatt

Detailsuche



Anzeige


Haben wir etwas übersehen?

E-Mail an news@golem.de


GPD XD im Test: Zwischen Nintendo 3DS und PS Vita ist noch Platz
GPD XD im Test
Zwischen Nintendo 3DS und PS Vita ist noch Platz
  1. Playstation 4 Rennstart für Gran Turismo Sport im November 2016
  2. Project Spark Microsoft stellt seinen Spieleeditor ein
  3. AMD Drei Konsolen-Chips für 2017 angekündigt

Xiaomi Mi5 im Test: Das fast perfekte Top-Smartphone
Xiaomi Mi5 im Test
Das fast perfekte Top-Smartphone
  1. YI 4K Xiaomi greift mit 4K-Actionkamera GoPro an

Hyperloop Global Challenge: Jeder will den Rohrpostzug
Hyperloop Global Challenge
Jeder will den Rohrpostzug
  1. Hyperloop HTT will seine Rohrpostzüge aus Marvel-Material bauen
  2. Hyperloop One Der Hyperloop fährt - wenn auch nur kurz
  3. Inductrack Hyperloop schwebt ohne Strom

  1. 100 MBit/s: Telekom stattet zwei Städte mit Vectoring aus
    100 MBit/s
    Telekom stattet zwei Städte mit Vectoring aus

    Es geht weiter mit dem Vectoring-Ausbau bei der Deutschen Telekom. Auch wenn die Technologie umstritten ist, gibt es bis zu 100 MBit/s im Download und bis zu 40 MBit/s im Upload. Diesmal werden 27.500 Haushalte und Firmen angeschlossen. Bis Jahresende sollen es dort 50.000 sein.

  2. Sprachassistent: Voßhoff will nicht mit Siri sprechen
    Sprachassistent
    Voßhoff will nicht mit Siri sprechen

    Apples Sprachassistent Siri lauscht permanent auf Nutzeraufrufe. Deutschlands oberste Datenschützerin warnt daher vor einer "theoretischen Rund-um-die-Uhr-Überwachung".

  3. Sailfish OS: Jolla bringt exklusives Smartphone nur für Entwickler
    Sailfish OS
    Jolla bringt exklusives Smartphone nur für Entwickler

    Exklusiv für seine Entwickler-Community stellt Jolla ein neues Smartphone mit seinem Betriebssystem Sailfish OS bereit. Das neue Gerät des angeschlagenen Herstellers ist auf 1.000 Stück limitiert und bereits fertiggestellt.


  1. 19:05

  2. 17:50

  3. 17:01

  4. 14:53

  5. 13:39

  6. 12:47

  7. 12:30

  8. 12:04