Abo Login
  1. Foren
  2. Kommentare
  3. Security
  4. Alle Kommentare zum Artikel
  5. › Mega: Massive Kritik an der…

Deduplizierung

Anzeige
  1. Thema

Neues Thema Ansicht wechseln


  1. Deduplizierung

    Autor: snoogie2k 23.01.13 - 16:22

    Ich habe da mal eine Frage zur Deduplizierung:

    Ich stelle mir das so vor, dass da auf einer HW-nahen Ebene die Dateien in Blöcke aufgebrochen werden (sagen wir einfach mal 4KB). Dann wird geschaut, ob dieser Block schon mal identisch irgendwo abgelegt wurde, falls ja speichere ich nur die Referenz zu dem bestehenden Block. Bei einer festen Blocksize ist die maximale Anzahl an verschiedenen Blöcken ja beschränkt, da kann man doch wunderbar deduplizieren oder sehe ich das falsch?


    Viele Grüße,
    Snoogie

    Benutzer wird von Ihnen ignoriert. Anzeigen

  2. Re: Deduplizierung

    Autor: Husare 23.01.13 - 16:28

    So sehe ich das auch. Und ich denke mit zunehmender Datenmenge steigt die Effizienz der blockweisen Deduplizierung.

    Benutzer wird von Ihnen ignoriert. Anzeigen

  3. Re: Deduplizierung

    Autor: Xstream 23.01.13 - 16:35

    es gibt 2^(8*4096) verschiedene 4k blöcke, das heißt um alle davon ein mal zu speichern braucht man (2^(8*4096))*4096 byte speicher, das ist weit mehr als praktikabel.
    in wirklichkeit wird da eine technik namens konvergente verschlüsselung genutzt.
    gute erklärung dazu wie das funktioniert: nerdland.net/2011/09/build-your-own-bitcasa/

    Benutzer wird von Ihnen ignoriert. Anzeigen

  4. Re: Deduplizierung

    Autor: nightfire2xs 23.01.13 - 16:54

    snoogie2k schrieb:
    --------------------------------------------------------------------------------
    > Ich habe da mal eine Frage zur Deduplizierung:
    >
    > Ich stelle mir das so vor, dass da auf einer HW-nahen Ebene die Dateien in
    > Blöcke aufgebrochen werden (sagen wir einfach mal 4KB). Dann wird geschaut,
    > ob dieser Block schon mal identisch irgendwo abgelegt wurde, falls ja
    > speichere ich nur die Referenz zu dem bestehenden Block. Bei einer festen
    > Blocksize ist die maximale Anzahl an verschiedenen Blöcken ja beschränkt,
    > da kann man doch wunderbar deduplizieren oder sehe ich das falsch?
    >
    > Viele Grüße,
    > Snoogie

    Nein, dass sieht du korrekt.
    Jedes Dateisystem muss ohnehin Pointer zu den Blöcken speichern. Bei Dedup wird dann einfach der Pointer "verbogen" und der Block eben nicht x-mal sondern nur 1mal gespeichert. Da dies auf Block- und nicht Datei-Ebene passiert funktioniert dies dann auch bei identischen Blöcken in ansonsten vollkommen unterschiedlichen Dateien.

    NF2XS

    Benutzer wird von Ihnen ignoriert. Anzeigen

  5. Re: Deduplizierung

    Autor: Husare 23.01.13 - 17:38

    Der Link funktioniert leider nicht.

    Benutzer wird von Ihnen ignoriert. Anzeigen

  6. Re: Deduplizierung

    Autor: MartinStein 23.01.13 - 17:50

    Das Prinzip und Problem mit der Konvergenten Verschlüsselung ist aber, dass gleiche Dateien (fast) gleich verschlüsselt werden. D.h. man kann ggf. herausfinden, wer welche Datei gespeichert hat.

    Deduplizierung funktioniert dann, wenn einige Blöcke viel öfter vorkommen als Andere. Designkriterium guter Verschlüsselung ist aber, dass alle Ciphertexte gleichwahrscheinlich sind. Deduplizierung wird damit schwierig.

    Benutzer wird von Ihnen ignoriert. Anzeigen

  7. Re: Deduplizierung

    Autor: Xstream 23.01.13 - 17:52

    google cache:
    > http://webcache.googleusercontent.com/search?q=cache:9rNNeSqus6UJ:nerdland.net/2011/09/build-your-own-bitcasa/&hl=de&lr=lang_en|lang_de&client=firefox-beta&tbo=d&gl=de&tbs=lr:lang_1en|lang_1de&strip=1

    Benutzer wird von Ihnen ignoriert. Anzeigen

  8. Re: Deduplizierung

    Autor: Husare 23.01.13 - 18:15

    Danke, daran habe ich gar nicht gedacht und war auch eigentlich zu faul. :D

    Benutzer wird von Ihnen ignoriert. Anzeigen

Neues Thema Ansicht wechseln


Entschuldigung, nur registrierte Benutzer dürfen in diesem Forum schreiben. Klicken Sie hier um sich einzuloggen


Anzeige
  1. IT Projektmanager (m/w)
    TÜV SÜD Gruppe, München
  2. Prozessmanager/in Logistik
    Schaeffler Technologies AG & Co. KG, Herzogenaurach
  3. IT-System-Engineer (m/w) AD und Exchange
    Sharp Electronics GmbH, Hamburg
  4. Produktmanager (m/w) ERP-Software
    SCHLEUPEN AG, Moers

 

Detailsuche



Top-Angebote
  1. NEU: Über 700 Top-Filme & Serien reduziert
    (u. a. Planet der Affen Revolution 8,97€, Terminator 1 8,97€, Titanic 6,97€, Das Schweigen...
  2. NEU: Call of Juarez: Gunslinger [PC Code - Steam]
    2,55€
  3. NEU: Far Cry 3 - Digital Deluxe Edition [PC Download]
    7,65€

 

Weitere Angebote



Haben wir etwas übersehen?

E-Mail an news@golem.de


Neue WLAN-Router-Generation: Hohe Bandbreiten mit zweifelhaftem Nutzen
Neue WLAN-Router-Generation
Hohe Bandbreiten mit zweifelhaftem Nutzen
  1. EA8500 Linksys' MU-MIMO-Router kostet 300 Euro
  2. Aruba Networks 802.11ac-Access-Points mit integrierten Bluetooth Beacons
  3. 802.11ac Wave 2 Neue Chipsätze für die zweite Welle von ac-WLAN

Simulus QR-X350.PRO im Test: Der Quadcopter, der vom Himmel fiel
Simulus QR-X350.PRO im Test
Der Quadcopter, der vom Himmel fiel
  1. Flugverkehrskontrolle Amazon will Drohnenverkehr regeln
  2. Paketzustellung Google will Flugverkehrskontrolle für Drohnen entwickeln
  3. Luftzwischenfall Beinahekollision zwischen Lufthansa-Flugzeug und Drohne

OCZ Trion 100 im Test: Macht sie günstiger!
OCZ Trion 100 im Test
Macht sie günstiger!
  1. PM863 Samsung packt knapp 4 TByte in ein flaches Gehäuse
  2. 850 Evo und Pro Samsung veröffentlicht erste Consumer-SSDs mit 2 TByte
  3. TLC-Flash Samsung plant SSDs mit 2 und 4 TByte

  1. Xbox One: Windows 10 für Spieler und ein neues Halo
    Xbox One
    Windows 10 für Spieler und ein neues Halo

    Gamescom 2015 Die Xbox One wird zum digitalen Videorekorder und bekommt Windows 10: Microsoft hat seine Pläne für Konsolen- und PC-Spieler vorgestellt - und ein neues Strategiespiel auf Basis von Halo angekündigt, das bei den Total-War-Machern entsteht.

  2. #Landesverrat: Justizminister Maas schmeißt Generalbundesanwalt raus
    #Landesverrat
    Justizminister Maas schmeißt Generalbundesanwalt raus

    Diesen Affront hat sich Justizminister Maas nicht gefallen lassen können. Nach der heftigen Schelte an der Regierung in Sachen Netzpolitik.org wird der Generalbundesanwalt sofort in den Ruhestand versetzt.

  3. Piranha Bytes' Elex: Der Held hat einen Namen
    Piranha Bytes' Elex
    Der Held hat einen Namen

    Gamescom 2015 Kein Gothic, kein Risen: Piranha Bytes wagt mit Elex den lange gewünschten Neuanfang. Statt eines mittelalterlichen Settings gibt es postapokalyptische Science-Fantasy mit Jetpack, Schwertern und Plasmawaffen. Golem.de hat einen ersten Blick auf Elex geworfen.


  1. 21:11

  2. 18:59

  3. 18:03

  4. 17:14

  5. 17:06

  6. 15:13

  7. 14:45

  8. 14:00