Abo
  1. Foren
  2. Kommentare
  3. Security
  4. Alle Kommentare zum Artikel
  5. › Mega: Massive Kritik an der…

Deduplizierung

Anzeige
  1. Thema

Neues Thema Ansicht wechseln


  1. Deduplizierung

    Autor: snoogie2k 23.01.13 - 16:22

    Ich habe da mal eine Frage zur Deduplizierung:

    Ich stelle mir das so vor, dass da auf einer HW-nahen Ebene die Dateien in Blöcke aufgebrochen werden (sagen wir einfach mal 4KB). Dann wird geschaut, ob dieser Block schon mal identisch irgendwo abgelegt wurde, falls ja speichere ich nur die Referenz zu dem bestehenden Block. Bei einer festen Blocksize ist die maximale Anzahl an verschiedenen Blöcken ja beschränkt, da kann man doch wunderbar deduplizieren oder sehe ich das falsch?


    Viele Grüße,
    Snoogie

    Benutzer wird von Ihnen ignoriert. Anzeigen

  2. Re: Deduplizierung

    Autor: Husare 23.01.13 - 16:28

    So sehe ich das auch. Und ich denke mit zunehmender Datenmenge steigt die Effizienz der blockweisen Deduplizierung.

    Benutzer wird von Ihnen ignoriert. Anzeigen

  3. Re: Deduplizierung

    Autor: Xstream 23.01.13 - 16:35

    es gibt 2^(8*4096) verschiedene 4k blöcke, das heißt um alle davon ein mal zu speichern braucht man (2^(8*4096))*4096 byte speicher, das ist weit mehr als praktikabel.
    in wirklichkeit wird da eine technik namens konvergente verschlüsselung genutzt.
    gute erklärung dazu wie das funktioniert: nerdland.net/2011/09/build-your-own-bitcasa/

    Benutzer wird von Ihnen ignoriert. Anzeigen

  4. Re: Deduplizierung

    Autor: nightfire2xs 23.01.13 - 16:54

    snoogie2k schrieb:
    --------------------------------------------------------------------------------
    > Ich habe da mal eine Frage zur Deduplizierung:
    >
    > Ich stelle mir das so vor, dass da auf einer HW-nahen Ebene die Dateien in
    > Blöcke aufgebrochen werden (sagen wir einfach mal 4KB). Dann wird geschaut,
    > ob dieser Block schon mal identisch irgendwo abgelegt wurde, falls ja
    > speichere ich nur die Referenz zu dem bestehenden Block. Bei einer festen
    > Blocksize ist die maximale Anzahl an verschiedenen Blöcken ja beschränkt,
    > da kann man doch wunderbar deduplizieren oder sehe ich das falsch?
    >
    > Viele Grüße,
    > Snoogie

    Nein, dass sieht du korrekt.
    Jedes Dateisystem muss ohnehin Pointer zu den Blöcken speichern. Bei Dedup wird dann einfach der Pointer "verbogen" und der Block eben nicht x-mal sondern nur 1mal gespeichert. Da dies auf Block- und nicht Datei-Ebene passiert funktioniert dies dann auch bei identischen Blöcken in ansonsten vollkommen unterschiedlichen Dateien.

    NF2XS

    Benutzer wird von Ihnen ignoriert. Anzeigen

  5. Re: Deduplizierung

    Autor: Husare 23.01.13 - 17:38

    Der Link funktioniert leider nicht.

    Benutzer wird von Ihnen ignoriert. Anzeigen

  6. Re: Deduplizierung

    Autor: MartinStein 23.01.13 - 17:50

    Das Prinzip und Problem mit der Konvergenten Verschlüsselung ist aber, dass gleiche Dateien (fast) gleich verschlüsselt werden. D.h. man kann ggf. herausfinden, wer welche Datei gespeichert hat.

    Deduplizierung funktioniert dann, wenn einige Blöcke viel öfter vorkommen als Andere. Designkriterium guter Verschlüsselung ist aber, dass alle Ciphertexte gleichwahrscheinlich sind. Deduplizierung wird damit schwierig.

    Benutzer wird von Ihnen ignoriert. Anzeigen

  7. Re: Deduplizierung

    Autor: Xstream 23.01.13 - 17:52

    google cache:
    > http://webcache.googleusercontent.com/search?q=cache:9rNNeSqus6UJ:nerdland.net/2011/09/build-your-own-bitcasa/&hl=de&lr=lang_en|lang_de&client=firefox-beta&tbo=d&gl=de&tbs=lr:lang_1en|lang_1de&strip=1

    Benutzer wird von Ihnen ignoriert. Anzeigen

  8. Re: Deduplizierung

    Autor: Husare 23.01.13 - 18:15

    Danke, daran habe ich gar nicht gedacht und war auch eigentlich zu faul. :D

    Benutzer wird von Ihnen ignoriert. Anzeigen

Neues Thema Ansicht wechseln


Entschuldigung, nur registrierte Benutzer dürfen in diesem Forum schreiben. Klicken Sie hier um sich einzuloggen


Anzeige
  1. Projektleiter (m/w) Fernmeldenetzbau / Breitbandnetze
    Bsys Mitteldeutsche Beratungs- und Systemhaus GmbH, Erfurt
  2. IT-Spezialist (m/w)
    IDS GmbH, Ettlingen bei Karlsruhe
  3. Web Designer / Interface Developer (m/w) für den Bereich eShop
    GALERIA Kaufhof GmbH, Köln
  4. Business Consultant im Bereich IT Sales MB Vans
    Daimler AG, Stuttgart

Detailsuche



Spiele-Angebote
  1. VORBESTELLBAR: World of Warcraft: Legion (Add-On) - Collector's Edition
    79,99€ (Vorbesteller-Preisgarantie)
  2. Fallout 3 - Game of the Year Edition [PC Code - Steam] USK 18
    6,79€
  3. NEU: Far Cry Primal (Key)
    39,95€

Weitere Angebote



Haben wir etwas übersehen?

E-Mail an news@golem.de


VBB-Fahrcard: Der Fehler steckt im System
VBB-Fahrcard
Der Fehler steckt im System
  1. VBB-Fahrcard Busse speichern seit mindestens April 2015 Bewegungspunkte
  2. VBB-Fahrcard Berlins elektronische Fahrkarte speichert Bewegungsprofile

Galaxy View im Test: Samsungs Riesentablet scheitert als Fernseher-Alternative
Galaxy View im Test
Samsungs Riesentablet scheitert als Fernseher-Alternative
  1. Lehrer IT-Ausstattung an Schulen weiterhin nicht gut
  2. Huawei Mediapad M2 10.0 Gut ausgestattetes 10-Zoll-Tablet mit Stylus für 500 Euro
  3. Oberschule Weiter zu wenig Computer an den Schulen

IMHO: Amazon krempelt den Spielemarkt um
IMHO
Amazon krempelt den Spielemarkt um
  1. Lumberyard Amazon veröffentlicht Engine auf Basis der Cryengine

  1. AVM: Fritzboxen für Supervectoring, G.fast und Docsis 3.1 kommen
    AVM
    Fritzboxen für Supervectoring, G.fast und Docsis 3.1 kommen

    Auf den kommenden großen IT-Messen MWC und Cebit werden Fritzboxen mit neuester Technik gezeigt. Doch Supervectoring, G.fast und Docsis 3.1 müssen erst einmal in den Netzen zum Einsatz kommen.

  2. Einsteins Vorhersage bestätigt: Forscher weisen erstmals Gravitationswellen nach
    Einsteins Vorhersage bestätigt
    Forscher weisen erstmals Gravitationswellen nach

    Was Albert Einstein vor 100 Jahren theoretisch vorhersagte, wollen Forscher nun experimentell nachgewiesen haben. Ein Spezialobservatorium fing die Signatur zweier verschmelzender Schwarzer Löcher auf. Eine physikalische Sensation.

  3. Datenschmuggel: Alte USB-Sticks als Geheimwaffe gegen Nordkorea
    Datenschmuggel
    Alte USB-Sticks als Geheimwaffe gegen Nordkorea

    Aktivisten rufen dazu auf, USB-Sticks zu spenden, um sie an nordkoreanische Regimegegner weiterzuleiten. Die bespielen die Speicher mit westlichen Medien und schmuggeln sie nach Nordkorea. Die Aktion soll helfen, die Bevölkerung aufzuklären, die von der Außenwelt abgeschirmt wird.


  1. 19:17

  2. 17:03

  3. 16:25

  4. 15:55

  5. 15:49

  6. 15:38

  7. 15:28

  8. 14:59