1. Foren
  2. Kommentare
  3. Security
  4. Alle Kommentare zum Artikel
  5. › Mega: Massive Kritik an der…

Deduplizierung

Anzeige
  1. Thema

Neues Thema Ansicht wechseln


  1. Deduplizierung

    Autor: snoogie2k 23.01.13 - 16:22

    Ich habe da mal eine Frage zur Deduplizierung:

    Ich stelle mir das so vor, dass da auf einer HW-nahen Ebene die Dateien in Blöcke aufgebrochen werden (sagen wir einfach mal 4KB). Dann wird geschaut, ob dieser Block schon mal identisch irgendwo abgelegt wurde, falls ja speichere ich nur die Referenz zu dem bestehenden Block. Bei einer festen Blocksize ist die maximale Anzahl an verschiedenen Blöcken ja beschränkt, da kann man doch wunderbar deduplizieren oder sehe ich das falsch?


    Viele Grüße,
    Snoogie

    Benutzer wird von Ihnen ignoriert. Anzeigen

  2. Re: Deduplizierung

    Autor: Husare 23.01.13 - 16:28

    So sehe ich das auch. Und ich denke mit zunehmender Datenmenge steigt die Effizienz der blockweisen Deduplizierung.

    Benutzer wird von Ihnen ignoriert. Anzeigen

  3. Re: Deduplizierung

    Autor: Xstream 23.01.13 - 16:35

    es gibt 2^(8*4096) verschiedene 4k blöcke, das heißt um alle davon ein mal zu speichern braucht man (2^(8*4096))*4096 byte speicher, das ist weit mehr als praktikabel.
    in wirklichkeit wird da eine technik namens konvergente verschlüsselung genutzt.
    gute erklärung dazu wie das funktioniert: nerdland.net/2011/09/build-your-own-bitcasa/

    Benutzer wird von Ihnen ignoriert. Anzeigen

  4. Re: Deduplizierung

    Autor: nightfire2xs 23.01.13 - 16:54

    snoogie2k schrieb:
    --------------------------------------------------------------------------------
    > Ich habe da mal eine Frage zur Deduplizierung:
    >
    > Ich stelle mir das so vor, dass da auf einer HW-nahen Ebene die Dateien in
    > Blöcke aufgebrochen werden (sagen wir einfach mal 4KB). Dann wird geschaut,
    > ob dieser Block schon mal identisch irgendwo abgelegt wurde, falls ja
    > speichere ich nur die Referenz zu dem bestehenden Block. Bei einer festen
    > Blocksize ist die maximale Anzahl an verschiedenen Blöcken ja beschränkt,
    > da kann man doch wunderbar deduplizieren oder sehe ich das falsch?
    >
    > Viele Grüße,
    > Snoogie

    Nein, dass sieht du korrekt.
    Jedes Dateisystem muss ohnehin Pointer zu den Blöcken speichern. Bei Dedup wird dann einfach der Pointer "verbogen" und der Block eben nicht x-mal sondern nur 1mal gespeichert. Da dies auf Block- und nicht Datei-Ebene passiert funktioniert dies dann auch bei identischen Blöcken in ansonsten vollkommen unterschiedlichen Dateien.

    NF2XS

    Benutzer wird von Ihnen ignoriert. Anzeigen

  5. Re: Deduplizierung

    Autor: Husare 23.01.13 - 17:38

    Der Link funktioniert leider nicht.

    Benutzer wird von Ihnen ignoriert. Anzeigen

  6. Re: Deduplizierung

    Autor: MartinStein 23.01.13 - 17:50

    Das Prinzip und Problem mit der Konvergenten Verschlüsselung ist aber, dass gleiche Dateien (fast) gleich verschlüsselt werden. D.h. man kann ggf. herausfinden, wer welche Datei gespeichert hat.

    Deduplizierung funktioniert dann, wenn einige Blöcke viel öfter vorkommen als Andere. Designkriterium guter Verschlüsselung ist aber, dass alle Ciphertexte gleichwahrscheinlich sind. Deduplizierung wird damit schwierig.

    Benutzer wird von Ihnen ignoriert. Anzeigen

  7. Re: Deduplizierung

    Autor: Xstream 23.01.13 - 17:52

    google cache:
    > http://webcache.googleusercontent.com/search?q=cache:9rNNeSqus6UJ:nerdland.net/2011/09/build-your-own-bitcasa/&hl=de&lr=lang_en|lang_de&client=firefox-beta&tbo=d&gl=de&tbs=lr:lang_1en|lang_1de&strip=1

    Benutzer wird von Ihnen ignoriert. Anzeigen

  8. Re: Deduplizierung

    Autor: Husare 23.01.13 - 18:15

    Danke, daran habe ich gar nicht gedacht und war auch eigentlich zu faul. :D

    Benutzer wird von Ihnen ignoriert. Anzeigen

Neues Thema Ansicht wechseln


Entschuldigung, nur registrierte Benutzer dürfen in diesem Forum schreiben. Klicken Sie hier um sich einzuloggen

Die Woche im Video: Computerspiele, Whatsapp und Fire TV Stick
Die Woche im Video
Computerspiele, Whatsapp und Fire TV Stick
  1. Die Woche im Video Ein Zombie, Insekten und Lollipop
  2. Die Woche im Video Apple Watch, GTA 5 für PC und Akku mit Aluminium-Anode
  3. Die Woche im Video Win 10 für Smartphones, Facebook Tracking und Aprilscherze

Spionage: Der BND-Skandal im NSA-Skandal
Spionage
Der BND-Skandal im NSA-Skandal
  1. Cyberkrieg Pentagon will Angreifer mit harten Gegenschlägen abschrecken
  2. 40.000 Suchbegriffe BND-Missbrauch durch NSA deutlich größer als bekannt
  3. Bundesverwaltungsgericht DE-CIX will gegen BND-Bespitzelung klagen

Android 5.1 im Test: Viel nützlicher Kleinkram
Android 5.1 im Test
Viel nützlicher Kleinkram
  1. Google EU-Wettbewerbsverfahren auch zu Android
  2. Lollipop Trage-Erkennung setzt Passwortsperre aus
  3. Google Android 5.1 bringt mehr Bedienungskomfort und Sicherheit

  1. Smartwatch-Probleme: Apple Watch saugt iPhone-Akkus leer und lädt nicht
    Smartwatch-Probleme
    Apple Watch saugt iPhone-Akkus leer und lädt nicht

    Die Apple Watch wird seit Freitag ausgeliefert und einige Anwender haben größere Schwierigkeiten mit der Akkulaufzeit ihres iPhones bekommen, seitdem die Smartwatch damit verbunden ist. Manchmal lässt sich die Uhr nicht aufladen. Apple hält mehrere Lösungswege bereit.

  2. Facetime-Klon: Facebook Messenger kann jetzt Video-Telefonate
    Facetime-Klon
    Facebook Messenger kann jetzt Video-Telefonate

    Facebook hat seiner Messenger-App für iOS und Android eine neue Funktion spendiert, mit der Anwender unkompliziert eine Video- und Audioverbindung aufbauen können - sprich eine Videokonferenz. Bei Apple gibt es das unter dem Namen Facetime schon länger.

  3. Quartalszahlen: Bei Apple hängt weiter (fast) alles vom iPhone ab
    Quartalszahlen
    Bei Apple hängt weiter (fast) alles vom iPhone ab

    Apple hat erneut gigantische Gewinne erwirtschaftet. Der Konzern verkaufte 61,17 Millionen iPhones, ein Zuwachs um 40 Prozent. Keine Angaben wurden wie erwartet zur Apple Watch gemacht.


  1. 23:47

  2. 23:08

  3. 22:54

  4. 22:40

  5. 18:28

  6. 17:26

  7. 17:13

  8. 16:24