Abo
  1. Foren
  2. Kommentare
  3. Security
  4. Alle Kommentare zum Artikel
  5. › Mega: Massive Kritik an der…

Deduplizierung

Anzeige
  1. Thema

Neues Thema Ansicht wechseln


  1. Deduplizierung

    Autor: snoogie2k 23.01.13 - 16:22

    Ich habe da mal eine Frage zur Deduplizierung:

    Ich stelle mir das so vor, dass da auf einer HW-nahen Ebene die Dateien in Blöcke aufgebrochen werden (sagen wir einfach mal 4KB). Dann wird geschaut, ob dieser Block schon mal identisch irgendwo abgelegt wurde, falls ja speichere ich nur die Referenz zu dem bestehenden Block. Bei einer festen Blocksize ist die maximale Anzahl an verschiedenen Blöcken ja beschränkt, da kann man doch wunderbar deduplizieren oder sehe ich das falsch?


    Viele Grüße,
    Snoogie

    Benutzer wird von Ihnen ignoriert. Anzeigen

  2. Re: Deduplizierung

    Autor: Husare 23.01.13 - 16:28

    So sehe ich das auch. Und ich denke mit zunehmender Datenmenge steigt die Effizienz der blockweisen Deduplizierung.

    Benutzer wird von Ihnen ignoriert. Anzeigen

  3. Re: Deduplizierung

    Autor: Xstream 23.01.13 - 16:35

    es gibt 2^(8*4096) verschiedene 4k blöcke, das heißt um alle davon ein mal zu speichern braucht man (2^(8*4096))*4096 byte speicher, das ist weit mehr als praktikabel.
    in wirklichkeit wird da eine technik namens konvergente verschlüsselung genutzt.
    gute erklärung dazu wie das funktioniert: nerdland.net/2011/09/build-your-own-bitcasa/

    Benutzer wird von Ihnen ignoriert. Anzeigen

  4. Re: Deduplizierung

    Autor: nightfire2xs 23.01.13 - 16:54

    snoogie2k schrieb:
    --------------------------------------------------------------------------------
    > Ich habe da mal eine Frage zur Deduplizierung:
    >
    > Ich stelle mir das so vor, dass da auf einer HW-nahen Ebene die Dateien in
    > Blöcke aufgebrochen werden (sagen wir einfach mal 4KB). Dann wird geschaut,
    > ob dieser Block schon mal identisch irgendwo abgelegt wurde, falls ja
    > speichere ich nur die Referenz zu dem bestehenden Block. Bei einer festen
    > Blocksize ist die maximale Anzahl an verschiedenen Blöcken ja beschränkt,
    > da kann man doch wunderbar deduplizieren oder sehe ich das falsch?
    >
    > Viele Grüße,
    > Snoogie

    Nein, dass sieht du korrekt.
    Jedes Dateisystem muss ohnehin Pointer zu den Blöcken speichern. Bei Dedup wird dann einfach der Pointer "verbogen" und der Block eben nicht x-mal sondern nur 1mal gespeichert. Da dies auf Block- und nicht Datei-Ebene passiert funktioniert dies dann auch bei identischen Blöcken in ansonsten vollkommen unterschiedlichen Dateien.

    NF2XS

    Benutzer wird von Ihnen ignoriert. Anzeigen

  5. Re: Deduplizierung

    Autor: Husare 23.01.13 - 17:38

    Der Link funktioniert leider nicht.

    Benutzer wird von Ihnen ignoriert. Anzeigen

  6. Re: Deduplizierung

    Autor: MartinStein 23.01.13 - 17:50

    Das Prinzip und Problem mit der Konvergenten Verschlüsselung ist aber, dass gleiche Dateien (fast) gleich verschlüsselt werden. D.h. man kann ggf. herausfinden, wer welche Datei gespeichert hat.

    Deduplizierung funktioniert dann, wenn einige Blöcke viel öfter vorkommen als Andere. Designkriterium guter Verschlüsselung ist aber, dass alle Ciphertexte gleichwahrscheinlich sind. Deduplizierung wird damit schwierig.

    Benutzer wird von Ihnen ignoriert. Anzeigen

  7. Re: Deduplizierung

    Autor: Xstream 23.01.13 - 17:52

    google cache:
    > http://webcache.googleusercontent.com/search?q=cache:9rNNeSqus6UJ:nerdland.net/2011/09/build-your-own-bitcasa/&hl=de&lr=lang_en|lang_de&client=firefox-beta&tbo=d&gl=de&tbs=lr:lang_1en|lang_1de&strip=1

    Benutzer wird von Ihnen ignoriert. Anzeigen

  8. Re: Deduplizierung

    Autor: Husare 23.01.13 - 18:15

    Danke, daran habe ich gar nicht gedacht und war auch eigentlich zu faul. :D

    Benutzer wird von Ihnen ignoriert. Anzeigen

Neues Thema Ansicht wechseln


Um zu kommentieren, loggen Sie sich bitte ein oder registrieren Sie sich. Zum Login

Anzeige
Stellenmarkt
  1. Haufe Gruppe, Freiburg im Breisgau
  2. EWE Aktiengesellschaft, Oldenburg
  3. Pixelgenau Consulting GmbH, Frankfurt am Main
  4. Deutsche Post DHL Group, Bonn


Anzeige
Hardware-Angebote
  1. 99,90€ statt 204,80€
  2. (Core i5-6600K + Geforce GTX 1070 OC)
  3. (reduzierte Überstände, Restposten & Co.)


Haben wir etwas übersehen?

E-Mail an news@golem.de


Wolkenkratzer: Wer will schon 2.900 Stufen steigen?
Wolkenkratzer
Wer will schon 2.900 Stufen steigen?
  1. Hafen Die Schauerleute von heute sind riesig und automatisch
  2. Bahn Siemens verbessert Internet im Zug mit Funklochfenstern
  3. Fraunhofer-Institut Rekord mit Multi-Gigabit-Funk über 37 Kilometer

Festplatten mit Flash-Cache: Das Konzept der SSHD ist gescheitert
Festplatten mit Flash-Cache
Das Konzept der SSHD ist gescheitert
  1. Ironwolf, Skyhawk und Barracuda Drei neue 10-TByte-Modelle von Seagate
  2. 3PAR-Systeme HPE kündigt 7,68- und 15,36-TByte-SSDs an
  3. Dells XPS 13 mit Ubuntu im Test Endlich ein Top-Notebook mit Linux!

Nuki Smart Lock im Test: Ausgesperrt statt aufgesperrt
Nuki Smart Lock im Test
Ausgesperrt statt aufgesperrt

  1. 3D-Foto-App: Seene wird eingestellt
    3D-Foto-App
    Seene wird eingestellt

    Die Entwickler haben das Ende der App Seene für Android und iOS verkündet - Anwender haben 30 Tage Zeit, ihre Inhalte zu sichern. Mit der App ließen sich mit dem Smartphone und etwas Bewegung 3D-Fotos aufnehmen, die wie Wackelbilder funktionieren.

  2. Radeon Pro SSG: AMD zeigt Profi-Karte mit SSDs für ein TByte Videospeicher
    Radeon Pro SSG
    AMD zeigt Profi-Karte mit SSDs für ein TByte Videospeicher

    Vier neue Workstation-Modelle: Die Radeon Pro WX 7100, WX 5100, WX 4100 und SSG basieren auf der Polaris-Architektur. Letztere bindet zwei NVMe-PCIe-SSDs an, um extrem viel Videospeicher zur Verfügung zu haben - eine kleine Revolution für dieses Marktsegment.

  3. iCar: Hardware-Experte Bob Mansfield soll Apples Auto bauen
    iCar
    Hardware-Experte Bob Mansfield soll Apples Auto bauen

    Das Apple-Auto soll vom ehemaligen Hardware- und Technikchef Bob Mansfield federführend entwickelt werden. Mansfield war an der Entwicklung von Macs, iPhones und iPads beteiligt.


  1. 10:19

  2. 10:10

  3. 07:37

  4. 07:18

  5. 22:45

  6. 18:35

  7. 17:31

  8. 17:19