Abo
  1. Foren
  2. Kommentare
  3. Security
  4. Alle Kommentare zum Artikel
  5. › Mega: Massive Kritik an der…

Deduplizierung

Anzeige
  1. Thema

Neues Thema Ansicht wechseln


  1. Deduplizierung

    Autor: snoogie2k 23.01.13 - 16:22

    Ich habe da mal eine Frage zur Deduplizierung:

    Ich stelle mir das so vor, dass da auf einer HW-nahen Ebene die Dateien in Blöcke aufgebrochen werden (sagen wir einfach mal 4KB). Dann wird geschaut, ob dieser Block schon mal identisch irgendwo abgelegt wurde, falls ja speichere ich nur die Referenz zu dem bestehenden Block. Bei einer festen Blocksize ist die maximale Anzahl an verschiedenen Blöcken ja beschränkt, da kann man doch wunderbar deduplizieren oder sehe ich das falsch?


    Viele Grüße,
    Snoogie

    Benutzer wird von Ihnen ignoriert. Anzeigen

  2. Re: Deduplizierung

    Autor: Husare 23.01.13 - 16:28

    So sehe ich das auch. Und ich denke mit zunehmender Datenmenge steigt die Effizienz der blockweisen Deduplizierung.

    Benutzer wird von Ihnen ignoriert. Anzeigen

  3. Re: Deduplizierung

    Autor: Xstream 23.01.13 - 16:35

    es gibt 2^(8*4096) verschiedene 4k blöcke, das heißt um alle davon ein mal zu speichern braucht man (2^(8*4096))*4096 byte speicher, das ist weit mehr als praktikabel.
    in wirklichkeit wird da eine technik namens konvergente verschlüsselung genutzt.
    gute erklärung dazu wie das funktioniert: nerdland.net/2011/09/build-your-own-bitcasa/

    Benutzer wird von Ihnen ignoriert. Anzeigen

  4. Re: Deduplizierung

    Autor: nightfire2xs 23.01.13 - 16:54

    snoogie2k schrieb:
    --------------------------------------------------------------------------------
    > Ich habe da mal eine Frage zur Deduplizierung:
    >
    > Ich stelle mir das so vor, dass da auf einer HW-nahen Ebene die Dateien in
    > Blöcke aufgebrochen werden (sagen wir einfach mal 4KB). Dann wird geschaut,
    > ob dieser Block schon mal identisch irgendwo abgelegt wurde, falls ja
    > speichere ich nur die Referenz zu dem bestehenden Block. Bei einer festen
    > Blocksize ist die maximale Anzahl an verschiedenen Blöcken ja beschränkt,
    > da kann man doch wunderbar deduplizieren oder sehe ich das falsch?
    >
    > Viele Grüße,
    > Snoogie

    Nein, dass sieht du korrekt.
    Jedes Dateisystem muss ohnehin Pointer zu den Blöcken speichern. Bei Dedup wird dann einfach der Pointer "verbogen" und der Block eben nicht x-mal sondern nur 1mal gespeichert. Da dies auf Block- und nicht Datei-Ebene passiert funktioniert dies dann auch bei identischen Blöcken in ansonsten vollkommen unterschiedlichen Dateien.

    NF2XS

    Benutzer wird von Ihnen ignoriert. Anzeigen

  5. Re: Deduplizierung

    Autor: Husare 23.01.13 - 17:38

    Der Link funktioniert leider nicht.

    Benutzer wird von Ihnen ignoriert. Anzeigen

  6. Re: Deduplizierung

    Autor: MartinStein 23.01.13 - 17:50

    Das Prinzip und Problem mit der Konvergenten Verschlüsselung ist aber, dass gleiche Dateien (fast) gleich verschlüsselt werden. D.h. man kann ggf. herausfinden, wer welche Datei gespeichert hat.

    Deduplizierung funktioniert dann, wenn einige Blöcke viel öfter vorkommen als Andere. Designkriterium guter Verschlüsselung ist aber, dass alle Ciphertexte gleichwahrscheinlich sind. Deduplizierung wird damit schwierig.

    Benutzer wird von Ihnen ignoriert. Anzeigen

  7. Re: Deduplizierung

    Autor: Xstream 23.01.13 - 17:52

    google cache:
    > http://webcache.googleusercontent.com/search?q=cache:9rNNeSqus6UJ:nerdland.net/2011/09/build-your-own-bitcasa/&hl=de&lr=lang_en|lang_de&client=firefox-beta&tbo=d&gl=de&tbs=lr:lang_1en|lang_1de&strip=1

    Benutzer wird von Ihnen ignoriert. Anzeigen

  8. Re: Deduplizierung

    Autor: Husare 23.01.13 - 18:15

    Danke, daran habe ich gar nicht gedacht und war auch eigentlich zu faul. :D

    Benutzer wird von Ihnen ignoriert. Anzeigen

Neues Thema Ansicht wechseln


Um zu kommentieren, loggen Sie sich bitte ein oder registrieren Sie sich. Zum Login


Anzeige
Stellenmarkt
  1. Brainloop AG, München
  2. Commerz Finanz GmbH, München
  3. Robert Bosch GmbH, Stuttgart-Feuerbach
  4. OXID eSales AG, Freiburg im Breisgau oder Halle an der Saale


Anzeige
Hardware-Angebote
  1. 444,90€


Haben wir etwas übersehen?

E-Mail an news@golem.de


Bargeld nervt: Startups und Kryptowährungen mischen die Finanzbranche auf
Bargeld nervt
Startups und Kryptowährungen mischen die Finanzbranche auf
  1. Gehalt.de Was Frauen in IT-Jobs verdienen
  2. Darknet-Handel Nutzerdaten von Telekom-Kunden werden verkauft
  3. Homeland Security Frage nach Facebook-Konto bei Einreise in die USA geplant

Geforce GTX 1080/1070 im Test: Zotac kann Geforce besser als Nvidia
Geforce GTX 1080/1070 im Test
Zotac kann Geforce besser als Nvidia
  1. Die Woche im Video Superschnelle Rechner, smarte Zähler und sicherer Spam
  2. Geforce GTX 1080/1070 Asus und MSI schummeln mit Golden Samples
  3. Geforce GTX 1070 Nvidia nennt Spezifikationen der kleinen Pascal-Karte

IT und Energiewende: Fragen und Antworten zu intelligenten Stromzählern
IT und Energiewende
Fragen und Antworten zu intelligenten Stromzählern
  1. Smart Meter Bundestag verordnet allen Haushalten moderne Stromzähler
  2. Intelligente Stromzähler Besitzern von Solaranlagen droht ebenfalls Zwangsanschluss
  3. Smart-Meter-Gateway-Anhörung Stromsparen geht auch anders

  1. Kabelnetz: Großflächige Störung bei Vodafone
    Kabelnetz
    Großflächige Störung bei Vodafone

    Seit den frühen Abendstunden können zahlreiche Kunden in Vodafones Kabelnetz Internet und Telefon nicht oder nur eingeschränkt nutzen. Von der Störung sollen fast zwei Millionen Kunden betroffen sein, das Fernsehsignal funktioniert aber störungsfrei.

  2. Google: Nächste Android-Version heißt Nougat
    Google
    Nächste Android-Version heißt Nougat

    Nach Marshmallow folgt also Nougat: Google hat den Beinamen der kommenden Android-Hauptversion enthüllt. Die Versionsnummer bleibt weiter geheim.

  3. Pleurobot: Bewegungen verstehen mit einem Robo-Salamander
    Pleurobot
    Bewegungen verstehen mit einem Robo-Salamander

    An welchem Wesen studieren Wissenschaftler Bewegungsabläufe? An einem Roboter. Pleurobot imitiert einen Salamander, ist 3D-gedruckt - und ziemlich cool.


  1. 22:47

  2. 19:06

  3. 18:38

  4. 17:19

  5. 16:19

  6. 16:04

  7. 15:58

  8. 15:21