Abo
  1. Foren
  2. Kommentare
  3. Security
  4. Alle Kommentare zum Artikel
  5. › Mega: Massive Kritik an der…

Deduplizierung

Anzeige
  1. Thema

Neues Thema Ansicht wechseln


  1. Deduplizierung

    Autor: snoogie2k 23.01.13 - 16:22

    Ich habe da mal eine Frage zur Deduplizierung:

    Ich stelle mir das so vor, dass da auf einer HW-nahen Ebene die Dateien in Blöcke aufgebrochen werden (sagen wir einfach mal 4KB). Dann wird geschaut, ob dieser Block schon mal identisch irgendwo abgelegt wurde, falls ja speichere ich nur die Referenz zu dem bestehenden Block. Bei einer festen Blocksize ist die maximale Anzahl an verschiedenen Blöcken ja beschränkt, da kann man doch wunderbar deduplizieren oder sehe ich das falsch?


    Viele Grüße,
    Snoogie

    Benutzer wird von Ihnen ignoriert. Anzeigen

  2. Re: Deduplizierung

    Autor: Husare 23.01.13 - 16:28

    So sehe ich das auch. Und ich denke mit zunehmender Datenmenge steigt die Effizienz der blockweisen Deduplizierung.

    Benutzer wird von Ihnen ignoriert. Anzeigen

  3. Re: Deduplizierung

    Autor: Xstream 23.01.13 - 16:35

    es gibt 2^(8*4096) verschiedene 4k blöcke, das heißt um alle davon ein mal zu speichern braucht man (2^(8*4096))*4096 byte speicher, das ist weit mehr als praktikabel.
    in wirklichkeit wird da eine technik namens konvergente verschlüsselung genutzt.
    gute erklärung dazu wie das funktioniert: nerdland.net/2011/09/build-your-own-bitcasa/

    Benutzer wird von Ihnen ignoriert. Anzeigen

  4. Re: Deduplizierung

    Autor: nightfire2xs 23.01.13 - 16:54

    snoogie2k schrieb:
    --------------------------------------------------------------------------------
    > Ich habe da mal eine Frage zur Deduplizierung:
    >
    > Ich stelle mir das so vor, dass da auf einer HW-nahen Ebene die Dateien in
    > Blöcke aufgebrochen werden (sagen wir einfach mal 4KB). Dann wird geschaut,
    > ob dieser Block schon mal identisch irgendwo abgelegt wurde, falls ja
    > speichere ich nur die Referenz zu dem bestehenden Block. Bei einer festen
    > Blocksize ist die maximale Anzahl an verschiedenen Blöcken ja beschränkt,
    > da kann man doch wunderbar deduplizieren oder sehe ich das falsch?
    >
    > Viele Grüße,
    > Snoogie

    Nein, dass sieht du korrekt.
    Jedes Dateisystem muss ohnehin Pointer zu den Blöcken speichern. Bei Dedup wird dann einfach der Pointer "verbogen" und der Block eben nicht x-mal sondern nur 1mal gespeichert. Da dies auf Block- und nicht Datei-Ebene passiert funktioniert dies dann auch bei identischen Blöcken in ansonsten vollkommen unterschiedlichen Dateien.

    NF2XS

    Benutzer wird von Ihnen ignoriert. Anzeigen

  5. Re: Deduplizierung

    Autor: Husare 23.01.13 - 17:38

    Der Link funktioniert leider nicht.

    Benutzer wird von Ihnen ignoriert. Anzeigen

  6. Re: Deduplizierung

    Autor: MartinStein 23.01.13 - 17:50

    Das Prinzip und Problem mit der Konvergenten Verschlüsselung ist aber, dass gleiche Dateien (fast) gleich verschlüsselt werden. D.h. man kann ggf. herausfinden, wer welche Datei gespeichert hat.

    Deduplizierung funktioniert dann, wenn einige Blöcke viel öfter vorkommen als Andere. Designkriterium guter Verschlüsselung ist aber, dass alle Ciphertexte gleichwahrscheinlich sind. Deduplizierung wird damit schwierig.

    Benutzer wird von Ihnen ignoriert. Anzeigen

  7. Re: Deduplizierung

    Autor: Xstream 23.01.13 - 17:52

    google cache:
    > http://webcache.googleusercontent.com/search?q=cache:9rNNeSqus6UJ:nerdland.net/2011/09/build-your-own-bitcasa/&hl=de&lr=lang_en|lang_de&client=firefox-beta&tbo=d&gl=de&tbs=lr:lang_1en|lang_1de&strip=1

    Benutzer wird von Ihnen ignoriert. Anzeigen

  8. Re: Deduplizierung

    Autor: Husare 23.01.13 - 18:15

    Danke, daran habe ich gar nicht gedacht und war auch eigentlich zu faul. :D

    Benutzer wird von Ihnen ignoriert. Anzeigen

Neues Thema Ansicht wechseln


Entschuldigung, nur registrierte Benutzer dürfen in diesem Forum schreiben. Klicken Sie hier um sich einzuloggen


Anzeige
  1. Technical Merchant Support Engineer (m/w) Division Payment & Risk
    Wirecard Technologies GmbH, Aschheim bei München
  2. Solution Consultant (m/w)
    GESIS Gesellschaft für Informationssysteme mbH, Salzgitter oder Mülheim an der Ruhr
  3. Automotive Testingenieur / Techniker (m/w)
    GIGATRONIK Stuttgart GmbH, Stuttgart
  4. Spezialist Business Relationship Management (m/w) - IT-Fertigungssysteme und -programme
    Ford-Werke GmbH, Köln

Detailsuche



Top-Angebote
  1. TIPP: Kingsman - The Secret Service [Blu-ray]
    11,99€
  2. NEU: GOOGLE Chromecast HDMI Streaming Media Player
    19,00€ inkl. Versand
  3. TIPP: 4 Blu-rays für 30 EUR
    (u. a. Interstellar, Grand Budapest Hotel, Teenage Mutant Ninja Turtles, Django Unchained, Edge of...

Weitere Angebote



Haben wir etwas übersehen?

E-Mail an news@golem.de


Autonomes Fahren: Wer hat die besten Karten?
Autonomes Fahren
Wer hat die besten Karten?
  1. Nokia Ozo nimmt 360-Grad-Videos in Echtzeit auf
  2. Nokia Here Daimler will eigene Karten aus Angst vor Hackerattacken
  3. Kartendienst Nokia Here geht für 2,5 Milliarden an deutsche Autobauer

Ideapad Miix 700 im Hands On: Lenovo baut ein Surface
Ideapad Miix 700 im Hands On
Lenovo baut ein Surface
  1. Magenta Mobil Start Deutsche Telekom startet mit speziellem Kindertarif
  2. Smartphones, Tablets und eine Smartwatch Asus' Zen-Armada
  3. Smartwatches Motorola stellt neue Moto 360 und Moto 360 Sport vor

Primove in der Hauptstadt: Berlin hat wieder eine E-Bus-Linie
Primove in der Hauptstadt
Berlin hat wieder eine E-Bus-Linie
  1. Berliner Verkehrsbetriebe Update legt elektronischen Echtzeit-Fahrplan tagelang lahm
  2. Bombardier Primove Eine E-Busfahrt, die ist lustig
  3. Bombardier Primove Erste Tests mit Induktionsbussen in Berlin

  1. Firmenchef: Voice over LTE bei der Telekom "kommt später"
    Firmenchef
    Voice over LTE bei der Telekom "kommt später"

    Ifa 2015 Wann kommt endlich VoLTE? Das wurde der Chef der Telekom Deutschland heute auf der Ifa gefragt. Er stutzte kurz und sagte dann, der Netzbetreiber brauche noch etwas Zeit.

  2. Magnetfeld: Die Smartwatch sendet Daten durch den Körper
    Magnetfeld
    Die Smartwatch sendet Daten durch den Körper

    Derzeit kommunizieren Smartphone und Smartwatch meist per Bluetooth miteinander. US-Forscher haben ein neues Übertragungsverfahren entwickelt, das abhörsicher ist und weniger Energie benötigt. Allerdings hat das System einen entscheidenden Nachteil.

  3. Film-Codecs: Amazon gibt 500 Millionen Dollar für Startup aus
    Film-Codecs
    Amazon gibt 500 Millionen Dollar für Startup aus

    Amazon gibt viel Geld für ein Startup aus, das auf Codier- und Decodier-Software für hochauflösende Filme spezialisiert ist. Elemental Technologies wird bei AWS integriert.


  1. 19:42

  2. 18:31

  3. 18:05

  4. 17:38

  5. 17:34

  6. 16:54

  7. 15:15

  8. 14:44