1. Foren
  2. » Kommentare
  3. » Security
  4. » Alle Kommentare zum Artikel
  5. » Mega: Massive Kritik an der…

Deduplizierung

Anzeige
  1. Thema

Neues Thema Ansicht wechseln


  1. Deduplizierung

    Autor snoogie2k 23.01.13 - 16:22

    Ich habe da mal eine Frage zur Deduplizierung:

    Ich stelle mir das so vor, dass da auf einer HW-nahen Ebene die Dateien in Blöcke aufgebrochen werden (sagen wir einfach mal 4KB). Dann wird geschaut, ob dieser Block schon mal identisch irgendwo abgelegt wurde, falls ja speichere ich nur die Referenz zu dem bestehenden Block. Bei einer festen Blocksize ist die maximale Anzahl an verschiedenen Blöcken ja beschränkt, da kann man doch wunderbar deduplizieren oder sehe ich das falsch?


    Viele Grüße,
    Snoogie

    Benutzer wird von Ihnen ignoriert. Anzeigen

  2. Re: Deduplizierung

    Autor Husare 23.01.13 - 16:28

    So sehe ich das auch. Und ich denke mit zunehmender Datenmenge steigt die Effizienz der blockweisen Deduplizierung.

    Benutzer wird von Ihnen ignoriert. Anzeigen

  3. Re: Deduplizierung

    Autor Xstream 23.01.13 - 16:35

    es gibt 2^(8*4096) verschiedene 4k blöcke, das heißt um alle davon ein mal zu speichern braucht man (2^(8*4096))*4096 byte speicher, das ist weit mehr als praktikabel.
    in wirklichkeit wird da eine technik namens konvergente verschlüsselung genutzt.
    gute erklärung dazu wie das funktioniert: nerdland.net/2011/09/build-your-own-bitcasa/

    Benutzer wird von Ihnen ignoriert. Anzeigen

  4. Re: Deduplizierung

    Autor nightfire2xs 23.01.13 - 16:54

    snoogie2k schrieb:
    --------------------------------------------------------------------------------
    > Ich habe da mal eine Frage zur Deduplizierung:
    >
    > Ich stelle mir das so vor, dass da auf einer HW-nahen Ebene die Dateien in
    > Blöcke aufgebrochen werden (sagen wir einfach mal 4KB). Dann wird geschaut,
    > ob dieser Block schon mal identisch irgendwo abgelegt wurde, falls ja
    > speichere ich nur die Referenz zu dem bestehenden Block. Bei einer festen
    > Blocksize ist die maximale Anzahl an verschiedenen Blöcken ja beschränkt,
    > da kann man doch wunderbar deduplizieren oder sehe ich das falsch?
    >
    > Viele Grüße,
    > Snoogie

    Nein, dass sieht du korrekt.
    Jedes Dateisystem muss ohnehin Pointer zu den Blöcken speichern. Bei Dedup wird dann einfach der Pointer "verbogen" und der Block eben nicht x-mal sondern nur 1mal gespeichert. Da dies auf Block- und nicht Datei-Ebene passiert funktioniert dies dann auch bei identischen Blöcken in ansonsten vollkommen unterschiedlichen Dateien.

    NF2XS

    Benutzer wird von Ihnen ignoriert. Anzeigen

  5. Re: Deduplizierung

    Autor Husare 23.01.13 - 17:38

    Der Link funktioniert leider nicht.

    Benutzer wird von Ihnen ignoriert. Anzeigen

  6. Re: Deduplizierung

    Autor MartinStein 23.01.13 - 17:50

    Das Prinzip und Problem mit der Konvergenten Verschlüsselung ist aber, dass gleiche Dateien (fast) gleich verschlüsselt werden. D.h. man kann ggf. herausfinden, wer welche Datei gespeichert hat.

    Deduplizierung funktioniert dann, wenn einige Blöcke viel öfter vorkommen als Andere. Designkriterium guter Verschlüsselung ist aber, dass alle Ciphertexte gleichwahrscheinlich sind. Deduplizierung wird damit schwierig.

    Benutzer wird von Ihnen ignoriert. Anzeigen

  7. Re: Deduplizierung

    Autor Xstream 23.01.13 - 17:52

    google cache:
    > http://webcache.googleusercontent.com/search?q=cache:9rNNeSqus6UJ:nerdland.net/2011/09/build-your-own-bitcasa/&hl=de&lr=lang_en|lang_de&client=firefox-beta&tbo=d&gl=de&tbs=lr:lang_1en|lang_1de&strip=1

    Benutzer wird von Ihnen ignoriert. Anzeigen

  8. Re: Deduplizierung

    Autor Husare 23.01.13 - 18:15

    Danke, daran habe ich gar nicht gedacht und war auch eigentlich zu faul. :D

    Benutzer wird von Ihnen ignoriert. Anzeigen

Neues Thema Ansicht wechseln


Entschuldigung, nur registrierte Benutzer dürfen in diesem Forum schreiben. Klicken Sie hier um sich einzuloggen


Anzeige

Haben wir etwas übersehen?

E-Mail an news@golem.de


Digitalkamera: Panono macht Panoramen im Flug
Digitalkamera
Panono macht Panoramen im Flug

Wenn Jonas Pfeil ein Panorama aufnimmt, stellt er nicht Kamera, Stativ und Panoramakopf auf, sondern wirft einen Ball in die Höhe. Um das Panorama anschließend zu betrachten, hantiert er mit einem Tablet. Der Berliner hat Golem.de seine Entwicklung erklärt.

  1. Nachfolger von Google Glass Google patentiert Kontaktlinsen mit Kameras
  2. Pentax 645Z Mittelformatkamera mit 51 Megapixeln und ISO 204.800
  3. Coolpix S810C Spielen und Surfen mit der Nikon-Kamera

First-Person-Walker: Wie viel Gameplay braucht ein Spiel?
First-Person-Walker
Wie viel Gameplay braucht ein Spiel?

Walking-Simulator-Spiele nennen sie die einen, experimentelle Spiele die anderen. Rainer Sigl hat einen neuen Begriff für das junge Genre der atmosphärisch dichten Indie-Games erfunden: First-Person-Walker - Spiele aus der Ich-Perspektive mit wenig Gameplay.

  1. A Maze 2014 Tanzen mit der Perfect Woman
  2. Festival A Maze Ist das noch Indie?
  3. Test Cut The Rope 2 für Android Grün, knuddlig und hungrig nach Geld

Owncloud: Dropbox-Alternative fürs Heimnetzwerk
Owncloud
Dropbox-Alternative fürs Heimnetzwerk

Kaputte Zertifikate durch Heartbleed und der NSA-Skandal: Es gibt genügend Gründe, seinen eigenen Cloud-Speicher einzurichten. Wir erklären mit Owncloud auf einem Raspberry Pi, wie das funktioniert.


  1. Kindle Phone: Amazons Smartphone erhält spezielle Bedienung
    Kindle Phone
    Amazons Smartphone erhält spezielle Bedienung

    Zu Amazons erstem Smartphone sind weitere Bedienungsdetails des Geräts bekanntgeworden. So soll sich das Smartphone vor allem durch Kippgesten bedienen lassen. Der Anwender braucht dann nur noch selten auf das Display zu tippen.

  2. iOS 7.1.1: Kritisches Sicherheitsupdate für iPhone und iPad
    iOS 7.1.1
    Kritisches Sicherheitsupdate für iPhone und iPad

    Apple muss mehrere gefährliche Sicherheitslücken in iOS schließen und hat mit iOS 7.1.1 ein Sicherheitsupdate veröffentlicht. Zudem werden Fehler beseitigt und Touch ID für das iPhone 5S verbessert. Parallel wird für Apple TV aus Sicherheitsgründen ebenfalls eine neue Version veröffentlicht.

  3. Energieversorgung: Forscher übertragen Strom drahtlos über 5 Meter
    Energieversorgung
    Forscher übertragen Strom drahtlos über 5 Meter

    Südkoreanische Wissenschaftler haben einen Fernseher aus 5 Metern Entfernung ohne Kabel mit Strom versorgt. Sie träumen von öffentlichen Bereichen, in denen Nutzer ihre Geräte drahtlos laden können - vergleichbar mit heutigen öffentlichen WLANs.


  1. 08:46

  2. 23:08

  3. 19:07

  4. 18:53

  5. 18:32

  6. 17:33

  7. 17:26

  8. 17:23