Abo
  1. Foren
  2. Kommentare
  3. Software-Entwicklung
  4. Alle Kommentare zum Artikel
  5. › Oracle aktualisiert…

***DBM mit Compression+AutoClean/Free/Sparse ?

  1. Thema

Neues Thema Ansicht wechseln


  1. ***DBM mit Compression+AutoClean/Free/Sparse ?

    Autor: Siga9876 14.09.09 - 23:07

    Früher iirc berkeley-db 2 oder 3 wuchs die db munter beim füllen. dann stockte es. Vermutlich hatte er dann "genug" einträge und musste mehr bits zur kodierung nehmen und dafür alles in größer neu "einrichten". sowas könnte man auch transparent im hintergrund machen bzw. die alte+neue db in der selben datei halten und eine alte/neue bitmap der belegung und dann halt gelegentlich "umkopieren" bis die alte verteilung in die neue verteilung umgezogen ist. Aber na gut.

    Gibts dbms die compressen ? bei mysql gabs das ja als read-only-tabellen z.b. für Datenbanken auf cd oder wo man nicht oder nur separat in andere tabellen reinschreibt. früher gegen geld, inzwischen iirc kostenlos.

    Gibts dbms (gnu-dbm/gdbm, sdbm, perl-db, dbm, nbdm, berkeley-db) die speicher explizit/funktionierend wieder freigeben ? Sparse-Files können einige. Manche FileSysteme (OSFAlpha iirc) behandeln Blöcke aus Nullen auch speziell. Aber manchmal wäre schon nett, wenn die Blöcke beim leeren so behandelt werden, das das filesystem sie wieder frei gibt.

    Berkeley-DBM ist von den dbms wohl recht fortgeschritten.
    Auch wenn mans nicht vermutet, kann man auch dort mehr nützliche Features hineinbringen.

  2. Re: ***DBM mit Compression+AutoClean/Free/Sparse ?

    Autor: Verwundert 15.09.09 - 03:30

    Siga9876 schrieb:

    > Gibts dbms die compressen ? bei mysql gabs das ja
    > als read-only-tabellen
    > z.b. für Datenbanken auf cd oder wo man nicht oder
    > nur separat in andere
    > tabellen reinschreibt

    http://dev.mysql.com/doc/refman/5.1/en/news-5-1-38.html

    http://www.innodb.com/doc/innodb_plugin-1.0/innodb-compression.html#innodb-compression-enabling

    Unsere dbmail-Datenbank ist damit von 19 GB auf 11 GB runter gegangen

  3. Re: ***DBM mit Compression+AutoClean/Free/Sparse ?

    Autor: Siga9876 15.09.09 - 09:50

    Danke für den Hinweis. Auch mal interessant.

    "***dbms" war präziser als "dbms" aber auch missverständlich wenn man den Kontext (berkeleyDB) nicht so eng sieht und um SQL-DBs ergänzt.
    Ich meinte also eher ISAM-DBMs und keine SQL-Datenbanken.

    (" perldoc AnyDBM_File " zeigt an, worum es geht).

  4. Re: ***DBM mit Compression+AutoClean/Free/Sparse ?

    Autor: Verwundert 15.09.09 - 12:19

    Siga9876 schrieb:

    > Ich meinte also eher ISAM-DBMs und keine SQL-Datenbanken.

    Was sin ISAM-DBMS sein?
    MySQL nutzt auch ISAM (Ja mit innodb nicht)....
    Du hast sie doch nicht mehr alle an der Waffel

  5. Re: ***DBM mit Compression+AutoClean/Free/Sparse ?

    Autor: Siga9876 15.09.09 - 16:56

    Bei wikipedia ist es vermutlich besser erklärt.

    MySQL hat die Layers wie bei Datenbanken (Blöcke, Records, Tabellen, Views) so ähnlich wie ISO bei Netzwerken (bit-transport usw.) sauberer getrennt als viele Datenbanken.

    isam sind für mich einfachere Datenbanken (ohne SQL) die im Prinzip hashes(perl), maps(python, java),... halten.
    Wenn man größere Datenmengen hat, kann es hilfreich sein, wenn man kein SQL braucht sondern nur Key-Value-Listen braucht.
    Viele wissen nicht mal, das es sowas gibt.

    " perldoc AnyDBM_File " gibt auch Hinweise auf verschiedene Implementierungen. Die aktuellen Features von Berkeley-DB fehlen dort aber.

  6. Re: ***DBM mit Compression+AutoClean/Free/Sparse ?

    Autor: Verwundert 16.09.09 - 00:42

    Was ein Schwachsinn
    Wo soll denn bitte der Vorteil sein KEIN SQL zu verwenden?
    Klar schreiben wir doch gleich wieder alles in eigene Binärformate, wozu sollten denn auch stanardisierte Abfragesprachen nütze sein

  7. Re: ***DBM mit Compression+AutoClean/Free/Sparse ?

    Autor: DenKn 02.02.10 - 11:54

    Genau so etwas suche ich auch. Die BDB kennt eine Funktion um eine Kompression zu ermoeglichen, aber bringt selbst nichts mit.
    Die komplette BDB zu komprimieren bringt nichts, denn wenn man auf diese zugreifen muss, muss sie erst dekomprimiert werden, was im Endeffekt nur bei seltenen Zugriffen einen Vorteil bringt.
    Einzelne Zeichenketten zu komprimieren bringt nur etwas, wenn diese lang genug sind. Sonst koennte es passieren, dass die komprimierte Zeichenkette womoeglich laenger ist, als die Originale. LZ-basierte etwa. Wenn man das ganze auch noch schnell haben will, kann man nicht einmal mehr BWT oder LZMA verwenden.
    Mit globalen Woerterbuechern zu arbeiten ist schon wieder zuviel Aufwand, so dass es sich auch nicht mehr lohnt.

    Zu denen, die meinen das sei Schwachsinn, nein ist es nicht. Eine DBM ist um einiges schneller als jegliche RDBMS und reicht oft genug sogar aus. Diese sind zB. fuer MapReduce sehr gut geeignet und auch fuer Embedded Systems.
    Und was hat MySQL noch vor ein paar Versionen verwendet? Eine BDB. Man hat sich von der BDB abgewandt, weil man Angst vor Oracle hatte, dass die die Lizenz der BDB fuer MySQL unbrauchbar machten.
    Es ist sehr disqualifizierend sich so abwaertig gegenueber eine Technik zu aeussern, von der man nichts weiss. Besonders nicht, dass man sie vermutlich bereits nutzt, etwa in einem LDAP-Server oder in einem alten MySQL-Server oder auf seinem Mobiltelefon.

Neues Thema Ansicht wechseln


Um zu kommentieren, loggen Sie sich bitte ein oder registrieren Sie sich. Zum Login

Stellenmarkt
  1. DLR Deutsches Zentrum für Luft- und Raumfahrt e.V., Oberpfaffenhofen bei München
  2. TLI Consulting GmbH, Nürnberg, Hannover, Berlin, Erlangen
  3. DLR Deutsches Zentrum für Luft- und Raumfahrt e.V., Köln
  4. Interhyp Gruppe, München

Golem pur
  • Golem.de ohne Werbung nutzen

Anzeige
Hardware-Angebote
  1. 119,90€
  2. 399€ (Wert der Spiele rund 212€)


Haben wir etwas übersehen?

E-Mail an news@golem.de


Programmierer: Wenn der Urheber gegen das Urheberrecht verliert
Programmierer
Wenn der Urheber gegen das Urheberrecht verliert

Der nun offiziell beendete GPL-Streit zwischen Linux-Entwickler Christoph Hellwig und VMware zeigt eklatant, wie schwer sich moderne Software-Entwicklung im aktuellen Urheberrecht abbilden lässt. Immerhin wird klarer, wie derartige Klagen künftig gestaltet werden müssen.
Eine Analyse von Sebastian Grüner

  1. Urheberrecht Frag den Staat darf Glyphosat-Gutachten nicht publizieren
  2. Vor der Abstimmung Mehr als 100.000 Menschen demonstrieren gegen Uploadfilter
  3. Uploadfilter SPD setzt auf Streichung von Artikel 13

Mobile-Games-Auslese: Rollenspiel-Frühling mit leichten Schusswechseln
Mobile-Games-Auslese
Rollenspiel-Frühling mit leichten Schusswechseln

Action im Stil von Overwatch bietet Frag Pro Shooter, dazu kommt Retro-Arcade-Spaß mit Cure Hunters und eine gelungene Umsetzung des Brettspiels Die Burgen von Burgund: Neue Mobile Games sorgen für viel Abwechslung.
Von Rainer Sigl

  1. Gaming Apple Arcade wird Spiele-Flatrate für iOS und MacOS
  2. Indiegames Stardew Valley kommt auf Android
  3. Mobile-Games-Auslese Die Evolution als Smartphone-Strategiespiel

Passwort-Richtlinien: Schlechte Passwörter vermeiden
Passwort-Richtlinien
Schlechte Passwörter vermeiden

Groß- und Kleinbuchstaben, mindestens ein Sonderzeichen, aber nicht irgendeins? Viele Passwort-Richtlinien führen dazu, dass Nutzer genervt oder verwirrt sind, aber nicht unbedingt zu sichereren Passwörtern. Wir geben Tipps, wie Entwickler es besser machen können.
Von Hanno Böck

  1. Acutherm Mit Wärmebildkamera und Mikrofon das Passwort erraten
  2. Datenschutz Facebook speicherte Millionen Passwörter im Klartext
  3. Fido-Sticks im Test Endlich schlechte Passwörter

  1. E-Learning-Plattform: Mysteriöses Datenleck bei Oncampus
    E-Learning-Plattform
    Mysteriöses Datenleck bei Oncampus

    Bei der deutschen E-Learning-Plattform Oncampus kam es offenbar zu einem Datenleck. Der Betreiber weiß bisher nicht genau, was passiert ist.

  2. Oneweb: Airbus will Kleinsatelliten vermarkten
    Oneweb
    Airbus will Kleinsatelliten vermarkten

    Eine große Konstellation aus kleinen Satelliten: Airbus arbeitet mit dem US-Unternehmen Oneweb am Satelliteninternet. Der Chef der Airbus-Raumfahrtsparte sieht zudem weitere Anwendungsmöglichkeiten für die Kleinsatelliten. Für die interessiert sich unter anderem die Darpa.

  3. Drittanbieter: Amazon schließt seinen Marketplace in China
    Drittanbieter
    Amazon schließt seinen Marketplace in China

    Amazon.cn wird geschlossen. Der Druck der chinesischen Konkurrenten war für den weltgrößten Onlinehändler Amazon zu groß.


  1. 16:31

  2. 15:32

  3. 14:56

  4. 14:41

  5. 13:20

  6. 12:52

  7. 12:38

  8. 12:08