***DBM mit Compression+AutoClean/Free/Sparse ?

[Siga9876]

Früher iirc berkeley-db 2 oder 3 wuchs die db munter beim füllen. dann stockte es. Vermutlich hatte er dann "genug" einträge und musste mehr bits zur kodierung nehmen und dafür alles in größer neu "einrichten". sowas könnte man auch transparent im hintergrund machen bzw. die alte+neue db in der selben datei halten und eine alte/neue bitmap der belegung und dann halt gelegentlich "umkopieren" bis die alte verteilung in die neue verteilung umgezogen ist. Aber na gut.

Gibts dbms die compressen ? bei mysql gabs das ja als read-only-tabellen z.b. für Datenbanken auf cd oder wo man nicht oder nur separat in andere tabellen reinschreibt. früher gegen geld, inzwischen iirc kostenlos.

Gibts dbms (gnu-dbm/gdbm, sdbm, perl-db, dbm, nbdm, berkeley-db) die speicher explizit/funktionierend wieder freigeben ? Sparse-Files können einige. Manche FileSysteme (OSFAlpha iirc) behandeln Blöcke aus Nullen auch speziell. Aber manchmal wäre schon nett, wenn die Blöcke beim leeren so behandelt werden, das das filesystem sie wieder frei gibt.

Berkeley-DBM ist von den dbms wohl recht fortgeschritten.
Auch wenn mans nicht vermutet, kann man auch dort mehr nützliche Features hineinbringen.

[Verwundert]

Siga9876 schrieb:

> Gibts dbms die compressen ? bei mysql gabs das ja
> als read-only-tabellen
> z.b. für Datenbanken auf cd oder wo man nicht oder
> nur separat in andere
> tabellen reinschreibt

http://dev.mysql.com/doc/refman/5.1/en/news-5-1-38.html

http://www.innodb.com/doc/innodb_plugin-1.0/innodb-compression.html#innodb-compression-enabling

Unsere dbmail-Datenbank ist damit von 19 GB auf 11 GB runter gegangen

[Siga9876]

Danke für den Hinweis. Auch mal interessant.

"***dbms" war präziser als "dbms" aber auch missverständlich wenn man den Kontext (berkeleyDB) nicht so eng sieht und um SQL-DBs ergänzt.
Ich meinte also eher ISAM-DBMs und keine SQL-Datenbanken.

(" perldoc AnyDBM_File " zeigt an, worum es geht).

[Verwundert]

Siga9876 schrieb:

> Ich meinte also eher ISAM-DBMs und keine SQL-Datenbanken.

Was sin ISAM-DBMS sein?
MySQL nutzt auch ISAM (Ja mit innodb nicht)....
Du hast sie doch nicht mehr alle an der Waffel

[Siga9876]

Bei wikipedia ist es vermutlich besser erklärt.

MySQL hat die Layers wie bei Datenbanken (Blöcke, Records, Tabellen, Views) so ähnlich wie ISO bei Netzwerken (bit-transport usw.) sauberer getrennt als viele Datenbanken.

isam sind für mich einfachere Datenbanken (ohne SQL) die im Prinzip hashes(perl), maps(python, java),... halten.
Wenn man größere Datenmengen hat, kann es hilfreich sein, wenn man kein SQL braucht sondern nur Key-Value-Listen braucht.
Viele wissen nicht mal, das es sowas gibt.

" perldoc AnyDBM_File " gibt auch Hinweise auf verschiedene Implementierungen. Die aktuellen Features von Berkeley-DB fehlen dort aber.

[Verwundert]

Was ein Schwachsinn
Wo soll denn bitte der Vorteil sein KEIN SQL zu verwenden?
Klar schreiben wir doch gleich wieder alles in eigene Binärformate, wozu sollten denn auch stanardisierte Abfragesprachen nütze sein

[DenKn]

Genau so etwas suche ich auch. Die BDB kennt eine Funktion um eine Kompression zu ermoeglichen, aber bringt selbst nichts mit.
Die komplette BDB zu komprimieren bringt nichts, denn wenn man auf diese zugreifen muss, muss sie erst dekomprimiert werden, was im Endeffekt nur bei seltenen Zugriffen einen Vorteil bringt.
Einzelne Zeichenketten zu komprimieren bringt nur etwas, wenn diese lang genug sind. Sonst koennte es passieren, dass die komprimierte Zeichenkette womoeglich laenger ist, als die Originale. LZ-basierte etwa. Wenn man das ganze auch noch schnell haben will, kann man nicht einmal mehr BWT oder LZMA verwenden.
Mit globalen Woerterbuechern zu arbeiten ist schon wieder zuviel Aufwand, so dass es sich auch nicht mehr lohnt.

Zu denen, die meinen das sei Schwachsinn, nein ist es nicht. Eine DBM ist um einiges schneller als jegliche RDBMS und reicht oft genug sogar aus. Diese sind zB. fuer MapReduce sehr gut geeignet und auch fuer Embedded Systems.
Und was hat MySQL noch vor ein paar Versionen verwendet? Eine BDB. Man hat sich von der BDB abgewandt, weil man Angst vor Oracle hatte, dass die die Lizenz der BDB fuer MySQL unbrauchbar machten.
Es ist sehr disqualifizierend sich so abwaertig gegenueber eine Technik zu aeussern, von der man nichts weiss. Besonders nicht, dass man sie vermutlich bereits nutzt, etwa in einem LDAP-Server oder in einem alten MySQL-Server oder auf seinem Mobiltelefon.