Abo
  1. Foren
  2. Kommentare
  3. Software-Entwicklung
  4. Alle Kommentare zum Artikel
  5. › Oracle aktualisiert…

***DBM mit Compression+AutoClean/Free/Sparse ?

  1. Thema

Neues Thema Ansicht wechseln


  1. ***DBM mit Compression+AutoClean/Free/Sparse ?

    Autor: Siga9876 14.09.09 - 23:07

    Früher iirc berkeley-db 2 oder 3 wuchs die db munter beim füllen. dann stockte es. Vermutlich hatte er dann "genug" einträge und musste mehr bits zur kodierung nehmen und dafür alles in größer neu "einrichten". sowas könnte man auch transparent im hintergrund machen bzw. die alte+neue db in der selben datei halten und eine alte/neue bitmap der belegung und dann halt gelegentlich "umkopieren" bis die alte verteilung in die neue verteilung umgezogen ist. Aber na gut.

    Gibts dbms die compressen ? bei mysql gabs das ja als read-only-tabellen z.b. für Datenbanken auf cd oder wo man nicht oder nur separat in andere tabellen reinschreibt. früher gegen geld, inzwischen iirc kostenlos.

    Gibts dbms (gnu-dbm/gdbm, sdbm, perl-db, dbm, nbdm, berkeley-db) die speicher explizit/funktionierend wieder freigeben ? Sparse-Files können einige. Manche FileSysteme (OSFAlpha iirc) behandeln Blöcke aus Nullen auch speziell. Aber manchmal wäre schon nett, wenn die Blöcke beim leeren so behandelt werden, das das filesystem sie wieder frei gibt.

    Berkeley-DBM ist von den dbms wohl recht fortgeschritten.
    Auch wenn mans nicht vermutet, kann man auch dort mehr nützliche Features hineinbringen.

  2. Re: ***DBM mit Compression+AutoClean/Free/Sparse ?

    Autor: Verwundert 15.09.09 - 03:30

    Siga9876 schrieb:

    > Gibts dbms die compressen ? bei mysql gabs das ja
    > als read-only-tabellen
    > z.b. für Datenbanken auf cd oder wo man nicht oder
    > nur separat in andere
    > tabellen reinschreibt

    http://dev.mysql.com/doc/refman/5.1/en/news-5-1-38.html

    http://www.innodb.com/doc/innodb_plugin-1.0/innodb-compression.html#innodb-compression-enabling

    Unsere dbmail-Datenbank ist damit von 19 GB auf 11 GB runter gegangen

  3. Re: ***DBM mit Compression+AutoClean/Free/Sparse ?

    Autor: Siga9876 15.09.09 - 09:50

    Danke für den Hinweis. Auch mal interessant.

    "***dbms" war präziser als "dbms" aber auch missverständlich wenn man den Kontext (berkeleyDB) nicht so eng sieht und um SQL-DBs ergänzt.
    Ich meinte also eher ISAM-DBMs und keine SQL-Datenbanken.

    (" perldoc AnyDBM_File " zeigt an, worum es geht).

  4. Re: ***DBM mit Compression+AutoClean/Free/Sparse ?

    Autor: Verwundert 15.09.09 - 12:19

    Siga9876 schrieb:

    > Ich meinte also eher ISAM-DBMs und keine SQL-Datenbanken.

    Was sin ISAM-DBMS sein?
    MySQL nutzt auch ISAM (Ja mit innodb nicht)....
    Du hast sie doch nicht mehr alle an der Waffel

  5. Re: ***DBM mit Compression+AutoClean/Free/Sparse ?

    Autor: Siga9876 15.09.09 - 16:56

    Bei wikipedia ist es vermutlich besser erklärt.

    MySQL hat die Layers wie bei Datenbanken (Blöcke, Records, Tabellen, Views) so ähnlich wie ISO bei Netzwerken (bit-transport usw.) sauberer getrennt als viele Datenbanken.

    isam sind für mich einfachere Datenbanken (ohne SQL) die im Prinzip hashes(perl), maps(python, java),... halten.
    Wenn man größere Datenmengen hat, kann es hilfreich sein, wenn man kein SQL braucht sondern nur Key-Value-Listen braucht.
    Viele wissen nicht mal, das es sowas gibt.

    " perldoc AnyDBM_File " gibt auch Hinweise auf verschiedene Implementierungen. Die aktuellen Features von Berkeley-DB fehlen dort aber.

  6. Re: ***DBM mit Compression+AutoClean/Free/Sparse ?

    Autor: Verwundert 16.09.09 - 00:42

    Was ein Schwachsinn
    Wo soll denn bitte der Vorteil sein KEIN SQL zu verwenden?
    Klar schreiben wir doch gleich wieder alles in eigene Binärformate, wozu sollten denn auch stanardisierte Abfragesprachen nütze sein

  7. Re: ***DBM mit Compression+AutoClean/Free/Sparse ?

    Autor: DenKn 02.02.10 - 11:54

    Genau so etwas suche ich auch. Die BDB kennt eine Funktion um eine Kompression zu ermoeglichen, aber bringt selbst nichts mit.
    Die komplette BDB zu komprimieren bringt nichts, denn wenn man auf diese zugreifen muss, muss sie erst dekomprimiert werden, was im Endeffekt nur bei seltenen Zugriffen einen Vorteil bringt.
    Einzelne Zeichenketten zu komprimieren bringt nur etwas, wenn diese lang genug sind. Sonst koennte es passieren, dass die komprimierte Zeichenkette womoeglich laenger ist, als die Originale. LZ-basierte etwa. Wenn man das ganze auch noch schnell haben will, kann man nicht einmal mehr BWT oder LZMA verwenden.
    Mit globalen Woerterbuechern zu arbeiten ist schon wieder zuviel Aufwand, so dass es sich auch nicht mehr lohnt.

    Zu denen, die meinen das sei Schwachsinn, nein ist es nicht. Eine DBM ist um einiges schneller als jegliche RDBMS und reicht oft genug sogar aus. Diese sind zB. fuer MapReduce sehr gut geeignet und auch fuer Embedded Systems.
    Und was hat MySQL noch vor ein paar Versionen verwendet? Eine BDB. Man hat sich von der BDB abgewandt, weil man Angst vor Oracle hatte, dass die die Lizenz der BDB fuer MySQL unbrauchbar machten.
    Es ist sehr disqualifizierend sich so abwaertig gegenueber eine Technik zu aeussern, von der man nichts weiss. Besonders nicht, dass man sie vermutlich bereits nutzt, etwa in einem LDAP-Server oder in einem alten MySQL-Server oder auf seinem Mobiltelefon.

  1. Thema

Neues Thema Ansicht wechseln


Um zu kommentieren, loggen Sie sich bitte ein oder registrieren Sie sich. Zum Login

Stellenmarkt
  1. Giesecke+Devrient Currency Technology GmbH, München
  2. NORDAKADEMIE, Elmshorn
  3. RFT kabel Brandenburg GmbH, Brandenburg an der Havel
  4. 3Tec automation GmbH u. Co. KG, Herford, Bielefeld

Golem pur
  • Golem.de ohne Werbung nutzen

Anzeige
Spiele-Angebote
  1. 19,99€
  2. 26,99€
  3. (-25%) 14,99€
  4. 27,99€


Haben wir etwas übersehen?

E-Mail an news@golem.de


Timex Data Link im Retro-Test: Bill Gates' Astronauten-Smartwatch
Timex Data Link im Retro-Test
Bill Gates' Astronauten-Smartwatch

Mit der Data Link haben Timex und Microsoft bereits vor 25 Jahren die erste richtige Smartwatch vorgestellt. Sie hat es sogar bis in den Weltraum geschafft. Das Highlight ist die drahtlose Datenübertragung per flackerndem Röhrenmonitor - was wir natürlich ausprobieren mussten.
Ein Test von Tobias Költzsch

  1. Smart Watch Swatch fordert wegen kopierter Zifferblätter von Samsung Geld
  2. Wearable EU warnt vor deutscher Kinder-Smartwatch
  3. Sportuhr Fossil stellt Smartwatch mit Snapdragon 3100 vor

WD Blue SN500 ausprobiert: Die flotte günstige Blaue
WD Blue SN500 ausprobiert
Die flotte günstige Blaue

Mit der WD Blue SN500 bietet Western Digital eine spannende NVMe-SSD an: Das M.2-Kärtchen basiert auf einem selbst entwickelten Controller und eigenem Flash-Speicher. Das Resultat ist ein schnelles, vor allem aber günstiges Modell als bessere Alternative zu Sata-SSDs.
Von Marc Sauter

  1. WD Black SN750 ausprobiert Direkt hinter Samsungs SSDs
  2. WD Black SN750 Leicht optimierte NVMe-SSD mit 2 TByte
  3. Ultrastar DC ME200 Western Digital baut PCIe-Arbeitsspeicher mit 4 TByte

Autonomes Fahren: Per Fernsteuerung durch die Baustelle
Autonomes Fahren
Per Fernsteuerung durch die Baustelle

Was passiert, wenn autonome Autos in einer Verkehrssituation nicht mehr weiterwissen? Ein Berliner Fraunhofer-Institut hat dazu eine sehr datensparsame Fernsteuerung entwickelt. Doch es wird auch vor der Technik gewarnt.
Ein Bericht von Friedhelm Greis

  1. Neues Geschäftsfeld Huawei soll an autonomen Autos arbeiten
  2. Taxifahrzeug Volvo baut für Uber Basis eines autonomen Autos
  3. Autonomes Fahren Halter sollen bei Hackerangriffen auf Autos haften

  1. AT&T: Testnutzer in 5G-Netzwerk misst 1,7 GBit/s
    AT&T
    Testnutzer in 5G-Netzwerk misst 1,7 GBit/s

    Das Branchenevent AT&T Shape sollte die Filmindustrie für 5G begeistern. Oft wurden auf dem Gelände von Warner Bros. in Los Angeles bis 1,7 GBit/s gemessen.

  2. Netzausbau: Städtebund-Chef will 5G-Antennen auf Kindergärten
    Netzausbau
    Städtebund-Chef will 5G-Antennen auf Kindergärten

    Der Deutschen Städte- und Gemeindebund spricht ein Tabuthema an: 5G-Antennen auf Schulen und Kindergärten. Der Mast strahle nicht auf das Gebäude, auf dem er steht.

  3. Ladesäulenbetreiber Allego: Einmal vollladen für 50 Euro
    Ladesäulenbetreiber Allego
    Einmal vollladen für 50 Euro

    Nach und nach stellen die Ladesäulenbetreiber auf verbrauchsgenaue Abrechnungen bei Elektroautos um. Doch eichrechtskonform sind die Lösungen teilweise immer noch nicht. Dafür aber bei Anbietern wie Allego recht teuer.


  1. 19:45

  2. 19:10

  3. 18:40

  4. 18:00

  5. 17:25

  6. 16:18

  7. 15:24

  8. 15:00