1. Foren
  2. Kommentare
  3. OpenSource
  4. Alle Kommentare zum Artikel
  5. › MemSQL: MySQL-kompatibel, aber 30…

Erinnert mich an nen alten Trick: Ramdisk = MySQL auf Speed

  1. Thema

Neues Thema Ansicht wechseln


  1. Erinnert mich an nen alten Trick: Ramdisk = MySQL auf Speed

    Autor: Slartie 18.06.12 - 20:34

    Ich fahr schon seit mehreren Jahren eine Data-Crunching-Anwendung mit MySQL als Grundlage, die während der Datenverarbeitung konstant 15k Queries (50% schreibend, 50% lesend) pro Sekunde auf einem einzigen i7-Kern über eine Datenbasis von ~2-3 GByte schiebt. Der Trick war, die hoch frequentierten Tables direkt vor der Datenverarbeitung in eine Ramdisk zu kopieren, die Files per Symlink an die von MySQL gewohnte Stelle zu linken und dann den Batch-Job abzufeuern. Nach Erledigung werden die Tables geflushed und die Files auf die persistenten Disks zurückgemoved. Mit entsprechenden Backups kann man da auch ganz gut die Konsistenz im Fall von Stromausfällen etc. sichern. Klappt natürlich nur, wenn der Zugriff auf die Daten nur von der einen Anwendung erfolgt bzw. gut geregelt ist, also sicher nix für jeden Anwendungsfall, aber in meinem Fall war's eine sehr pragmatische Lösung für ein Problem, das in der Zeit vor billigen SSDs sonst nur mit sündteuren Highend-Lösungen in den Griff zu bekommen gewesen wäre.

  2. Re: Erinnert mich an nen alten Trick: Ramdisk = MySQL auf Speed

    Autor: MArc. 19.06.12 - 00:18

    Slartie schrieb:
    --------------------------------------------------------------------------------
    > Nach Erledigung werden die Tables geflushed und die
    > Files auf die persistenten Disks zurückgemoved.

    lol. Solltest Dich für eine Sprache entscheiden. ;o)

  3. +1 (kwT.)

    Autor: __destruct() 19.06.12 - 00:55

    kwT.

  4. Re: Erinnert mich an nen alten Trick: Ramdisk = MySQL auf Speed

    Autor: MESH 19.06.12 - 06:47

    MArc. schrieb:
    --------------------------------------------------------------------------------
    > Slartie schrieb:
    > ---------------------------------------------------------------------------
    > -----
    > > Nach Erledigung werden die Tables geflushed und die
    > > Files auf die persistenten Disks zurückgemoved.
    >
    > lol. Solltest Dich für eine Sprache entscheiden. ;o)

    dann hört es sich aber nicht so professionell an für die 12-16 jährigen

  5. Re: Erinnert mich an nen alten Trick: Ramdisk = MySQL auf Speed

    Autor: fool 19.06.12 - 09:12

    Weil "lol" so deutsch ist?

  6. Re: Erinnert mich an nen alten Trick: Ramdisk = MySQL auf Speed

    Autor: elgooG 19.06.12 - 09:35

    Slartie schrieb:
    --------------------------------------------------------------------------------
    > Ich fahr schon seit mehreren Jahren eine Data-Crunching-Anwendung mit MySQL
    > als Grundlage, die während der Datenverarbeitung konstant 15k Queries (50%
    > schreibend, 50% lesend) pro Sekunde auf einem einzigen i7-Kern über eine
    > Datenbasis von ~2-3 GByte schiebt. Der Trick war, die hoch frequentierten
    > Tables direkt vor der Datenverarbeitung in eine Ramdisk zu kopieren, die
    > Files per Symlink an die von MySQL gewohnte Stelle zu linken und dann den
    > Batch-Job abzufeuern. Nach Erledigung werden die Tables geflushed und die
    > Files auf die persistenten Disks zurückgemoved. Mit entsprechenden Backups
    > kann man da auch ganz gut die Konsistenz im Fall von Stromausfällen etc.
    > sichern. Klappt natürlich nur, wenn der Zugriff auf die Daten nur von der
    > einen Anwendung erfolgt bzw. gut geregelt ist, also sicher nix für jeden
    > Anwendungsfall, aber in meinem Fall war's eine sehr pragmatische Lösung für
    > ein Problem, das in der Zeit vor billigen SSDs sonst nur mit sündteuren
    > Highend-Lösungen in den Griff zu bekommen gewesen wäre.

    Die Methode klingt nett, ist aber nur für Batch-Jobs und auch nur für Daten geeignet die sich im Notfall von anderswo wiederherstellen lassen. Etwas ganz Anderes ist, wenn du sich ständig aktualisierende Daten besonders schnell abfragen möchtest.

    Außerdem verstehe ich den zusätzlichen Aufwand nicht so ganz. Was ist nun der Vorteil gegenüber einer ganz gewöhnlichen MySQL-Memory-Table?

    Damit wäre auch der ganze Unsinn mit dem Flush unnötig, es wäre kein Filesystem dazwischen und du kannst auch noch während die Daten auf die Platte in eine physische Tabelle geschrieben werden, schon den nächsten Batch-Job laufen lassen.

    Kann Spuren von persönlichen Meinungen, Sarkasmus und Erdnüssen enthalten. Ausdrucke nicht für den Verzehr geeignet. Ungelesen mindestens haltbar bis: siehe Rückseite

  7. Re: Erinnert mich an nen alten Trick: Ramdisk = MySQL auf Speed

    Autor: der-dicky 19.06.12 - 10:08

    ne Datenbank-Datei auf ner Ramdisk stellt sich mir grade als sehr ineffiziente RAM-Nutzung dar, oder übersehe ich da was?
    wenn ich eine Memory-Table anlege verbrauche ich die Menge meiner Nutzdaten und Indizes im RAM. wenn ich eine Tabelle auf der Platte anlege Verbrauche ich im schlimmsten/besten Fall auch die Nutzdatenmenge plus Indizes im RAM *und* auf der Platte.
    wenn ich jetzt die die Datei auf eine Ramdisk schiebe verdoppelt sich der Speicherbedarf doch oder?

    also lieber nen dump der Tabelle(n) erzeugen, in ne memory-tabelle einspielen, Rechnen und dump zurückspielen, oder?

  1. Thema

Neues Thema Ansicht wechseln


Um zu kommentieren, loggen Sie sich bitte ein oder registrieren Sie sich. Zum Login

Stellenmarkt
  1. Sky Deutschland GmbH, Unterföhring bei München
  2. htp GmbH, Hannover
  3. Zentrum Bayern Familie und Soziales, München, Bayreuth
  4. Schwarz Dienstleistung KG, Raum Neckarsulm

Golem pur
  • Golem.de ohne Werbung nutzen

Anzeige
Spiele-Angebote
  1. 12,49€
  2. (-43%) 22,99€
  3. (-70%) 2,99€


Haben wir etwas übersehen?

E-Mail an news@golem.de


Frauen in der Technik: Von wegen keine Vorbilder!
Frauen in der Technik
Von wegen keine Vorbilder!

Technik, also auch Computertechnik, war schon immer ein männlich dominiertes Feld. Das heißt aber nicht, dass es in der Geschichte keine bedeutenden Programmiererinnen gab. Besonders das Militär zeigte reges Interesse an den Fähigkeiten von Frauen.
Von Valerie Lux

  1. Arbeit Warum anderswo mehr Frauen IT-Berufe ergreifen
  2. Arbeit Was IT-Recruiting von der Bundesliga lernen kann
  3. Arbeit Wer ein Helfersyndrom hat, ist im IT-Support richtig

Leistungsschutzrecht: Drei Wörter sollen ...
Leistungsschutzrecht
Drei Wörter sollen ...

Der Vorschlag der Bundesregierung für das neue Leistungsschutzrecht stößt auf Widerstand bei den Verlegerverbänden. Überschriften mit mehr als drei Wörtern und Vorschaubilder sollen lizenzpfichtig sein. Dabei wenden die Verlage einen sehr auffälligen Argumentationstrick an.
Eine Analyse von Friedhelm Greis

  1. Leistungsschutzrecht Memes sollen nur noch 128 mal 128 Pixel groß sein
  2. Leistungsschutzrecht Französische Verlage reichen Beschwerde gegen Google ein
  3. Leistungsschutzrecht Französische Medien beschweren sich über Google

Pathfinder 2 angespielt: Abenteuer als wohlwollender Engel oder rasender Dämon
Pathfinder 2 angespielt
Abenteuer als wohlwollender Engel oder rasender Dämon

Das erste Pathfinder war mehr als ein Achtungserfolg. Mit dem Nachfolger möchte das Entwicklerstudio Owlcat Games nun richtig durchstarten. Golem.de konnte eine frühe Version des Rollenspiels bereits ausprobieren.
Von Peter Steinlechner

  1. 30 Jahre Champions of Krynn Rückkehr ins Reich der Drachen und Drakonier
  2. Dungeons & Dragons Dark Alliance schickt Dunkelelf Drizzt nach Icewind Dale

  1. Elenion Technologies: Nokia übernimmt US-Experten für Siliziumphotonik
    Elenion Technologies
    Nokia übernimmt US-Experten für Siliziumphotonik

    Nokia kauft ein New Yorker Unternehmen, das im Bereich Siliziumphotonik aktiv ist. Die Produkte sind für 5G-, Cloud- und Rechenzentrumsnetzwerke einsetzbar, es geht um die tiefere Integration bei der Umwandlung von Licht zu elektrischen Signalen.

  2. Spielestreaming: Google Stadia funktioniert auch mit Smartphones von Samsung
    Spielestreaming
    Google Stadia funktioniert auch mit Smartphones von Samsung

    Der Spielestreamingdienst Stadia von Google unterstützt künftig auch einige Smartphones von Razer und Asus, vor allem aber viele neuere Geräte von Samsung - inklusive der gerade erst vorgestellten Galaxy-S20-Reihe.

  3. EU-Kommission: Zehn Datenräume für die digitale Zukunft Europas
    EU-Kommission
    Zehn Datenräume für die digitale Zukunft Europas

    Die EU-Kommission unter Ursula von der Leyen will mit einer neuen Digitalstrategie europäische Daten besser nutzbar machen. Wie die vollmundigen Ankündigungen konkret umgesetzt werden, ist aber noch offen.


  1. 19:08

  2. 17:21

  3. 16:54

  4. 16:07

  5. 15:43

  6. 15:23

  7. 15:00

  8. 14:45