Abo
  1. Foren
  2. Kommentare
  3. Wirtschaft
  4. Alle Kommentare zum Artikel
  5. › In-Memory-Datenbank: Schnelle MySQL…

Willkommen im Zeitalter der SSDs

  1. Thema

Neues Thema Ansicht wechseln


  1. Willkommen im Zeitalter der SSDs

    Autor: Dhakra 24.04.13 - 11:02

    Wofür in den RAM auslagern wenn es SSDs gibt, welche über PCIe einer mehr als ausreichende und über SATA auch noch ausreichende Raten und Zugriffszeiten zustande bringen. Da sollte lieber gefroscht/ausgebaut werden, damit 1 TB aufwärts deutlich günstiger werden und dann hat man dort auch keine schwierigkeiten mehr.

    Ob dieses System einen nennenswerten Vorteil bringt und/oder Geld einspart, möchte ich bezweifeln. Außerdem ist es auch erst für richtig richtig große Datenbanken interessant.



    2 mal bearbeitet, zuletzt am 24.04.13 11:07 durch Dhakra.

  2. Re: Willkommen im Zeitalter der SSDs

    Autor: Schattenwerk 24.04.13 - 11:11

    Die Sache ist ganz einfach: RAM ist SSD (auch per PCIe) in der Geschwindigkeit weit überlegen.

    PCIe x8, RAID 0 Controller mit 2TB erreichen auf dem Papier zwar bis zu 2800MB/sek (mal den Preis von über 4000 Euro außen vor gelassen).

    DDR3-800 erreicht jedoch schon auf dem Papier 6400MB/sek. Nehme ich DDR3-1600 bin ich bei 12800MB/sek. DDR3-2133 geht da noch weiter.

    Und nun überlege mal. Wenn ich mehrere TB an Daten analyisieren muss, dann ist der Unterschied zwischen 2800MB/sek oder 12800MB/sek schon ein Unterschied vom Faktor 4.5

    Für normale Anwendungen reicht meist vielleicht sogar ne normale SSD, jedoch gibt es auch Anwendungen, wo eine normale SSD einem Pentium 1 gleichkommen würde.

  3. Re: Willkommen im Zeitalter der SSDs

    Autor: SP 24.04.13 - 11:33

    Speicherbandbreite ≠ Datenbankperformance

    Ich glaube auch kaum das sich der Aufpreis von SSD zu RAM lohnt. Höchstens für HPC Anwendungen.

  4. Re: Willkommen im Zeitalter der SSDs

    Autor: Dhakra 24.04.13 - 11:34

    Natürlich ist RAM schneller als PCIe, aber PCIe ist für die meisten (würde sagen bei über 90% aller Anwendungen) mehr als ausreichend. Außerdem schafft ECC RAM meines Wissen nach aktuell immer noch nur 1333 MhZ und moderne CPUs können bis jetzt nur maximal 1600 Mhz verarbeitetn.

  5. Re: Willkommen im Zeitalter der SSDs

    Autor: zZz 24.04.13 - 11:37

    Schattenwerk schrieb:
    --------------------------------------------------------------------------------

    > Und nun überlege mal. Wenn ich mehrere TB an Daten analyisieren muss, dann
    > ist der Unterschied zwischen 2800MB/sek oder 12800MB/sek schon ein
    > Unterschied vom Faktor 4.5

    ich würde mal sagen,dass der unterschied auch bestehen bleibt, wenn man 1kb analysiert :p

  6. Re: Willkommen im Zeitalter der SSDs

    Autor: Andre S 24.04.13 - 12:04

    Dhakra schrieb:
    --------------------------------------------------------------------------------
    > Wofür in den RAM auslagern wenn es SSDs gibt, welche über PCIe einer mehr
    > als ausreichende und über SATA auch noch ausreichende Raten und
    > Zugriffszeiten zustande bringen. Da sollte lieber gefroscht/ausgebaut
    > werden, damit 1 TB aufwärts deutlich günstiger werden und dann hat man dort
    > auch keine schwierigkeiten mehr.
    >
    > Ob dieses System einen nennenswerten Vorteil bringt und/oder Geld einspart,
    > möchte ich bezweifeln. Außerdem ist es auch erst für richtig richtig große
    > Datenbanken interessant.


    Dir is schon klar das SSDs ihre Lebensdauer mit schreibzugriffen drastisch verkürzen oder?
    Weil eben jene junge Technologie noch einige Kinderkrankheiten hat...

    Darauf würde ich keine Datenbank verankern und schon garnicht wenn die Daten sensibel sein könnten.

    Bei einem kollegen von mir ist erst ne SSD schrott gegangen und zum Glück wahr dort ein RAID verbaut sodass die Daten nicht verloren waren, trotzdem: sehr teurer Spass.

    SSD hat noch nicht einmal annähernd die Privilegien die benötigt werden um damit eine Datenbank zu betreiben.
    Bei der Wahl zwischen SSD und MemSQL fällt die Wahl meinerseits auf MemSQL.

    Selbst bei der wahl mit einem Betrieb von Mysql unter einer herkömmlichen HDD und einer SSD fällt meine Wahl vorerst auch noch auf die HDD.

    Denn lieber ein paar Millisekunden pro Query einbüßen als meine Daten mit höherer wahrscheinlichkeit zusammen mit zuviel Geld in Rauch aufgehen zu sehen.



    1 mal bearbeitet, zuletzt am 24.04.13 12:06 durch Andre S.

  7. Re: Willkommen im Zeitalter der SSDs

    Autor: atTom 24.04.13 - 12:34

    Andre S schrieb:
    > Darauf würde ich keine Datenbank verankern und schon garnicht wenn die
    > Daten sensibel sein könnten.
    >
    > Bei einem kollegen von mir ist erst ne SSD schrott gegangen und zum Glück
    > wahr dort ein RAID verbaut sodass die Daten nicht verloren waren, trotzdem:
    > sehr teurer Spass.
    >
    > SSD hat noch nicht einmal annähernd die Privilegien die benötigt werden um
    > damit eine Datenbank zu betreiben.
    > Bei der Wahl zwischen SSD und MemSQL fällt die Wahl meinerseits auf
    > MemSQL.
    >
    > Selbst bei der wahl mit einem Betrieb von Mysql unter einer herkömmlichen
    > HDD und einer SSD fällt meine Wahl vorerst auch noch auf die HDD.
    Deshalb setzt SAP mit SAP HANA auch auf SSDs
    -> http://en.wikipedia.org/wiki/SAP_HANA

    @Tom

  8. Re: Willkommen im Zeitalter der SSDs

    Autor: jdu28 24.04.13 - 12:55

    atTom schrieb:
    > Deshalb setzt SAP mit SAP HANA auch auf SSDs
    > -> en.wikipedia.org
    >
    > @Tom

    Die SSDs sind nur für das Writeback, also ein Backup im Falle eines Crashs.
    Die eigentliche Arbeit wird komplett im RAM verrichtet.

  9. Re: Willkommen im Zeitalter der SSDs

    Autor: peterkleibert 24.04.13 - 13:09

    Genau. Oracle sind diejenigen, die Speicherung auf Flash als "In-Memory" verkaufen. SAP tdagegen richtiges In-Memory an, wo alles im Arbeitsspeicher gelagert wird. Einzig die Logs werden auf Physikalische Speichermedien gesichert, aber nichtmal dort ist man auf Flash-Speicher angewiesen.

  10. Re: Willkommen im Zeitalter der SSDs

    Autor: Dhakra 24.04.13 - 14:17

    Andre S schrieb:
    --------------------------------------------------------------------------------
    > Dhakra schrieb:
    > ---------------------------------------------------------------------------
    > -----
    > > Wofür in den RAM auslagern wenn es SSDs gibt, welche über PCIe einer
    > mehr
    > > als ausreichende und über SATA auch noch ausreichende Raten und
    > > Zugriffszeiten zustande bringen. Da sollte lieber gefroscht/ausgebaut
    > > werden, damit 1 TB aufwärts deutlich günstiger werden und dann hat man
    > dort
    > > auch keine schwierigkeiten mehr.
    > >
    > > Ob dieses System einen nennenswerten Vorteil bringt und/oder Geld
    > einspart,
    > > möchte ich bezweifeln. Außerdem ist es auch erst für richtig richtig
    > große
    > > Datenbanken interessant.
    >
    > Dir is schon klar das SSDs ihre Lebensdauer mit schreibzugriffen drastisch
    > verkürzen oder?
    > Weil eben jene junge Technologie noch einige Kinderkrankheiten hat...
    Ach und HDDs nicht? RAM nicht? Jedes Produkt büßt Lebensdauer ein, wenn man es benutzt.
    Außerdem haben SSDs und HDDs genau die selben angaben zur Start/Stop bzw. MTBF (Mean Time Between Failures).

    > Darauf würde ich keine Datenbank verankern und schon garnicht wenn die
    > Daten sensibel sein könnten.
    Aber in den RAM legen, der noch anfälliger ist?

    > Bei einem kollegen von mir ist erst ne SSD schrott gegangen und zum Glück
    > wahr dort ein RAID verbaut sodass die Daten nicht verloren waren, trotzdem:
    > sehr teurer Spass.
    Wer billiger Hardware kauft, kauft zwei Mal. Es gibt zig Test, sogar schon welche aus den ganz ersten Anfangszeiten von SSDs, die beweisen, dass sie in keinsterweise eine höhere Aufallerscheinung als herkömmliche mechanische Festplatten haben.

    > SSD hat noch nicht einmal annähernd die Privilegien die benötigt werden um
    > damit eine Datenbank zu betreiben.
    > Bei der Wahl zwischen SSD und MemSQL fällt die Wahl meinerseits auf
    > MemSQL.
    Haben sie sehr wohl, es ist nur noch nicht bei den Leuten im Kopf angekommen, weil die Menschheit neue Technik verabscheut und der ganzen Medienpropagana sofort glauben schenkt.

    > Selbst bei der wahl mit einem Betrieb von Mysql unter einer herkömmlichen
    > HDD und einer SSD fällt meine Wahl vorerst auch noch auf die HDD.
    Dann frag ich mich warum du dir so ein Thema durchliest, anscheinend scheinst du dich für SQL-Performance nicht so sonderlich zu interessieren.

    > Denn lieber ein paar Millisekunden pro Query einbüßen als meine Daten mit
    > höherer wahrscheinlichkeit zusammen mit zuviel Geld in Rauch aufgehen zu
    > sehen.
    Wer kein Backup macht, der hat auch keine wichtigen Daten. :)

    Natürlich ist es effizienter in den RAM auszulagern, aber nur bei großen Firmen und Datenbanken. Bei kleineren Firmen ist ein Datenbankserver eventuell sogar nur ein Server, der mit max. 700-1TB RAM klarkommt und wo eine SSD genügen würde, wenn sie günstiger werden würden.

    Und bei einer Technik mit dem RAM muss ich immer einen mindestens genauso großen RAM-Pool als Backup zur Hand haben... und dann wird es dort schon problematisch. Zwei PCIe Schnitten bzw. SATA Stecker hat eigentlich jeder Server. :)

    Es hat alles so seine Vor- und Nachteile. Aber ich denke nicht, dass sich das so sonderlich durchsetzen und MySQL verdrängen wird, dort wo es eingesetzt wird.

  11. Re: Willkommen im Zeitalter der SSDs

    Autor: andi303 24.04.13 - 14:34

    > Es hat alles so seine Vor- und Nachteile. Aber ich denke nicht, dass sich
    > das so sonderlich durchsetzen und MySQL verdrängen wird, dort wo es
    > eingesetzt wird.

    Ich denke auch nicht dass das zur Diskussion steht. IMHO ist die Überschrift einfach nur provokativ geschrieben. In-Memory-DBs sind sicher nicht als Alternative zu MySQL-DBs gedacht, sondern haben Ihre ganz eigenen Einsatzgebiete. Einer der wenigen Bereiche, in denen In-Memory-DBs und klassische relationale DBs in naher Zukunft konkurrieren dürften, ist bei ERPs - insbesondere da SAP die Portierung der Business Suite sehr schnell vorantreibt. Ansonsten dürften In-Memory-DBs ihre Stärken vor allem für _neue_ Ansätze und Prozess-Neugestaltung ausspielen, insbesondere im Bereich Business Intelligence.

    Und dann noch an die beiden Vorredner, die sich gerade die Köpfe einschlagen: im Grunde stellt sich die Frage ob SSD oder Memory gar nicht. Wie bereits von jdu28 und peterkleibert angemerkt, wird in richtigen In-Memory-DBs beides benötigt - die SSDs bilden das Stage1-Backup.

  12. Re: Willkommen im Zeitalter der SSDs

    Autor: n4rwoo 24.04.13 - 14:51

    peterkleibert schrieb:
    --------------------------------------------------------------------------------
    > Genau. Oracle sind diejenigen, die Speicherung auf Flash als "In-Memory"
    > verkaufen. SAP tdagegen richtiges In-Memory an, wo alles im Arbeitsspeicher
    > gelagert wird. Einzig die Logs werden auf Physikalische Speichermedien
    > gesichert, aber nichtmal dort ist man auf Flash-Speicher angewiesen.

    Oracle Times Ten ist doch genau so inmemory wie HANA. Was ich bei der Debatte nicht verstehe ist, warum man überhaupt die ganze Datenbank im Speicher halten will, wenn es ausreicht die relevanten Tabellen dort auszulagern?

    Es ist sicher von Fall zu Fall unterschiedlich aber für mich stellt sich die Frage ob das nicht einfach nur eine weitere Marketing Strategie ist.

  13. Re: Willkommen im Zeitalter der SSDs

    Autor: andi303 24.04.13 - 15:05

    > Was ich bei der Debatte nicht verstehe ist, warum man überhaupt die ganze Datenbank im
    > Speicher halten will, wenn es ausreicht die relevanten Tabellen dort auszulagern?

    Naja, weil beispielsweise bei OLAP im schlimmsten Fall die komplette DB relevant ist...

  14. Re: Willkommen im Zeitalter der SSDs

    Autor: n4rwoo 24.04.13 - 15:31

    Bei analytischen Datenbeständen (OLAP) stimme ich dir auch voll zu, aber der Bestand aus dem diese aggregiert werden, also die eigentliche DWH-Kernschicht hat in meinen Augen nichts im RAM verloren.

  15. Re: Willkommen im Zeitalter der SSDs

    Autor: cetev8r 24.04.13 - 16:21

    n4rwoo schrieb:
    --------------------------------------------------------------------------------
    > Bei analytischen Datenbeständen (OLAP) stimme ich dir auch voll zu, aber
    > der Bestand aus dem diese aggregiert werden, also die eigentliche
    > DWH-Kernschicht hat in meinen Augen nichts im RAM verloren.

    Aha. Kommt noch eine Begründung?

  16. Re: Willkommen im Zeitalter der SSDs

    Autor: Lord Gamma 24.04.13 - 17:03

    Wahrscheinlich einfach deshalb, weil riesige Datenmengen nicht umfassend ins RAM hineinpassen. Im Falle von MemSQL ist das dank Clustering-Möglichkeit vielleicht anders, aber nachträgliches Sharding ist mit viel Arbeit verbunden.



    1 mal bearbeitet, zuletzt am 24.04.13 17:04 durch Lord Gamma.

  17. Re: Willkommen im Zeitalter der SSDs

    Autor: Day 24.04.13 - 17:08

    n4rwoo schrieb:
    --------------------------------------------------------------------------------
    > Bei analytischen Datenbeständen (OLAP) stimme ich dir auch voll zu, aber
    > der Bestand aus dem diese aggregiert werden, also die eigentliche
    > DWH-Kernschicht hat in meinen Augen nichts im RAM verloren.

    Warum gibt es überhaupt analytische Datenbestände?
    SAP HANA, und ich schätze Mal MEMSQL auch, zielen darauf ab, diese Trennung rückgängig zu machen. Bisher ging das nicht, weil die Datenbanken zu schwach auf der Brust waren. Mit In-Memory... mal schauen, was passiert...
    Das ist auch der Grund, warum es bei SAP HANA mit In-Memory DB alleine noch nicht getan ist, sondern außerdem auch noch andere Techniken zur Ablage genutzt werden, um die Zugriffe speziell für analytische Zwecke weiter zu beschleunigen (z.B. Stichwort Column-Store).

  18. Re: Willkommen im Zeitalter der SSDs

    Autor: a user 24.04.13 - 17:15

    Dhakra schrieb:
    --------------------------------------------------------------------------------
    > Wofür in den RAM auslagern wenn es SSDs gibt, welche über PCIe einer mehr
    > als ausreichende

    und hier kann ich eigentlich schon aufhören zu lesen. die welt besteht nicht nur aus dem was du kennst.

  19. Re: Willkommen im Zeitalter der SSDs

    Autor: cetev8r 24.04.13 - 17:29

    Lord Gamma schrieb:
    --------------------------------------------------------------------------------
    > Wahrscheinlich einfach deshalb, weil riesige Datenmengen nicht umfassend
    > ins RAM hineinpassen. Im Falle von MemSQL ist das dank
    > Clustering-Möglichkeit vielleicht anders, aber nachträgliches Sharding ist
    > mit viel Arbeit verbunden.

    Naja, es gibt inzwischen genug HANA-Appliances mit mehreren TB RAM plus Scaleout.

  1. Thema

Neues Thema Ansicht wechseln


Um zu kommentieren, loggen Sie sich bitte ein oder registrieren Sie sich. Zum Login

Stellenmarkt
  1. Amprion GmbH, Pulheim-Brauweiler
  2. Oxfam Deutschland e.V., Berlin
  3. VS HEIBO Logistics GmbH, Verden (Aller)
  4. DLR Deutsches Zentrum für Luft- und Raumfahrt e.V., Köln

Golem pur
  • Golem.de ohne Werbung nutzen

Anzeige
Top-Angebote
  1. (u. a. For Honor für 11,50€, Anno 1404 Königsedition für 3,74€, Anno 2070 Königsedition...
  2. (u. a. Total war - Three Kingdoms für 35,99€, Command & Conquer - The Ultimate Collection für 4...
  3. 116,09€ (10% Rabatt mit dem Code PREISOPT10)


Haben wir etwas übersehen?

E-Mail an news@golem.de


FPM-Sicherheitslücke: Daten exfiltrieren mit Facebooks HHVM
FPM-Sicherheitslücke
Daten exfiltrieren mit Facebooks HHVM

Server für den sogenannten FastCGI Process Manager (FPM) können, wenn sie übers Internet erreichbar sind, unbefugten Zugriff auf Dateien eines Systems geben. Das betrifft vor allem HHVM von Facebook, bei PHP sind die Risiken geringer.
Eine Exklusivmeldung von Hanno Böck

  1. HHVM Facebooks PHP-Alternative erscheint ohne PHP

Forschung: Mehr Elektronen sollen Photovoltaik effizienter machen
Forschung
Mehr Elektronen sollen Photovoltaik effizienter machen

Zwei dünne Schichten auf einer Silizium-Solarzelle könnten ihre Effizienz erhöhen. Grünes und blaues Licht kann darin gleich zwei Elektronen statt nur eines freisetzen.
Von Frank Wunderlich-Pfeiffer

  1. ISS Tierbeobachtungssystem Icarus startet
  2. Sun To Liquid Solaranlage erzeugt Kerosin aus Sonnenlicht, Wasser und CO2
  3. Shell Ocean Discovery X Prize X-Prize für unbemannte Systeme zur Meereskartierung vergeben

Endpoint Security: IT-Sicherheit ist ein Cocktail mit vielen Zutaten
Endpoint Security
IT-Sicherheit ist ein Cocktail mit vielen Zutaten

Tausende Geräte in hundert verschiedenen Modellen mit Dutzenden unterschiedlichen Betriebssystemen. Das ist in großen Unternehmen Alltag und stellt alle, die für die IT-Sicherheit zuständig sind, vor Herausforderungen.
Von Anna Biselli

  1. Datendiebstahl Kundendaten zahlreicher deutscher Firmen offen im Netz
  2. Metro & Dish Tisch-Reservierung auf Google übernehmen
  3. Identitätsdiebstahl SIM-Dieb kommt zehn Jahre in Haft

  1. Ursula von der Leyen: Von "Zensursula" zur EU-Kommissionspräsidentin
    Ursula von der Leyen
    Von "Zensursula" zur EU-Kommissionspräsidentin

    Nach der "Rede ihres Lebens" hat das Europäische Parlament am Dienstagabend Ursula von der Leyen an die Spitze der EU-Kommission gewählt. Die Christdemokratin will sich in ihrem neuen Amt binnen 100 Tagen für einen Ethik-Rahmen für KI und ambitioniertere Klimaziele stark machen. Den Planeten retten, lautet ihr ganz großer Vorsatz.

  2. Kryptowährung: Facebook möchte Kritik an Libra ausräumen
    Kryptowährung
    Facebook möchte Kritik an Libra ausräumen

    Facebooks geplante Digitalwährung Libra kommt in der Politik nicht gut an. Bei einer Anhörung vor dem US-Senat verteidigt Facebook-Manager David Marcus die Währung. Bundesregierung und Bundesbank wollen sie lieber verhindern.

  3. PC Engine Core Grafx: Konami kündigt drei Versionen der gleichen Minikonsole an
    PC Engine Core Grafx
    Konami kündigt drei Versionen der gleichen Minikonsole an

    In Europa heißt sie PC Engine Core Grafx Mini, für Japan und die USA hat Konami andere Namen und ein anderes Design. Die Retrokiste soll im März 2020 mit rund 50 vorinstallierten Spielen erscheinen. Der Kauf in Deutschland läuft minimal komplizierter ab als üblich.


  1. 20:10

  2. 18:33

  3. 17:23

  4. 16:37

  5. 15:10

  6. 14:45

  7. 14:25

  8. 14:04