1. Foren
  2. Kommentare
  3. OpenSource-Forum
  4. Alle Kommentare zum Artikel
  5. › Linux Foundation…

Ceph ist nicht nur was für große Unternehmen

  1. Thema

Neues Thema


  1. Ceph ist nicht nur was für große Unternehmen

    Autor: Katsuragi 13.11.18 - 21:18

    Wir lieben mittlerweile Ceph (zusammen mit Virtualisierung) in der Firma und auch unsere Kunden sind sehr angetan. Ab 3 Hosts kann man sinnvoll damit arbeiten. Ausnahmsweise stimmt auch mal der Hype, denn die "beworbenen" Features funktionieren tatsächlich: Es skaliert wie die Hölle horizontal. Wenn man mehr Hosts dazu steckt, dann steigt nicht nur der Speicher, sondern gleichzeitig die Bandbreite. Entfernen von einzelnen Festplatten oder ganzen Hosts im laufenden Betrieb ist ebenso simpel möglich, mit nicht einmal Millisekunden an Betriebsunterbrechung. Im Gegensatz zu RAID-Systemen (ich weiß, Äpfel und Birnen) muss man entfernte Festplatten nicht (sofort) ersetzen, denn es rebalanciert einfach und macht dann eben mit weniger Speicher, aber voller Redundanz weiter. Es ist so gut "selbst reparierend", dass es nichtmal eine Shutdown-Funktion für den Cluster braucht. Wenn genug Hosts runter fahren merkt der Cluster von allein, dass nichts mehr geht, und alle Daten sind konsistent. Kommen die Hosts wieder hoch kümmern sie sich selbst und vollautomatisch um die Konsistenz der Daten und die Wiederherstellung des Betriebszustands. Man kann sogar Storage-Medien zeitweise offline nehmen, und wenn sie wieder kommen, dann werden nur die inzwischen neuen oder geänderten Daten darauf gespiegelt. Alle in der Zwischenzeit nicht veränderten Blöcke werden einfach weiter verwendet. Das macht das Ausbalancieren nach Ausfällen (oder Wartung) blitzschnell.
    Und das beste: Ceph ist "masterless", d.h. es gibt keine Management-Nodes o.ä. (bzw. es "muss" keine geben). Alle Hosts können gleichberechtigt laufen, was die Verwaltung, Backups etc. extrem vereinfacht.

    Last, but not least: virtuelle Maschinen mit Ceph Backend funktionieren um Längen besser als mit iSCSI im SAN, was beim Failover (obwohl es das nicht sollte) immer nur Ärger macht.

    Man merkt schon, ich bin sehr angetan und kann es auch für kleine Umgebungen nur empfehlen. Allerdings sollte man sich einige Erfahrung zulegen, bevor man es produktiv einsetzt: mit wenigen Hosts kann man sich, gerade bei Verwendung als VM Storage, performance-mäßig leicht ins Knie schießen wenn man nicht weiß was man tut.



    3 mal bearbeitet, zuletzt am 13.11.18 21:22 durch Katsuragi.

  2. Re: Ceph ist nicht nur was für große Unternehmen

    Autor: waldschote 14.11.18 - 02:26

    Nicht nur du :)

    Drei Hosts sind offiziell die minimale Konfiguration. Es geht aber auch mit zweien. Hab das hier daheim aus Spaß vor einiger Zeit mal aufgesetzt. Da ich mich mit Ceph beschäftigen wollte.

    Sobald eine Firma einen flexiblen Speicherplatz brauchen, würde ich sofort zu Ceph greifen. Sehr viel angenehmer als ein Raid Prinzip. Auch wenn es um VM's geht, geht der Griff gleich Richtung Ceph. Da man hier direkt Block Devices aufsetzen kann. Und diese voll redundant im Cluster.

    Ganz billig ist es allerdings nicht. Nicht nur die Netzwerkinfrastruktur muss die nötige Performance bereitstellen, was schnell zu Bondings oder 10GbE führt. Sondern man brauch auch entsprechende Hardware. Klar, minimal 2 PC's mit jeweils 2 Platten gehen auch. Ist aber im Firmenumfeld weniger berauschend. Da sollten es dann doch min. 3 mit SSD's fürs Journal sein.

    Daher muss man, wenn man jemanden Berät, genauer hin schauen was wirklich gebraucht wird. Wenn der benötigte Speicherplatz eher Statischer Natur ist, ist ein Raid 6 mit einem soliden Backup oftmals preiswerter. Ohne dabei sich wirklich ein zu schränken. Denn mittlerweile kann eigentlich jeder Raid Kontroller das Raid im laufenden Betrieb erweitern, ohne dabei nennenswert an Performance zu verlieren. Denn in der Regel benötigt man mehr und nicht weniger Speicherplatz :)

  3. Re: Ceph ist nicht nur was für große Unternehmen

    Autor: Katsuragi 14.11.18 - 09:53

    waldschote schrieb:
    --------------------------------------------------------------------------------
    > Drei Hosts sind offiziell die minimale Konfiguration. Es geht aber auch mit
    > zweien. Hab das hier daheim aus Spaß vor einiger Zeit mal aufgesetzt. Da
    > ich mich mit Ceph beschäftigen wollte.

    stimmt, das geht. Aber wenn einer der Hosts ausfällt, dann machen beide dicht, weil sie kein Quorum mehr haben. Das ist also aus "Ausfallsicht" suboptimal. Außerdem hat man dann (zumindest wenn man das Standard-Replikationsschema nimmt) ziemlich wenig Redundanz. Aber technisch machbar ist es.

    > Sobald eine Firma einen flexiblen Speicherplatz brauchen, würde ich sofort
    > zu Ceph greifen. Sehr viel angenehmer als ein Raid Prinzip. Auch wenn es um
    > VM's geht, geht der Griff gleich Richtung Ceph. Da man hier direkt Block
    > Devices aufsetzen kann. Und diese voll redundant im Cluster.

    Yup, und mit automatisch verteilten Schreib-Lesezugriffen und dem entsprechender Skalierung. Hat man ein Storage-System und will hohe Datensicherheit, dann kommt man um Mirroring nicht herum. Dann sind es schon zwei Storage-Systeme. Sowas Active/Active zu betreiben ist aber gar nicht so einfach und das Failover ist ein Alptraum. Da wird es schon verdammt interessant lieber 3 Hosts und Ceph zu verwenden.

    > Ganz billig ist es allerdings nicht. Nicht nur die Netzwerkinfrastruktur
    > muss die nötige Performance bereitstellen, was schnell zu Bondings oder
    > 10GbE führt. Sondern man brauch auch entsprechende Hardware. Klar, minimal
    > 2 PC's mit jeweils 2 Platten gehen auch. Ist aber im Firmenumfeld weniger
    > berauschend. Da sollten es dann doch min. 3 mit SSD's fürs Journal sein.

    Meine erste Begegnung mit Ceph war das Ersetzen eines SAN-Storage für VMs mit Mirroring und Anbindung per iSCSI. Wir hatten nur ein paar hundert Euro und mussten aus der bestehenden Hardware etwas machen. Da haben wir zwei normale 24-Port 1GBE Switche ausgegraben mit minimalen Management-Funktionen und haben alle Ceph-Netze separiert und mit 2xBonding angebunden, und dann Spanning Tree bis zum Host eingerichtet. Gerade beim Bonding muss man mit Ceph aufpassen, aber wenn mans richtig macht, dann kriegt man durch die Parallelität der OSDs tatsächlich fast doppelte Netzwerkleistung. Die ehemaligen VM-Hosts haben jeweils ein paar alte, rumliegende HDDs bekommen und schon hatten wir einen "hyperkonvergenten" Virtualisierungscluster mit insgesamt 5 Hosts, wo vorher nur 3 die Virtualisierung machten und 2 Storage.
    Knapp 180MB/s Schreibdurchsatz klingt nicht toll, aber wenn das parallel auf (fast) jedem beteiligten Host zur Verfügung steht, dann ist das für VMs nicht nur ausreichend, sondern im Vergleich zu vorher traumhaft. Mit dem Spanning-Tree Setup haben wir außerdem "redundante Switche für arme Leute" hinbekommen. In dem Setup kann sowohl ein einzelner Host als auch eine komplette Switch ausfallen und der Storage läuft einfach weiter (!). Wegen des STP gibts eine Leistungsunterbrechung von ca. 25-30s, aber man zeige mir mal ein anders System, das sowas kann, und das man recht einfach aus herumliegender Alt-Hardware aufbaut...

    Und was die Leistung angeht: Journal-Disks braucht man seit Bluestore nicht mehr, wenn man entweder (gute, geeignete!!) SSDs einsetzt oder bei HDDs Controller mit battery-backed write Cache (Schreibcache des Host-OS reicht nicht).



    1 mal bearbeitet, zuletzt am 14.11.18 09:56 durch Katsuragi.

  1. Thema

Neues Thema


Um zu kommentieren, loggen Sie sich bitte ein oder registrieren Sie sich. Sie müssen ausserdem in Ihrem Account-Profil unter Forum einen Nutzernamen vergeben haben. Zum Login

Stellenmarkt
  1. Digital Process Spezialist:in
    enercity AG, Hannover
  2. Global Procurement Expert (m/f/d)
    Advantest Europe GmbH, Böblingen
  3. Mitarbeiter (m/w/d) für IT-Consulting
    ProSoft GmbH, Geretsried
  4. Chief Information Security Officer (CISO) (m/w/d)
    SachsenEnergie AG, Dresden

Detailsuche


Golem pur
  • Golem.de ohne Werbung nutzen

Anzeige
Spiele-Angebote
  1. basierend auf Verkaufszahlen
  2. basierend auf Verkaufszahlen


Haben wir etwas übersehen?

E-Mail an news@golem.de


Digitale-Dienste-Gesetz: Regierung bessert bei der Störerhaftung nach
Digitale-Dienste-Gesetz
Regierung bessert bei der Störerhaftung nach

Bei der Umsetzung des DSA in deutsches Recht soll der Schutz vor kostenpflichtigen Abmahnungen nun doch beibehalten bleiben.
Ein Bericht von Friedhelm Greis

  1. Störerhaftung Verbraucherschützer befürchten neue Abmahnwelle bei WLANs

Zbox Pico PI430AJ: Flotter Mini-PC mit Solid-State-Kühlung
Zbox Pico PI430AJ
Flotter Mini-PC mit Solid-State-Kühlung

Die fast lautlosen Kühler von Frore Systems funktionieren gut. Mehr Leistung auf so kleinem Raum ist kaum möglich. Eine ARM-CPU wäre aber spannend.
Ein Test von Martin Böckmann


    Sony: Playstation 5 Standard versus PS5 Slim
    Sony
    Playstation 5 Standard versus PS5 Slim

    Ein bisschen kleiner und schlanker: Golem.de hat die Playstation 5 Slim ausprobiert - und vergleicht die Konsole mit der bisher verfügbaren PS5.
    Von Peter Steinlechner

    1. Dualsense Edge Nutzer beklagen Qualitätsprobleme bei 240-Euro-Controller
    2. Handheld Sony-Manager deutet Spielestreaming auf PS Portal an
    3. Playstation Portal im Test Dualsense mit Display - und Lag