1. Foren
  2. Kommentare
  3. OpenSource
  4. Alle Kommentare zum Artikel
  5. › Linux Foundation…

Ceph ist nicht nur was für große Unternehmen

Expertentalk zu DDR5-Arbeitsspeicher am 7.7.2020 Am 7. Juli 2020 von 15:30 bis 17:00 Uhr wird Hardware-Redakteur Marc Sauter eure Fragen zu DDR5 beantworten.
  1. Thema

Neues Thema Ansicht wechseln


  1. Ceph ist nicht nur was für große Unternehmen

    Autor: Katsuragi 13.11.18 - 21:18

    Wir lieben mittlerweile Ceph (zusammen mit Virtualisierung) in der Firma und auch unsere Kunden sind sehr angetan. Ab 3 Hosts kann man sinnvoll damit arbeiten. Ausnahmsweise stimmt auch mal der Hype, denn die "beworbenen" Features funktionieren tatsächlich: Es skaliert wie die Hölle horizontal. Wenn man mehr Hosts dazu steckt, dann steigt nicht nur der Speicher, sondern gleichzeitig die Bandbreite. Entfernen von einzelnen Festplatten oder ganzen Hosts im laufenden Betrieb ist ebenso simpel möglich, mit nicht einmal Millisekunden an Betriebsunterbrechung. Im Gegensatz zu RAID-Systemen (ich weiß, Äpfel und Birnen) muss man entfernte Festplatten nicht (sofort) ersetzen, denn es rebalanciert einfach und macht dann eben mit weniger Speicher, aber voller Redundanz weiter. Es ist so gut "selbst reparierend", dass es nichtmal eine Shutdown-Funktion für den Cluster braucht. Wenn genug Hosts runter fahren merkt der Cluster von allein, dass nichts mehr geht, und alle Daten sind konsistent. Kommen die Hosts wieder hoch kümmern sie sich selbst und vollautomatisch um die Konsistenz der Daten und die Wiederherstellung des Betriebszustands. Man kann sogar Storage-Medien zeitweise offline nehmen, und wenn sie wieder kommen, dann werden nur die inzwischen neuen oder geänderten Daten darauf gespiegelt. Alle in der Zwischenzeit nicht veränderten Blöcke werden einfach weiter verwendet. Das macht das Ausbalancieren nach Ausfällen (oder Wartung) blitzschnell.
    Und das beste: Ceph ist "masterless", d.h. es gibt keine Management-Nodes o.ä. (bzw. es "muss" keine geben). Alle Hosts können gleichberechtigt laufen, was die Verwaltung, Backups etc. extrem vereinfacht.

    Last, but not least: virtuelle Maschinen mit Ceph Backend funktionieren um Längen besser als mit iSCSI im SAN, was beim Failover (obwohl es das nicht sollte) immer nur Ärger macht.

    Man merkt schon, ich bin sehr angetan und kann es auch für kleine Umgebungen nur empfehlen. Allerdings sollte man sich einige Erfahrung zulegen, bevor man es produktiv einsetzt: mit wenigen Hosts kann man sich, gerade bei Verwendung als VM Storage, performance-mäßig leicht ins Knie schießen wenn man nicht weiß was man tut.



    3 mal bearbeitet, zuletzt am 13.11.18 21:22 durch Katsuragi.

  2. Re: Ceph ist nicht nur was für große Unternehmen

    Autor: waldschote 14.11.18 - 02:26

    Nicht nur du :)

    Drei Hosts sind offiziell die minimale Konfiguration. Es geht aber auch mit zweien. Hab das hier daheim aus Spaß vor einiger Zeit mal aufgesetzt. Da ich mich mit Ceph beschäftigen wollte.

    Sobald eine Firma einen flexiblen Speicherplatz brauchen, würde ich sofort zu Ceph greifen. Sehr viel angenehmer als ein Raid Prinzip. Auch wenn es um VM's geht, geht der Griff gleich Richtung Ceph. Da man hier direkt Block Devices aufsetzen kann. Und diese voll redundant im Cluster.

    Ganz billig ist es allerdings nicht. Nicht nur die Netzwerkinfrastruktur muss die nötige Performance bereitstellen, was schnell zu Bondings oder 10GbE führt. Sondern man brauch auch entsprechende Hardware. Klar, minimal 2 PC's mit jeweils 2 Platten gehen auch. Ist aber im Firmenumfeld weniger berauschend. Da sollten es dann doch min. 3 mit SSD's fürs Journal sein.

    Daher muss man, wenn man jemanden Berät, genauer hin schauen was wirklich gebraucht wird. Wenn der benötigte Speicherplatz eher Statischer Natur ist, ist ein Raid 6 mit einem soliden Backup oftmals preiswerter. Ohne dabei sich wirklich ein zu schränken. Denn mittlerweile kann eigentlich jeder Raid Kontroller das Raid im laufenden Betrieb erweitern, ohne dabei nennenswert an Performance zu verlieren. Denn in der Regel benötigt man mehr und nicht weniger Speicherplatz :)

  3. Re: Ceph ist nicht nur was für große Unternehmen

    Autor: Katsuragi 14.11.18 - 09:53

    waldschote schrieb:
    --------------------------------------------------------------------------------
    > Drei Hosts sind offiziell die minimale Konfiguration. Es geht aber auch mit
    > zweien. Hab das hier daheim aus Spaß vor einiger Zeit mal aufgesetzt. Da
    > ich mich mit Ceph beschäftigen wollte.

    stimmt, das geht. Aber wenn einer der Hosts ausfällt, dann machen beide dicht, weil sie kein Quorum mehr haben. Das ist also aus "Ausfallsicht" suboptimal. Außerdem hat man dann (zumindest wenn man das Standard-Replikationsschema nimmt) ziemlich wenig Redundanz. Aber technisch machbar ist es.

    > Sobald eine Firma einen flexiblen Speicherplatz brauchen, würde ich sofort
    > zu Ceph greifen. Sehr viel angenehmer als ein Raid Prinzip. Auch wenn es um
    > VM's geht, geht der Griff gleich Richtung Ceph. Da man hier direkt Block
    > Devices aufsetzen kann. Und diese voll redundant im Cluster.

    Yup, und mit automatisch verteilten Schreib-Lesezugriffen und dem entsprechender Skalierung. Hat man ein Storage-System und will hohe Datensicherheit, dann kommt man um Mirroring nicht herum. Dann sind es schon zwei Storage-Systeme. Sowas Active/Active zu betreiben ist aber gar nicht so einfach und das Failover ist ein Alptraum. Da wird es schon verdammt interessant lieber 3 Hosts und Ceph zu verwenden.

    > Ganz billig ist es allerdings nicht. Nicht nur die Netzwerkinfrastruktur
    > muss die nötige Performance bereitstellen, was schnell zu Bondings oder
    > 10GbE führt. Sondern man brauch auch entsprechende Hardware. Klar, minimal
    > 2 PC's mit jeweils 2 Platten gehen auch. Ist aber im Firmenumfeld weniger
    > berauschend. Da sollten es dann doch min. 3 mit SSD's fürs Journal sein.

    Meine erste Begegnung mit Ceph war das Ersetzen eines SAN-Storage für VMs mit Mirroring und Anbindung per iSCSI. Wir hatten nur ein paar hundert Euro und mussten aus der bestehenden Hardware etwas machen. Da haben wir zwei normale 24-Port 1GBE Switche ausgegraben mit minimalen Management-Funktionen und haben alle Ceph-Netze separiert und mit 2xBonding angebunden, und dann Spanning Tree bis zum Host eingerichtet. Gerade beim Bonding muss man mit Ceph aufpassen, aber wenn mans richtig macht, dann kriegt man durch die Parallelität der OSDs tatsächlich fast doppelte Netzwerkleistung. Die ehemaligen VM-Hosts haben jeweils ein paar alte, rumliegende HDDs bekommen und schon hatten wir einen "hyperkonvergenten" Virtualisierungscluster mit insgesamt 5 Hosts, wo vorher nur 3 die Virtualisierung machten und 2 Storage.
    Knapp 180MB/s Schreibdurchsatz klingt nicht toll, aber wenn das parallel auf (fast) jedem beteiligten Host zur Verfügung steht, dann ist das für VMs nicht nur ausreichend, sondern im Vergleich zu vorher traumhaft. Mit dem Spanning-Tree Setup haben wir außerdem "redundante Switche für arme Leute" hinbekommen. In dem Setup kann sowohl ein einzelner Host als auch eine komplette Switch ausfallen und der Storage läuft einfach weiter (!). Wegen des STP gibts eine Leistungsunterbrechung von ca. 25-30s, aber man zeige mir mal ein anders System, das sowas kann, und das man recht einfach aus herumliegender Alt-Hardware aufbaut...

    Und was die Leistung angeht: Journal-Disks braucht man seit Bluestore nicht mehr, wenn man entweder (gute, geeignete!!) SSDs einsetzt oder bei HDDs Controller mit battery-backed write Cache (Schreibcache des Host-OS reicht nicht).



    1 mal bearbeitet, zuletzt am 14.11.18 09:56 durch Katsuragi.

  1. Thema

Neues Thema Ansicht wechseln


Um zu kommentieren, loggen Sie sich bitte ein oder registrieren Sie sich. Sie müssen ausserdem in Ihrem Account-Profil unter Forum einen Nutzernamen vergeben haben. Zum Login

Stellenmarkt
  1. ERGO Group AG, Düsseldorf
  2. DAW SE, Gerstungen
  3. Bruno Bader GmbH + Co.KG, Pforzheim
  4. CodeCamp:N GmbH, Nürnberg

Golem pur
  • Golem.de ohne Werbung nutzen

Anzeige
Top-Angebote
  1. (Daily Black Deals, u. a. Lexar 128GB SSD für 19,49€, HP Pavilion x360 Convertible für 583...
  2. (u. a. iRobot Roomba Saugroboter für 271,97€, LG OLED65B9DLA für 1.656,19€, Apple AirPods Pro...
  3. 183,99€ (inkl. 10€ Direktabzug)


Haben wir etwas übersehen?

E-Mail an news@golem.de


Core i5-10400F im Test: Intels Sechser für Spieler
Core i5-10400F im Test
Intels Sechser für Spieler

Hohe Gaming-Leistung und flott in Anwendungen: Ob der Core i5-10400F besser ist als der Ryzen 5 3600, wird zur Plattformfrage.

  1. Comet Lake S Wenn aus einer 65- eine 224-Watt-CPU wird
  2. Core i9-10900K & Core i5-10600K im Test Die Letzten ihrer Art
  3. Comet Lake Intels vPro-Chips takten höher

IT-Fachkräftemangel: Es müssen nicht immer Informatiker sein
IT-Fachkräftemangel
Es müssen nicht immer Informatiker sein

Die Corona-Pandemie scheint der Digitalisierung tatsächlich einen Schub zu geben. Aber woher sollen die dafür nötigen ITler kommen?
Ein Interview von Peter Ilg

  1. Headhunter "Wegen der Krise verlassen mehr IT-Profis ihre Komfortzone"
  2. IT-Ausbildungsberufe Endlich "supermodern"
  3. Remote Recruiting Personal finden aus der Ferne

Außerirdische Intelligenz: Warum haben wir noch keine Aliens gefunden?
Außerirdische Intelligenz
Warum haben wir noch keine Aliens gefunden?

Seit Jahrzehnten gucken wir mit Teleskopen tief ins All. Außerirdische haben wir zwar bisher nicht entdeckt, das ist aber kein Grund, an ihrer Existenz zu zweifeln.
Von Miroslav Stimac