1. Foren
  2. Kommentare
  3. Software-Entwicklung
  4. Alle Kommentare zum Artikel
  5. › TCMalloc: Google…

Hugepages bringen kaum was und sind scheiße

  1. Thema
  1. 1
  2. 2

Neues Thema Ansicht wechseln


  1. Hugepages bringen kaum was und sind scheiße

    Autor: Das Rockt 13.02.20 - 17:37

    Hat Percona schon nachgewiesen, dass dass das selbst bei MySQL / MariaDB nichts bringt obwohl man annehmen sollte, dass das da die meisten Vorteile bringt weil da die Zugriffsmuster auf das RAM sehr stochastisch sind.
    Aber das größte Problem bei Huge Pages ist: die lassen sich unter keinem Betriebssystem swappen und unter Windows sind die sogar nur mit Admin-Rechten nutzbar.

  2. Re: Hugepages bringen kaum was und sind scheiße

    Autor: MarcusK 13.02.20 - 17:57

    Das Rockt schrieb:
    --------------------------------------------------------------------------------
    > Hat Percona schon nachgewiesen, dass dass das selbst bei MySQL / MariaDB
    > nichts bringt obwohl man annehmen sollte, dass das da die meisten Vorteile
    > bringt weil da die Zugriffsmuster auf das RAM sehr stochastisch sind.
    > Aber das größte Problem bei Huge Pages ist: die lassen sich unter keinem
    > Betriebssystem swappen und unter Windows sind die sogar nur mit
    > Admin-Rechten nutzbar.

    naja, wenn man Datenbanken die eh ihre eigenen Cache haben will man eh nicht das der Ram geswappt wird.
    Und Admin rechte braucht man auch nicht, man kann das recht auf einen Anwender geben.

  3. Re: Hugepages bringen kaum was und sind scheiße

    Autor: Das Rockt 13.02.20 - 18:00

    > naja, wenn man Datenbanken die eh ihre eigenen Cache haben will man eh
    > nicht das der Ram geswappt wird.

    Das mit den Datenbanken war nur ein Hinweis, dass huge pages auch bei recht zufälligen Zugriffsmustern kaum was bringen.

    > Und Admin rechte braucht man auch nicht, man kann das recht auf einen
    > Anwender geben.

    Selbst der Admin darf das unter Windows nicht, sondern muss sich sein Security-Token API-mäßig erweitern. Und dazu muss er erstmal Admin sein. Einen anderen Weg gibt es nicht unter Windows.
    Admin musst Du deswegen sein weil Du mit huge pages die Stabilität des Systems gefährden kannst. Du kannst so viel non-pageable Speicher allokieren, dass alles andere hintenan steht und sich ggf. beenden muss.



    1 mal bearbeitet, zuletzt am 13.02.20 18:03 durch Das Rockt.

  4. Re: Hugepages bringen kaum was und sind scheiße

    Autor: MarcusK 13.02.20 - 18:23

    Das Rockt schrieb:
    --------------------------------------------------------------------------------
    > > naja, wenn man Datenbanken die eh ihre eigenen Cache haben will man eh
    > > nicht das der Ram geswappt wird.
    >
    > Das mit den Datenbanken war nur ein Hinweis, dass huge pages auch bei recht
    > zufälligen Zugriffsmustern kaum was bringen.
    >
    > > Und Admin rechte braucht man auch nicht, man kann das recht auf einen
    > > Anwender geben.
    >
    > Selbst der Admin darf das unter Windows nicht, sondern muss sich sein
    > Security-Token API-mäßig erweitern. Und dazu muss er erstmal Admin sein.
    > Einen anderen Weg gibt es nicht unter Windows.
    > Admin musst Du deswegen sein weil Du mit huge pages die Stabilität des
    > Systems gefährden kannst. Du kannst so viel non-pageable Speicher
    > allokieren, dass alles andere hintenan steht und sich ggf. beenden muss.

    Lokale Sicherheitsrichtlinine -> Sperren von Seiten im Speicher kann man jeder Benutzer der es braucht zuweisen. Klar muss das einmalig ein Admin machen, dann kann ein Anwender es nutzen.

  5. Re: Hugepages bringen kaum was und sind scheiße

    Autor: mknjc 13.02.20 - 18:27

    Welchen Post von Percona meinst du?
    Auf der percona Seite unter /blog/2018/12/20/benchmark-postgresql-with-linux-hugepages wird sehr klar ein erheblicher Vorteil von HugePages gezeigt. Teilweise eine Steigerung um das fünffache.

  6. Re: Hugepages bringen kaum was und sind scheiße

    Autor: Das Rockt 13.02.20 - 18:52

    mknjc schrieb:
    --------------------------------------------------------------------------------
    > Welchen Post von Percona meinst du?
    > Auf der percona Seite unter
    > /blog/2018/12/20/benchmark-postgresql-with-linux-hugepages wird sehr klar
    > ein erheblicher Vorteil von HugePages gezeigt. Teilweise eine Steigerung um
    > das fünffache.

    Ich kann hier keine Links posten, also google mal nach "Settling the Myth of Transparent HugePages for Databases".
    Bei den Graphen mit deutlich sichtbaren Abweichungen muss man auf die Skalierung achten.
    Für mich entspricht das Resultat den Erwartungen.

  7. Re: Hugepages bringen kaum was und sind scheiße

    Autor: Mandri 13.02.20 - 18:57

    Na, dann musst du das den Programmierern bei Google dringend mitteilen.
    Nicht, dass sie ihre Zewit weiter mit dem "Mist" verschwenden.

  8. Re: Hugepages bringen kaum was und sind scheiße

    Autor: Das Rockt 13.02.20 - 19:05

    > Na, dann musst du das den Programmierern bei Google dringend mitteilen.
    > Nicht, dass sie ihre Zewit weiter mit dem "Mist" verschwenden.

    Ist halt eine Opimierung aus Leidenschaft. Was wesentliches kommt dabei nicht rum.
    Ich kenn den "Dmitry Vyukov" noch von seiner 1024cores-Seite, das ist echt nen heißgebadeter Junge. Der ht viel mit lockfreien Algorithmen rumgemacht, und die sind bis auf lockfreie Stacks (die auch in TCMalloc, jemalloc und mimalloc stecken damit ein free() in einem anderen Thread erfolgen kann als das malloc() dazu) komplett überflüssig.



    1 mal bearbeitet, zuletzt am 13.02.20 19:07 durch Das Rockt.

  9. Re: Hugepages bringen kaum was und sind scheiße

    Autor: mknjc 13.02.20 - 20:00

    Das Rockt schrieb:
    --------------------------------------------------------------------------------

    > Ich kann hier keine Links posten, also google mal nach "Settling the Myth
    > of Transparent HugePages for Databases".
    Da liegt dein Denkfehler!
    Transparent HugePages sind ein vollkommen anderes Thema. Da steckt noch viel mehr hinter was dir Performance kosten kann.

  10. Re: Hugepages bringen kaum was und sind scheiße

    Autor: Das Rockt 13.02.20 - 20:11

    >> Ich kann hier keine Links posten, also google mal nach "Settling the
    >> Myth of Transparent HugePages for Databases".

    > Da liegt dein Denkfehler!
    > Transparent HugePages sind ein vollkommen anderes Thema.
    > Da steckt noch viel mehr hinter was dir Performance kosten kann.

    Transparent Huge Pages führen ebenso wie eine manuelle Allokation mit Huge Pages zum selben Zugriffs-Verhalten auf den Speicher. Der Unterschied ist nur, dass bei THP, falls nicht genug Pages umsortiert werden können, Allokationen eben durch normale 4kB-Pages befriedigt wird. Da das aber nicht die Regel ist, erst recht nicht auf einem DB-Server wo man entsprechende Speichermengen vorhält, kommt das auf's gleiche raus.

  11. Re: Hugepages bringen kaum was und sind scheiße

    Autor: mknjc 13.02.20 - 20:26

    Guck dir einfach meinen oben zitierten "Link" an dann siehst du wie groß die Performanceunterschiede zwischen THP HP und normalen Pages sind.

  12. Re: Hugepages bringen kaum was und sind scheiße

    Autor: blackbirdone 13.02.20 - 23:55

    Wie im Forum immer Profis zugegen sind die das besser wissen, als die die es seit Jahren optimieren :D

  13. Re: Hugepages bringen kaum was und sind scheiße

    Autor: Das Rockt 14.02.20 - 07:11

    > Guck dir einfach meinen oben zitierten "Link" an dann siehst du wie groß
    > die Performanceunterschiede zwischen THP HP und normalen Pages sind.

    Beachte einfach mal die Skalierung der Graphen !

  14. Re: Hugepages bringen kaum was und sind scheiße

    Autor: Das Rockt 14.02.20 - 07:12

    > Wie im Forum immer Profis zugegen sind die das besser wissen, als die die
    > es seit Jahren optimieren :D

    Ist einfach so, large Pages bringen sehr selten was.

  15. Re: Hugepages bringen kaum was und sind scheiße

    Autor: M.P. 14.02.20 - 08:37

    > sehr selten was.

    Wird hier vielleicht ein wenig zurückgerudert - vielleicht bringen sie Programmierern für andere Anwendungsfälle doch etwas...

    Video-Streaming-Server und anderer Multimediakram mit vielen Clients und definiertem Pufferspeicherbedarf pro Verbindung könnten profitieren...



    1 mal bearbeitet, zuletzt am 14.02.20 08:37 durch M.P..

  16. Re: Hugepages bringen kaum was und sind scheiße

    Autor: minnime 14.02.20 - 09:36

    blackbirdone schrieb:
    --------------------------------------------------------------------------------
    > Wie im Forum immer Profis zugegen sind die das besser wissen, als die die
    > es seit Jahren optimieren :D
    Klar, wir sind doch hier bei den IT-News für Profis, also müssen hier auch Profis rumrennen.

  17. Re: Hugepages bringen kaum was und sind scheiße

    Autor: Das Rockt 14.02.20 - 11:20

    > Video-Streaming-Server und anderer Multimediakram mit vielen Clients und
    > definiertem Pufferspeicherbedarf pro Verbindung könnten profitieren...

    Quelle ?

  18. Re: Hugepages bringen kaum was und sind scheiße

    Autor: Das Rockt 14.02.20 - 14:31

    > Klar, wir sind doch hier bei den IT-News für Profis, also müssen hier auch
    > Profis rumrennen.

    Lies besser das hier, das bestätigt was ich sage.
    Kann keine Links posten, also google mal nach "Made of Bugs Disable Transparent Hugepages".

  19. Re: Hugepages bringen kaum was und sind scheiße

    Autor: mknjc 14.02.20 - 15:51

    Das Rockt schrieb:
    --------------------------------------------------------------------------------
    > Beachte einfach mal die Skalierung der Graphen !

    Tue ich, an der Achse steht TPS (Tranaktionen pro Sekunde) 4k Pages hängt bei 5000 TPS rum und 1GB Pages bei 25000. Das ist das fünffache. Ich weiß nicht wie das bei dir läuft, wenn ich aber durch eine Konfigoption 4 von 5 Server einspare dann finde ich das schon beachtlich.

  20. Re: Hugepages bringen kaum was und sind scheiße

    Autor: Das Rockt 14.02.20 - 15:55

    > Tue ich, an der Achse steht TPS (Tranaktionen pro Sekunde) 4k Pages hängt
    > bei 5000 TPS rum und 1GB Pages bei 25000. Das ist das fünffache. Ich weiß
    > nicht wie das bei dir läuft, wenn ich aber durch eine Konfigoption 4 von 5
    > Server einspare dann finde ich das schon beachtlich.

    Nein, in keinem der Benchmarks auf
    /blog/2019/03/06/settling-the-myth-of-transparent-hugepages-for-databases/
    ist das der fall.
    Unter "Conclusion" steht:
    "I attained these results by running different benchmarking tools and evaluating different OLTP benchmarking standards. The results clearly indicate that for these workloads, _THP_has_a_negative_impact_on_the_overall_database_performance_. Although the performance degradation is negligible, it is, however, clear that there is no performance gain as one might expect. This is very much in line with all the different databases’ recommendation which suggests disabling the THP."
    Was gibt's da nicht zu verstehen ?
    Huge pages bringen selten was, und bei so stochastischen Zugriffsmustern wie bei DB-Servern erst recht nicht.

  1. Thema
  1. 1
  2. 2

Neues Thema Ansicht wechseln


Um zu kommentieren, loggen Sie sich bitte ein oder registrieren Sie sich. Zum Login

Stellenmarkt
  1. Bechtle AG, München
  2. Energie Südbayern GmbH, München
  3. ING-DiBa AG, Nürnberg
  4. ITEOS, Stuttgart

Golem pur
  • Golem.de ohne Werbung nutzen

Anzeige
Spiele-Angebote
  1. 3,99€
  2. (-69%) 24,99€
  3. 4,99€


Haben wir etwas übersehen?

E-Mail an news@golem.de


Nitropad im Test: Ein sicherer Laptop, der im Alltag kaum nervt
Nitropad im Test
Ein sicherer Laptop, der im Alltag kaum nervt

Das Nitropad schützt vor Bios-Rootkits oder Evil-Maid-Angriffen. Dazu setzt es auf die freie Firmware Coreboot, die mit einem Nitrokey überprüft wird. Das ist im Alltag erstaunlich einfach, nur Updates werden etwas aufwendiger.
Ein Praxistest von Moritz Tremmel und Sebastian Grüner

  1. Nitropad X230 Nitrokey veröffentlicht abgesicherten Laptop
  2. LVFS Coreboot-Updates sollen nutzerfreundlich werden
  3. Linux-Laptop System 76 verkauft zwei Laptops mit Coreboot

Generationenübergreifend arbeiten: Bloß nicht streiten
Generationenübergreifend arbeiten
Bloß nicht streiten

Passen Generation Silberlocke und Generation Social Media in ein IT-Team? Ganz klar: ja! Wenn sie ihr Wissen teilen, kommt am Ende sogar Besseres heraus. Entscheidend ist die gleiche Wertschätzung beider Altersgruppen und keine Konflikte in den altersgemischten Teams.
Von Peter Ilg

  1. Frauen in der Technik Von wegen keine Vorbilder!
  2. Arbeit Warum anderswo mehr Frauen IT-Berufe ergreifen
  3. Arbeit Was IT-Recruiting von der Bundesliga lernen kann

Geforce Now im Test: Nvidia nutzt einzigartige CPU und GPU
Geforce Now im Test
Nvidia nutzt einzigartige CPU und GPU

Wer mit Nvidias Geforce Now spielt, bekommt laut Performance Overlay eine RTX 2060c oder RTX 2080c, tatsächlich aber werden eine Tesla RTX T10 als Grafikkarte und ein Intel CC150 als Prozessor verwendet. Die Performance ist auf die jeweiligen Spiele abgestimmt, vor allem mit Raytracing.
Ein Test von Marc Sauter

  1. Cloud Gaming Activision Blizzard zieht Spiele von Geforce Now zurück
  2. Nvidia-Spiele-Streaming Geforce Now kostet 5,49 Euro pro Monat
  3. Geforce Now Nvidias Cloud-Gaming-Dienst kommt noch 2019 für Android

  1. Matepad Pro: Huawei bringt leistungsstarkes Tablet nach Deutschland
    Matepad Pro
    Huawei bringt leistungsstarkes Tablet nach Deutschland

    Das Matepad Pro von Huawei ist für ein 10,8-Zoll-Tablet nicht nur verhältnismäßig kompakt, sondern verwendet auch ein leistungsfähiges SoC: Im Inneren steckt der Kirin 990, der auch im Mate 30 Pro und im Mate Xs zum Einsatz kommt. Das Tablet lässt sich um einen Stift und eine Tastatur erweitern.

  2. Cascade Lake SP Refresh: Intels Xeon werden signifikant günstiger
    Cascade Lake SP Refresh
    Intels Xeon werden signifikant günstiger

    Der Druck durch AMDs Epyc 7002 wird immer deutlicher: Intel aktualisiert seine intern Cascade Lake SP genannten Xeon-CPUs mit zusätzlichen Kernen bei mehr Takt, zudem kosten die Chips auch noch weniger.

  3. Geändertes Namensschema: Lenovo bringt allerhand Thinkpads mit AMDs Renoir
    Geändertes Namensschema
    Lenovo bringt allerhand Thinkpads mit AMDs Renoir

    Mit dem Thinkpad T15, dem Thinkpad L14, dem Thinkpad X13 und weiteren Modellen vereinfacht Lenovo die Bezeichnungen seiner Notebooks. Zugleich gibt es Laptops mit AMDs Renoir-Chip und bis zu acht Kernen, die Intel-Pendants setzen auf vier (Ice Lake) oder sechs (Comet Lake).


  1. 15:47

  2. 15:00

  3. 15:00

  4. 14:30

  5. 14:19

  6. 14:03

  7. 12:35

  8. 12:20