1. Foren
  2. Kommentare
  3. OpenSource
  4. Alle Kommentare zum Artikel
  5. › Datenkompression: Auf Googles…

Das Geheimnis von Brotli ist, dass auch Google nur mit Wasser kocht.

  1. Thema

Neues Thema Ansicht wechseln


  1. Das Geheimnis von Brotli ist, dass auch Google nur mit Wasser kocht.

    Autor: Quantium40 22.09.15 - 14:13

    Das Geheimnis von Brotli ist ein statisches Wörterbuch mit häufig genutzten Wörtern in diversen Sprachen sowie Sprachelementen u.a. aus HTML und Javascript.
    Es wird also Platz in Datendateien gespart, indem man diesen Platz ins Programm verlagert.

    Damit ist die mögliche Kompressionsrate für bestimmte Datentypen natürlich besser als bei Universalkompressionsalgorithmen, aber grundsätzlich kocht Google auch nur mit Wasser. Dieser Vorteil verwandelt sich nämlich ganz schnell in einen Nachteil, wenn das statische Wörterbuch nicht passt.

    Vor allem bei den Prozentangaben, wieviel besser doch Broli ist, frag ich mich, ob da jemand beim Informatikstudium ein paar wichtige Vorlesungen insbesondere über die Theorien von Claude Elwood Shannon versäumt hat.

  2. Re: Das Geheimnis von Brotli ist, dass auch Google nur mit Wasser kocht.

    Autor: Salzbretzel 22.09.15 - 14:24

    Muss ich 20% weniger laden oder nicht?
    Ich muss weniger laden - super!

    Das wie ist dem Endkunden doch egal, das es geht ist wichtig. Gerade auf dem Handy wäre das schon mal etwas geniales. Und der Browser wird dadurch größer? Der wird doch eh nur im W-lan aktualisiert.

  3. Re: Das Geheimnis von Brotli ist, dass auch Google nur mit Wasser kocht.

    Autor: Quantium40 22.09.15 - 14:31

    Da der Großteil der zu übertragenden Daten schon längst nicht mehr aus Text, HTML oder Scripten besteht, sondern aus Multimediadaten, die nicht profitieren, ist das ziemlich unnötig bzw. kommt mindestens 15 Jahre zu spät.

  4. Re: Das Geheimnis von Brotli ist, dass auch Google nur mit Wasser kocht.

    Autor: sfalken 22.09.15 - 14:32

    Salzbretzel schrieb:
    --------------------------------------------------------------------------------
    > Muss ich 20% weniger laden oder nicht?

    Nein. Wenn das mit dem Wörterbuch so stimmt, lässt sich ausschließlich HTML so komprimieren (und evtl. CSS oder JavaScript - vorausgesetzt sie wurden nicht nach heute gängigen Methoden "minimized").
    Bilder und Videos, die den Großteil des Traffics (und der Ladezeit) ausmachen, blieben dann davon unberührt.

  5. Re: Das Geheimnis von Brotli ist, dass auch Google nur mit Wasser kocht.

    Autor: Quantium40 22.09.15 - 14:48

    Das mit dem Wörterbuch findet sich auf der zweiten Seite der verlinkten Studie im vorletzten Absatz.

    siehe auch https://www.gstatic.com/b/brotlidocs/brotli-2015-09-22.pdf

    Der Inhalt des getesteten Canterbury Corpus:
    http://corpus.canterbury.ac.nz/descriptions/#cantrbry



    1 mal bearbeitet, zuletzt am 22.09.15 14:50 durch Quantium40.

  6. Re: Das Geheimnis von Brotli ist, dass auch Google nur mit Wasser kocht.

    Autor: Lorphos 22.09.15 - 15:08

    Multimedia-Daten sind eh bereits verlustbehaftet komprimiert. Um die geht es überhaupt nicht.

  7. Re: Das Geheimnis von Brotli ist, dass auch Google nur mit Wasser kocht.

    Autor: Galde 22.09.15 - 15:16

    Mab könnte es ja mit anderen Algorhytgmen kombinieren, das eine mit Zopfli, Werbung mit Nervme usw...

  8. Re: Das Geheimnis von Brotli ist, dass auch Google nur mit Wasser kocht.

    Autor: thomas001le 22.09.15 - 15:25

    Ich habe das Wörterbuch mal aus entfernt, zumindest das Ergebnis für die aktuellen Linux Quellen ist exakt gleich mit und ohne Wörterbuch.

  9. Re: Das Geheimnis von Brotli ist, dass auch Google nur mit Wasser kocht.

    Autor: pythoneer 22.09.15 - 15:49

    sfalken schrieb:
    --------------------------------------------------------------------------------
    > Nein. Wenn das mit dem Wörterbuch so stimmt, lässt sich ausschließlich HTML
    > so komprimieren (und evtl. CSS oder JavaScript - vorausgesetzt sie wurden
    > nicht nach heute gängigen Methoden "minimized").
    > Bilder und Videos, die den Großteil des Traffics (und der Ladezeit)
    > ausmachen, blieben dann davon unberührt.

    Bilder und Videos, aha. Du möchtest hier also dein Wissen zur Datenkomprimierung los werden, ja?

  10. Re: Das Geheimnis von Brotli ist, dass auch Google nur mit Wasser kocht.

    Autor: theonlyone 22.09.15 - 16:09

    thomas001le schrieb:
    --------------------------------------------------------------------------------
    > Ich habe das Wörterbuch mal aus entfernt, zumindest das Ergebnis für die
    > aktuellen Linux Quellen ist exakt gleich mit und ohne Wörterbuch.

    Es wird geschaut welche Dateien komprimiert werden sollen und wenn das keine javascript etc. Dateien sind, wird das statische Wörterbuch schlichtweg nicht verwendet.

    Ergo ist es "nie" ein Nachteil, aber für was es gedacht ist, ein Vorteil.

  11. Re: Das Geheimnis von Brotli ist, dass auch Google nur mit Wasser kocht.

    Autor: George99 22.09.15 - 16:21

    thomas001le schrieb:
    --------------------------------------------------------------------------------
    > Ich habe das Wörterbuch mal aus entfernt, zumindest das Ergebnis für die
    > aktuellen Linux Quellen ist exakt gleich mit und ohne Wörterbuch.

    Ja und wie schneidet Brötli nun im Vergleich mit bz2 ab?

  12. Re: Das Geheimnis von Brotli ist, dass auch Google nur mit Wasser kocht.

    Autor: Quantium40 22.09.15 - 16:36

    George99 schrieb:
    > Ja und wie schneidet Brötli nun im Vergleich mit bz2 ab?

    Jenseits der optimierten Spezialfälle wird das Ergebnis wohl kaum anders aussehen, als bei all den anderen LZ77 (und Varianten) + Huffmann-Kompressoren, die seit Jahrzehnten im Umlauf sind.

    So wirklich innovative neue Ansätze gab es in dem Bereich seit Jahren nicht, wozu leider auch die Patentierung wichtiger Algorithmen beigetragen hat (LZ78, Q-Coder ...)

  13. Re: Das Geheimnis von Brotli ist, dass auch Google nur mit Wasser kocht.

    Autor: thomas001le 22.09.15 - 22:23

    Das steht doch in https://www.gstatic.com/b/brotlidocs/brotli-2015-09-22.pdf, was im Artikel verlinkt ist.

    Der Vorteil von Brotli ist nicht das es kleiner komprimiert als alle anderen, sondern dass es schneller dekodiert als alle anderen bei vergleichbaren Kompressionsraten.

  14. Re: Das Geheimnis von Brotli ist, dass auch Google nur mit Wasser kocht.

    Autor: elgooG 23.09.15 - 08:50

    thomas001le schrieb:
    --------------------------------------------------------------------------------
    > Das steht doch in www.gstatic.com was im Artikel verlinkt ist.
    >
    > Der Vorteil von Brotli ist nicht das es kleiner komprimiert als alle
    > anderen, sondern dass es schneller dekodiert als alle anderen bei
    > vergleichbaren Kompressionsraten.

    Wobei das genau das ist was Google braucht. Google speichert Unmengen an Textdaten und muss sie schnell abliefern können. Der Algorithmus mag ja für Dateidownloads nicht so geeignet sein, aber im Backend eines Servers der Textinhalte indiziert kann er Gold wert sein.

    Kann Spuren von persönlichen Meinungen, Sarkasmus und Erdnüssen enthalten. Ausdrucke nicht für den Verzehr geeignet. Ungelesen mindestens haltbar bis: siehe Rückseite

  1. Thema

Neues Thema Ansicht wechseln


Um zu kommentieren, loggen Sie sich bitte ein oder registrieren Sie sich. Sie müssen ausserdem in Ihrem Account-Profil unter Forum einen Nutzernamen vergeben haben. Zum Login

Stellenmarkt
  1. MRH Trowe, München, Düsseldorf, Frankfurt am Main, Alsfeld
  2. Limbach Gruppe SE, Heidelberg
  3. Anstalt für Kommunale Datenverarbeitung in Bayern (AKDB), verschiedene Standorte
  4. Wiethe Group GmbH, Bremen

Golem pur
  • Golem.de ohne Werbung nutzen

Anzeige
Spiele-Angebote
  1. 33,99€
  2. 22,99€
  3. 33,99€


Haben wir etwas übersehen?

E-Mail an news@golem.de


Chang'e 5: Chinesischer Probensammler ist unterwegs zum Mond
Chang'e 5
Chinesischer Probensammler ist unterwegs zum Mond

Nach 44 Jahren soll eine chinesische Raumsonde endlich wieder Gesteinsproben vom Mond zur Erde bringen.
Von Frank Wunderlich-Pfeiffer

  1. Raumfahrt Nasa hat überraschenden Favoriten bei Mondlanderkonzept
  2. SLS Nasa bestellt Triebwerke für den Preis einer ganzen Rakete
  3. Artemis Base Camp Nasa plant Mondhabitat

iPhone 12 Pro Max im Test: Das Display macht den Hauptunterschied
iPhone 12 Pro Max im Test
Das Display macht den Hauptunterschied

Das iPhone 12 Pro Max ist größer als das 12 Pro und hat eine etwas bessere Kamera - grundsätzlich liegen die beiden Topmodelle von Apple aber nah beieinander, wie unser Test zeigt. Käufer des iPhone 12 Pro müssen keine Angst haben, etwas zu verpassen.
Ein Test von Tobias Költzsch

  1. Touchscreen und Hörgeräte iOS 14.2.1 beseitigt iPhone-12-Fehler
  2. iPhone Magsafe ist nicht gleich Magsafe
  3. Displayprobleme Grünstich beim iPhone 12 aufgetaucht

Keyboardio Atreus im Test: Die Tastatur für platzbewusste Ergonomiker
Keyboardio Atreus im Test
Die Tastatur für platzbewusste Ergonomiker

Eine extreme Tastatur für besondere Geschmäcker: Die Atreus von Keyboardio ist äußerst gewöhnungsbedürftig, belohnt aber mit angenehmem Tippgefühl.
Ein Test von Tobias Költzsch

  1. HyperX x Ducky One 2 Mini im Test Kompakt, leuchtstark, limitiert
  2. Nemeio Tastatur mit E-Paper-Tasten ist finanziert
  3. Everest Max im Test Mehr kann man von einer Tastatur nicht wollen