Verschont mich mit Benchmarks!

[/mecki78]

Ich wollte mal testen wie aktuelle JS Engines im Vergleich zu Programmiersprachen wie PHP/Perl/Ruby/Python abschneiden. Daher habe ich ein Stück einfachen Code, der eine simple Berechnung macht und ein bisschen Text dabei ausgibt sowohl nach PHP, Perl, Ruby, Python, Java, C und JavaScript portiert. Bei den anderen Sprachen war es ziemlich klar welcher Compiler/Interpreter zum Einsatz kommt, bei JavaScript war diese Frage natürlich offen. Also habe ich den Code mit Firefox 3.6 (also nur TraceMonkey) und den jeweils neusten Chrome und Safari laufen lassen. Ergebnis: Firefox schlägt die anderen beiden um Längen. Firefox hat schon fertig berechnet, da sind die anderen noch im 2 oder 3 Rechenschritt (von insgesamt 10).

D.h. ich kann auch einen Benchmark basteln, wo Firefox immer die Nummer eins ist und alle anderen nur abkacken. Was sagt dann so ein Benchmark bitte aus?

Wie stark Benchmarks konstruiert ist sieht man am Google Benchmark. Hier schlägt Chrome Safari (und alle anderen auch) um Längen. Aber im Sunspider Benchmark hingegen sind beide fast gleich auf; was ist jetzt die Wahrheit?

In der Realität macht keine Seite im ganzen Web mit JavaScript auch nur im Ansatz das, was diese Benchmarks testen. Selbst wenn einige Benchmarks realistische Dinge tun, so machen sie diese Dinge in einer Schleife, z.B. 1000x hintereinander, weil diese Dinge einmal zu machen wäre so schnell, das ist unterhalb der Messbarkeitsgenauigkeit. Aber alleine das ist unreal, weil keine Seite würde die gleiche Aktion 1000x hintereinander in einer Schleife laufen lassen. Alleine hier ist der Test schon nicht mehr realistisch und eine Engine die z.B. extrem gut mit Schleifen zurecht kommt kann hier punkten, würde aber in der Realität gar nichts nützen bei dieser Aktion, weil sie genau einmal ausgeführt werden würde auf einer echten Seite.

/Mecki

[chromi]

Wäre Nett wenn du diesen Code auf pastebin.com (oder ähnlich) hochladen und hier verlinken könntest.

[mecki78]

Der Code ist streng geheim. Ich habe es für ein Projekt des Pentagons geschrieben. Wir hoffen damit OBL in den Höhlen von Tora Bora aufzuspüren.

Das hättest du wohl gerne dass ich jetzt diesen code freigebe.

[Hans Schmucker]

Ich hab ähnliche Ergebnisse mit tracebarem Code und der ist nicht geheim. Das Problem ist ganz einfach: willst du die Leistung mit legacy oder optimiertem Code messen? Für Legacy Code sind Nitro und V8 besser, für optimierten Tracemonkey.

http://dest.at/EmuBnch

[2called-chaos]

Also so ziemlich jeder javascript-effekt (diverser libs) laggt im IE7&8 so dermaßen, dass ich nicht glaube das der IE9 da so viel schneller sein soll als der FF jetzt (der meiner Meinung nach relativ flott ist)...


Aber bei Benchmarks ist das so wie mit Studien... Traue keiner Studie, die du nicht selbst gefälscht hast...

Zugegeben: Webkit ist verdammt schnell, teilweise habe ich Bugs die durch zu schnelles rechnen entstanden sind weil kein callback drin war...


Mfg

Chaos

[/mecki78]

chromi schrieb:
--------------------------------------------------------------------------------
> Wäre Nett wenn du diesen Code auf pastebin.com (oder ähnlich) hochladen und
> hier verlinken könntest.

Klar, kann ich machen. Wobei ich sagen muss, ich habe ihn gerade erneut getestet (der letzte Test ist schon ein halbes Jahr her) und mittlerweile haben die anderen deutlich aufgeholt, vor allem Safari. Chrome ist immer noch deutlich langsamer.

Hier ist der JS Code:
http://pastebin.com/LwMXn58C

Der HTML Code sollte trivial sein, irgendwas in der Art von:
http://pastebin.com/GznJ7ZLz

Braucht bei mir am Firefox 3.6.9 "0.775" Sekunden, in Safari 5.0.1 "0.968" Sekunden und in Chrome 6.0.472.55 "1.833" Sekunden.

D.h. wenn Firefox die Referenz mit 1,0 ist, dann ist Safari 1,25 und Chrome ist 2,37 (mehr als doppelt so langsam). Wie gesagt, Safari hat mit der Version 5 erstaunlich aufgeholt (der letzte Test war noch mit 4.x), aber Chrome ist immer noch deutlich langsamer.

Und, was jetzt? Nach diesem Benchmark ist Firefox der schnellste Browser. Sagt aber genauso viel oder wenig aus wie die anderen Benchmarks.

(PS: Die verbrauchte Zeit steht ganz unten auf der Seite)

/Mecki

[/mecki78]

mecki78 schrieb:
--------------------------------------------------------------------------------
> Der Code ist streng geheim. Ich habe es für ein Projekt des Pentagons
> geschrieben. Wir hoffen damit OBL in den Höhlen von Tora Bora aufzuspüren.
>
> Das hättest du wohl gerne dass ich jetzt diesen code freigebe.

Zieh Leine, du Identitätsdieb. Kannst wieder kommen wenn du genug Courage hast dir eine eigene Identität zuzulegen.

/Mecki

[/mecki78]

Nur so nebenbei erwähnt, weil ich ja geschrieben habe, dass ich mit dem Code verschiedene Sprachen verglichen habe, JS ist mittlerweile verdammt schnell. Geschlagen wird JS nur noch von einer C Implementierung und einer Java Implementierung, aber auch nur wenn Java den JIT Compiler benutzen darf. Wenn Java nur interpreted ist, dann gewinnt bereits JS.

Alle anderen Sprachen, die ich getestet habe, sind deutlich hinter JS und zwar in genau dieser Reihenfolge: Lua, PHP, Python, Perl, Ruby. Jeweils mit deutlichen Abstand zum Vorder- und Hintermann. Vor allem Ruby ist hier grottenlahm und Lua hat mich echt überrascht, denn obwohl rein interpreted, schlägt es dennoch alle anderen.

/Mecki

[Hans Schmucker]

Ich denke Lua hat sich in der Zwischenzeit auch einiges von den gängigen JS Implementierungen abgeschaut... beide Sprachen sind bis auf den Syntax fast baugleich :)

[Youssarian]

/mecki78 schrieb:

> D.h. ich kann auch einen Benchmark basteln, wo Firefox immer die Nummer
> eins ist und alle anderen nur abkacken. Was sagt dann so ein Benchmark
> bitte aus?

Steht das nicht im Prinzip schon im Artikel (von Golem)?

"Denn wann immer Tracemonkey seine Stärken, das Tracing, ausspielen kann, ist Mozillas Javascript-Engine der Konkurrenz überlegen."