-
FP8 ?
Autor: JouMxyzptlk 08.09.22 - 20:23
Wie hat sich die Welt über den Pentium Divisionsfehler geärgert! Und jetzt reicht schon FP8? FP16 (in den diversen Aufteilungevarianten) ist ja schon GHrößenordungen unter C16/C64-Basic welche 32 Bit nutzte...
Ist das der Grund warum so viele KI Modelle bei der Erkennung so leicht zu veräppeln sind? Quasi ein Abwägen von "ich sehe genau" gegen "Ich kann schnell genug lernen und erkennen"?
Ultra HD ist LOW RES! 8K bis 16K sind mein Metier. -
Re: FP8 ?
Autor: glasen77 09.09.22 - 08:11
Wenn man keine Ahnung hat, ...
-
Re: FP8 ?
Autor: jhi (Golem.de) 09.09.22 - 10:13
Da gibt es schon einen Unterschied. Beim FDIV-Bug entsprach das Verhalten nicht der Erwartung, war also fehlerhaft.
Bei FP8 wird bewusst ein kleinerer Wertebereich mit geringerer Auflösung genutzt, weil die höhere Auflösung die Genauigkeit des Ergebnisses kaum oder gar nicht verbessern würde. Das ist bei Transformer-Modellen interessant, weil sie Blöcke von Daten verarbeiten und nicht alle Teile gleich wichtig sind für das Ergebnis.
Es wird auch nicht für alle Parameter FP8 genutzt, sondern nur da, wo der kleinere Wertebereich keine negativen Auswirkungen hat.
Dass sich Modelle täuschen lassen liegt daran, dass die gelernten Merkmale zu spezifisch sind. Das klassische Beispiel sind Augen, die KI gut erkennen, aber beispielsweise nicht zwischen echten und ausgedruckten unterscheiden kann.
Johannes Hiltscher
(Golem.de) -
Re: FP8 ?
Autor: JouMxyzptlk 09.09.22 - 15:47
Wenn man IRONIE nicht erkennt...
-
Re: FP8 ?
Autor: Jojo! 09.09.22 - 16:59
Machs bitte nicht noch peinlicher.
-
Re: FP8 ?
Autor: JouMxyzptlk 09.09.22 - 18:40
Wieso muss es immer solche Troller wie euch geben. Immer irgendwelche die nur darauf warten irgendwo jemand, egal wie, zu dissen. Irgendwie immer aus der Suche sich an so was aufzugeilen. Keine Freundlichkeit, keine normale Kommunikation. Immer nur so was.
-
Re: FP8 ?
Autor: JouMxyzptlk 09.09.22 - 19:11
Das fehlt ein Detail, wenn schon FP8 so Ausgenerdet wird :D : FP8 den Vorteil einen größeren Wertebereich im Sinne von Größenordnungen abzudecken. Während INT8 von -127 bis +127 und damit etwa 2,2 Größenordnungen kann FP8 (E5M2) von c.a. 0,03 bis knapp über 3 drei Größenordnungen. Je nachdem wie viele Bits auf den Exponenten oder die Mantisse gehen sind auch über sieben Größenordnungen drin - wobei man den Unendlich Wert von E8M0 verständlicherweise ignoriert.
Welche FP8 Variante(n) kann diese Karte?



