1. Foren
  2. Kommentare
  3. PC-Hardware-Forum
  4. Alle Kommentare zum Artikel
  5. › Machine-Learning: ARM, Intel…

Ernste Frage: Was wird in solchen Werten bei KI eigentlich gespeichert?

  1. Thema

Neues Thema


  1. Ernste Frage: Was wird in solchen Werten bei KI eigentlich gespeichert?

    Autor: Wasser 15.09.22 - 11:30

    Vorweg mal: Bin in der Materie kein Profi :-)

    GANZ! GROBE! ÜBERLEGUNG!
    Wenn wir einen 5-Bit Exponent haben ergibt das 2^5 = 32 Exponenten also 2^32 Werte also 4 Milliarden.
    Bleiben für die Mantisse 2 Bit, also 4 Zustände, also kann die Zahl geviertelt werden (0.75, 0.5, 0.25, 0.0)
    Dann haben wir einen Wertebereich von +- 4 Milliarden
    und eine Genauigkeit von einem Viertel des jeweiligen Wertes.

    Beim 4-Bit Exponenten ergibt sich dann:
    Wertebereich: +-65000
    Genauigkeit: 1/8 des jeweiligen Wertes.

    Das sind weder von der Spreizung noch von der Genauigkeit her Welten.
    Was macht man damit konkret?

  2. Re: Ernste Frage: Was wird in solchen Werten bei KI eigentlich gespeichert?

    Autor: M.P. 15.09.22 - 11:48

    Das einzige, was ich mir vorstellen kann, sind eine Art "Gewichte" für Entscheidungen. Da wird es ggfs. nur auf Größer/Kleiner ankommen, und keine genauen Distanzen, die man bewerten müsste...

  3. Re: Ernste Frage: Was wird in solchen Werten bei KI eigentlich gespeichert?

    Autor: sg (Golem.de) 15.09.22 - 12:01

    Das Format E5M2 ist dabei eigentlich nur eine kürzere Variante von FP16 der IEEE (5 Bit Exponent, 10 Bit Mantisse). Der Wertebereich wird durch das kleinere Format FP8 also nicht wesentlich kleiner, nur weniger genau. In bestimmten Modelle und Anwendungsfällen reicht das eben trotzdem für annähernd gleiche Ergebnisse.

    ---------
    Sebastian Grüner

    Golem.de

  4. Re: Ernste Frage: Was wird in solchen Werten bei KI eigentlich gespeichert?

    Autor: nubar 15.09.22 - 12:30

    In KI's werden die Zahlen von verbundenen Neuronen durch Skalierung entsprechend aufeinander abgestimmt. (Macht das Training.) Jetzt hat die Erfahrung gezeigt, dass ein kleines Teilnetz einer KI nur einen relativ kleinen Zahlenumfang braucht. Da man die Zahlen am Eingang jetzt in einen funktionierenden Bereich skalieren kann, braucht man den enormen Umfang von 16-Bit (ca. 63k unterscheidbare Zahlen) nicht, sondern es reichen ca. 200 (8-Bit FP).

    Floating point arbeitet sowieso nur "genau", wenn beide Zahlen aus einem ähnlichen Wertebereich kommen. D.h. das Skalieren der Inputs ist sowieso notwendig und die lange Mantisse kann man sich sparen (nicht aber den Exponenten). Aufgrund der Zahlenspreizung ergibt z.B. 10^8 + 10^-8 wieder 10^8 für FP32.

  1. Thema

Neues Thema


Um zu kommentieren, loggen Sie sich bitte ein oder registrieren Sie sich. Sie müssen ausserdem in Ihrem Account-Profil unter Forum einen Nutzernamen vergeben haben. Zum Login

Stellenmarkt
  1. Systemadministrator*in ARD Zentrale Mediensysteme (ARD-Sternpunkt)
    Hessischer Rundfunk Anstalt des öffentlichen Rechts, Frankfurt am Main
  2. Digital Process Spezialist:in
    enercity AG, Hannover
  3. IT-Systemadministrator (m/w/d)
    Kommunaler Versorgungsverband Baden-Württemberg, Karlsruhe
  4. Global Procurement Expert (m/f/d)
    Advantest Europe GmbH, Böblingen

Detailsuche


Golem pur
  • Golem.de ohne Werbung nutzen

Anzeige
Spiele-Angebote
  1. basierend auf Verkaufszahlen
  2. 219,99€ (mit Vorbesteller-Preisgarantie)


Haben wir etwas übersehen?

E-Mail an news@golem.de


PS5 Access Controller ausprobiert: Playstation-5-Spielspaß für alle Gamer
PS5 Access Controller ausprobiert
Playstation-5-Spielspaß für alle Gamer

Maximal konfigurierbar: Der PS5 Access Controller ist für Spieler mit Einschränkungen gedacht. Golem.de hat das Gamepad ausprobiert.
Von Peter Steinlechner

  1. Sony 50 Millionen Playstation 5 verkauft
  2. Sony Playstation 5 Slim in Deutschland verfügbar
  3. Sammelklage Playstation Store könnte Sony 7,2 Milliarden Euro kosten

Teil 2 unseres Tutorials: Objekte und Variablen in Powershell
Teil 2 unseres Tutorials
Objekte und Variablen in Powershell

Powershell-Tutorial
In unserer Powershell-Einführung mit Übungsblöcken und Lösungsvideos beschäftigen wir uns dieses Mal mit Objekten und Variablen.
Eine Anleitung von Holger Voges

  1. Mit praktischen Übungen und Videos Powershell für Einsteiger - Teil 1

Deutschland-Start vor 20 Jahren: Das Mysterium von Donnie Darko
Deutschland-Start vor 20 Jahren
Das Mysterium von Donnie Darko

Der Science-Fiction-Film Donnie Darko machte Jake Gyllenhaal zum Star. Regisseur Richard Kelly galt als Wunderkind, konnte den Erfolg aber nie wiederholen.
Von Peter Osteried

  1. Die wandernde Erde II Leb wohl, Sonnensystem!
  2. Die Wahrheit ist dort draußen Reboot von Akte X kommt
  3. Carol & the End of the World In 7 Monaten und 13 Tagen geht die Welt unter