1. Foren
  2. Kommentare
  3. Sonstiges-Forum
  4. Alle Kommentare zum Artikel
  5. › Nvidias GV100-Chip: "Wir sind…

Paar Überlegungen zu den tensor-cores

Neue Foren im Freiraum! Raumfahrt und freie Software haben jetzt einen Platz, die Games tummeln sich jetzt alle in einem Forum.
  1. Beitrag
  1. Thema

Paar Überlegungen zu den tensor-cores

Autor: curious_sam 12.05.17 - 00:10

https://image.slidesharecdn.com/japandli0117-final-170117084327/95/nvidia-deep-learning-institute-2017-47-638.jpg?cb=1484642754
.
Ich kann mich noch an diese Präsentation von Nvidia erinnern, wo sie behauptet hatten, dass sie, wenn es nur um die FP-einheiten ginge, ohne weiteres 10.000 64bit Einheiten in 100mm2 packen könnten.
Was sie damit sagen wollten, ist natürlich dass viel entscheidender ist, die Einheiten zu füttern.
Das ist im Prinzip ja auch, was ich mir unter den Tensor-Cores vorstelle. Eine Matrix Multiplikation hat es so an sich, dass eine kleine menge Zahlen in vielen verschiedenen Permutationen miteinander multipliziert werden.
Hier hat sich nvidia wohl überlegt, dass sie sich das rumschieben der Daten und die Ansteuerungslogik weitestgehend sparen und so Fläche und Energie sparen können, wenn sie die matrix-Multiplikation hart codieren.
Ein tensor-core hat (vermutlich) 64 16-bit FMA's, was 40k 16bit Einheiten für den gesamten Chip bedeuten würde. Bei näherungsweise quadratischer Skalierung (in der Präsi ging es um 64 bit Einheiten) würden die reine logic nach nvidias Slide ca. 25mm2 brauchen. Wieviel es wirklich ist, wäre sehr interessant.
.
Interessant finde ich auch die Datapath: bei dem 1:2 Verhältnis von SP:DP wird ja immer als Vorteil behauptet, dass sie immer auf die gleiche menge bits arbeiten. Somit sind die Zugriffe auf register file, L1 und L2 immer Vektoren der gleichen länge. Das würd auch mit dem 1:8 Verhältnis bei den tensor-cores aufgehen, (4x4x16bit = 256 = 8x32), wenn da nicht wäre, dass das Resultat und der additive Faktor 32 bit Elemente haben dürfen. Das heisst, für die tensor-cores müssen doppelt so viele daten bewegt werden. Allerdings wurde in der gestrigen Präsentation auch gesagt, dass Volta int und fp Einheiten gleichzeitig ansprechen kann.
Ich schätze also, dass es zwei ports in das register file gibt, und der mixed-precision modus beide belegt. Das würde auch die Tür offen lassen für eine gv102 mit doppelt so vielen FP32 Einheiten (und ohne DP und Tensor) Damit wären wir wieder bei 128 cores/SM wie Maxwell/Pascal, und, falls die Anzahl der SM's gleich bleibt, absolut verrückten 10.240 cuda-cores.
.
Na ja, genug spekuliert für heute ;) Auf jeden Fall der aufregendste Produkt-launch des Jahres und ich kann es kaum erwarten, das teil in die Hände zu bekommen ;)


Neues Thema Ansicht wechseln


Thema
 

Paar Überlegungen zu den tensor-cores

curious_sam | 12.05.17 - 00:10
 

Re: Paar Überlegungen zu den tensor-cores

jo-1 | 12.05.17 - 06:42
 

Re: Paar Überlegungen zu den tensor-cores

Legendenkiller | 12.05.17 - 07:21
 

Re: Paar Überlegungen zu den tensor-cores

jo-1 | 12.05.17 - 07:48
 

Re: Paar Überlegungen zu den tensor-cores

curious_sam | 12.05.17 - 10:43
 

das ist brut-force - Elegant sieht bei...

jo-1 | 12.05.17 - 17:44
 

Re: das ist brut-force - Elegant sieht...

curious_sam | 13.05.17 - 00:06
 

Memristor

Ach | 13.05.17 - 06:02
 

Memristor, Quanten (Effekt) Computer...

jo-1 | 13.05.17 - 08:10
 

Re: Paar Überlegungen zu den tensor-cores

Ach | 12.05.17 - 07:44
 

Re: Paar Überlegungen zu den tensor-cores

B.I.G | 15.05.17 - 19:09
 

Re: Paar Überlegungen zu den tensor-cores

TC | 12.05.17 - 12:42
 

Re: Paar Überlegungen zu den tensor-cores

JTR | 12.05.17 - 12:54
 

Re: Paar Überlegungen zu den tensor-cores

Bobsen_ | 12.05.17 - 17:52

Neues Thema Ansicht wechseln


Um zu kommentieren, loggen Sie sich bitte ein oder registrieren Sie sich. Sie müssen ausserdem in Ihrem Account-Profil unter Forum einen Nutzernamen vergeben haben. Zum Login

Stellenmarkt
  1. Data & Analytics-Experte Automotive Technologies (m/w/d)
    Schaeffler Technologies AG & Co. KG, Herzogenaurach
  2. Sachbearbeiterin / Sachbearbeiter (w/m/d) Endgeräte im Bereich Digitalfunk
    Präsidium Technik, Logistik, Service der Polizei, Stuttgart
  3. IT-Berater (w/m/d) SAP PltP/SAP PP
    Heraeus Holding GmbH, Hanau
  4. Technical Consultant Industrie 4.0 (m/w/d)
    Kräuter-Mix GmbH, Abtswind

Detailsuche


Golem pur
  • Golem.de ohne Werbung nutzen

Anzeige
Hardware-Angebote
  1. 499,99€
  2. 499,99€


Haben wir etwas übersehen?

E-Mail an news@golem.de