Neuronale Netze als Kompression-Methode

[Incognito]

Wollte mal ein bisschen spekulation in den Raum werfen:

Eine interessante Entwicklung, die Spiele Streaming für die breite Masse ermöglichen könnte, ist neuronales Supersampling an dem Facebook sehr aktiv Forscht [1]. Die Kombination von immer mehr Smartphone-ASICs zur Beschleunigung von linearer Algebra könnte ermöglichen, dass der Server nur noch 360p Videos verschicken muss und der lokale Client rekonstruiert dann ein 1080p Bild. Somit könnte man mMn, das Volumen und die Latenz in Spielen sehr stark reduzieren und vlt sogar in starken 4G Gebieten ermöglichen. Man hat ja schon an DLSS gesehen, wie gut NN-Rekonstruktion funktionieren kann.


[1] https://research.fb.com/blog/2020/07/introducing-neural-supersampling-for-real-time-rendering/

[Sarkastius]

Was am Ende eben auch nur ein Komprimimierungsverfahren mit dufte klingendem Namen ist.

[Incognito]

Sarkastius schrieb:
--------------------------------------------------------------------------------
> Was am Ende eben auch nur ein Komprimimierungsverfahren mit dufte
> klingendem Namen ist.

Denke nicht. Man sollte hier sehen, dass es um komplexe Modelle geht, die wahrscheinlich pro Spiel/Film trainiert werden müssen. Im Vergleich kann der "dumme" Quantization+Entropie basierte Algorithmus Stur auf jedes Medium angewandt werden. Das hat allerdings zur Folge, dass es nie optimal komprimieren kann. Ein NN kann aufgrund von Heuristiken über das ganze Produkt die optimale Kompression vornehmen.
Es ist auch fraglich, ob es sich hier um eine ganz neue Klasse von Kompressionsalgorithmen handelt. Denn anders als bei "lossy" Algorithmen, werden fehlende Daten nicht interpoliert, sondern aufgrund des "Wissens" des NN "erfunden". Vielleicht auch nur eine neue Abart der lossy Kompression...

Aber der wichtigste Unterschied ist, dass ein solcher Algorithmus, aufgrund fehlender offener Standards im AI-Bereich, nur auf bestimmten Hard- und Softwarestacks realisieren lässt. Ein Grund mehr, sich für OpenSource im AI bereich stark zu machen.