1. Foren
  2. Kommentare
  3. Sonstiges
  4. Alle Kommentare zum Artikel
  5. › GANverse3D: K.I.T.T. fährt in 3D aus…

Was soll das sein?

  1. Thema

Neues Thema Ansicht wechseln


  1. Was soll das sein?

    Autor: flasherle 16.04.21 - 15:25

    Ein Beispiel wie schlecht das funktioniert?
    Das in dem Video hat nicht mal Ähnlichkeiten mit Kitt...

  2. Re: Was soll das sein?

    Autor: JouMxyzptlk 16.04.21 - 16:55

    Das war auch mein Gedanke - aber es soll ja aus einem einzelnen Bild entstanden sein.
    Trotzdem geht es mir wie dir - sieht auch wie early alpha.

  3. Re: Was soll das sein?

    Autor: keböb 16.04.21 - 17:28

    Ebenso... vor ein paar Jahren wäre das erstaunlich gewesen.

    Im Jahr 2021 staune ich immer wieder, wie - fast schon beängstigend - weit AI, Machine Learning etc. inzwischen ist... siehe z.B. Two Minute Papers auf YT.

    Was Nvidia hier zeigt, wirkt im Vergleich etwas enttäuschend.

    Mir scheint, sie haben das Modell mit modernen Autos trainiert, weil es sieht aus wie ein Autodesign im Jahr 2020, wie auf den zwei unten verlinkten Fotos... nicht wie das Original aus den 80ern.

    https://images.automatrix.com/1/101001/nqbAXekpEgAz.jpg
    https://cdn.motor1.com/images/mgl/1x7K3/s1/mercedes-amg-gt.jpg

  4. Re: Was soll das sein?

    Autor: P_AI 16.04.21 - 18:15

    Es ist sehr wahrscheinlich, dass es mit Bildern moderner Autos trainiert wurde. Es geht hier aber eigentlich nur um die Technik die neu entwickelt wurde. Wenn man das ernsthaft für etwa alte Autos einsetzen möchte, würde man "einfach" entsprechende Datensätze nutzen. Das dahinterliegende Konzept ist im Prinzip generisch, und könnte für ganz andere Objekte verwendet werden (siehe etwa "PIFu" auf youtube )

    Das ganze sollte man also als eine neue Technik verstehen, und das Video als ein simpler Demonstrator.



    2 mal bearbeitet, zuletzt am 16.04.21 18:32 durch P_AI.

  5. Re: Was soll das sein?

    Autor: P_AI 16.04.21 - 18:39

    Entsprechend ist es nicht leicht verschiedene Arbeiten zu vergleichen.
    Es gibt verhältnismäßig viel mehr Daten zu Gesichtern, als zu Autos.
    Es ist also immer die Frage wie gut war der Datensatz mit dem es trainiert wurde (wie groß ist der Datensatz, die Varianz der Daten, wird das System out-of-distribution angewandt, ..)

  6. Re: Was soll das sein?

    Autor: Nr.1 16.04.21 - 18:52

    Eigentlich schon ein wenig seltsam, diese Herangehensweise, obwohl es im Kern gar nicht doof ist, nur nicht zu Ende gedacht. Man kann den Trans Am als sehr detalliertes 3D-Modell problemlos kaufen. Dann die KI über das Intro laufen lassen, das so entstandene grobe 3D-Fahrzeug mit dem hochwertigen 3D-Modell koppeln und einfügen. Also ähnlich wie bei Motion Capture nur simpler.

    Und schon hat man eine komplette 3D-Szene mit der gleichen Kameraposition oder -fahrt, wie im Intro. Allerdings mit einem richtig schicken K.I.T.T.

  7. Re: Was soll das sein?

    Autor: P_AI 16.04.21 - 19:00

    Klar kann man das Modell kaufen und bekommt man eine bessere Trainingsmenge.

    Wie gesagt es ist nicht so leicht zu verstehen, wie man so ein Video interpretieren sollte:

    Es geht hier nicht um ein Produkt. Es geht also nicht darum, die maximal mögliche Qualität zu erzeugen unter Verwendung aller möglichen Mittel (etwa durch Kauf eines 3D-Models).
    Es geht darum aus 2D-Bildern (Multi-view) ein System zu erschaffen, was daraus "lernt" wie ein Objekt von allen Seiten aussieht. Das wird dann angewandt aus einem 2D Bild die 3D Ansicht zu machen.

    Es ist damit weniger aufwendig, als wenn man erstmal ein 3D model erstellt. Man benötigt lediglich 2D Aufnahmen.

    Man kann dann natürlich vergleichen ob man eine bessere Qualität bekommt wenn man aus 2D Multiview eine 3D Ansicht explizit erstellt (etwa mittels SfM) und darauf ein System trainiert.. Ich denke der vorgestellte GAN-Ansatz von NVIDIA ist robuster und skaliert auch besser. Sonst müsstest Du ja für jedes Objekt erstmal ein 3D Model erstellen (und wahrscheinlich Rauschen filtern,glätten..).

    Es wird also eine Technik präsentiert. Würde man daraus ein Produkt machen wollen, würde man mehrere Techniken kombinieren. Hier geht es darum zu zeigen wie die Verbesserung einer Technik zu einem verbesserten Ergebnis führt (Forschung).



    1 mal bearbeitet, zuletzt am 16.04.21 19:05 durch P_AI.

  8. Re: Was soll das sein?

    Autor: P_AI 16.04.21 - 19:18

    Ein Beispiel wäre etwa Personen.
    Du kannst nicht für jede Person ein 3D-Model erstellen.

    Du kannst für eine endliche Anzahl von Personen Multi-view Bilder aufnehmen.
    Jetzt kannst Du damit ein Netz trainieren, welches dir zu einer neuen Person ein 3D-Model erstellt.

    Dieses 3D Modell kannst Du aber nicht direkt mit vorhandenen 3D-Modellen abgleichen..
    Daher hat dieser Ansatz durchaus seine Berechtigung.

  9. Re: Was soll das sein?

    Autor: GeXX 17.04.21 - 10:04

    Auch mein Gedanke. Allein die Breite / Anzahl der LED's vorne ist schön völlig falsch.

  10. Re: Was soll das sein?

    Autor: rubberduck09 19.04.21 - 09:25

    Die falschen Felgen, eher die Proportionen einer Dodge Viper und nichtmal ansatzweise die Eleganz eines Pontiac TransAm.

    Da sollte das KI Team aber nochmal bissl trainieren gehen das Ergebnis ist ja traurig!

  11. Re: Was soll das sein?

    Autor: P_AI 23.04.21 - 13:40

    Klar, es ist noch nicht perfekt. Aber es ist eben nicht leicht aus einem Bild die 3D-Informationen mittels eines Algorithmus zu rekonstruieren.

    Diese Forschungsarbeit ist ein kleiner Schritt in die richtige Richtung.

    Das Paper nennt sich "IMAGE GANS MEET DIFFERENTIABLE RENDERING FOR INVERSEGRAPHICS AND INTERPRETABLE 3D NEURAL RENDERING", einfach mal googlen. Dort sieht man viel besser die Ergebnisse (visuell) und das es darum geht den Labelaufwand zu minimieren. Deren Methode erlaubt es, den Datensatz in 1 Minute manuell zu Labeln, und damit das Training stark zu vereinfachen. Es wird auf für z.B. Pferde gezeigt. Das Verfahren ist also generisch, und kann für beliebige Objekte verwendet werden.



    1 mal bearbeitet, zuletzt am 23.04.21 13:59 durch P_AI.

  1. Thema

Neues Thema Ansicht wechseln


Um zu kommentieren, loggen Sie sich bitte ein oder registrieren Sie sich. Sie müssen ausserdem in Ihrem Account-Profil unter Forum einen Nutzernamen vergeben haben. Zum Login

Stellenmarkt
  1. IT-Beratung & Support für Baustellen und Konzernstandorte (m/w/d)
    STRABAG BRVZ GMBH & CO.KG, Berlin
  2. Mitarbeiter Arbeitszeitmanagement / Projektleitung (w/m/d)
    Medizinische Einrichtungen des Bezirks Oberpfalz - medbo KU, Regensburg, Parsberg, Wöllershof
  3. Senior Developer R&D Applications (f/md)
    Beiersdorf AG, Hamburg
  4. Senior IT Systems Engineer Backup (w/m/d)
    noris network AG, Nürnberg, München, Aschheim, Berlin (Home-Office)

Detailsuche


Golem pur
  • Golem.de ohne Werbung nutzen

Anzeige
Hardware-Angebote
  1. 499,99€


Haben wir etwas übersehen?

E-Mail an news@golem.de