Abo
  1. Foren
  2. Kommentare
  3. Sonstiges
  4. Alle Kommentare zum Artikel
  5. › Mixed Reality: Microsoft verdoppelt…

Herausforderung bei Mixed Reality / AR

  1. Thema

Neues Thema Ansicht wechseln


  1. Herausforderung bei Mixed Reality / AR

    Autor: FreierLukas 21.10.17 - 13:32

    Ich denke die größte Herausforderung einer AR / MR Brille ist es die digitalen Objekte HINTER Reale zu projizieren. Die günstigen Varianten können zwar die Umgebung tracken so dass die "Hologramme" an ein und der selben Stelle im Raum stehen, fährt man aber mit der Hand zwischen Objekt und Brille dann ist die Immersion dahin weil das Objekt, trotz größerer Entfernung zum Nutzer, die Hand überstrahlt.

  2. Re: Herausforderung bei Mixed Reality / AR

    Autor: xmaniac 21.10.17 - 14:07

    Das habe ich z.B. mal sehr einfach für MR aus Leap Motion und Oculus Rift DK2 gezeigt. Da die Leap die Hände mit hellem IR Licht anstrahlt in dessen Bereich die Kameras filmen, konnte man am Helligkeitsabfall sehr gut die Tiefe raten (bei heller Hautfarbe, sorry für den technischen Rassismus).

    Meine Demo war in vielen Dingen so beeindruckend, dass mich sogar der Leap Motion Erfinder und CEO David Holz kontaktiert hatte. Am Ende bin ich nicht einmal unter den “honorable Mentions“ bei dem ausgerufenem Wettbewerb gelandet. Über ein Jahr später hat dann Leap Motion diese Erfindung als ihre eigene ausgegeben und ins SDK eingebaut.

    Nur damit ihr wisst, was passiert wenn man bei solchen Wettbewerben mitmacht. Die Gewinner waren überwiegend lieblose Unity-Spielchen. Hauptsache nicht wirklich innovativ - wonach eigentlich die Gewinner gewertet werden sollten...



    1 mal bearbeitet, zuletzt am 21.10.17 14:16 durch xmaniac.

  3. Re: Herausforderung bei Mixed Reality / AR

    Autor: xmaniac 21.10.17 - 14:11

    https://youtu.be/U1Xp_t9xKko

    Die zu sehende minimale Verzögerung entstand nur durch die Aufnahme. Ohne Aufnahme hatte man ein absolut verzögerungsfreies Gefühl bei >500fps und kleiner 1% CPU last...

  4. Re: Herausforderung bei Mixed Reality / AR

    Autor: FreierLukas 21.10.17 - 15:02

    Das sieht richtig gut aus! Funktioniert aber wahrscheinlich nur mit der Hand? Soweit ich weiß erzeugt die Hololens ein 3D Abbild des gesamten Raums so dass jedes Objekt ein Hologram verdecken kann. Ich hatte allerdings noch nie eine auf und kann nicht sagen wie gut das da wirklich schon funktioniert. Grade wenn zB. Personen durch Bild laufen usw. Ich will auf der Straße auch nicht unbedingt vor eine Laterne laufen weil ein Hologram davor schwebt was eigentlich dahinter sein sollte. #3DWorldProblems

  5. Re: Herausforderung bei Mixed Reality / AR

    Autor: xmaniac 21.10.17 - 15:19

    Habe eine HoloLens zuhause. Zumindest mit der derzeitigen API hast du dort keine Chance. Sie track zwar den Raum, aber alles worauf man Zugriff hat, ist ein sehr grobes relativ statisches Modell des Raums. Die Hand wird praktisch überhaupt nicht getrackt. Alles was du von der Hand bekommen kannst ist die Klick-Geste, und das auch noch vollkommen ohne Bezug zum Raum. Praktisch das, was auch der mitgelieferte Klicker in der Hosentasche liefert. Ein einziges Klick-Event. Gesteuert wird stets mit der Blickrichtung. Einzig ein paar MS eigene Apps haben minimalen experimentellen Zugriff auf die 2D-Position der Geste im Blickfeld. Aber die API bietet normalen Entwicklern darauf keinerlei Zugriff.

  6. Re: Herausforderung bei Mixed Reality / AR

    Autor: xmaniac 21.10.17 - 15:23

    Statische Objekte wie Wände können bei der HoloLens aber Grob das Modell überdecken. Leider besteht ein Fehler im SDK, und man kann das 3D-Modell der Umgebung nicht wie in der API-Methode angegeben in unterschiedlichem Detail anfordern.

  7. Re: Herausforderung bei Mixed Reality / AR

    Autor: Reeley 21.10.17 - 15:52

    xmaniac schrieb:
    --------------------------------------------------------------------------------
    > Habe eine HoloLens zuhause. Zumindest mit der derzeitigen API hast du dort
    > keine Chance. Sie track zwar den Raum, aber alles worauf man Zugriff hat,
    > ist ein sehr grobes relativ statisches Modell des Raums. Die Hand wird
    > praktisch überhaupt nicht getrackt. Alles was du von der Hand bekommen
    > kannst ist die Klick-Geste, und das auch noch vollkommen ohne Bezug zum
    > Raum. Praktisch das, was auch der mitgelieferte Klicker in der Hosentasche
    > liefert. Ein einziges Klick-Event. Gesteuert wird stets mit der
    > Blickrichtung. Einzig ein paar MS eigene Apps haben minimalen
    > experimentellen Zugriff auf die 2D-Position der Geste im Blickfeld. Aber
    > die API bietet normalen Entwicklern darauf keinerlei Zugriff.

    Hast du mit Unity eine Anwendung erstellt? Mit dem Mixed Reality Toolkit bekommt man sehr viele nützliche Funktionen. Unter anderem die Position der Hand im Raum als auch die Möglichkeit das sehr ungenaue erstellte Abbild des Raumes zu verfeinern.

    Mixed Reality Toolkit - https://github.com/Microsoft/MixedRealityToolkit-Unity



    1 mal bearbeitet, zuletzt am 21.10.17 15:53 durch Reeley.

  8. Re: Herausforderung bei Mixed Reality / AR

    Autor: Poison Nuke 21.10.17 - 15:54

    mit dem Standard-Tracking der Hololens werden nur statische Objekte mit einer Mindestgröße erkannt (20-30cm minimale Kantenlänge ungefähr). Eine Hand fällt da einfach durchs Raster. Weiterhin ist das Tracking auch zu langsam, um so schnell das Mesh vom Raum zu ändern. Man hat mindestens 1sek Verzögerung, eh Punkte im Raum erfasst wurden.

    Wenn man aber das 3D Scanning durch weitere Software ergänzt, z.B. Leap Motion und Kinect, dann wäre es prinzipiell schon möglich, die eigenen Hände und andere Personen abzubilden. Allerdings schafft die CPU der Hololens selbst das LeapMotion Tracking kaum in Echtzeit, von anderen Sachen mal ganz zu schweigen.

    Die magere Rechenleistung ist eh gerade noch das größere Manko der Hololens. Ja klar es ist ein extrem kleines Sichtfeld, aber man kann sich schon irgendwie damit arrangieren. Aber wenn es einfach nur ruckelt bei komplexeren Szenen, macht es gar keinen Sinn.

  9. Re: Herausforderung bei Mixed Reality / AR

    Autor: xmaniac 21.10.17 - 16:48

    Reeley schrieb:
    --------------------------------------------------------------------------------
    > xmaniac schrieb:
    > ---------------------------------------------------------------------------
    > -----
    > > Habe eine HoloLens zuhause. Zumindest mit der derzeitigen API hast du
    > dort
    > > keine Chance. Sie track zwar den Raum, aber alles worauf man Zugriff
    > hat,
    > > ist ein sehr grobes relativ statisches Modell des Raums. Die Hand wird
    > > praktisch überhaupt nicht getrackt. Alles was du von der Hand bekommen
    > > kannst ist die Klick-Geste, und das auch noch vollkommen ohne Bezug zum
    > > Raum. Praktisch das, was auch der mitgelieferte Klicker in der
    > Hosentasche
    > > liefert. Ein einziges Klick-Event. Gesteuert wird stets mit der
    > > Blickrichtung. Einzig ein paar MS eigene Apps haben minimalen
    > > experimentellen Zugriff auf die 2D-Position der Geste im Blickfeld. Aber
    > > die API bietet normalen Entwicklern darauf keinerlei Zugriff.
    >
    > Hast du mit Unity eine Anwendung erstellt? Mit dem Mixed Reality Toolkit
    > bekommt man sehr viele nützliche Funktionen. Unter anderem die Position der
    > Hand im Raum als auch die Möglichkeit das sehr ungenaue erstellte Abbild
    > des Raumes zu verfeinern.
    >
    > Mixed Reality Toolkit - github.com

    Nein, Unity ist in meinen Augen für Anfänger - und dann versaut es noch den stiel. Habe mit Hilfe von SharpDX in C# eine .net-Native Anwendung erstellt. Das läuft dann ungefähr so schnell wie natives C++ und bietet allen Komfort von echtem C#, nicht Mono. Inklusive Edit- und Continue und Debugging auf der HoloLens. Die Modelle die ich mit vielen Demo-Scene Tricks in der Rendering-Pipeline mit konstant 60fps bei relativ komplexem shading darstellen konnte, laufen unter Unity mit simplerem Shading mit ca. 0,3 fps...

    Das Deployment einer kleinen Änderung brauchte unter Unity ca. 20 Minuten vs. Edit&Continue bzw einem Diff von 3-5 Minuten.

    Mehrere Devices zu koppeln ist der Horror unter Unity und die räumliche Koppelung läuft über AR-Tracking Marker.

    Ich konnte direkt die “Anker“ die ein Device sah Serialisieren und auf dem anderen Device nutzen - ohne aufgeklebte Marker, einfach dadurch dass die Geräte schon selbst den Raum erkennen.

    IMHO ist Unity nicht mal eine Engine, sondern nur ein sehr mittelmäßiger Renderer, der nicht einmal einen Scenegraph kennt. Ich hätte vielleicht Unreal genutzt, aber Sweeney mag den MS Store nicht, weshalb es bestenfalls eine inoffizielle Anpassung für die 2D Fensteroberfläche der HoloLens gibt.

    Unity ist wirklich bescheuert auf einem sehr 3D schwachem Gerät wie der HoloLens. Man verschenkt gleich nochmal 70% Performance durch dieses doppelte gehampel mit der schlechten MonoVM. Dazu ist die Pipeline von Unity nicht für die geringe shading Leistung der HoloLens geeignet. Habe mit DX ein hoch angepasstes deferred Shading gebaut, um die komplexen Shader nur einmal je Pixel im 2D Buffer durchzuführen. Die Texture-Lese Performance stellt dabei auch noch so ein Problem der. Auf der HoloLens kannst du es dir einfach nicht leisten, das 5 mal zu machen, nur um es 4 mal im z-buffer wieder zu verwerfen. Reicht vielleicht für Flappy-Bird. 90% der Demos die du siehst (wie von Ford neulich) sind vollkommene Fakes!!



    2 mal bearbeitet, zuletzt am 21.10.17 16:58 durch xmaniac.

Neues Thema Ansicht wechseln


Um zu kommentieren, loggen Sie sich bitte ein oder registrieren Sie sich. Zum Login

Stellenmarkt
  1. Fasihi GmbH, Ludwigshafen am Rhein
  2. Lidl Dienstleistung GmbH & Co. KG, Neckarsulm
  3. DATAGROUP Köln GmbH, Köln
  4. VR FinanzDienstLeistung GmbH, Berlin

Golem pur
  • Golem.de ohne Werbung nutzen

Anzeige
Spiele-Angebote
  1. (u. a. The Crew 2 für 39,99€, Tom Clancy's Ghost Recon Wildlands für 16,99€ und Rayman 3 für...
  2. 54,99€ mit Vorbesteller-Preisgarantie (Release 14.11.)
  3. 33,49€
  4. 59,99€ mit Vorbesteller-Preisgarantie (Release 05.10.)


Haben wir etwas übersehen?

E-Mail an news@golem.de


Leistungsschutzrecht: So viel Geld würden die Verlage von Google bekommen
Leistungsschutzrecht
So viel Geld würden die Verlage von Google bekommen

Das europäische Leistungsschutzrecht soll die Zukunft der Presse sichern. Doch in Deutschland würde derzeit ein einziger Verlag fast zwei Drittel der Einnahmen erhalten.
Eine Analyse von Friedhelm Greis

  1. Netzpolitik Willkommen im europäischen Filternet
  2. Urheberrecht Europaparlament für Leistungsschutzrecht und Uploadfilter
  3. Leistungsschutzrecht/Uploadfilter Wikipedia protestiert gegen Urheberrechtsreform

Network Slicing: 5G gefährdet die Netzneutralität - oder etwa nicht?
Network Slicing
5G gefährdet die Netzneutralität - oder etwa nicht?

Ein Digitalexperte warnt vor einem "deutlichen Spannungsverhältnis" zwischen der technischen Basis des kommenden Mobilfunkstandards 5G und dem Prinzip des offenen Internets. Die Bundesnetzagentur gibt dagegen vorläufig Entwarnung.
Ein Bericht von Stefan Krempl

  1. Industrie Telekom warnt vor eigenem 5G-Netz auf jedem Fabrikhof
  2. Frequenzauktion Auch die SPD will ein erheblich besseres 5G-Netz
  3. T-Mobile US Deutsche Telekom gibt 3,5 Milliarden US-Dollar für 5G aus

iOS 12 im Test: Auch Apple will es Nutzern leichter machen
iOS 12 im Test
Auch Apple will es Nutzern leichter machen

Apple setzt mit iOS 12 weniger auf aufsehenerregende Funktionen als auf viele kleine Verbesserungen für den Alltag. Das erinnert an Google und Android 9, was nicht zwingend schlecht ist.
Ein Test von Tobias Költzsch

  1. Apple iOS 12.1 verrät neues iPad Pro
  2. Apple Siri-Kurzbefehle-App für iOS 12 verfügbar

  1. iPhone Xs Max im Test: Das Smartphone zum Preis eines iMac
    iPhone Xs Max im Test
    Das Smartphone zum Preis eines iMac

    Mit den neuen iPhones hat Apple nicht nur sein bisher größtes Smartphone vorgestellt, sondern auch sein teuerstes. Wir haben uns das iPhone Xs Max im Test genau angeschaut - und uns gefragt, wie Apple einen Spitzenpreis von 1.650 Euro rechtfertigt.

  2. 3DMark: Neue Benchmarks für Raytracing und integrierte GPUs kommen
    3DMark
    Neue Benchmarks für Raytracing und integrierte GPUs kommen

    Zwei neue Benchmarkszenen sind beim 3DMark-Entwickler UL in Arbeit: Night Raid testet integrierte Grafikeinheiten und soll auch auf ARM-Geräten laufen. Der noch unbenannte Raytracing-Benchmark testet die von Nvidia beworbene Reflexionstechnik. Interessanterweise kooperiert UL dazu auch mit AMD.

  3. Fifa 19 und PES 2019 im Test: Knapper Punktsieg für EA Sports
    Fifa 19 und PES 2019 im Test
    Knapper Punktsieg für EA Sports

    Es ist eher eine Glaubens- als eine echte Qualitätsfrage: Fifa 19 oder PES 2019? Golem.de zieht anhand der Versionen für Playstation 4 den Vergleich - und kommt zu einem schwierigen, aber eindeutigen Urteil.


  1. 12:03

  2. 11:55

  3. 11:14

  4. 11:03

  5. 10:48

  6. 10:30

  7. 09:53

  8. 09:25