Abo
  1. Foren
  2. Kommentare
  3. Sonstiges
  4. Alle Kommentare zum Artikel
  5. › Mixed Reality: Microsoft verdoppelt…

Herausforderung bei Mixed Reality / AR

Anzeige
  1. Thema

Neues Thema Ansicht wechseln


  1. Herausforderung bei Mixed Reality / AR

    Autor: FreierLukas 21.10.17 - 13:32

    Ich denke die größte Herausforderung einer AR / MR Brille ist es die digitalen Objekte HINTER Reale zu projizieren. Die günstigen Varianten können zwar die Umgebung tracken so dass die "Hologramme" an ein und der selben Stelle im Raum stehen, fährt man aber mit der Hand zwischen Objekt und Brille dann ist die Immersion dahin weil das Objekt, trotz größerer Entfernung zum Nutzer, die Hand überstrahlt.

  2. Re: Herausforderung bei Mixed Reality / AR

    Autor: xmaniac 21.10.17 - 14:07

    Das habe ich z.B. mal sehr einfach für MR aus Leap Motion und Oculus Rift DK2 gezeigt. Da die Leap die Hände mit hellem IR Licht anstrahlt in dessen Bereich die Kameras filmen, konnte man am Helligkeitsabfall sehr gut die Tiefe raten (bei heller Hautfarbe, sorry für den technischen Rassismus).

    Meine Demo war in vielen Dingen so beeindruckend, dass mich sogar der Leap Motion Erfinder und CEO David Holz kontaktiert hatte. Am Ende bin ich nicht einmal unter den “honorable Mentions“ bei dem ausgerufenem Wettbewerb gelandet. Über ein Jahr später hat dann Leap Motion diese Erfindung als ihre eigene ausgegeben und ins SDK eingebaut.

    Nur damit ihr wisst, was passiert wenn man bei solchen Wettbewerben mitmacht. Die Gewinner waren überwiegend lieblose Unity-Spielchen. Hauptsache nicht wirklich innovativ - wonach eigentlich die Gewinner gewertet werden sollten...



    1 mal bearbeitet, zuletzt am 21.10.17 14:16 durch xmaniac.

  3. Re: Herausforderung bei Mixed Reality / AR

    Autor: xmaniac 21.10.17 - 14:11

    https://youtu.be/U1Xp_t9xKko

    Die zu sehende minimale Verzögerung entstand nur durch die Aufnahme. Ohne Aufnahme hatte man ein absolut verzögerungsfreies Gefühl bei >500fps und kleiner 1% CPU last...

  4. Re: Herausforderung bei Mixed Reality / AR

    Autor: FreierLukas 21.10.17 - 15:02

    Das sieht richtig gut aus! Funktioniert aber wahrscheinlich nur mit der Hand? Soweit ich weiß erzeugt die Hololens ein 3D Abbild des gesamten Raums so dass jedes Objekt ein Hologram verdecken kann. Ich hatte allerdings noch nie eine auf und kann nicht sagen wie gut das da wirklich schon funktioniert. Grade wenn zB. Personen durch Bild laufen usw. Ich will auf der Straße auch nicht unbedingt vor eine Laterne laufen weil ein Hologram davor schwebt was eigentlich dahinter sein sollte. #3DWorldProblems

  5. Re: Herausforderung bei Mixed Reality / AR

    Autor: xmaniac 21.10.17 - 15:19

    Habe eine HoloLens zuhause. Zumindest mit der derzeitigen API hast du dort keine Chance. Sie track zwar den Raum, aber alles worauf man Zugriff hat, ist ein sehr grobes relativ statisches Modell des Raums. Die Hand wird praktisch überhaupt nicht getrackt. Alles was du von der Hand bekommen kannst ist die Klick-Geste, und das auch noch vollkommen ohne Bezug zum Raum. Praktisch das, was auch der mitgelieferte Klicker in der Hosentasche liefert. Ein einziges Klick-Event. Gesteuert wird stets mit der Blickrichtung. Einzig ein paar MS eigene Apps haben minimalen experimentellen Zugriff auf die 2D-Position der Geste im Blickfeld. Aber die API bietet normalen Entwicklern darauf keinerlei Zugriff.

  6. Re: Herausforderung bei Mixed Reality / AR

    Autor: xmaniac 21.10.17 - 15:23

    Statische Objekte wie Wände können bei der HoloLens aber Grob das Modell überdecken. Leider besteht ein Fehler im SDK, und man kann das 3D-Modell der Umgebung nicht wie in der API-Methode angegeben in unterschiedlichem Detail anfordern.

  7. Re: Herausforderung bei Mixed Reality / AR

    Autor: Reeley 21.10.17 - 15:52

    xmaniac schrieb:
    --------------------------------------------------------------------------------
    > Habe eine HoloLens zuhause. Zumindest mit der derzeitigen API hast du dort
    > keine Chance. Sie track zwar den Raum, aber alles worauf man Zugriff hat,
    > ist ein sehr grobes relativ statisches Modell des Raums. Die Hand wird
    > praktisch überhaupt nicht getrackt. Alles was du von der Hand bekommen
    > kannst ist die Klick-Geste, und das auch noch vollkommen ohne Bezug zum
    > Raum. Praktisch das, was auch der mitgelieferte Klicker in der Hosentasche
    > liefert. Ein einziges Klick-Event. Gesteuert wird stets mit der
    > Blickrichtung. Einzig ein paar MS eigene Apps haben minimalen
    > experimentellen Zugriff auf die 2D-Position der Geste im Blickfeld. Aber
    > die API bietet normalen Entwicklern darauf keinerlei Zugriff.

    Hast du mit Unity eine Anwendung erstellt? Mit dem Mixed Reality Toolkit bekommt man sehr viele nützliche Funktionen. Unter anderem die Position der Hand im Raum als auch die Möglichkeit das sehr ungenaue erstellte Abbild des Raumes zu verfeinern.

    Mixed Reality Toolkit - https://github.com/Microsoft/MixedRealityToolkit-Unity



    1 mal bearbeitet, zuletzt am 21.10.17 15:53 durch Reeley.

  8. Re: Herausforderung bei Mixed Reality / AR

    Autor: Poison Nuke 21.10.17 - 15:54

    mit dem Standard-Tracking der Hololens werden nur statische Objekte mit einer Mindestgröße erkannt (20-30cm minimale Kantenlänge ungefähr). Eine Hand fällt da einfach durchs Raster. Weiterhin ist das Tracking auch zu langsam, um so schnell das Mesh vom Raum zu ändern. Man hat mindestens 1sek Verzögerung, eh Punkte im Raum erfasst wurden.

    Wenn man aber das 3D Scanning durch weitere Software ergänzt, z.B. Leap Motion und Kinect, dann wäre es prinzipiell schon möglich, die eigenen Hände und andere Personen abzubilden. Allerdings schafft die CPU der Hololens selbst das LeapMotion Tracking kaum in Echtzeit, von anderen Sachen mal ganz zu schweigen.

    Die magere Rechenleistung ist eh gerade noch das größere Manko der Hololens. Ja klar es ist ein extrem kleines Sichtfeld, aber man kann sich schon irgendwie damit arrangieren. Aber wenn es einfach nur ruckelt bei komplexeren Szenen, macht es gar keinen Sinn.

  9. Re: Herausforderung bei Mixed Reality / AR

    Autor: xmaniac 21.10.17 - 16:48

    Reeley schrieb:
    --------------------------------------------------------------------------------
    > xmaniac schrieb:
    > ---------------------------------------------------------------------------
    > -----
    > > Habe eine HoloLens zuhause. Zumindest mit der derzeitigen API hast du
    > dort
    > > keine Chance. Sie track zwar den Raum, aber alles worauf man Zugriff
    > hat,
    > > ist ein sehr grobes relativ statisches Modell des Raums. Die Hand wird
    > > praktisch überhaupt nicht getrackt. Alles was du von der Hand bekommen
    > > kannst ist die Klick-Geste, und das auch noch vollkommen ohne Bezug zum
    > > Raum. Praktisch das, was auch der mitgelieferte Klicker in der
    > Hosentasche
    > > liefert. Ein einziges Klick-Event. Gesteuert wird stets mit der
    > > Blickrichtung. Einzig ein paar MS eigene Apps haben minimalen
    > > experimentellen Zugriff auf die 2D-Position der Geste im Blickfeld. Aber
    > > die API bietet normalen Entwicklern darauf keinerlei Zugriff.
    >
    > Hast du mit Unity eine Anwendung erstellt? Mit dem Mixed Reality Toolkit
    > bekommt man sehr viele nützliche Funktionen. Unter anderem die Position der
    > Hand im Raum als auch die Möglichkeit das sehr ungenaue erstellte Abbild
    > des Raumes zu verfeinern.
    >
    > Mixed Reality Toolkit - github.com

    Nein, Unity ist in meinen Augen für Anfänger - und dann versaut es noch den stiel. Habe mit Hilfe von SharpDX in C# eine .net-Native Anwendung erstellt. Das läuft dann ungefähr so schnell wie natives C++ und bietet allen Komfort von echtem C#, nicht Mono. Inklusive Edit- und Continue und Debugging auf der HoloLens. Die Modelle die ich mit vielen Demo-Scene Tricks in der Rendering-Pipeline mit konstant 60fps bei relativ komplexem shading darstellen konnte, laufen unter Unity mit simplerem Shading mit ca. 0,3 fps...

    Das Deployment einer kleinen Änderung brauchte unter Unity ca. 20 Minuten vs. Edit&Continue bzw einem Diff von 3-5 Minuten.

    Mehrere Devices zu koppeln ist der Horror unter Unity und die räumliche Koppelung läuft über AR-Tracking Marker.

    Ich konnte direkt die “Anker“ die ein Device sah Serialisieren und auf dem anderen Device nutzen - ohne aufgeklebte Marker, einfach dadurch dass die Geräte schon selbst den Raum erkennen.

    IMHO ist Unity nicht mal eine Engine, sondern nur ein sehr mittelmäßiger Renderer, der nicht einmal einen Scenegraph kennt. Ich hätte vielleicht Unreal genutzt, aber Sweeney mag den MS Store nicht, weshalb es bestenfalls eine inoffizielle Anpassung für die 2D Fensteroberfläche der HoloLens gibt.

    Unity ist wirklich bescheuert auf einem sehr 3D schwachem Gerät wie der HoloLens. Man verschenkt gleich nochmal 70% Performance durch dieses doppelte gehampel mit der schlechten MonoVM. Dazu ist die Pipeline von Unity nicht für die geringe shading Leistung der HoloLens geeignet. Habe mit DX ein hoch angepasstes deferred Shading gebaut, um die komplexen Shader nur einmal je Pixel im 2D Buffer durchzuführen. Die Texture-Lese Performance stellt dabei auch noch so ein Problem der. Auf der HoloLens kannst du es dir einfach nicht leisten, das 5 mal zu machen, nur um es 4 mal im z-buffer wieder zu verwerfen. Reicht vielleicht für Flappy-Bird. 90% der Demos die du siehst (wie von Ford neulich) sind vollkommene Fakes!!



    2 mal bearbeitet, zuletzt am 21.10.17 16:58 durch xmaniac.

Neues Thema Ansicht wechseln


Um zu kommentieren, loggen Sie sich bitte ein oder registrieren Sie sich. Zum Login

Anzeige
Stellenmarkt
  1. Robert Bosch GmbH, Böblingen
  2. Bechtle Onsite Services GmbH, Wolfsburg
  3. Bertrandt Services GmbH, Dortmund
  4. AVL List GmbH, Graz (Österreich)

Golem pur
  • Golem.de ohne Werbung nutzen

Anzeige
Blu-ray-Angebote
  1. 299,99€ (Vorbesteller-Preisgarantie)
  2. (u. a. Hobbit Trilogie Blu-ray 43,89€ und Batman Dark Knight Trilogy Blu-ray 17,99€)
  3. (u. a. Drive 7,79€, John Wick: Kapitel 2 9,99€ und Predator Collection 17,49€)


Haben wir etwas übersehen?

E-Mail an news@golem.de


Montagewerk in Tilburg: Wo Tesla seine E-Autos für Europa produziert
Montagewerk in Tilburg
Wo Tesla seine E-Autos für Europa produziert
  1. Elektroauto Walmart will den Tesla-Truck
  2. Elektrosportwagen Tesla Roadster 2 beschleunigt in 2 Sekunden auf Tempo 100
  3. Elektromobilität Tesla Truck soll in 30 Minuten 630 km Reichweite laden

Fitbit Ionic im Test: Die (noch) nicht ganz so smarte Sportuhr
Fitbit Ionic im Test
Die (noch) nicht ganz so smarte Sportuhr
  1. Wii Remote Nintendo muss 10 Millionen US-Dollar in Patentstreit zahlen
  2. Ionic Fitbit stellt Smartwatch mit Vier-Tage-Akku vor

E-Golf im Praxistest: Und lädt und lädt und lädt
E-Golf im Praxistest
Und lädt und lädt und lädt
  1. Garmin Vivoactive 3 im Test Bananaware fürs Handgelenk
  2. Microsoft Sonar überprüft kostenlos Webseiten auf Fehler
  3. Inspiron 5675 im Test Dells Ryzen-Gaming-PC reicht mindestens bis 2020

  1. Darpa: US-Militär will Pflanzen als Schadstoffsensoren einsetzen
    Darpa
    US-Militär will Pflanzen als Schadstoffsensoren einsetzen

    Robust, unauffällig und einfach einzusetzen: Die Darpa will Pflanzen genetisch so manipulieren, dass sie als Sensoren eingesetzt werden. Die natürlichen Sensoren sollen beispielsweise Bomben, biologische, chemische oder radioaktive Kampfstoffe erkennen.

  2. Snpr External Graphics Enclosure: KFA2s Grafikbox samt Geforce GTX 1060 kostet 500 Euro
    Snpr External Graphics Enclosure
    KFA2s Grafikbox samt Geforce GTX 1060 kostet 500 Euro

    Externe Gehäuse für Grafikkarten sind oft klobig, das Snpr External Graphics Enclosure von KFA2 ist eine Ausnahme. Darin steckt eine extrem kompakte Geforce GTX 1060, die der Hersteller für die Grafikbox entwickelt hat. Zudem ist der Preis ansprechend.

  3. IOS 11 und iPhone X: Das Super-Retina-Display braucht nur wenige Anpassungen
    IOS 11 und iPhone X
    Das Super-Retina-Display braucht nur wenige Anpassungen

    Das iPhone X bietet nicht nur neue Hardware. Auch der Umgang mit Apps verändert sich dank neuer Auflösung, neuem Bildformat und neuer Gesten. Wir sehen darin den wahren Grund für die Abschaffung der 32-Bit-Apps und zeigen, wie in der Vergangenheit umgestellt wurde.


  1. 12:56

  2. 12:30

  3. 11:59

  4. 11:51

  5. 11:45

  6. 11:30

  7. 11:02

  8. 10:39