Abo
  1. Foren
  2. Kommentare
  3. Sonstiges
  4. Alle Kommentare zum Artikel
  5. › Mixed Reality: Microsoft verdoppelt…

Herausforderung bei Mixed Reality / AR

  1. Thema

Neues Thema Ansicht wechseln


  1. Herausforderung bei Mixed Reality / AR

    Autor: FreierLukas 21.10.17 - 13:32

    Ich denke die größte Herausforderung einer AR / MR Brille ist es die digitalen Objekte HINTER Reale zu projizieren. Die günstigen Varianten können zwar die Umgebung tracken so dass die "Hologramme" an ein und der selben Stelle im Raum stehen, fährt man aber mit der Hand zwischen Objekt und Brille dann ist die Immersion dahin weil das Objekt, trotz größerer Entfernung zum Nutzer, die Hand überstrahlt.

  2. Re: Herausforderung bei Mixed Reality / AR

    Autor: xmaniac 21.10.17 - 14:07

    Das habe ich z.B. mal sehr einfach für MR aus Leap Motion und Oculus Rift DK2 gezeigt. Da die Leap die Hände mit hellem IR Licht anstrahlt in dessen Bereich die Kameras filmen, konnte man am Helligkeitsabfall sehr gut die Tiefe raten (bei heller Hautfarbe, sorry für den technischen Rassismus).

    Meine Demo war in vielen Dingen so beeindruckend, dass mich sogar der Leap Motion Erfinder und CEO David Holz kontaktiert hatte. Am Ende bin ich nicht einmal unter den “honorable Mentions“ bei dem ausgerufenem Wettbewerb gelandet. Über ein Jahr später hat dann Leap Motion diese Erfindung als ihre eigene ausgegeben und ins SDK eingebaut.

    Nur damit ihr wisst, was passiert wenn man bei solchen Wettbewerben mitmacht. Die Gewinner waren überwiegend lieblose Unity-Spielchen. Hauptsache nicht wirklich innovativ - wonach eigentlich die Gewinner gewertet werden sollten...



    1 mal bearbeitet, zuletzt am 21.10.17 14:16 durch xmaniac.

  3. Re: Herausforderung bei Mixed Reality / AR

    Autor: xmaniac 21.10.17 - 14:11

    https://youtu.be/U1Xp_t9xKko

    Die zu sehende minimale Verzögerung entstand nur durch die Aufnahme. Ohne Aufnahme hatte man ein absolut verzögerungsfreies Gefühl bei >500fps und kleiner 1% CPU last...

  4. Re: Herausforderung bei Mixed Reality / AR

    Autor: FreierLukas 21.10.17 - 15:02

    Das sieht richtig gut aus! Funktioniert aber wahrscheinlich nur mit der Hand? Soweit ich weiß erzeugt die Hololens ein 3D Abbild des gesamten Raums so dass jedes Objekt ein Hologram verdecken kann. Ich hatte allerdings noch nie eine auf und kann nicht sagen wie gut das da wirklich schon funktioniert. Grade wenn zB. Personen durch Bild laufen usw. Ich will auf der Straße auch nicht unbedingt vor eine Laterne laufen weil ein Hologram davor schwebt was eigentlich dahinter sein sollte. #3DWorldProblems

  5. Re: Herausforderung bei Mixed Reality / AR

    Autor: xmaniac 21.10.17 - 15:19

    Habe eine HoloLens zuhause. Zumindest mit der derzeitigen API hast du dort keine Chance. Sie track zwar den Raum, aber alles worauf man Zugriff hat, ist ein sehr grobes relativ statisches Modell des Raums. Die Hand wird praktisch überhaupt nicht getrackt. Alles was du von der Hand bekommen kannst ist die Klick-Geste, und das auch noch vollkommen ohne Bezug zum Raum. Praktisch das, was auch der mitgelieferte Klicker in der Hosentasche liefert. Ein einziges Klick-Event. Gesteuert wird stets mit der Blickrichtung. Einzig ein paar MS eigene Apps haben minimalen experimentellen Zugriff auf die 2D-Position der Geste im Blickfeld. Aber die API bietet normalen Entwicklern darauf keinerlei Zugriff.

  6. Re: Herausforderung bei Mixed Reality / AR

    Autor: xmaniac 21.10.17 - 15:23

    Statische Objekte wie Wände können bei der HoloLens aber Grob das Modell überdecken. Leider besteht ein Fehler im SDK, und man kann das 3D-Modell der Umgebung nicht wie in der API-Methode angegeben in unterschiedlichem Detail anfordern.

  7. Re: Herausforderung bei Mixed Reality / AR

    Autor: Reeley 21.10.17 - 15:52

    xmaniac schrieb:
    --------------------------------------------------------------------------------
    > Habe eine HoloLens zuhause. Zumindest mit der derzeitigen API hast du dort
    > keine Chance. Sie track zwar den Raum, aber alles worauf man Zugriff hat,
    > ist ein sehr grobes relativ statisches Modell des Raums. Die Hand wird
    > praktisch überhaupt nicht getrackt. Alles was du von der Hand bekommen
    > kannst ist die Klick-Geste, und das auch noch vollkommen ohne Bezug zum
    > Raum. Praktisch das, was auch der mitgelieferte Klicker in der Hosentasche
    > liefert. Ein einziges Klick-Event. Gesteuert wird stets mit der
    > Blickrichtung. Einzig ein paar MS eigene Apps haben minimalen
    > experimentellen Zugriff auf die 2D-Position der Geste im Blickfeld. Aber
    > die API bietet normalen Entwicklern darauf keinerlei Zugriff.

    Hast du mit Unity eine Anwendung erstellt? Mit dem Mixed Reality Toolkit bekommt man sehr viele nützliche Funktionen. Unter anderem die Position der Hand im Raum als auch die Möglichkeit das sehr ungenaue erstellte Abbild des Raumes zu verfeinern.

    Mixed Reality Toolkit - https://github.com/Microsoft/MixedRealityToolkit-Unity



    1 mal bearbeitet, zuletzt am 21.10.17 15:53 durch Reeley.

  8. Re: Herausforderung bei Mixed Reality / AR

    Autor: Poison Nuke 21.10.17 - 15:54

    mit dem Standard-Tracking der Hololens werden nur statische Objekte mit einer Mindestgröße erkannt (20-30cm minimale Kantenlänge ungefähr). Eine Hand fällt da einfach durchs Raster. Weiterhin ist das Tracking auch zu langsam, um so schnell das Mesh vom Raum zu ändern. Man hat mindestens 1sek Verzögerung, eh Punkte im Raum erfasst wurden.

    Wenn man aber das 3D Scanning durch weitere Software ergänzt, z.B. Leap Motion und Kinect, dann wäre es prinzipiell schon möglich, die eigenen Hände und andere Personen abzubilden. Allerdings schafft die CPU der Hololens selbst das LeapMotion Tracking kaum in Echtzeit, von anderen Sachen mal ganz zu schweigen.

    Die magere Rechenleistung ist eh gerade noch das größere Manko der Hololens. Ja klar es ist ein extrem kleines Sichtfeld, aber man kann sich schon irgendwie damit arrangieren. Aber wenn es einfach nur ruckelt bei komplexeren Szenen, macht es gar keinen Sinn.

  9. Re: Herausforderung bei Mixed Reality / AR

    Autor: xmaniac 21.10.17 - 16:48

    Reeley schrieb:
    --------------------------------------------------------------------------------
    > xmaniac schrieb:
    > ---------------------------------------------------------------------------
    > -----
    > > Habe eine HoloLens zuhause. Zumindest mit der derzeitigen API hast du
    > dort
    > > keine Chance. Sie track zwar den Raum, aber alles worauf man Zugriff
    > hat,
    > > ist ein sehr grobes relativ statisches Modell des Raums. Die Hand wird
    > > praktisch überhaupt nicht getrackt. Alles was du von der Hand bekommen
    > > kannst ist die Klick-Geste, und das auch noch vollkommen ohne Bezug zum
    > > Raum. Praktisch das, was auch der mitgelieferte Klicker in der
    > Hosentasche
    > > liefert. Ein einziges Klick-Event. Gesteuert wird stets mit der
    > > Blickrichtung. Einzig ein paar MS eigene Apps haben minimalen
    > > experimentellen Zugriff auf die 2D-Position der Geste im Blickfeld. Aber
    > > die API bietet normalen Entwicklern darauf keinerlei Zugriff.
    >
    > Hast du mit Unity eine Anwendung erstellt? Mit dem Mixed Reality Toolkit
    > bekommt man sehr viele nützliche Funktionen. Unter anderem die Position der
    > Hand im Raum als auch die Möglichkeit das sehr ungenaue erstellte Abbild
    > des Raumes zu verfeinern.
    >
    > Mixed Reality Toolkit - github.com

    Nein, Unity ist in meinen Augen für Anfänger - und dann versaut es noch den stiel. Habe mit Hilfe von SharpDX in C# eine .net-Native Anwendung erstellt. Das läuft dann ungefähr so schnell wie natives C++ und bietet allen Komfort von echtem C#, nicht Mono. Inklusive Edit- und Continue und Debugging auf der HoloLens. Die Modelle die ich mit vielen Demo-Scene Tricks in der Rendering-Pipeline mit konstant 60fps bei relativ komplexem shading darstellen konnte, laufen unter Unity mit simplerem Shading mit ca. 0,3 fps...

    Das Deployment einer kleinen Änderung brauchte unter Unity ca. 20 Minuten vs. Edit&Continue bzw einem Diff von 3-5 Minuten.

    Mehrere Devices zu koppeln ist der Horror unter Unity und die räumliche Koppelung läuft über AR-Tracking Marker.

    Ich konnte direkt die “Anker“ die ein Device sah Serialisieren und auf dem anderen Device nutzen - ohne aufgeklebte Marker, einfach dadurch dass die Geräte schon selbst den Raum erkennen.

    IMHO ist Unity nicht mal eine Engine, sondern nur ein sehr mittelmäßiger Renderer, der nicht einmal einen Scenegraph kennt. Ich hätte vielleicht Unreal genutzt, aber Sweeney mag den MS Store nicht, weshalb es bestenfalls eine inoffizielle Anpassung für die 2D Fensteroberfläche der HoloLens gibt.

    Unity ist wirklich bescheuert auf einem sehr 3D schwachem Gerät wie der HoloLens. Man verschenkt gleich nochmal 70% Performance durch dieses doppelte gehampel mit der schlechten MonoVM. Dazu ist die Pipeline von Unity nicht für die geringe shading Leistung der HoloLens geeignet. Habe mit DX ein hoch angepasstes deferred Shading gebaut, um die komplexen Shader nur einmal je Pixel im 2D Buffer durchzuführen. Die Texture-Lese Performance stellt dabei auch noch so ein Problem der. Auf der HoloLens kannst du es dir einfach nicht leisten, das 5 mal zu machen, nur um es 4 mal im z-buffer wieder zu verwerfen. Reicht vielleicht für Flappy-Bird. 90% der Demos die du siehst (wie von Ford neulich) sind vollkommene Fakes!!



    2 mal bearbeitet, zuletzt am 21.10.17 16:58 durch xmaniac.

Neues Thema Ansicht wechseln


Um zu kommentieren, loggen Sie sich bitte ein oder registrieren Sie sich. Zum Login

Stellenmarkt
  1. SWMH Service GmbH, München
  2. Auvesy GmbH, Landau in der Pfalz
  3. Robert Bosch GmbH, Stuttgart
  4. Dataport, Altenholz bei Kiel, Hamburg

Golem pur
  • Golem.de ohne Werbung nutzen

Anzeige
Blu-ray-Angebote
  1. (2 Monate Sky Ticket für nur 4,99€)


Haben wir etwas übersehen?

E-Mail an news@golem.de


Deutsche Siri auf dem Homepod im Test: Amazon und Google können sich entspannt zurücklehnen
Deutsche Siri auf dem Homepod im Test
Amazon und Google können sich entspannt zurücklehnen

In diesem Monat kommt der dritte digitale Assistent auf einem smarten Lautsprecher nach Deutschland: Siri. Wir haben uns angehört, was die deutsche Version auf dem Homepod leistet.
Ein Test von Ingo Pakalski

  1. Patentantrag von Apple Neues Verfahren könnte Siri schlauer machen
  2. Siri vs. Google Assistant Apple schnappt sich Googles KI-Chefentwickler
  3. Digitaler Assistent Apple will Siri verbessern

Business-Festival: Cebit verliert 70.000 Besucher und ist hochzufrieden
Business-Festival
Cebit verliert 70.000 Besucher und ist hochzufrieden

Cebit 2018 Zur ersten neuen Cebit sind deutlich weniger Besucher als im Vorjahr gekommen. Dennoch feiern Messe AG, Bitkom und Aussteller den Relaunch der Veranstaltung als Erfolg. Die Cebit 2019 wird erneut etwas verlegt.

  1. Festival statt Technikmesse "Die neue Cebit ist ein Proof of Concept"

Kreuzschifffahrt: Wie Brennstoffzellen Schiffe sauberer machen
Kreuzschifffahrt
Wie Brennstoffzellen Schiffe sauberer machen

Die Schifffahrtsbranche ist nicht gerade umweltfreundlich: Auf hoher See werden die Maschinen der großen Schiffe mit Schweröl befeuert, im Hafen verschmutzen Dieselabgase die Luft. Das sollen Brennstoffzellen ändern - wenigstens in der Kreuzschifffahrt.
Von Werner Pluta

  1. Hyseas III Schottische Werft baut Hochseefähre mit Brennstoffzelle
  2. Roboat MIT-Forscher drucken autonom fahrende Boote
  3. Elektromobilität Norwegen baut mehr Elektrofähren

  1. Measure: Googles Maß-App funktioniert ohne Project Tango
    Measure
    Googles Maß-App funktioniert ohne Project Tango

    Bisher konnten nur Nutzer eines Project-Tango-Smartphones Googles Maß-App Measure verwenden - nach dem Aus der Plattform funktioniert die Anwendung jetzt auch mit ARCore-unterstützten Geräten. In manchen Situationen tut sich die App aber schwer.

  2. Just Cause 4 und Rage 2: Physik und Psychopathen
    Just Cause 4 und Rage 2
    Physik und Psychopathen

    E3 2018 Das Entwicklerstudio Avalanche arbeitet gleichzeitig an Just Cause 4 und an Rage 2. Auf den ersten Blick ähneln sich die in offenen Welten angelegten Actionspiele - dabei setzen sie auf jeweils eigene interessante Ideen.

  3. Regulierungskonsens Gigabitnetze: Netzbetreiber fürchten unfaire Abschaltung von Kupfer
    Regulierungskonsens Gigabitnetze
    Netzbetreiber fürchten unfaire Abschaltung von Kupfer

    Heute geht es beim Bundeswirtschaftsminister um die Vorgaben für einen schnellen Glasfaserausbau. Dazu haben Breko und Buglas ihre Positionen dargelegt.


  1. 16:45

  2. 16:20

  3. 15:50

  4. 15:20

  5. 14:49

  6. 14:26

  7. 13:30

  8. 13:04