Abo
  1. Foren
  2. Kommentare
  3. Sonstiges
  4. Alle Kommentare zum Artikel
  5. › Mixed Reality: Microsoft verdoppelt…

Herausforderung bei Mixed Reality / AR

  1. Thema

Neues Thema Ansicht wechseln


  1. Herausforderung bei Mixed Reality / AR

    Autor: FreierLukas 21.10.17 - 13:32

    Ich denke die größte Herausforderung einer AR / MR Brille ist es die digitalen Objekte HINTER Reale zu projizieren. Die günstigen Varianten können zwar die Umgebung tracken so dass die "Hologramme" an ein und der selben Stelle im Raum stehen, fährt man aber mit der Hand zwischen Objekt und Brille dann ist die Immersion dahin weil das Objekt, trotz größerer Entfernung zum Nutzer, die Hand überstrahlt.

  2. Re: Herausforderung bei Mixed Reality / AR

    Autor: xmaniac 21.10.17 - 14:07

    Das habe ich z.B. mal sehr einfach für MR aus Leap Motion und Oculus Rift DK2 gezeigt. Da die Leap die Hände mit hellem IR Licht anstrahlt in dessen Bereich die Kameras filmen, konnte man am Helligkeitsabfall sehr gut die Tiefe raten (bei heller Hautfarbe, sorry für den technischen Rassismus).

    Meine Demo war in vielen Dingen so beeindruckend, dass mich sogar der Leap Motion Erfinder und CEO David Holz kontaktiert hatte. Am Ende bin ich nicht einmal unter den “honorable Mentions“ bei dem ausgerufenem Wettbewerb gelandet. Über ein Jahr später hat dann Leap Motion diese Erfindung als ihre eigene ausgegeben und ins SDK eingebaut.

    Nur damit ihr wisst, was passiert wenn man bei solchen Wettbewerben mitmacht. Die Gewinner waren überwiegend lieblose Unity-Spielchen. Hauptsache nicht wirklich innovativ - wonach eigentlich die Gewinner gewertet werden sollten...



    1 mal bearbeitet, zuletzt am 21.10.17 14:16 durch xmaniac.

  3. Re: Herausforderung bei Mixed Reality / AR

    Autor: xmaniac 21.10.17 - 14:11

    https://youtu.be/U1Xp_t9xKko

    Die zu sehende minimale Verzögerung entstand nur durch die Aufnahme. Ohne Aufnahme hatte man ein absolut verzögerungsfreies Gefühl bei >500fps und kleiner 1% CPU last...

  4. Re: Herausforderung bei Mixed Reality / AR

    Autor: FreierLukas 21.10.17 - 15:02

    Das sieht richtig gut aus! Funktioniert aber wahrscheinlich nur mit der Hand? Soweit ich weiß erzeugt die Hololens ein 3D Abbild des gesamten Raums so dass jedes Objekt ein Hologram verdecken kann. Ich hatte allerdings noch nie eine auf und kann nicht sagen wie gut das da wirklich schon funktioniert. Grade wenn zB. Personen durch Bild laufen usw. Ich will auf der Straße auch nicht unbedingt vor eine Laterne laufen weil ein Hologram davor schwebt was eigentlich dahinter sein sollte. #3DWorldProblems

  5. Re: Herausforderung bei Mixed Reality / AR

    Autor: xmaniac 21.10.17 - 15:19

    Habe eine HoloLens zuhause. Zumindest mit der derzeitigen API hast du dort keine Chance. Sie track zwar den Raum, aber alles worauf man Zugriff hat, ist ein sehr grobes relativ statisches Modell des Raums. Die Hand wird praktisch überhaupt nicht getrackt. Alles was du von der Hand bekommen kannst ist die Klick-Geste, und das auch noch vollkommen ohne Bezug zum Raum. Praktisch das, was auch der mitgelieferte Klicker in der Hosentasche liefert. Ein einziges Klick-Event. Gesteuert wird stets mit der Blickrichtung. Einzig ein paar MS eigene Apps haben minimalen experimentellen Zugriff auf die 2D-Position der Geste im Blickfeld. Aber die API bietet normalen Entwicklern darauf keinerlei Zugriff.

  6. Re: Herausforderung bei Mixed Reality / AR

    Autor: xmaniac 21.10.17 - 15:23

    Statische Objekte wie Wände können bei der HoloLens aber Grob das Modell überdecken. Leider besteht ein Fehler im SDK, und man kann das 3D-Modell der Umgebung nicht wie in der API-Methode angegeben in unterschiedlichem Detail anfordern.

  7. Re: Herausforderung bei Mixed Reality / AR

    Autor: Reeley 21.10.17 - 15:52

    xmaniac schrieb:
    --------------------------------------------------------------------------------
    > Habe eine HoloLens zuhause. Zumindest mit der derzeitigen API hast du dort
    > keine Chance. Sie track zwar den Raum, aber alles worauf man Zugriff hat,
    > ist ein sehr grobes relativ statisches Modell des Raums. Die Hand wird
    > praktisch überhaupt nicht getrackt. Alles was du von der Hand bekommen
    > kannst ist die Klick-Geste, und das auch noch vollkommen ohne Bezug zum
    > Raum. Praktisch das, was auch der mitgelieferte Klicker in der Hosentasche
    > liefert. Ein einziges Klick-Event. Gesteuert wird stets mit der
    > Blickrichtung. Einzig ein paar MS eigene Apps haben minimalen
    > experimentellen Zugriff auf die 2D-Position der Geste im Blickfeld. Aber
    > die API bietet normalen Entwicklern darauf keinerlei Zugriff.

    Hast du mit Unity eine Anwendung erstellt? Mit dem Mixed Reality Toolkit bekommt man sehr viele nützliche Funktionen. Unter anderem die Position der Hand im Raum als auch die Möglichkeit das sehr ungenaue erstellte Abbild des Raumes zu verfeinern.

    Mixed Reality Toolkit - https://github.com/Microsoft/MixedRealityToolkit-Unity



    1 mal bearbeitet, zuletzt am 21.10.17 15:53 durch Reeley.

  8. Re: Herausforderung bei Mixed Reality / AR

    Autor: Poison Nuke 21.10.17 - 15:54

    mit dem Standard-Tracking der Hololens werden nur statische Objekte mit einer Mindestgröße erkannt (20-30cm minimale Kantenlänge ungefähr). Eine Hand fällt da einfach durchs Raster. Weiterhin ist das Tracking auch zu langsam, um so schnell das Mesh vom Raum zu ändern. Man hat mindestens 1sek Verzögerung, eh Punkte im Raum erfasst wurden.

    Wenn man aber das 3D Scanning durch weitere Software ergänzt, z.B. Leap Motion und Kinect, dann wäre es prinzipiell schon möglich, die eigenen Hände und andere Personen abzubilden. Allerdings schafft die CPU der Hololens selbst das LeapMotion Tracking kaum in Echtzeit, von anderen Sachen mal ganz zu schweigen.

    Die magere Rechenleistung ist eh gerade noch das größere Manko der Hololens. Ja klar es ist ein extrem kleines Sichtfeld, aber man kann sich schon irgendwie damit arrangieren. Aber wenn es einfach nur ruckelt bei komplexeren Szenen, macht es gar keinen Sinn.

  9. Re: Herausforderung bei Mixed Reality / AR

    Autor: xmaniac 21.10.17 - 16:48

    Reeley schrieb:
    --------------------------------------------------------------------------------
    > xmaniac schrieb:
    > ---------------------------------------------------------------------------
    > -----
    > > Habe eine HoloLens zuhause. Zumindest mit der derzeitigen API hast du
    > dort
    > > keine Chance. Sie track zwar den Raum, aber alles worauf man Zugriff
    > hat,
    > > ist ein sehr grobes relativ statisches Modell des Raums. Die Hand wird
    > > praktisch überhaupt nicht getrackt. Alles was du von der Hand bekommen
    > > kannst ist die Klick-Geste, und das auch noch vollkommen ohne Bezug zum
    > > Raum. Praktisch das, was auch der mitgelieferte Klicker in der
    > Hosentasche
    > > liefert. Ein einziges Klick-Event. Gesteuert wird stets mit der
    > > Blickrichtung. Einzig ein paar MS eigene Apps haben minimalen
    > > experimentellen Zugriff auf die 2D-Position der Geste im Blickfeld. Aber
    > > die API bietet normalen Entwicklern darauf keinerlei Zugriff.
    >
    > Hast du mit Unity eine Anwendung erstellt? Mit dem Mixed Reality Toolkit
    > bekommt man sehr viele nützliche Funktionen. Unter anderem die Position der
    > Hand im Raum als auch die Möglichkeit das sehr ungenaue erstellte Abbild
    > des Raumes zu verfeinern.
    >
    > Mixed Reality Toolkit - github.com

    Nein, Unity ist in meinen Augen für Anfänger - und dann versaut es noch den stiel. Habe mit Hilfe von SharpDX in C# eine .net-Native Anwendung erstellt. Das läuft dann ungefähr so schnell wie natives C++ und bietet allen Komfort von echtem C#, nicht Mono. Inklusive Edit- und Continue und Debugging auf der HoloLens. Die Modelle die ich mit vielen Demo-Scene Tricks in der Rendering-Pipeline mit konstant 60fps bei relativ komplexem shading darstellen konnte, laufen unter Unity mit simplerem Shading mit ca. 0,3 fps...

    Das Deployment einer kleinen Änderung brauchte unter Unity ca. 20 Minuten vs. Edit&Continue bzw einem Diff von 3-5 Minuten.

    Mehrere Devices zu koppeln ist der Horror unter Unity und die räumliche Koppelung läuft über AR-Tracking Marker.

    Ich konnte direkt die “Anker“ die ein Device sah Serialisieren und auf dem anderen Device nutzen - ohne aufgeklebte Marker, einfach dadurch dass die Geräte schon selbst den Raum erkennen.

    IMHO ist Unity nicht mal eine Engine, sondern nur ein sehr mittelmäßiger Renderer, der nicht einmal einen Scenegraph kennt. Ich hätte vielleicht Unreal genutzt, aber Sweeney mag den MS Store nicht, weshalb es bestenfalls eine inoffizielle Anpassung für die 2D Fensteroberfläche der HoloLens gibt.

    Unity ist wirklich bescheuert auf einem sehr 3D schwachem Gerät wie der HoloLens. Man verschenkt gleich nochmal 70% Performance durch dieses doppelte gehampel mit der schlechten MonoVM. Dazu ist die Pipeline von Unity nicht für die geringe shading Leistung der HoloLens geeignet. Habe mit DX ein hoch angepasstes deferred Shading gebaut, um die komplexen Shader nur einmal je Pixel im 2D Buffer durchzuführen. Die Texture-Lese Performance stellt dabei auch noch so ein Problem der. Auf der HoloLens kannst du es dir einfach nicht leisten, das 5 mal zu machen, nur um es 4 mal im z-buffer wieder zu verwerfen. Reicht vielleicht für Flappy-Bird. 90% der Demos die du siehst (wie von Ford neulich) sind vollkommene Fakes!!



    2 mal bearbeitet, zuletzt am 21.10.17 16:58 durch xmaniac.

Neues Thema Ansicht wechseln


Um zu kommentieren, loggen Sie sich bitte ein oder registrieren Sie sich. Zum Login

Stellenmarkt
  1. M-net Telekommunikations GmbH, München
  2. McService GmbH, München
  3. KÖNIGSTEINER AGENTUR GmbH, Stuttgart
  4. TUI InfoTec GmbH, Hannover

Golem pur
  • Golem.de ohne Werbung nutzen

Anzeige
Spiele-Angebote
  1. 13,99€
  2. (-71%) 12,99€


Haben wir etwas übersehen?

E-Mail an news@golem.de


Autonome Schiffe: Und abends geht der Kapitän nach Hause
Autonome Schiffe
Und abends geht der Kapitän nach Hause

Weite Reisen in ferne Länder, eine Braut in jedem Hafen: Klischees über die Seefahrt täuschen darüber hinweg, dass diese ein Knochenjob ist. Doch in wenigen Jahren werden Schiffe ohne Besatzung fahren, überwacht von Steuerleuten, die nach dem Dienst zur Familie zurückkehren. Daran arbeitet etwa Rolls Royce.
Ein Bericht von Werner Pluta

  1. Elektromobilität San Francisco soll ein Brennstoffzellenschiff bekommen
  2. Yara Birkeland Autonome Schiffe sind eine neue Art von Transportsystem
  3. Power Pac Strom aus dem Container für Ozeanriesen

Yuneec H520: 3D-Modell aus der Drohne
Yuneec H520
3D-Modell aus der Drohne

Multikopter werden zunehmend auch kommerziell verwendet. Vor allem machen die Drohnen Luftbilder und Inspektionsflüge und vermessen. Wir haben in der Praxis getestet, wie gut das mit dem Yuneec H520 funktioniert.
Von Dirk Koller


    Landwirtschafts-Simulator auf dem C64: Auf zum Pixelernten!
    Landwirtschafts-Simulator auf dem C64
    Auf zum Pixelernten!

    In der Collector's Edition des Landwirtschafts-Simulators 19 ist das Spiel gleich zwei Mal enthalten - einmal für den PC und einmal für den C64. Wir haben die Version für Commodores Heimcomputer auf unserem Redaktions-C64 gespielt, stilecht von der Cartridge geladen.
    Ein Test von Tobias Költzsch

    1. Giants Software Ländliche Mods auf Playstation und Xbox

    1. Raiju Mobile: Razer präsentiert Smartphone-Controller für 150 Euro
      Raiju Mobile
      Razer präsentiert Smartphone-Controller für 150 Euro

      Mit dem Raiju Mobile hat Razer seine Controller-Reihe für Sonys Playstations auf Smartphones erweitert. Das Mobiltelefon kann in eine neigbare Halterung gesteckt werden, neben den gewohnten Steuerungselementen stehen vier programmierbare Buttons zur Verfügung.

    2. Datenschutz: Löschen des Tracking-Verlaufs auf Facebook macht Probleme
      Datenschutz
      Löschen des Tracking-Verlaufs auf Facebook macht Probleme

      Im Mai 2018 hatte Facebook versprochen, dass Nutzer ihren Tracking-Verlauf löschen können - ein sehr weitgehendes Zugeständnis an den Datenschutz. Jetzt hat sich das Unternehmen mit einem Zwischenstand über die Umsetzung gemeldet.

    3. Callcenter: Unerlaubte Telefonwerbung kann teuer werden
      Callcenter
      Unerlaubte Telefonwerbung kann teuer werden

      Die Bundesnetzagentur hat zwei Callcenter mit einem Bußgeld von 300.000 Euro belegt. Mehr als 1.400 Verbraucher hatten sich über die Methoden der Firmen beschwert.


    1. 17:23

    2. 16:43

    3. 15:50

    4. 15:35

    5. 15:06

    6. 14:41

    7. 13:47

    8. 12:27