211service.com
Hoe de augmented reality van Magic Leap werkt
Een startup uit Florida genaamd Magische Sprong maakte dinsdag bekend dat het ontving $ 542 miljoen in financiering van grote investeerders in Silicon Valley onder leiding van Google om hardware te ontwikkelen voor een nieuw soort augmented reality-hardware. De geheime startup moet zijn technologie nog publiekelijk beschrijven of demonstreren en heeft een interviewverzoek afgewezen. Maar patent- en handelsmerkaanvragen onthullen het soort technologie dat Magic Leap van plan is te gebruiken om te creëren wat de CEO en oprichter van het bedrijf, Rony Abovitz heeft gebeld de meest natuurlijke en mensvriendelijke draagbare computerinterface ter wereld.
NAAR octrooiaanvraag door startup Magic Leap beschrijft een draagbaar display dat realistische 3D-beelden presenteert, aangedreven door een computer die op de heup wordt gedragen.
De deponeringen beschrijven geavanceerde weergavetechnologie die het menselijke visuele systeem beter kan misleiden dan bestaande virtual reality-schermen (zoals de Oculus Rift) om virtuele objecten als echt waar te nemen. De weergavetechnologie die in de meeste apparaten wordt gebruikt, kan alleen platte, 2D-beelden weergeven. Headsets zoals de Oculus Rift misleiden je hersenen om diepte waar te nemen door verschillende afbeeldingen aan elk oog te tonen, maar je ogen zijn altijd gericht op het flatscreen vlak voor hen.
Als je naar een echte 3D-scène kijkt, verandert de diepte waarop je ogen zijn gericht als je naar objecten op verschillende afstanden kijkt. Als we die focusaanwijzingen weglaten, krijgen we een ervaring die niet helemaal realistisch is, zegt Gordon Wetzstein , die de Computational Imaging Research Group leidt aan de Stanford University.
De patenten van Magic Leap suggereren een alternatieve benadering. Ze beschrijven displays die dezelfde soort 3D-patronen van lichtstralen kunnen creëren, ook wel lichtvelden genoemd, die onze ogen opnemen van de echte objecten om ons heen. Wetzstein en andere onderzoekers hebben aangetoond dat je ogen hierdoor kunnen focussen op de diepten van een kunstmatige 3D-scène, net zoals ze dat in de echte wereld zouden doen, wat een veel realistischere illusie oplevert van virtuele objecten die zijn samengevoegd met de echte wereld.
Eerder dit jaar gebruikten Wetzstein en collega's die techniek om een display te maken waarmee tekst duidelijk kan worden gelezen door mensen die hun gebruikelijke corrigerende lenzen niet dragen (zie Prototype Display Lets You Say Goodbye to Reading Glasses). Hij werkte eerder aan brilvrije 3D-schermen gebaseerd op vergelijkbare methoden. En vorig jaar toonden onderzoekers van chipbedrijf Nvidia een basis draagbaar display op basis van lichtvelden.
NAAR handelsmerk deponeren van juli beschrijft de technologie van Magic Leap als draagbare computerhardware, namelijk een optisch weergavesysteem met een dynamisch lichtvelddisplay.
Een van Magic Leap's patenten beschrijft: hoe een dergelijk apparaat, een WRAP genaamd, voor golfgeleiderreflectorarrayprojector, zou werken. Het display zou bestaan uit een reeks van vele kleine gebogen spiegels; licht zou via optische vezels aan die array worden afgeleverd en elk van de kleine elementen zou een deel van dat licht reflecteren om het lichtveld voor een bepaald punt in de 3D-ruimte te creëren. De array kan semi-transparant zijn, zodat een persoon tegelijkertijd de echte wereld kan zien.
Meerdere lagen van dergelijke kleine spiegels zouden het scherm in staat stellen de illusie te wekken van virtuele objecten op verschillende afstanden. Het patent van Magic Leap beweert echter ook dat een enkele laag van de spiegels voldoende zou zijn als ze uit magnetische vloeistof zouden zijn gevormd. Dat zou het mogelijk maken de spiegels te herprogrammeren met behulp van een magnetisch veld om snel punten op verschillende diepten snel genoeg weer te geven om het oog voor de gek te houden, zoals de frames van een animatie.
De grootste uitdaging van Magic Leap is misschien om een manier te vinden om virtuele 3D-objecten die door dat scherm zijn gemaakt naadloos te integreren met wat een persoon in de echte wereld ziet. Hiervoor zou het systeem de wereld in 3D moeten waarnemen en precies begrijpen waar een persoon naar kijkt en zijn exacte positie, zegt Wetzstein.
Een van de patenten van Magic Leap dekt het gebruik van: bewegingssensoren en eye-tracking camera's op een draagbare display om erachter te komen op welke diepte iemands ogen zijn gericht. Maar Wetzstein zegt dat hij nog niemand kent die een draagbaar systeem demonstreert dat de afstand kan volgen waarop een persoon zich concentreert.
Nog een patentaanvraag van Magic Leap zegt dat camera's, infraroodsensoren en ultrasone sensoren kan worden gebruikt om de omgeving rond een persoon te voelen en om gebaren te herkennen. Dieptegevoelige camera's zijn nu relatief goedkoop en compact (zie Intel zegt dat tablets en laptops met 3D-visie binnenkort beschikbaar komen). Maar Wetzstein zegt dat Magic Leap waarschijnlijk grote doorbraken zal moeten maken in computer vision-software zodat een draagbaar apparaat de wereld voldoende kan begrijpen voor een zeer rijke augmented reality. Ze vereisen een zeer krachtige 3D-beeldherkenning, die op je op het hoofd gemonteerde display draait, zegt hij.
Het bedrijf rekruteert experts in chip ontwerp en productie , blijkbaar met het oog op het maken van aangepaste chips om beeldgegevens te verwerken. Speciale chips zouden dat werk energiezuiniger kunnen maken, iets wat belangrijk is voor een draagbaar apparaat. Magic Leap heeft al in dienst Gary Bradski , een pionier op het gebied van computervisieonderzoek en software, merkt Wetzstein op. Magic Leap probeert ook mensen te werven die bekwaam zijn in lasers , mobiel en draadloze elektronica, camera's, productieketenbeheer, 3D-detectie , kunstmatige intelligentie , en ontwikkeling van videogames .
Al met al zijn veel van de onderliggende technieken die Magic Leap nodig heeft om zeer realistische augmented reality te realiseren, aangetoond, zegt Wetzstein. Maar het bedrijf zal ze moeten verfijnen en combineren op manieren die nog niemand is gelukt. Ik denk dat mensen zich beginnen te realiseren dat dit de toekomst is van het bouwen van consumentenapparaten, zegt hij. Maar het brengt grote uitdagingen met zich mee op het snijvlak van optica, elektronica, algoritmen en het begrijpen van het menselijke visuele systeem.