211service.com
Oculus Rift Hack zet je gezichtsuitdrukkingen over op je avatar
Virtual reality krijgt een vitaal vleugje sociale realiteit.
De software combineert gegevens van sensoren die de bovenste en onderste delen van het gezicht volgen en matcht het resultaat op een 3D-model van een gezicht.
Onderzoekers van de University of Southern California en de Oculus-divisie van Facebook hebben een manier aangetoond om de gezichtsuitdrukkingen van iemand met een virtual reality-headset te volgen en deze over te dragen naar een virtueel personage. Dat zou kunnen zorgen voor veel meer lonend socialiseren, werken of spelen in virtuele werelden, omdat de uitdrukking van een virtuele lichaamsdubbel of buitenaardse avatar perfect dat van iemands echte gezicht zou kunnen nabootsen.
Het systeem volgt de beweging van de mond van een persoon met behulp van een 3D-camera die met een korte giek aan de headset is bevestigd. Bewegingen van het bovenste deel van het gezicht worden gemeten met behulp van rekstrookjes die zijn toegevoegd aan de schuimvulling die de headset op het gezicht past. Nadat de twee gegevensbronnen zijn gecombineerd, kan een nauwkeurige 3D-weergave van de gezichtsbewegingen van de gebruiker worden gebruikt om een virtueel personage te animeren, of dat nu een ersatz-persoon is of iets anders dan een mens (zie video).
Dat zou het bewonen en communiceren in virtuele werelden aantrekkelijker kunnen maken, zegt Hao Li , een assistent-professor aan de Universiteit van Zuid-Californië die het project leidde. Om een virtuele sociale omgeving te krijgen, wil je dit gedrag overbrengen op andere mensen, zegt hij. Dit is de eerste gezichtstracking die is gedemonstreerd via een op het hoofd gemonteerd display. Li werd genoemd als een van MIT Technology Review 's Young Innovators in 2013.
Facebook-CEO Mark Zuckerberg heeft gezegd dat hij geïnteresseerd is in de Oculus Rift-headset die nieuwe manieren biedt om te socializen, hoewel hij geen details heeft bekendgemaakt. Het sociale netwerk nam vorig jaar Oculus over (zie What Zuckerberg Sees in Oculus Rift).
Li zegt dat de Oculus-onderzoekers puur als onderzoeksoefening met hem hebben samengewerkt, maar dat het niet al te moeilijk zou zijn om het systeem dat ze bedachten op te poetsen en er een commercieel product van te maken. Als mensen denken dat dit echt centraal staat bij belangrijke killer-applicaties, kun je het relatief snel in productie krijgen, zegt hij.
Dit is echt gaaf, zegt Philip Rosedale, die eerder Second Life oprichtte en nu CEO is van een virtuele werelden-startup genaamd Zeer betrouwbaar . Het bedrijf werkt aan het mogelijk maken van realistische virtuele sociale interactie door webcams en andere sensortechnologie te gebruiken om gezichtsuitdrukkingen en arm- en handgebaren te volgen (zie The Quest to Put More Reality in Virtual Reality).
Er zijn goede aanwijzingen dat door de avatars van mensen hun echte lichaamstaal te laten zien, ze contact kunnen maken met andere mensen in een virtuele wereld, zegt Rosedale. Hij is het met Li eens dat het mogelijk moet zijn om de eerste proof of concept te stroomlijnen. De camera zou bijvoorbeeld in de onderkant van de headset kunnen worden geïntegreerd. Pogingen van onderzoekers en startups om eye-tracking-camera's in virtual reality-headsets te plaatsen, kunnen een alternatieve manier zijn om gegevens over het bovenste deel van het gezicht te verzamelen.
De spil van Li's systeem is software die gegevens van de sensoren die de bovenste en onderste delen van het gezicht volgen kan combineren en het resultaat kan matchen met een 3D-model van een gezicht.
Voor nu vereist die software dat u de eerste keer dat u het systeem gebruikt een kort kalibratieproces doorloopt. Eerst geef je je gezichtsspieren een training van 10 seconden door ze in een paar verschillende uitdrukkingen te verwringen terwijl je een headset draagt waarvan het weergavegedeelte is verwijderd voor een 3D-camera, zodat deze een volledig beeld van het gezicht kan krijgen. Daarna zet je de complete headset op en geef je je gezicht nog 10 seconden een work-out. De verzamelde gegevens helpen de software erachter te komen hoe de gegevensstromen van uw boven- en ondergezicht correct kunnen worden afgestemd.
Li zegt dat hij eraan werkt om die stap te elimineren door zijn software meer gegevens op verschillende gezichten te geven. Hij werkt ook aan andere technieken die het gemakkelijker kunnen maken om je echte zelf naar een virtuele wereld te kopiëren. Er zijn al veel tools ontwikkeld om 3D-replica's van de lichamen en gezichten van mensen te maken met conventionele en 3D-camera's. Li heeft onlangs een systeem gemaakt dat de meer uitdagende taak aangaat om een realistische 3D-recreatie van iemands kapsel te maken. Zijn software kan het alleen gebruiken een enkele foto . Dat project en het face-tracking onderzoek zullen beide worden gepresenteerd op de Siggraph computer graphics conferentie in Los Angeles in augustus.