211service.com
Nvidia's eye-tracking-technologie kan een revolutie teweegbrengen in virtual reality
Kijk naar een klok op een nabijgelegen muur. Het brandpunt van je blik moet scherp zijn, terwijl de scène de klok rond wazig is, alsof je hersenen je omgeving schetsen, of, in computergraphics, een lage resolutieversie van de scène weergeeft.
Nvidia past dezelfde truc toe bij het weergeven van virtual reality, en het zou het realisme van virtuele werelden aanzienlijk kunnen verbeteren. Door de grafische weergavekracht op een kleiner gebied te concentreren, is het mogelijk om het beeld dat een persoon ziet aanzienlijk te verscherpen.
Leonardo da Vinci was de eerste persoon die dit visuele fenomeen, foveale visie genaamd, in de 15e eeuw opmerkte. David Luebke , heeft samen met vier andere onderzoekers van Nvidia de afgelopen negen maanden geprobeerd het principe in VR na te bootsen door alleen het specifieke gebied waar een speler naar kijkt volledig weer te geven en de rest van de scène in een veel lagere resolutie te laten.
Deze virtuele scène werd weergegeven met behulp van Nvidia's foveal vision-aanpak, die de focus van de blik van de gebruiker volgt en het perifere zicht eromheen vervaagt.
Wanneer de speler die het Nvidia-systeem gebruikt, zich op een nieuw gebied van de scène concentreert, verschuift eye-tracking-software de focus van de weergave in natura. Om een volledige scène in VR weer te geven met 90 frames per seconde, de laagst acceptabele framesnelheid in VR voordat gebruikers misselijkheid beginnen te melden, moeten vier miljoen pixels bijna honderd keer per seconde worden weergegeven. Maar door de weergave alleen te richten op het gezichtsveld van de speler, kunnen enorme rekenbesparingen worden gerealiseerd. De prestatiewinst is te groot om te negeren, zegt Luebke.
Het principe is niet nieuw in VR-onderzoek. 'Het principe is niet nieuw in VR-onderzoek. De door Kickstarter ondersteunde Fove-headset gebruikt inderdaad een soortgelijk systeem (zie 'Aanwijzen, klikken en schieten in virtual reality - met alleen je ogen'). Luebke heeft een groot deel van de afgelopen 15 jaar het gebied bestudeerd, eerst als professor aan de Universiteit van Virginia en nu bij Nvidia. Voorheen had eye-tracking-technologie echter moeite om de razendsnelle snelheid van menselijke oogbewegingen bij te houden, wat een maagverscheurend latentie-effect veroorzaakt wanneer een gebruiker van bijvoorbeeld de linkerkant van een scène naar rechts overschakelt. Een nieuw prototype eye-tracking VR-display van Sensomotorische instrumenten is in staat tot nauwkeurige eye-tracking met lage latentie bij 250 Hertz. Voor het eerst hebben we eye-trackers die je met je ogen niet kunt ontlopen, legt Luebke uit.
Zelfs met deze mogelijkheid moest het team van Nvidia veel tijd besteden aan het berekenen van hoeveel het de resolutie van de periferie van een scène zou kunnen verlagen voordat een kijker het merkt. Perifere visie is erg goed in het detecteren van flikkering, legt Luebke uit. Het wordt gebruikt om ons te helpen tijgers in het bos te zien.
Als zodanig is elke flikkering van de degradatie verontrustend. Evenzo, als de periferie te wazig wordt, kan dit een tunnelvisie-effect creëren, alsof de kijker door een verrekijker kijkt. Je kunt zien dat er iets aan de hand is, ook als je de vinger er niet helemaal op kunt leggen, zegt Luebke.
Om het probleem op te lossen, ontdekten de onderzoekers van Nvidia dat als ze het contrast van de perifere scène verhogen en de resolutie verlagen, de menselijke geest volledig voor de gek wordt gehouden.
Hoewel Nvidia geen producten in productie heeft die de techniek vergemakkelijken, hoopt het bedrijf, dat hardware en software levert aan veel VR-bedrijven, dat zijn bevindingen de grote headsetmakers zullen aanmoedigen om eye-trackers op te nemen in hun toekomstige head-mounted displays. Een deel van wat we hier doen, is helpen de verkeersregels voor VR te definiëren, zegt Luebke.
Het is onwaarschijnlijk dat de technologie buiten VR zal verschijnen, bijvoorbeeld in laptops, aangezien eye-trackers veel minder efficiënt worden naarmate ze verder van het gezicht verwijderd zijn. VR, waar de tracker op enkele centimeters van het oog zit, biedt daarentegen de ideale koppeling. De technologie zal waarschijnlijk van invloed zijn op de toekomstige grafische kaarten van het bedrijf, waardoor ontwikkelaars de mogelijkheid krijgen om de computerverwerking voorrang te geven op specifieke pixels en de weergave-algoritmen opnieuw te definiëren.