211service.com
Een gewone smartphonecamera veranderen in een 3D-camera
Bijna iedereen heeft tegenwoordig een camera bij zich omdat hij een mobiele telefoon heeft, maar weinig van deze apparaten kunnen de driedimensionale contouren van objecten vastleggen zoals een dieptecamera dat kan.
Op camera: Met een paar hardwarewijzigingen, zoals een ring van nabij-infrarood-LED's, is een Microsoft LifeCam aangepast om als dieptecamera te werken.
Dieptecamera's winnen snel aan bekendheid vanwege hun potentieel in apparaten op zakformaat, waarbij het idee is dat als onze telefoons de contouren van alles vastleggen, van straathoeken tot de inrichting van uw woonkamer, ontwikkelaars toepassingen kunnen maken die variëren van betere interactieve games tot nuttige gidsen voor slechtzienden.
Maar terwijl inspanningen zoals die van Google Project Tango voegen dieptecamera's toe aan mobiele gadgets, nieuw onderzoek van Microsoft laat zien dat met enkele eenvoudige aanpassingen en machine learning-technieken een gewone smartphonecamera of webcam kan worden gebruikt als een 3D-dieptecamera. Het idee is om de toegang tot het ontwikkelen van 3D-toepassingen gemakkelijker te maken door de kosten en technische toetredingsdrempels voor dergelijke apparaten te verlagen, en om de 3D-dieptecamera's zelf veel kleiner en minder energieverslindend te maken.
Handen omhoog: Onderzoekers van Microsoft hebben de camera op een smartphone aangepast zodat deze de diepte van handen en gezichten kan vastleggen.
Een groep onder leiding van Sean Ryan Fanello, Cem Keskin en Shahram Izadi van Microsoft Research zal een papier over het werk dinsdag op Siggraph, een conferentie over computergraphics en interactie in Vancouver, British Columbia.
Om de camera's aan te passen, verwijderde de groep het nabij-infraroodfilter, dat vaak wordt gebruikt in alledaagse camera's om normaal ongewenste lichtsignalen in foto's te blokkeren. Vervolgens voegden ze een filter toe dat alleen infrarood licht doorlaat, samen met een ring van verschillende goedkope nabij-infrarood-LED's. Door dit te doen, lieten ze elke camera in wezen fungeren als een infraroodcamera.
Over gezicht: Met enkele aanpassingen kunnen onderzoekers van Microsoft gewone camera's gebruiken om de diepte van handen en gezichten in kaart te brengen.
We hebben de camera een beetje op zijn kop gezet, merkt Izadi op.
Het Microsoft-team zegt dat het de reflecterende intensiteit van infraroodlicht wilde gebruiken als een kruising tussen een sonarsignaal en een zaklamp in een donkere kamer. Het licht zou weerkaatsen op het nabijgelegen object en terugkeren naar de sensor met een overeenkomstige intensiteit. Objecten zijn helder als ze dichtbij zijn en zwak als ze ver weg zijn - intuïtief voor ons als het gaat om zichtbaar licht. Maar de groep moest de machines (in dit geval een Samsung Galaxy Nexus-smartphone en een Microsoft LifeCam-webcamera) op die relatie trainen, zodat de camera kon bepalen of hij bijvoorbeeld een grote hand in de verte of een kleine hand zag. hand van dichtbij.
Voor dit project besloten de onderzoekers zich te concentreren op slechts één uitdaging: het modelleren van menselijke handen en gezichten, niet alle soorten objecten en omgevingen. Na het verzamelen van een reeks trainingsgegevens, waaronder afbeeldingen van handen, ontdekte de groep dat het de bewegingen van een persoon kon meten met een snelheid van 220 frames per seconde. In een demonstratie de groep liet zien hoe zo'n tracking kan worden gebruikt om over een kaart te navigeren, bijvoorbeeld door grijpbewegingen te maken of handen uit elkaar te spreiden, of om een eenvoudig spel te spelen, zoals door virtueel een vliegende banaan in de lucht te snijden.
Trainingshand: Een hand die is vastgelegd door een aangepaste camera die werkt als een dieptecamera (links) wordt gebruikt door het machine learning-algoritme van Microsoft-onderzoekers om een schatting van de diepte te maken (rechts).
Terwijl de trainingsgegevens gericht waren op gezichten en handen, trainde de groep de machines niet echt om handen of gezichten te herkennen, zoals we ze zouden zien, maar alleen de eigenschappen van de reflectie van de huid. De enorme hoeveelheid trainingsgegevens stelt de machine in staat om voldoende associaties op te bouwen met de datapunten in de foto's om vervolgens aanvullende eigenschappen van de afbeelding te gebruiken om de diepte in te schatten. Microsoft koos skin omdat het zoveel implicaties heeft voor het navigeren in Xbox- en Windows-omgevingen, maar Kohli wijst erop dat de machine learning-technieken overal kunnen worden overgedragen.
De enige beperking is wat voor soort trainingsgegevens je het geeft, zegt hij. De aanpak op zich kan worden aangepast om aan elk ander scenario te werken.