211service.com
Een nieuwe dimensie voor uw foto's
Als u naar de fotoafdrukken van uw vakantie in Washington D.C. kijkt, kunt u denken aan echte, driedimensionale plaatsen zoals het Lincoln Memorial. Maar wat als u uw foto echt zou kunnen binnenlopen en helemaal opnieuw aan de voeten van Lincoln zou kunnen staan - of op zijn minst inzoomen op een 3D-versie van uw afbeelding op een computerscherm? Een nieuwe webservice genaamd Fotowoosh belooft een dergelijke ervaring te bieden, met dank aan computervisieonderzoekers van de Carnegie Mellon University in Pittsburgh.
Het grote plaatje: Het webgebaseerde systeem van Fotowoosh zet platte, tweedimensionale afbeeldingen om in zoombare 3D-scènes met behulp van machine learning-algoritmen die een afbeelding onderverdelen in gebieden die de grond vertegenwoordigen (groen in de afbeelding met valse kleuren), verticale oppervlakken (pijlen) en lucht ( cirkels). Deze oppervlakken worden vervolgens gevouwen tot een 3D-model dat lijkt op een pop-upillustratie in een kinderboek. Om een voorbeeld van een Fotowoosh-model in 3D te bekijken, moet u zowel een .wrl-bestand van de Fotowoosh-website als een 3D-viewerextensie voor uw webbrowsers downloaden.
Derek Hoiem , een promovendus bij Carnegie Mellon's Robotica Instituut , heeft de afgelopen anderhalf jaar uitgezocht hoe software ervoor kan zorgen dat platte afbeeldingen worden omgezet in 3D virtual-reality-modellen die op het scherm kunnen worden gemanipuleerd. Werken met docenten Alexei Efros en Martial Hebert , kwam Hoiem met een machine-leersysteem dat verschillende oppervlakken en hun oriëntatie identificeert op basis van wat het heeft geleerd van het onderzoeken van eerdere foto's. In wezen bevrijdt Fotowoosh de persoon die een foto bekijkt vanuit het oogpunt van de fotograaf, zodat hij of zij andere perspectieven kan verkennen dan degene die de camera daadwerkelijk heeft vastgelegd.
nutsvoorzieningen Freewebs , een bedrijf uit Silver Spring, MD, dat 14 miljoen persoonlijke websites host, staat op het punt een consumentenversie van de software van Hoiem op het web te lanceren. Freewebs-voorzitter Shervin Pisheva zegt dat hij hoopt dat internetgebruikers duizenden foto's naar Fotowoosh zullen uploaden en de 3D-versies met andere bezoekers zullen delen, waardoor de service wordt wat hij een 3D Flickr noemt. Flickr is natuurlijk de zeer populaire site voor het delen van foto's en sociale netwerken van Yahoo.
Een testversie van het Fotowoosh-systeem wordt in mei gelanceerd, zegt Pishevar. Het systeem werkt het beste op buitenbeelden. Geconverteerde foto's lijken een beetje op de illustraties in pop-upboeken voor kinderen: er is een duidelijke ondergrond die overeenkomt met de platte pagina in een pop-upboek, en verticale vlakken staan haaks op de grond en vertegenwoordigen objecten zoals muren, bomen, en voertuigen. De afbeeldingen verschijnen op een webpagina die is geladen met een speciale viewer met bedieningselementen voor zoomen, pannen en roteren van het 3D-model. Terwijl de software letterlijk een nieuwe dimensie toevoegt aan oude toeristenfoto's, zou het in de toekomst ook kunnen worden toegepast voor doeleinden zoals robotnavigatie of het bouwen van fotorealistische 3D virtuele werelden.
Multimedia
Video: een nieuwe dimensie voor uw foto's
Hoiem zegt dat de software enkele van de trucs nabootst die onze hersenen gebruiken om diepte te geven aan de tweedimensionale beelden die constant op ons netvlies belanden. Traditionele (niet-stereoscopische) camera's hebben maar één oog in vergelijking met onze twee. Dat betekent dat ze geen gebruik kunnen maken van parallax - het fenomeen waarbij ons rechter- en linkeroog objecten in de buurt in enigszins verschillende posities zien ten opzichte van objecten verder weg - om een stereobeeld te krijgen. In feite is het wiskundig onmogelijk voor software om de vorm van een 3D-scène uit een enkel tweedimensionaal beeld met 100 procent zekerheid te berekenen, aangezien de objecten in de scène in theorie op elke afstand zouden kunnen zijn. Maar mensen kunnen het, merkt Hoiem op. Alleen is er geen simpele algebraïsche oplossing.
Parallax is zelfs niet strikt vereist voor 3D-zicht: als je één oog sluit, gaat de wereld niet plat. Het brein leidt diepte af met behulp van allerlei signalen zoals schaduw, kleur, beweging en onze geleerde ervaring over de ruimtelijke relaties tussen vloeren en muren, of tussen straten en gebouwen. Het blijkt dat je met een vrij eenvoudig model - denkend aan de wereld in termen van een grondoppervlak, verticale oppervlakken die eruit steken en de lucht - behoorlijk overtuigende 3D-modellen kunt maken, zegt Hoiem.
De software die hij, Efros en Hebert ontwikkelden, begint een afbeelding te converteren door elke pixel in een tweedimensionale afbeelding te groeperen in een van deze klassen. Lucht is meestal het gemakkelijkst - het is blauw of wit. De boven- en onderrand van de meeste foto's zijn uitgelijnd met de horizon, waardoor de software het grondvlak kan identificeren. En de ramen van een gebouw met meerdere verdiepingen zijn vaak gerangschikt in parallelle lijnen met een gemeenschappelijk verdwijnpunt - een sterke indicatie van een verticaal oppervlak.
Maar Hoiem heeft de software deze regels niet expliciet geleerd. Het systeem is gebaseerd op machine learning-algoritmen, wat inhoudt dat het zijn eigen vuistregels berekent door statistische patronen te herkennen in honderden afbeeldingen waarin de grond, de lucht en verticale oppervlakken vooraf door mensen zijn gelabeld.
We hoefden gelukkig niet helemaal opnieuw te beginnen, zegt Hoiem. Er is veel werk verzet over hoe we kleur en textuur en structuur vertegenwoordigen. Er is een bestaand algoritme om het verdwijnpunt van een groep lijnen te herkennen. En mensen hebben veel gewerkt aan het herkennen van objecten zoals mensen of auto's. Maar niemand had gedacht dat je deze misschien allemaal kunt combineren en de werkelijke geometrie van een scène kunt leren herkennen.
Zodra Fotowoosh de belangrijkste oppervlakken in een scène heeft geïdentificeerd, voegt het ze samen tot een 3D-model met behulp van het Virtual Reality Markup Language-bestandsformaat of VRML. De software pelt delen van het tweedimensionale beeld af en plakt ze op de juiste oppervlakken in het model, een proces dat texture mapping wordt genoemd.
Momenteel kunnen de voltooide modellen alleen worden bekeken in een webbrowser die is uitgerust met een speciale extensie voor het bekijken van VRML-bestanden. Maar in de bètaversie van Fotowoosh, die volgende maand uitkomt, zullen de modellen worden weergegeven met het meer gebruikelijke Flash-formaat dat al in de meeste browsers is opgenomen, aldus Pishevar. (De Fotowoosh-startpagina bevat een video waarin het eindproduct wordt gedemonstreerd voor verschillende voorbeeldafbeeldingen.)
Op dit moment is het systeem niet erg goed in het scheiden van discrete objecten die op de voorgrond zouden moeten staan, zoals voetgangers in een straatbeeld, van achtergrondoppervlakken, zoals muren. Maar daar werkt Hoiem aan. Over een jaar of misschien minder, kun je een foto maken van een steegje met allerlei auto's en mensen, en een 3D-model maken waarin die allemaal worden gezien als afzonderlijke 3D-objecten op de voorgrond, zegt hij.
Volgens Pishevar hebben zich zo'n 17.000 mensen aangemeld voor de wachtlijst voor de bètasoftware. Bezoekers kunnen hun eigen foto's uploaden en converteren naar 3D-modellen en ze opslaan in een galerijgebied, en Freewebs-leden kunnen de modellen in hun eigen webpagina's insluiten.
Pishevar zegt dat Freewebs Hoiem benaderde om zijn werk te commercialiseren, omdat het heel goed aansluit bij onze visie om de soorten persoonlijke media die op een visuele webpagina kunnen leven te transformeren. Het is een van die technologieën die de manier waarop je de dingen in de wereld ziet en wat je denkt dat mogelijk is, verandert.
Uiteindelijk zou het werk van Hoiem de manier kunnen veranderen waarop robots computervisie gebruiken om zich een weg te banen door met obstakels bezaaide omgevingen. Hoiem zegt dat hij en zijn collega's ook werken aan manieren om ingewikkelder 3D-modellen te maken door meerdere foto's van hetzelfde gebied te verwerken. Daarnaast werken ze aan het idee om 3D-scènes zoals drukke straten te animeren door te voorspellen in welke richting voetgangers en auto's zich zouden hebben bewogen in de enkele seconden na het klikken op de sluiter van de fotograaf.
Omdat de Fotowoosh-modellen voldoen aan een standaard 3D-formaat, VRML, kunnen ze gemakkelijk worden geïmporteerd in andere 3D-toepassingen, zoals modelleringssoftware; meeslepende virtuele werelden, zoals Second Life van Linden Lab; en virtuele wereldbolsystemen, zoals Google Earth en Microsoft Virtual Earth. De mogelijkheid om met een paar tweedimensionale foto's in deze werelden met textuur in kaart gebrachte 3D-gebouwen te maken, zou een grote vooruitgang zijn ten opzichte van de huidige methoden, waarbij een 3D-model wordt gemaakt van blauwdrukken of andere gegevens en vervolgens handmatig foto's op elke foto worden geplakt. kant. Dat is gewoon niet schaalbaar, zegt Pishevar. Maar als je mensen hebt die miljarden 3D-foto's van over de hele wereld uploaden ... dan zou je op het punt kunnen komen om applicaties te bouwen die de modellen gebruiken om automatisch landschappen van virtuele aardes in te vullen.
Pishevar zegt dat Freewebs uiteindelijk een applicatie-programmeerinterface of API zal bieden die softwareontwikkelaars kunnen gebruiken om precies zulke mashups te maken. Op de vraag of zijn bedrijf al in gesprek is met bedrijven als Google of Linden Lab, is Pishevar terughoudend: daar kunnen we op dit moment geen commentaar op geven.