Het glanzende nieuwe speeltje van Microsoft

Tijdens de Technology, Entertainment, Design (TED)-conferentie van afgelopen maart in Monterey, CA, een top die is beschreven als Davos voor de digerati, begon de kalme software-architect van Microsoft zijn demonstratie abrupt en navigeerde hij snel over een zee van afbeeldingen die op een groot scherm. Met behulp van Seadragon, een technologie die een soepele, snelle verkenning van grote sets tekst- en afbeeldingsgegevens mogelijk maakt, dook hij moeiteloos in een kaart van 300 megapixels, waarbij hij inzoomde om een ​​datumstempel van de Library of Congress in een hoek te onthullen. Toen wendde hij zich tot een afbeelding die eruitzag als een streepjescode, maar in werkelijkheid de volledige tekst was van Charles Dickens' Bleek huis , inzoomen totdat twee scherpgerande gezette tekens het scherm vulden, voordat ze luchtig achteruit zoomden naar de gigantische quilt van tekst en afbeeldingen.

U bent hier: Photosynth, een applicatie in ontwikkeling bij Microsoft's Live Labs, biedt een meeslepende manier om foto's van een bepaald ding of een bepaalde plaats te bekijken. De software is nog niet vrijgegeven, maar Microsoft demonstreert het online met fotocollecties zoals deze van het San Marcoplein in Venetië.

Microsoft had vorig jaar Seadragon overgenomen, en daarmee presentator Blaise Agüera y Arcas. Maar Agüera y Arcas was niet alleen naar TED gekomen om met Seadragon te pronken. Al snel sneed hij naar een panorama dat aan elkaar was betegeld van foto's van de Canadese Rockies; het mozaïek verschoof terwijl hij eroverheen bladerde en onthulde een dramatische richel. Vervolgens kwam er een luchtfoto van wat een model van een bekend gebouw leek te zijn: de Notre Dame-kathedraal. Het model, legde Agüera y Arcas uit, was samengesteld uit honderden afzonderlijke afbeeldingen die op Flickr waren verzameld. Het was een puntenwolk - een reeks punten in de driedimensionale ruimte.

Dit verhaal maakte deel uit van ons nummer van maart 2008

• Zie de rest van het probleem
• Abonneren

Terwijl hij sprak, navigeerde Agüera y Arcas plagend rond de periferie van de Notre Dame, die herhaaldelijk tot leven kwam en weer dimde. Het effect van het razen door verschuivende beelden en brandpunten werd verzacht door subtiele overgangseffecten. Het voelde als een opzettelijk vertraagde spoel van frame-voor-frame animatie; het effect was schokkend. De menigte keek verwonderd toe hoe Agüera y Arcas dieper het vooraanzicht van de boog van het gebouw induwde, eindigend met een strakke close-up van een waterspuwer. Sommige van de afbeeldingen waarop de technologie was getekend, waren niet eens strikt fotografisch: het had op Flickr gezocht naar alle relevante afbeeldingen, inclusief een poster van de kathedraal. Wat Agüera y Arcas demonstreerde, was geen video, maar het was ook niet slechts een verzameling foto's, zelfs niet een gigantische. Het was ook als een kaart, maar dan een meeslepende kaart, geanimeerd door de droomlogica van vervagende vormen en verschuivende perspectieven.

Dit was Photosynth: een technologie die gerelateerde afbeeldingen analyseert en aan elkaar koppelt om fysieke omgevingen te creëren in een oogverblindende virtuele ruimte. De technologie creëert een metaverse, zei Agüera y Arcas (voor meer informatie over de ontluikende vermenging van kaarttechnologieën zoals Google Earth en de fantastische rijken van games zoals Second Life, zie Second Earth, juli/augustus 2007); maar het vormt ook de lange staart van Virtual Earth, de concurrent van Microsoft van Google Earth, vanwege zijn vermogen om te putten uit en bij te dragen aan de rijkdom aan lokale kaart- en afbeeldingsgegevens die online beschikbaar zijn. Het zou enorm rijke virtuele modellen kunnen opleveren van elk interessant deel van de aarde, zei hij, niet alleen verzameld van bovengrondse vluchten en van satellietbeelden enzovoort, maar ook uit het collectieve geheugen. Op dat moment eindigde de presentatie net zo abrupt als ze zo'n zes minuten eerder was begonnen. De slotverklaring van Agüera y Arcas werd met een daverend applaus ontvangen.

Multimedia

• Bekijk afbeeldingen van Photosynth en zie hoe het werkt.

• Bekijk Photosynth-foto's samenvoegen.

Beyond Image Stitching
Photosynth is ontstaan ​​uit wat Agüera y Arcas het huwelijk tussen Seadragon en Photo Tourism noemt, een Microsoft-project dat bedoeld is om een ​​revolutie teweeg te brengen in de manier waarop fotosets worden verpakt en weergegeven. Fototoerisme was begonnen als het proefschrift van Noah Snavely, een ijverige 26-jarige student aan de Universiteit van Washington. Een van de adviseurs van Snavely was Rick Szeliski, een onderzoeker op het gebied van computervisie bij Microsoft Research, de R&D-afdeling van het bedrijf. Ik beschreef de noodzaak van de goede elementen van een sterke diavoorstelling, zoals een geweldige compositie, herinnert Szeliski zich, wiens eerdere werk bij Microsoft had geholpen bij de ontwikkeling van de beeldnaadtechnologie die nu algemeen wordt gebruikt in digitale camera's om een ​​breder of groter frame te vullen. Hij zocht ook vloeibaarheid tussen beelden en een gevoel van interactiviteit bij het bekijken ervan.

In samenwerking met Szeliski en een professor aan de Universiteit van Washington, Steve Seitz genaamd, was Snavely van plan om een ​​weg vooruit te vinden door een rekenkundig onmogelijke uitdaging: hoe foto's op basis van hun overeenkomsten kunnen samenvoegen tot een fysiek 3D-model dat menselijke ogen zouden kunnen herkennen als onderdeel van een authentiek, echt landschap. Bovendien moet het een model zijn dat gebruikers ruimtelijk kunnen navigeren en ervaren. Bestaande software voor het naaien van foto's die in elektronische apparaten zoals digitale camera's wordt gebruikt, wist relaties tussen afbeeldingen af ​​te leiden uit de volgorde waarin ze waren genomen. Maar Snavely probeerde software te ontwikkelen die dergelijke beoordelingen op een totaal andere manier kon maken. Hij bedacht een proces in twee stappen: in de eerste stap identificeren we opvallende punten in alle 2D-beelden, zegt hij. Vervolgens proberen we erachter te komen welke punten in verschillende afbeeldingen overeenkomen met hetzelfde punt in 3D.

Het proces, zegt Snavely, wordt 'structuur uit beweging' genoemd. Kortom, een bewegende camera kan een 3D-structuur afleiden. Het is hetzelfde idee als wanneer je je hoofd heen en weer beweegt en een beter beeld krijgt van de 3D-structuur van waar je naar kijkt. Probeer een oog te sluiten en je hoofd heen en weer te bewegen: je ziet dat verschillende punten op verschillende afstanden anders zullen bewegen. Dit is het basisidee achter structuur vanuit beweging.

Computervisie, zoals Agüera y Arcas uitlegt, profiteert van een eenvoudige zekerheid: alle ruimtelijke gegevens zijn kwantificeerbaar. Elk punt in de ruimte heeft slechts drie vrijheidsgraden: x, y en z, zegt hij.

Kenmerken die door bepaalde foto's worden gedeeld, voegt hij eraan toe, helpen ze als soortgelijk te markeren: een opvallend gevormde straatsteen kan bijvoorbeeld herhaaldelijk verschijnen. Wanneer de software overeenkomsten herkent - de steen op deze foto komt ook op die foto voor - weet hij verdere overeenkomsten te zoeken. Het proces van het groeperen van afbeeldingen op basis van bijpassende visuele elementen komt zo op stoom totdat een heel pad opnieuw kan worden gecreëerd van die straatstenen. Hoe meer afbeeldingen het systeem start, hoe realistischer het resultaat, vooral als de originele foto's vanuit verschillende hoeken en perspectieven zijn genomen.

Dat komt omdat de tweede rekenoefening, zegt Snavely, is om afbeeldingen te vergelijken waarin gedeelde kenmerken vanuit verschillende hoeken worden weergegeven. Het blijkt dat het eerste proces het tweede helpt en ons informatie geeft over waar de camera's moeten zijn. We kunnen het gezichtspunt herstellen van waaruit elke foto is genomen, en wanneer de gebruiker een foto selecteert, wordt hij naar dat gezichtspunt gebracht. Door voor elk beeld een gezichtspunt te plaatsen – te berekenen waar de camera zich moet hebben bevonden toen de foto werd genomen – kan de software de manier waarop binoculair zicht werkt nabootsen, waardoor een 3D-effect ontstaat.

Zoals Szeliski echter wist, is het menselijk oog de meest wispelturige criticus. Dus probeerden hij en zijn twee collega's meer te doen dan alleen kleinere onderdelen tot een groter geheel te maken; ze werkten ook aan overgangseffecten die bedoeld waren om beelden zo naadloos mogelijk samen te laten komen. De technieken die ze verfijnden, omvatten het oplossen of vervagen, de karakteristieke methode waarmee film- en video-editors afbeeldingen mengen.

In een demo die de Trevifontein in Italië liet zien, bereikte Photo Tourism een ​​hoogdravende, rudimentaire versie van wat Photosynth zou produceren: een puntenwolk samengesteld uit afbeeldingen die verschillende perspectieven op één plek vertegenwoordigen. Indrukwekkender was het vermogen van de software om door banken met afbeeldingen gedownload van Flickr te bladeren op basis van beschrijvende tags - foto's die natuurlijk niet waren genomen om een ​​model te produceren. Het resultaat, herinnert Szeliski zich, was verrassend en fris, zelfs in de ogen van zijn veteraan.

Wat we hadden was een nieuwe manier om een ​​fotocollectie te visualiseren, een interactieve diavoorstelling, zegt Szeliski. Ik denk dat Fototoerisme om verschillende redenen verrassend was voor insiders en outsiders. De insiders waren verbijsterd door het meeslepende gemak van de ervaring. De buitenstaanders, zegt hij, konden nauwelijks geloven dat het überhaupt mogelijk was.

En toch had de applicatie Fototoerisme een onzekere toekomst. Hoewel het een technische openbaring was, ontwikkeld in Linux en in staat om op Windows te draaien, was het nog steeds een prototype, en de routekaart om het verder te ontwikkelen was onduidelijk.

In het voorjaar van 2006, toen Snavely Fototoerisme presenteerde op een interne Microsoft-workshop, liep Blaise Agüera y Arcas, toen een nieuwe medewerker, langs en merkte het op. Hij was onlangs gearriveerd dankzij de overname van zijn bedrijf Seadragon, dat een softwaretoepassing ontwikkelde die hij omschrijft als een virtuele 3D-geheugenbeheerder voor afbeeldingen. De oogstrelende aantrekkingskracht van Seadragon lag in het vermogen om gebruikers ongekende hoeveelheden visuele informatie te laten laden, doorbladeren en manipuleren, en de grote technische prestatie was het vermogen om dit via een netwerk te doen. (Het vermogen van Photosynth om met afbeeldingen van Flickr en dergelijke te werken, komt echter van technologie die zijn oorsprong vindt bij Fototoerisme.)

Agüera y Arcas en Snavely begonnen die dag te praten. In de zomer van 2006 werden demo's gepresenteerd. Het resulterende hybride product – deels Fototoerisme en deels Seadragon – aggregeert een groot cluster van soortgelijke afbeeldingen (of het nu foto's of illustraties zijn) en verweven ze tot een visueel 3D-model van hun werkelijke onderwerp. Het geeft zelfs driedimensionaliteit aan gebieden waar de 2D-foto's samenkomen. Elk afzonderlijk beeld wordt met perfecte getrouwheid gereproduceerd, maar in de overgangen ertussen vult Photosynth de perceptuele hiaten op die anders zouden voorkomen dat een verzameling foto's als onderdeel van een breder perspectief zou aanvoelen. En behalve dat het een visuele analoog is van een echte scène, is het gesynthetiseerde model volledig navigeerbaar. Zoals Snavely uitlegt, is de dominante navigatiemodus het kiezen van de volgende foto om te bezoeken, door op de bedieningselementen te klikken, en het systeem verplaatst het gezichtspunt automatisch in 3D naar die nieuwe locatie. Een zwervend oog is hiervoor een goede metafoor. De software herschept het gefotografeerde onderwerp als een plaats die vanuit elke gedocumenteerde hoek gewaardeerd kan worden.

De verbazingwekkende technische prestatie van Photosynth is als een konijn uit een hoed trekken: het produceert een levensechte 3D-interface van het 2D-medium fotografie. Dit is iets uit het niets, zegt Alexei A. Efros, een Carnegie Mellon-professor die gespecialiseerd is in computervisie. Het geheim, legt Efros uit, is de hoeveelheid foto's. Naarmate je meer en meer visuele gegevens krijgt, wordt de kwantiteit kwaliteit, zegt hij. En terwijl u verbazingwekkende hoeveelheden gegevens krijgt, begint het u dingen te vertellen die u voorheen niet wist. Dankzij verbeterde patroonherkenning, indexering en metadata kunnen machines driedimensionaliteit afleiden. Eerder dan we verwachten, zegt Efros, zal visie de primaire sensor zijn voor machines, net zoals het nu is voor mensen.

Microsoft demonstreert Photosynth online met fotocollecties zoals deze van het San Marcoplein in Venetië. De foto's in deze collectie zijn gemaakt door één fotograaf gedurende 10 dagen.
Krediet: met dank aan Microsoft Live Labs

Wat het zou kunnen worden
Het werk van Microsoft aan Photosynth is een voorbeeld van de strategie van het bedrijf voor de 100 man sterke Live Labs. Gedeeltelijk webgebaseerde skunk werkt, gedeeltelijk wervingsgrond voor propellerkoppen voor wie de moedermaatschappij niet goed past, wil Live Labs gedeeltelijk uitdagen wat mensen denken dat Microsoft inhoudt, zegt Gary Flake, een 40-jarige technische fellow die de oprichter en directeur van het lab is. Het meer directe doel is om webtechnologieën op de markt te brengen.

Flake's pitch over de Live Labs-cultuur is energiek, aangezien hij spreekt over zijn inspanningen om een ​​brug te slaan tussen onderzoekswetenschap en productengineering. Flake, die voor tal van onderzoeksorganisaties heeft gewerkt, waaronder het NEC Research Institute en Yahoo Research Labs, dat hij oprichtte en ook leidde, omschrijft dit als een uitdaging voor de hele sector. Bij Live Labs hebben we een bewuste hedgeportefeuille, legt hij uit. We hebben een zeer interessante mix van 40 verschillende projecten.

Flake is niet bereid om veel van zijn projecten in detail te bespreken, maar hij bruist van opwinding over zijn mandaat om meer DNA in de vorm van rauw talent binnen te halen. We willen de staat van internetproducten en -services creëren en verbeteren, zegt hij, maar hij spreekt ook hartstochtelijk over Live Labs-medewerkers als menselijke Rosetta-stenen die kunnen dienen als vertalers in een R&D-wereld waar ingenieurs en wetenschappers in feite vaak anders spreken talen.

Het Photosynth-project, zegt Flake, belichaamt het soort succes dat hij wil behalen door zijn inspanningen om de traditionele kloof tussen wetenschap en producttechnologie te overbruggen. Het vertegenwoordigt een serieuze vooruitgang van de stand van de techniek.

Momenteel is Photosynth alleen te zien in een online demo, maar het team van Agüera y Arcas hoopt het tegen het einde van het jaar uit te brengen. Wat iemand die het verwerft er daadwerkelijk mee kan doen, valt nog te bezien. Puntenwolken kunnen worden gemaakt van slechts twee of drie afbeeldingen, dus je kunt je voorstellen dat gebruikers relatief eenvoudige synths van hun eigen fotografie maken, bijvoorbeeld van een familie-uitstapje naar Mount Rushmore. (Natuurlijk kunnen mensen die Photosynth hebben veel meer foto's van een bepaalde plaats gaan maken, in het belang om later een rijke synth te kunnen maken.) Maar het kan ook zijn dat gebruikers gebruikmaken van online bibliotheken met foto's - die zullen waarschijnlijk naar een lokale computer moeten worden gedownload om hun eigen synths van zeer gefotografeerde sites te maken.

Toch is Photosynth meestal veelbelovend met weinig bewijs. Er zijn veel technische vragen over hoe gemakkelijk het zal zijn om te gebruiken en wat precies de mogelijkheden ervan zullen zijn. Ondanks de Linux-oorsprong van Photo Tourism, zal Photosynth in de nabije toekomst alleen Windows blijven.

En ondanks de onmiddellijke aantrekkingskracht van Photosynth, blijven ook de toepassingen onduidelijk. De wereld heeft geen andere beeldbrowser nodig, zelfs geen baanbrekende. Het lijkt zelfs nog onwaarschijnlijker dat gebruikers zouden betalen voor Photosynth in zijn huidige vorm. In de tussentijd zal het lot van Photosynth afhangen van de vraag of het een brede gebruikersgemeenschap kan opbouwen. Zal het nieuwe toepassingen krijgen voor degenen die het omarmen, zoals Google Earth heeft gedaan? Wat nog belangrijker is, zal Microsoft een eindproduct vrijgeven dat voldoende open is zodat een dergelijke gemeenschap andere toepassingen kan zoeken dan oorspronkelijk bedoeld?

Flake meldt dat het Photosynth-team tientallen mogelijke toepassingen heeft opgeroepen, waarvan er twee bijzonder waarschijnlijk lijken.

Een daarvan is om het vollediger te integreren met Microsoft Virtual Earth, waardoor het die tool wordt die gebruikers naar de volgende stap in diepe zoom brengt. Met Virtual Earth die topografie en luchtfotografie behandelt, terwijl Photosynth een schat aan terrestrisch fotografisch materiaal coördineert, zouden de twee toepassingen aanleiding kunnen geven tot een soort lichtgewicht metaverse, om de term te gebruiken die Agüera y Arcas aanhaalde bij TED.

Gezien de faciliteit van Photosynth met gebouwen en stadspleinen, voorziet Seitz ook een grote schaalvergroting. We willen hele steden veroveren, zegt hij. Inderdaad, Agüera y Arcas en Stephen Lawler, algemeen directeur van Microsoft's Virtual Earth-project, kondigden in augustus 2007 in Las Vegas, op de jaarlijkse hackersconventie Defcon, aan dat ze een partnerschap plannen. Zodra enkele relatief kleine technische hindernissen zijn genomen, zegt Seitz, is er niets dat ons ervan weerhoudt steden te modelleren.

Omdat mensen steeds grotere hoeveelheden digitale media maken en opslaan, kan Photosynth gebruikers zelfs in staat stellen hun familiefotoalbums te lifecasten. Stel je voor dat je je kinderen in je eigen huis zou kunnen zien opgroeien, zegt Flake, gewoon vanuit je fotocollectie.

Terwijl zulke ideeën doorsijpelen, zit het Photosynth-team nauwelijks stil. Afgelopen zomer hebben de onderzoekers een online demo-samenwerking met NASA uitgebracht en nu werken ze samen met het Jet Propulsion Lab om een ​​klein deel van het oppervlak van Mars te synthetiseren.

Je kunt je afvragen in hoeverre Microsoft bereid is dit soort geek-out te financieren. Aan de andere kant, zoals Agüera y Arcas en Flake retorisch vragen, hoe kan men een waarde hechten aan dit soort technische prestatie? Want hoewel Photosynth enigszins een duidelijk pad naar de markt lijkt te missen, lijkt het ook volledig te ontbreken in concurrentie.

Jeffrey MacIntyre is een freelance journalist die veel schrijft over cultuur, wetenschap en technologie.

zich verstoppen