Foto Toekomst

Op een zomerdag in 1826, op zijn landgoed ongeveer 340 kilometer ten zuidoosten van Parijs, zette Joseph Nicéphore Niépce zijn camera obscura op en projecteerde het beeld van zijn binnenplaats op een tinnen plaat bedekt met lichtgevoelig materiaal. Acht uur lang focuste de lens het licht van de zon, waardoor de gebieden waar het licht op de plaat viel chemisch werden gefixeerd om het zicht op een duiventil, een perenboom, een schuurdak en een verlengde vleugel van zijn huis vast te leggen. Voor deze prestatie wordt Niépce gecrediteerd met het maken van 's werelds eerste foto.

Tinnen en andere massieve platen maakten plaats voor flexibele filmrollen in 1889; kleurenfilm volgde in het midden van de jaren dertig. Halverwege de jaren negentig werden de eerste digitale kleurencamera's voor de massamarkt geïntroduceerd, die beelden vastlegden met lichtsensoren op een chip. Deze vooruitgang heeft geleid tot goedkopere, kleinere, meer draagbare camera's die levendige beelden kunnen produceren. Maar op het meest fundamentele niveau zijn camera's niet significant gewijzigd, zegt Ramesh Raskar, universitair hoofddocent en leider van de Camera Culture-groep bij het MIT Media Lab. Het fysieke apparaat zelf is de afgelopen 100 jaar nauwelijks veranderd, zegt hij. Je hebt een vergelijkbare lens, een vergelijkbare doos die het menselijk oog nabootst. Afgezien van het feit dat het goedkoper, sneller en handiger is, is fotografie niet zoveel veranderd.

Dit verhaal maakte deel uit van ons nummer van mei 2009

• Zie de rest van het probleem
• Abonneren

Raskar hoopt echter dat hij en anderen aan het MIT en over de hele wereld een revolutie in de fotografie kunnen ontketenen. Onderzoekers in een vakgebied dat computationele fotografie wordt genoemd, heroverwegen digitale camera's om beter te profiteren van de computers die erin zijn ingebouwd. Ze stellen zich een dag voor waarop iedereen een camera met een kleine, goedkope lens kan gebruiken om het soort verbluffende foto's te maken die tegenwoordig alleen kunnen worden bereikt door professionele fotografen die geavanceerde apparatuur en software gebruiken, zoals Adobe Photoshop. In feite denken ze dat dergelijke camera's de meest geavanceerde technologieën van vandaag zouden kunnen overtreffen en wat leek op fundamentele limieten zouden kunnen worden overschreden.

Computerfotografie omvat zowel nieuwe ontwerpen voor optische componenten en camerahardware als nieuwe algoritmen voor beeldanalyse. Het doel, zegt Raskar, is om camera's te bouwen die kunnen vastleggen wat het oog ziet, niet alleen wat de lens en sensor kunnen vastleggen. Als je in een achtbaan zit, krijg je nooit een goede foto, zegt hij. Als je bij een geweldig diner bent, kun je nooit foto's maken waardoor het eten er smakelijk uitziet. Maar met computationele technieken konden camera's onscherpte elimineren van een momentopname die werd gemaakt tijdens een hobbelige rit in een pretpark. Dergelijke camera's kunnen ook de subtiele vormen en schaduwen van voedsel en de glimlach van mensen vastleggen bij weinig licht van een diner bij kaarslicht - zonder een lange belichtingstijd, die altijd wazige foto's oplevert, of het gebruik van een storende flitser.

Zijbalk: de reis van laboratorium naar markt

Bovendien zou computationele fotografie het voor amateurfotografen gemakkelijk kunnen maken om foto's te maken die tegenwoordig gespecialiseerde en tijdrovende nabewerkingstechnieken vereisen. Zelfs camera's voor mobiele telefoons, die goedkope vaste lenzen hebben, kunnen amateurs dezelfde controle over het scherpstellen geven als professionals hebben met een hoogwaardige spiegelreflexcamera (SLR).

Alle camera's werken op dezelfde basismanier: licht komt binnen via een focuslens en gaat door een diafragma. In een traditionele camera valt het licht op fotoreactieve chemicaliën op film of platen. In een digitale camera gaat het licht door kleurscheidende filters en komt terecht op een reeks fotosensoren, die elk een pixel vertegenwoordigen. Wanneer licht een fotosensor raakt, produceert het een elektrische stroom waarvan de sterkte de intensiteit van het licht weerspiegelt. De stroom wordt omgezet in digitale 1s en 0 s, die de processor van de camera (een computerchip) vervolgens omzet in het beeld dat wordt weergegeven op het voorbeeldscherm van de camera en wordt opgeslagen op een flashgeheugenkaart of een interne harde schijf.

Wanneer afbeeldingen worden vastgelegd als digitale stukjes informatie, kunnen ze door software worden verbeterd, waardoor er een hele nieuwe wereld van mogelijkheden ontstaat. De afgelopen 15 jaar, zegt Raskar, hebben onderzoekers gewerkt om ten volle te profiteren van die mogelijkheden, vooral door nieuwe beeldverwerkingsalgoritmen die ontleend zijn aan de traditioneel verschillende gebieden van computervisie en computergraphics. Met computervisie kan een camera objecten in een afbeelding analyseren en functies zoals de rand van een tafel uitkiezen. En de technieken van computergraphics bieden talloze manieren om een ​​digitaal beeld te manipuleren. Wanneer deze benaderingen worden gecombineerd in een camera waarvan de optische componenten zijn ontworpen met dergelijke algoritmen in gedachten, kun je verrassende dingen doen. U kunt bijvoorbeeld de lichtbron aanpassen nadat de foto is gemaakt, zodat een object dat vanuit de ene hoek wordt verlicht, vanuit een andere wordt verlicht. En je kunt zelfs achteraf nog de focus op een foto aanpassen.

Vecht tegen bewegingsonscherpte

Een van de meest overtuigende voorbeelden van wat computationele fotografie kan bereiken, is bewegingsinvariante fotografie, een slimme manier om onscherpte uit foto's van bewegende objecten te elimineren.

Blur is een proces dat informatie door elkaar gooit, zegt Frédo Durand, een universitair hoofddocent elektrotechniek en informatica aan het MIT, die heeft bijgedragen aan de ontwikkeling van dit idee. Pixels van een digitale afbeelding gedragen zich net als vierkanten op een dambord, zegt hij. Een snel bewegend zwart-wit dambordpatroon vervaagt tot grijs, een gemiddelde van de zwart-witte vierkanten. Maar als je precies weet hoe het dambord werd verplaatst, bijvoorbeeld door het rond een punt in het midden te draaien, of door het op en neer te schudden, dan kun je een wiskundige functie schrijven om de op beweging gebaseerde vervaging te beschrijven. Als u die functie eenmaal kent, kunt u deze omkeren om de vervaging te verwijderen.

Durand en zijn collega's - waaronder Anat Levin, een postdoctoraal onderzoeker, en Bill Freeman, een MIT-professor in de elektrotechniek en informatica - hebben een camera ontworpen die van dit principe kan profiteren om onscherpte te verwijderen uit een foto van een object dat in een rechte lijn, zoals een auto die over de weg rijdt. De sleutel is om iets contra-intuïtief te doen, zegt Durand: We create meer vervagen door de camera te bewegen tijdens de belichting.

De testcamera van de onderzoekers heeft een optisch systeem dat langs een rechte lijn heen en weer beweegt, waardoor het hele beeld wazig wordt. Vanwege de manier waarop de sensor heen en weer beweegt, zal er tijdens de belichting ten minste één moment zijn waarop de camera het gefotografeerde object perfect volgt, waardoor de camera nauwkeurige informatie over de visuele structuur van het object kan vastleggen, ongeacht de snelheid ervan. Met deze informatie kunnen de onderzoekers een vergelijking schrijven die de op beweging gebaseerde vervaging definieert - en vervolgens de snelheid uit die vergelijking elimineren. Door de vergelijking om te keren, kunnen ze een afbeelding reconstrueren zonder enige waas (zie Bewegingsonscherpte elimineren, p. M14) .

In deze camera, in tegenstelling tot een typisch model, is het niet de taak van de optica om direct het uiteindelijke beeld te vormen, zegt Durand. In plaats daarvan is het in zekere zin om de lichtstralen te schudden, dus wat door de sensor wordt geregistreerd, geeft ons toegang tot meer informatie.

Scherpstelling fijn afstemmen

Een van de ergernissen van mobiele telefoons en compactcamera's is dat ze de scherpstelregeling van de spiegelreflexcamera missen. Met een spiegelreflexcamera kan de lens worden verplaatst om te veranderen wat er in focus is. Door het diafragma aan te passen, kan een fotograaf een opname maken waarin een onderwerp op de voorgrond duidelijk is scherpgesteld, terwijl de achtergrond opzettelijk wazig is om storende elementen te verminderen. Spiegelreflexcamera's zijn echter duur en voor amateurs moeilijk te gebruiken. Onderzoekers op het gebied van computerfotografie proberen een eenvoudige camera voor mobiele telefoons met een vaste lens te ontwikkelen die het voor iedereen gemakkelijk maakt om dergelijke effecten te bereiken. Ze hopen ook fotografen de mogelijkheid te geven om te kiezen welke objecten ze scherp willen hebben nadat een foto is gemaakt.

Camera's zijn ontworpen om scherp te stellen op objecten binnen een bepaald bereik. Wanneer een camera is gericht op een bepaald object, concentreert de lens het licht dat van dat object weerkaatst op de sensorarray. Het licht dat wordt gereflecteerd door objecten die niet scherp zijn, bereikt nog steeds de sensoren, maar is niet geconcentreerd, wat resulteert in een wazig beeld. Als een camera niet perfect is scherpgesteld, zegt Durand, projecteert de lens punten van de scène op de sensor als schijven in plaats van punten.

Als de afstanden tussen de camera en objecten in een afbeelding bekend zijn, kan een algoritme op de afbeeldingsgegevens worden toegepast om de onscherpe delen van een afbeelding te verscherpen, waardoor de wazige lichtschijven worden omgezet in gefocuste punten. Conventionele camera's kunnen deze diepte-informatie echter niet zelf bepalen.

Om diepte-informatie uit een foto te halen, hebben Durand, Freeman en andere collega's een bestaande lens aangepast met een masker in de opening. In wezen is het masker een stuk karton dat een deel van het licht blokkeert om het uiterlijk van de onscherpe delen van de foto subtiel te veranderen. Durand legt uit dat de ongedifferentieerde onscherpte veroorzaakt door een gewone onscherpe lens niet genoeg aanwijzingen biedt om een ​​helder beeld te reconstrueren. Maar hun masker verandert deze uniforme waas in wat hij een rare maar gestructureerde puinhoop noemt. Strepen en andere ongebruikelijke kenmerken van het wazige beeld helpen de onderzoekers diepte-informatie te herstellen: dankzij de manier waarop het masker het licht in de cameraopening blokkeert, zal een object op 10 voet van de camera anders wazig zijn dan een object op vijf centimeter afstand. Omdat ze de vorm van het masker kennen, zijn de onderzoekers in staat geweest om de vervaging die bij elke diepte hoort wiskundig te definiëren, waardoor ze een algoritme konden bedenken dat dit ongedaan kan maken (zie foto's van conventionele en gecodeerde openingen en Diepte-informatie extraheren, p. M15) .

Een andere strategie om de focus te verbeteren, vooral bij een eenvoudige camera van een mobiele telefoon, is vergelijkbaar met de techniek van Durand om bewegingsonscherpte aan te pakken. Het grote diafragma van een spiegelreflexcamera geeft hem een ​​geringe scherptediepte (het bereik van afstanden vanaf de camera waar objecten scherp in focus lijken), wat het mogelijk maakt om op een specifiek onderwerp scherp te stellen en de achtergrond, de voorgrond of zelfs beide wijken, legt Raskar uit. Maar foto's die zijn gemaakt met gewone camera's van mobiele telefoons, die zeer kleine openingen hebben, lijken plat omdat alles eruit ziet alsof het op dezelfde afstand van de camera staat. Op de eerste IEEE International Conference on Computational Photography, die in april in San Francisco werd gehouden, presenteerde postdoc Ankit Mohan een paper dat hij samen met Raskar en anderen schreef, waarin hij een techniek beschrijft voor het simuleren van een lens met een groter diafragma. Ze demonstreerden hoe een camera met een vaste lens zo kan worden ontworpen dat zowel de lens als de sensor lichtjes bewegen tijdens de belichting. Door de snelheid en het bereik van de beweging te variëren, kunnen ze in feite de brandpuntsafstand en het diafragma wijzigen om te bepalen welk deel van de foto scherp is; de rest is met opzet wazig (zie Focusregeling voor camera's met vaste lens, p. M15) . Een dergelijke technologie zou een goedkope mobiele telefooncamera de focuscontrole van een spiegelreflexcamera kunnen geven.

Verlichting, perspectief aanpassen

Verbeterde scherpstelling is nog maar het begin; computationele fotografie kan mensen ook in staat stellen om de verlichting van een scène aan te passen, of zelfs het perspectief van de camera te veranderen, nadat een opname is gemaakt. Dit is het soort truc dat computervisie mogelijk maakt. Het is lastig als je computer het beeld alleen op het niveau van pixels begrijpt, zegt Freeman. Maar als je de computer inzicht kunt geven in dat beeld in termen van concepten op een hoger niveau, zoals verlichting of vorm, dan kun je de gebruiker de knoppen laten aanpassen die die hoeveelheden regelen.

Dit begrip op een hoger niveau komt van beeldanalyse-algoritmen waarmee een computer de componenten van een afbeelding kan zien. Een algoritme kan bijvoorbeeld identificeren welke componenten van de afbeelding het gevolg zijn van de kleur van het oppervlak van een object en welke het gevolg zijn van de modulatie van licht dat door de vorm wordt gereflecteerd. Zodra dat bekend is, kan een gebruiker de kleur van het oppervlak en de lichteffecten onafhankelijk aanpassen. Het doel is om een ​​systeem te bouwen dat bijvoorbeeld kan identificeren waar de rand van een donker stuk prime rib eindigt en de schaduw die het op een plaat werpt begint.

Dergelijke technieken, zegt Raskar, zouden details kunnen onthullen, zoals subtiele gezichtsuitdrukkingen, die voorheen door schaduwen werden verdoezeld. Kortom, camera's zullen de essentie van een scène beter kunnen vastleggen. Als je met een vriend over straat loopt, kun je in elk soort licht zijn en kun je zien hoe mooi deze persoon is, zegt hij. Op dit moment kan een foto dat niet. Maar computationele technieken verkleinen de kloof die het oog en de hersenen nog steeds van de camera scheidt. Over tien jaar, zegt hij, is dat misschien precies wat een foto kan doen.

zich verstoppen