211service.com
Het algoritme dat gebroken beelden ontcijfert
Breng een hamer naar een spiegel en je breekt zowel het beeld dat het produceert als het glas. Blijf breken en het beeld wordt meer gebroken. Als de stukjes glas zo groot zijn als glitter, zijn de reflecties willekeurig en is het beeld onherkenbaar.
Het is gemakkelijk voor te stellen dat het reconstrueren van dit beeld bijna onmogelijk zou zijn. Niet zo, zeggen Zhengdong Zhang en vrienden van het Massachusetts Institute of Technology in Cambridge. Vandaag onthullen deze jongens SparkleVision, een beeldverwerkingsalgoritme dat de verpletterde beelden weer in elkaar zet.
Het probleem dat Zhang en co aanvallen is om de inhoud van een afbeelding te berekenen die wordt weerspiegeld op een scherm dat bedekt is met glitter. De aanpak is om de glitter te fotograferen en vervolgens de resulterende afbeelding te verwerken op een manier die de afbeelding ontcijfert.
Het blijkt dat er een eenvoudige manier is om dit aan te pakken. Zhang en co beschouwen elk stukje glitter als een willekeurig georiënteerde microspiegel. Het licht van de foto valt dus op een microspiegel en wordt gereflecteerd naar een sensor in de camera.
Dat betekent dat er een eenvoudige mapping is van elke pixel in de originele foto naar een sensor in de camera. De taak is om die mapping voor elke pixel te bepalen. Er bestaat een voorwaartse scrambling-matrix, en in principe kunnen we de inverse ervan vinden en het beeld ontcijferen, zeggen ze.
Om deze ontcijferende matrix te vinden, schijnen Zhang en co een set testbeelden op het glitterscherm en leggen vast waar de pixels in het originele beeld in de camera terechtkomen.
Hieruit kunnen ze een algoritme maken dat elk ander beeld decodeert dat op precies dezelfde plek als de testbeelden is geplaatst. Ze noemen dit algoritme SparkleVision.
Dat is een handig stukje software dat interessante toepassingen zou kunnen hebben bij het ophalen van afbeeldingen die worden weerkaatst door glitterachtige oppervlakken zoals bepaalde soorten gebladerte, natte oppervlakken, metalen enzovoort.
En Zhang en co hopen de software nuttiger te maken. In zijn huidige vorm kan de software alleen afbeeldingen decoderen die op de exacte locatie van de testafbeeldingen zijn geplaatst. Maar in theorie zouden de testbeelden voldoende gegevens moeten opleveren om beelden van elk deel van het lichtveld te ontcijferen. Zo zou ons systeem natuurlijk kunnen worden uitgebreid om te werken als een lichtveldcamera, zeggen ze.
Het werk maakt deel uit van een groeiend lichaam dat momenteel een revolutie teweegbrengt in fotografie en beeldverwerking. Andere onderzoekers hebben uitgewerkt hoe beelden van allerlei vervormde reflecties en oppervlakken kunnen worden ontcijferd, soms zelfs zonder lenzen.
Deze zogenaamde willekeurige camera's breiden de mogelijkheden van opticaspecialisten drastisch uit. En SparkleVision lijkt zijn plaats tussen hen in te nemen.
Referentie: http://arxiv.org/abs/1412.7884 : SparkleVision: de wereld zien door willekeurige spiegelende microfacetten