211service.com
Camera met één pixel bereikt mijlpaal en bootst menselijk zicht na
Computational imaging ondergaat een revolutie. Dit is de discipline van het maken van afbeeldingen met behulp van computationele technieken in plaats van optische. De bekendste doorbraak is de mogelijkheid om beelden en films met een hoge resolutie op te nemen met een enkele pixel. Maar onderzoekers hebben het ook gebruikt om lensloze camera's, 3D-beeldvormingssystemen en meer te bouwen.
Tegenwoordig gaan ze nog verder met de techniek door deze te gebruiken om de manier waarop mensen de wereld zien na te bootsen. David Phillips van de Universiteit van Glasgow en een paar vrienden zeggen dat ze een manier hebben gevonden om een enkele pixel te gebruiken om afbeeldingen te maken waarin het centrale gebied in hoge resolutie wordt opgenomen en de periferie in lage resolutie. Dat bootst precies dierlijke visiesystemen na waarin het netvlies een centraal gebied met hoge gezichtsscherpte heeft, de fovea genaamd, omringd door een gebied met een lagere resolutie.
Het team heeft zelfs laten zien hoe het foveated gebied kan worden verplaatst om objecten binnen het gezichtsveld te volgen. De techniek heeft het potentieel om de manier waarop veel beeldvormingssystemen in de toekomst werken te veranderen.
Eerst wat achtergrond. Een beeldvormingssysteem met één pixel registreert licht van een scène op een enkel punt. Dit licht moet op de een of andere manier willekeurig worden verdeeld, bijvoorbeeld door het door mat glas te laten gaan of het te weerkaatsen door een microspiegelarray die willekeurig is gerangschikt.
Het is gemakkelijk om te denken dat er weinig kan worden gewonnen door op deze manier willekeurig licht op te nemen. De truc is natuurlijk om op deze manier veel afbeeldingen van één pixel te maken. Hoewel elk datapunt een willekeurig lichtmonster lijkt te zijn, zijn opeenvolgende datapunten gecorreleerd omdat ze reflecties zijn van dezelfde scène.
De truc achter computationele beeldvorming is dus om een datamining-algoritme te gebruiken om de correlatie tussen opeenvolgende afbeeldingen te vinden. Een beetje rekenwerk kan dan de originele scène nabootsen.
Het blijkt dat dit relatief eenvoudig is, op voorwaarde dat het licht van de scène elke keer dat de pixel het opneemt op de juiste manier willekeurig wordt verdeeld. De resolutie van het uiteindelijke beeld hangt dan af van het aantal gegevenspunten dat is gebruikt om het te maken.
Met andere woorden, elk gegevenspunt kan worden beschouwd als een opname van een pixel in het uiteindelijke beeld. Het is dit idee dat Phillips en co in staat stelt om de resolutie in een afbeelding te variëren.
Deze jongens gebruiken een digitale microspiegelarray om het licht van een scène willekeurig te verdelen en hun lichtdetector met één pixel te bereiken. Maar ze zijn ook in staat om de resolutie van de randomisatie in deze array te controleren. Ze kunnen dus randomisatie met hoge resolutie gebruiken in delen van de scène om de resolutie van het uiteindelijke beeld te verhogen. Dit is de foveated afbeelding
Hun microspiegelarray kan zo'n 10.000 willekeurige patronen per seconde weergeven, waardoor ze afbeeldingen van 32 x 32 pixels kunnen genereren met een snelheid van ongeveer 10 per seconde.
Om te beginnen zijn de pixels vierkant en even groot in elke afbeelding van 32 x 32. Maar een foveated afbeelding heeft kleinere, dichter opeengepakte pixels in het midden en grotere pixels in de periferieën.
Phillips en co bereiken dit door het licht van de scène willekeurig te verdelen met een hogere resolutie in het midden van het beeld.
En de resultaten zijn indrukwekkend. Het team laat zien hoe de resulterende afbeeldingen in het midden duidelijk een hogere resolutie hebben. We hebben aangetoond dat de gegevensverzamelingscapaciteit van een computergestuurd beeldvormingssysteem met één pixel kan worden verbeterd door de adaptieve, foveated visie na te bootsen die wijdverbreid is in het dierenrijk, zeggen ze.
Maar ze laten ook zien hoe het mogelijk is om de fovea te verplaatsen om interessante objecten van het ene beeld naar het andere te volgen. Ze laten zelfs zien hoe het mogelijk is om twee fovea in één afbeelding te hebben om twee verschillende objecten te volgen, waardoor de techniek verder gaat dan de mogelijkheden van de dierenwereld. En ze demonstreren de techniek met zowel zichtbaar als infrarood licht.
Dat is interessant werk met een aantal belangrijke potentiële toepassingen. Het meest voor de hand liggend is voor beeldvormingssystemen waarin pixelarrays niet praktisch zijn. Enkele pixels zijn bijvoorbeeld beschikbaar voor terahertz-frequenties, maar pixelarrays niet.
Maar de techniek is meer algemeen toepasbaar. In alle beeldvormingssystemen is er een afweging tussen resolutie en framesnelheid. Met deze techniek kan deze afweging in een oogwenk worden geoptimaliseerd en kan de aandacht worden gericht op de delen van een afbeelding die het meest interessant zijn.
Dat zou veel krachtiger kunnen worden gemaakt door het te combineren met andere machine vision-technieken. Algoritmen beginnen beter te presteren dan mensen in taken, zoals gezichts- en objectherkenning.
Mensen en dieren presteerden al lang beter dan machines in zichttaken. Maar met dit soort technieken zal dit meesterschap niet lang meer duren.
Referentie: arxiv.org/abs/1607.08236 : Adaptieve Foveated Single-Pixel Imaging met Dynamic Super-Sampling