Hoe een smartphonecamera te modificeren zodat deze een miljoen frames per seconde maakt

xiaojie2020

In de jaren dertig begon een jonge elektrotechnisch ingenieur genaamd Harold Edgerton te experimenteren met elektronische flitsfotografie aan het MIT. Hij gebruikte het om de actie van alledaagse voorwerpen, zoals een stroom water, een exploderende ballon en een kogel die een appel raakt, te bevriezen.

Edgerton ging verder met het pionieren van een breed scala aan enkele en multiflash-technieken (evenals vele andere beeldvormingstechnieken). Veel hiervan zijn nu standaard beschikbaar op populaire camera's en smartphones.

Sindsdien zijn de sluitertijden hoger geworden. Sommige iPhones kunnen afzonderlijke foto's maken met een sluitertijd van 1/10.000ste van een seconde. Gespecialiseerde camera's kunnen beelden opnemen met een snelheid van 40.000 per seconde. Maar dit soort uitrusting is complex en duur, dus deze technieken zijn voor de meeste mensen ontoegankelijk.

Vandaag lijkt daar verandering in te komen dankzij het werk van Sam Dillavou van Harvard University en een paar collega's, die een techniek hebben ontwikkeld waarmee gewone elektronische camera's en smartphones beelden kunnen opnemen met een adembenemende snelheid van miljoenen frames per seconde.

Eerst wat achtergrond. Moderne camera's gebruiken elektronische pixels om het licht dat erop valt vast te leggen. Deze pixels registreren de intensiteit, meestal op een schaal van 16 niveaus. Dit wordt bepaald door het bitniveau van pixels. Dus tijdens een belichting kan elke pixel 14 grijstinten tussen zwart en wit opnemen.

Maar voor veel soorten beeldvorming is dit detailniveau niet nodig - het enige dat nodig is, is een eenvoudige zwart-witafbeelding. In dat geval is het extra grijze detail overbodig.

Dat bracht Dillavou en collega's op het idee om afzonderlijke afbeeldingen uit elkaar te halen in meerdere kortere belichtingen.

Hier is hoe. Stel je een witte muur voor, bedekt met een zwart gordijn. Open nu het gordijn van links naar rechts om de muur te onthullen en leg de beweging in één opname vast.

Tijdens de belichting leggen de pixels aan de linkerkant van het beeld eerst het zwarte gordijn vast, maar daarna de witte muur terwijl het gordijn over het frame beweegt. Dit komt gemiddeld uit op een lichtgrijs.

Pixels die de rechterkant van het beeld opnemen, zien daarentegen het zwarte gordijn voor het grootste deel van de belichting. Pas aan het einde van de belichting wordt de witte muur onthuld. Het gemiddelde is dan donkergrijs.

Evenzo zullen de pixels in het midden van de afbeelding een middengrijs opnemen. En het uiteindelijke beeld verschijnt als een gegradueerd grijs, dat de beweging van het gordijn vertegenwoordigt.

De kerngedachte van Dillavou en collega's is dat dit ene beeld kan worden gezien als zoveel zwart-witfoto's van het bewegende gordijn die op elkaar zijn geplaatst. Het aantal afbeeldingen dat uit een enkele afbeelding kan worden gehaald, hangt inderdaad af van het aantal bitniveaus dat de pixels opnemen.

Gewapend met dit inzicht ontwikkelden ze een wiskundige techniek om deze beelden uit een enkel beeld te extraheren, een idee dat ze de virtual frame-techniek noemen. In dit geval kan het 16 afbeeldingen maken van het gordijn dat over de muur beweegt.

Deze techniek heeft het potentieel om van bijna elke elektronische camera een supersnel wonder te maken. Het team heeft het getest door de virtuele frames te vergelijken met die van een hogesnelheidscamera die met 40.000 frames per seconde opneemt.

Ze plaatsten een uitgerekt rubberen vel voor een bundelsplitser die het licht naar beide camera's stuurde, zodat beide hetzelfde zicht op het vel hadden. Het team stelde de verlichting zo in dat het rubberen vel zwart leek terwijl de achtergrond wit leek. Ze gebruikten een scalpel om het rubberen vel te kerven en registreerden de manier waarop het scheurde met beide camera's terwijl de breuk over het vel raasde.

Ten slotte gebruikte het team de virtuele frametechniek om beelden met een hoge framesnelheid te extraheren en deze te vergelijken met die van de hogesnelheidscamera die opnamen maakte met 40.000 frames per seconde. Een video van deze vergelijking is hier te downloaden .

De resultaten laten zien dat de virtual frame-techniek een enorm potentieel heeft. Ten eerste laten beide sets afbeeldingen een soortgelijk breukproces zien, wat de verdienste van de aanpak bevestigt. Maar het heeft ook een aantal belangrijke voordelen. Het neemt 1,3 megapixels op in elk beeld, vergeleken met de 60 kilopixels van de standaardcamera. Dit vergroot het gezichtsveld en daarmee de afstand waarover de breuk kan worden geregistreerd aanzienlijk.

De virtuele framesnelheid is ook veel sneller. De effectieve framesnelheid die wordt bereikt met behulp van [de virtuele framingtechniek] is 1 MHz, zeggen Dillavou en co.

Ze gaan verder met het bestuderen hoe het toepassen van de nieuwe techniek op verschillende camera's hun framesnelheden verhoogt. De cijfers zijn eye-openers. De Nikon D850 neemt bijvoorbeeld virtuele frames op op 16 MHz met behoud van een resolutie van meer dan 50 Mpx, zeggen ze. Zelfs een iPhone X kan met deze techniek tot een miljoen frames per seconde opnemen.

Er is weinig reden om aan te nemen dat dit niet gemakkelijk kan worden beheerd, aangezien alle verwerking later wordt gedaan. Deze verbeterde virtuele framesnelheid vereist geen verandering in de werking van de camera, zegt het team.

Er zijn echter enkele belangrijke beperkingen aan de soorten verschijnselen die op deze manier kunnen worden geregistreerd. Ten eerste moet het object van belang zwart zijn tegen een witte achtergrond (of omgekeerd). Alle grijstinten in de scène zullen de resultaten verpesten.

En het fenomeen zelf moet zijn wat Dillavou en co monotoon noemen. Met andere woorden, elke verandering tijdens een belichting moet van zwart naar wit (of vice versa) gaan, maar niet weer terug. In het voorbeeld met gordijn werkt de virtuele frametechniek als het gordijn in één richting beweegt, maar niet als het heen en weer beweegt.

Desalniettemin is de virtuele frametechniek een belangrijke vooruitgang voor fotografie. Het heeft het potentieel om van de smartphonecamera in je achterzak een hogesnelheidsrecorder te maken, waarvan zelfs Doc Edgerton indruk zou hebben gemaakt.

Referentie: arxiv.org/abs/1811.02936 : Virtual Frame Technique: Ultrasnelle beeldvorming met elke camera

zich verstoppen