211service.com
Machine-Vision-algoritme leert handgetekende schetsen om te zetten in fotorealistische afbeeldingen
Het tekenen van een nauwkeurige schets van iemands gezicht is een kunst die voor de meeste mensen moeilijk te beheersen is. Maar voor computers blijkt het relatief eenvoudig te zijn. Er bestaan verschillende programma's om afbeeldingen om te zetten in lijntekeningen. Dat levert vaak een behoorlijke start op, al kunnen deze systemen moeite hebben met schaduwpartijen en hoog contrast.
Een meer veelbelovende benadering is het gebruik van algoritmen voor machinevisie die afhankelijk zijn van neurale netwerken om kenmerken uit een afbeelding te extraheren en deze te gebruiken om een schets te maken. Op dit gebied zijn machines begonnen te wedijveren met mensen en zelfs beter te presteren dan mensen bij het maken van nauwkeurige schetsen.
Maar hoe zit het met het omgekeerde probleem? Dit begint met een schets en heeft tot doel een nauwkeurige kleurenfoto van het originele gezicht te maken. Dat is duidelijk een veel moeilijkere taak, zozeer zelfs dat mensen het zelden proberen.
Nu hebben de machines dit probleem gekraakt. Vandaag hebben Yagmur Gucluturk, Umut Guclu en vrienden van de Radboud Universiteit in Nederland een neuraal netwerk geleerd om handgetekende schetsen van gezichten om te zetten in fotorealistische portretten. Het werk is een zoveelste demonstratie van de manier waarop intelligente machines, en in het bijzonder neurale netwerken, de mens beginnen te overtreffen in een steeds grotere verscheidenheid aan taken.
Het Radboud-team begint met een dataset van 200.000 afbeeldingen van gezichten die van internet zijn gehaald. Deze zetten ze om in lijntekeningen, grijswaardenschetsen en kleurenschetsen, met behulp van standaard beeldverwerkingsalgoritmen. Dit creëerde een substantiële trainingsdataset om een diep convolutief neuraal netwerk met 11 lagen te leren de taak in omgekeerde volgorde uit te voeren: een schets omzetten in een fotorealistische kleurenfoto van een gezicht.
Na het net getraind te hebben, heeft het team het vervolgens uitgeprobeerd met behulp van een andere dataset. De taak voor het neurale net was om te beginnen met de schets en een fotorealistisch beeld te produceren.
De resultaten zijn indrukwekkend, vooral toen het neurale netwerk begon met lijntekeningen. We ontdekten dat het lijnmodel indrukwekkend presteerde in termen van het matchen van de haar- en huidskleur van de individuen, zelfs als de lijnschetsen geen kleurinformatie bevatten, aldus het team.
De reden lijkt duidelijk. Dit kan erop wijzen dat het model niet alleen gebruikmaakte van de luminantieverschillen in de schetsen om kleur af te leiden, maar ook kleureigenschappen kon leren die vaak worden geassocieerd met gezichtskenmerken op hoog niveau van verschillende etniciteiten, suggereren ze.
Vervolgens testte het team het neurale net op een geheel andere dataset met behulp van handgetekende schetsen die duidelijk op een geheel andere manier zijn gegenereerd dan waarop het net is getraind. Nogmaals, het model synthetiseerde fotorealistische gezichtsafbeeldingen, zeggen ze.
Het net was natuurlijk niet perfect. Het had met name moeite wanneer potloodstreken in handgetekende schetsen niet vergezeld gingen van arcering. Dit leidde tot minder realistische resultaten. Dit kan worden verklaard door het ontbreken van dergelijke kenmerken in de trainingsgegevens van het lijnschetsmodel, zeggen ze, eraan toevoegend dat deze tekortkoming gemakkelijk kan worden verholpen door in de trainingsset voorbeelden op te nemen die meer lijken op de tekenstijl van de schetskunstenaars, zeggen de Radboud-onderzoekers.
Ten slotte liet het team hun neurale netwerk de vrije loop door fotorealistische afbeeldingen van kunstenaars als Rembrandt en Van Gogh te maken op basis van geschetste zelfportretten die beide kunstenaars hadden gemaakt.
Dat is indrukwekkend werk dat laat zien hoe diepe neurale netwerken snel beter gaan presteren dan mensen in zichttaken. De voor de hand liggende onmiddellijke toepassing ligt in de forensische geneeskunde, waar nauwkeurige afbeeldingen van verdachten moeten worden gemaakt door politiekunstenaars.
En dit is slechts een van de vele manieren waarop deze machines hun suprematie laten zien. Machine-vision-algoritmen kunnen ook taken uitvoeren zoals het kopiëren en plakken van artistieke stijlen van de ene afbeelding naar de andere, nauwkeurig kleuren toevoegen aan afbeeldingen in grijswaarden en afbeeldingen met een lage resolutie omzetten in afbeeldingen met een hoge resolutie.
Dit alles is gebeurd in slechts een paar jaar ontwikkeling, en diepe neurale netwerken hebben nog veel verder te gaan. Het is moeilijk te voorspellen waartoe ze in staat zullen zijn over bijvoorbeeld een jaar.
Referentie: arxiv.org/abs/1606.03073 : Convolutionele schetsinversie