211service.com
Algoritmen kunnen van elke scène een stripverhaal maken
Strips hebben de vorm van een reeks stilstaande beelden die samen een verhaal vertellen. De afbeeldingen zijn vaak sterk gestileerd en de grafici worden bewonderd om hun vakmanschap.
Maar dit soort kunst is moeilijk te leren en moeilijk te perfectioneren, waardoor het tijdrovend en duur is om te produceren. Dus artiesten, uitgevers en lezers zouden dol zijn op een geautomatiseerde manier om een afbeelding een gewenste stripstijl te laten imiteren.
Zo'n algoritme blijkt al te bestaan. In 2015 ontdekte een groep onderzoekers in Duitsland een manier om de artistieke stijl van het ene beeld op het andere over te brengen. Sindsdien hebben anderen deze aanpak gestaag verbeterd om het sneller en nauwkeuriger te maken.
Van links naar rechts: de originele grafische afbeelding, de doelafbeelding en de resulterende gestileerde afbeelding
Het werk was tot nu toe echter gericht op het overbrengen van de stijl van beeldende kunstenaars zoals Picasso en Van Gogh naar andere afbeeldingen, of het veranderen van gewone afbeeldingen op manieren zoals het veranderen van de nacht in dag. Hoe goed werken deze algoritmen met de vaak meer gestileerde beelden van striptekenaars?
Vandaag krijgen we een antwoord dankzij het werk van Maciej Pęśko en Tomasz Trzciński aan de Technische Universiteit van Warschau in Polen. Deze jongens hebben verschillende soorten overdracht van beeldstijlen toegepast op stripafbeeldingen en de resultaten vergeleken.
Eerst wat achtergrond. Deze benadering begon met het werk van Leon Gatys aan de Universiteit van Tübingen en een paar vrienden, die de manier bestudeerden waarop diepe neurale netwerken artistieke stijl vastlegden en analyseerden. Deze netwerken bestaan uit lagen die elk een afbeelding op een ander niveau analyseren: details zoals vormen, kleuren en lijnen.
Het belangrijkste inzicht achter het werk van Gatys en co is dat artistieke stijl niet wordt vastgelegd in de lagen zelf, maar in de correlaties ertussen. Dat maakt het meteen mogelijk om de stijl van een kunstenaar te scheiden van de inhoud van de kunst, en zelfs om deze over te dragen van het ene beeld naar het andere.
En dat is precies wat Gatys en co deden, tot wijdverbreide verbazing van de computer vision-gemeenschap. Dit werk is de basis geworden van een nieuwe subdiscipline van computervisie, bekend als neurale stijloverdracht.
Een probleem met de nieuwe aanpak is dat het rekenintensief is. Het kost veel tijd (enkele seconden voor afbeeldingen van 512 x 512 op moderne desktopcomputers) om een foto te analyseren, de stijl te verwijderen en die stijl op een andere scène toe te passen.
Dus gingen computerwetenschappers op zoek naar verschillende benaderingen die de taak sneller konden uitvoeren. En inderdaad kwamen ze met verschillende algoritmen die een soortgelijk werk doen. Er is echter een afweging tussen snelheid en kwaliteit.
Voer Pęśko en Trzciński in. Deze jongens hebben een breed scala aan neurale stijloverdrachtalgoritmen getest op de specifieke taak van het overbrengen van de grafische stijlen die verband houden met strips. Dit is de eerste poging om de resultaten te evalueren en te vergelijken die zijn verkregen door verschillende methoden in de context van het overbrengen van komische stijl, zeggen ze.
Ze richten zich specifiek op de snelste technieken die het potentieel hebben om aan elk grafisch beeld te werken. We richten ons vooral op methoden waarvan de uitvoeringstijd per afbeelding niet langer is dan 2 seconden, zeggen ze.
Op deze manier hebben ze vijf verschillende algoritmen getest op afbeeldingen van 600 x 450 pixels die zijn verwerkt met een 12 gigabyte Titan X grafische verwerkingseenheid. Ze selecteerden afbeeldingen die verschillende stripstijlen vertegenwoordigen en brachten deze over naar afbeeldingen die willekeurig werden gekozen uit een Google-zoekopdracht voor afbeeldingen.
Ten slotte lieten ze de resultaten aan 100 mensen zien om te evalueren hoe goed de algoritmen de stijloverdracht bereikten.
De resultaten tonen de stand van de techniek op dit gebied. Het als beste beoordeelde algoritme is een techniek die bekend staat als adaptieve instantienormalisatie en is ontwikkeld in 2017, met ongeveer 30 procent van de stemmen in het voordeel. Het bevestigt onze aannames dat deze methode resultaten oplevert die qua stilistische gelijkenis het dichtst bij cartoon of stripverhaal liggen, aldus Pęśko en Trzciński.
De resultaten zijn echter zeker niet perfect. Alle technieken hebben tot op zekere hoogte last van problemen zoals ongepaste kleuroverdracht en vervaging. Volgens de onderzoekers is er volgens ons nog ruimte voor verbetering.
Dat vertegenwoordigt een kans. Alleen al in de VS is de stripmarkt een waarde van 1 miljard dollar per jaar. En er zijn veel delen van de wereld die hun eigen cultuur rond strips nog moeten ontwikkelen, zoals India. Er zijn dus markten die het potentieel hebben om te groeien.
De mogelijkheid om komische afbeeldingen van hoge kwaliteit te maken, zal een groot verschil maken voor iedereen die die markten wil veroveren.
Er is echter nog een ander probleem: de uitdaging om krachtige personages en meeslepende verhaallijnen te ontwikkelen. Neurale netwerken kunnen daar niet bij helpen … althans, nog niet.
Referentie: arxiv.org/abs/1809.01726 : Neurale overdracht van komische stijl: casestudy