211service.com
Algoritme kloont Van Goghs artistieke stijl en plakt deze op andere afbeeldingen, films
De aard van artistieke stijl is voor de meeste mensen een mysterie. Denk aan Vincent van Gogh's Sterrennacht , Picasso's werk over kubisme, of Edvard Munch's De Schreeuw . Ze hebben allemaal een krachtige, unieke stijl die mensen gemakkelijk herkennen.
Maar hoe zit het met machines? Diepe neurale netwerken zorgen voor een revolutie in de manier waarop machines de wereld herkennen en interpreteren. Machinevisie presteert nu routinematig beter dan mensen bij taken zoals object- en gezichtsherkenning, iets dat een paar jaar geleden ondenkbaar was.
Onlangs hebben deze apparaten de eerste voorzichtige stappen gezet om artistieke stijl te herkennen en zelfs te reproduceren. Hoe ver dit soort werk kan gaan, is niet duidelijk geweest. Is het bijvoorbeeld mogelijk om een artistieke stijl van één afbeelding naar een hele video te kopiëren en plakken, zonder artefacten te produceren die de visuele ervaring verpesten?
Tegenwoordig laten Manuel Ruder en vrienden van de Universiteit van Freiburg in Duitsland zien dat dit precies mogelijk is. Deze jongens nemen beroemde kunstwerken zoals Sterrennacht en De Schreeuw en hun stijl overbrengen naar een reeks videosequenties uit films zoals: Ijstijd en tv-programma's zoals Miss Marple. Het resultaat is een indrukwekkende weergave van video's en de mogelijkheid om dit in bijna elke denkbare stijl te doen.
Diepe neurale netwerken bestaan uit vele lagen die elk informatie uit een afbeelding halen en de overgebleven gegevens vervolgens doorgeven aan de volgende laag. De eerste lagen extraheren brede patronen zoals kleur en de diepere lagen extraheren geleidelijk meer details, wat objectherkenning mogelijk maakt.
De informatie die uit de diepere lagen wordt gehaald, is belangrijk. Het is in wezen de inhoud van een afbeelding minus de contextuele informatie zoals kleur, textuur, enzovoort. In zekere zin is het het computerequivalent van een lijntekening.
Vorig jaar begonnen Leon Gatys aan de Universiteit van Tübingen en een paar maatjes op deze manier artistieke stijl te studeren. Ze ontdekten dat het mogelijk is om artistieke stijl vast te leggen door niet naar de informatie in elke laag te kijken, maar naar de correlaties tussen lagen. Dus de manier waarop een kunstenaar een gezicht reproduceert, hangt samen met de manier waarop hij of zij een boom of een huis of de zon reproduceert. Het vastleggen van deze correlatie legt ook de stijl vast.
Maar hun belangrijkste ontdekking was dat de inhoud van een afbeelding volledig kan worden gescheiden van de artistieke stijl. Bovendien ontdekten ze dat ze deze artistieke stijl konden nemen en deze konden kopiëren en plakken op de inhoud van een andere afbeelding.
Ineens wordt het mogelijk om de abstracte stijl van een Kandinsky vast te leggen en op een foto van je kat te plakken. Dat is heel leuk. Maar het riep ook de vraag op in hoeverre deze techniek nog verder kan.
De voor de hand liggende volgende stap is om de artistieke stijl op opeenvolgende afbeeldingen te plakken om een video te maken. Maar dat levert meteen problemen op. Kleine verschillen tussen opeenvolgende frames kunnen leiden tot grote verschillen in de manier waarop de nieuwe artistieke stijl wordt toegepast. En dat maakt de video springerig en visueel onsamenhangend. Een bijzonder probleem zijn de randen van objecten als ze bewegen of verstopt raken.
Nu hebben Ruder en co dit probleem opgelost. Bij een artistiek beeld brengen we zijn specifieke schilderstijl over naar de hele video, zeggen ze.
Hun benadering is om een algoritme te gebruiken dat de afwijkingen tussen opeenvolgende verwerkte frames analyseert en grote verschillen voorkomt, maar dit te doen terwijl delen van een scène worden genegeerd die in beeld komen nadat ze zijn afgesloten. Dit stelt het proces in staat om niet-afgesloten gebieden en vervormde bewegingsgrenzen opnieuw op te bouwen, terwijl het uiterlijk van de rest van het beeld behouden blijft, zeggen ze.
De resultaten zijn indrukwekkend. Het team gebruikt zijn algoritme om de artistieke stijl van een aantal verschillende kunstwerken van Kandinsky, Picasso, Matisse, Turner en natuurlijk Munch en Van Gogh te extraheren.
Ze verwerkten elk nog steeds in de reeksen met een resolutie van 1024 x 436 op een Nvidia Titan X GPU met tegelijkertijd een parallelle verwerking op een CPU. Dit proces duurt om te beginnen ongeveer acht minuten per frame. Maar na optimalisatie zakt dit naar gemiddeld zo'n drie minuten per frame. Het hele proces is dus rekenintensief.
De beste manier om het resultaat te waarderen is door: Bekijk de video , een indrukwekkende verzameling sequenties uit een breed scala aan films, computeranimaties en tv-programma's.
Natuurlijk zijn er nog verbeteringen mogelijk. Het algoritme worstelt met zeer snelle of grote bewegingen tussen frames en het zou mogelijk moeten zijn om het proces verder te optimaliseren om de rekentijd te verminderen. Maar geen van deze problemen ziet eruit als showstoppers.
Het werk roept een interessante vraag op hoeveel verder deze techniek kan worden gebracht. U kunt zich bijvoorbeeld gemakkelijk apps voorstellen die dit in de cloud zouden kunnen doen terwijl u op uw smartphone filmt. Maar zou het ook mogelijk zijn om de stijl van? De Schreeuw in drie dimensies en verder in een virtuele realiteit? Het is moeilijk om redenen te bedenken waarom niet.
Dit alles luidt een geheel nieuwe benadering van filmmaken in, maar ook van kunst. Wanneer artistieke stijl een handelsartikel wordt dat van het ene beeld naar het andere kan worden geknipt en geplakt, wat betekent dat dan voor het werk van kunstenaars? Het is niet moeilijk voor te stellen hoe deze stijlen kunnen worden bewerkt of zelfs gecombineerd om hybriden te produceren.
Iemand zin in een Rubens-Picasso, een Warhol-Monet of een Burton-Bergman?
Referentie: arxiv.org/abs/1604.08610 : artistieke stijloverdracht voor video's