211service.com
Machine vision kan foto's in Harry Potter-stijl maken voor dreuzels
Chung-Yi Weng | youtube
in JK Rowling's Harry Potter-romans, magische foto's zijn vergelijkbaar met gewone, behalve dat de personages erin geanimeerd zijn; ze zwaaien, glimlachen of verdwijnen soms helemaal om andere zaken te doen.
Magische foto's zijn de creatie van Rowlings buitengewone verbeeldingskracht. Maar dankzij het werk van Chung-Yi Weng aan de Universiteit van Washington in Seattle en een paar vrienden kan zoiets binnenkort beschikbaar zijn voor gewone dreuzels. Deze mensen hebben een stukje software gemaakt met de naam Photo Wake-Up dat het centrale personage in een foto kan animeren terwijl de rest van het beeld onaangeroerd blijft.
Deze taak is gemakkelijker gezegd dan gedaan vanwege een belangrijk onopgelost probleem in de informatica. Dit is het probleem van de schatting van de lichaamshouding. Gegeven een tweedimensionaal beeld van een mens, is de vraag die machinevisie moeilijk kan beantwoorden: welke driedimensionale pose neemt de persoon aan?
Dat is moeilijk omdat lichamen gedeeltelijk kunnen worden afgesloten, vaak door andere lichaamsdelen, zoals wanneer iemand met gevouwen armen staat. Dat maakt het voor een machine moeilijk om de driedimensionale structuur uit een 2D-beeld te bepalen.
Een groot aantal computerwetenschappelijke teams heeft geprobeerd dit probleem aan te pakken. In dit werk gebruiken Weng en co een programma genaamd SMPL, ontwikkeld door een team van Microsoft en het Max Planck Institute for Intelligent Systems in Duitsland.
Dit begint met een 2D-uitsnede van een menselijk lichaam en legt een 3D-skelet op de vorm. Het skelet kan vervolgens worden geanimeerd om het gevoel van beweging te creëren. Dat lost het probleem van pose-inschatting op, zij het voor een beperkt aantal omstandigheden.
De code moet een kop-tot-teen uitsnijding van een lichaam van voren zien lijken. Het kan bepaalde soorten occlusie aan, zoals een arm voor het lichaam, maar kan niet meer complexe occlusies aan, zoals iemand die met gekruiste benen zit. Toch levert het in kaart brengen van de uitsnede van een foto op een 3D-skelet geen realistische animaties op.
Dat is waar Weng en co binnenkomen. Hun belangrijkste prestatie is het ontwikkelen van een manier om de 2D-uitsparing te vervormen op een manier die een realistisch 3D-model van het lichaam creëert. Onze belangrijkste technische bijdrage is dus een methode om een animeerbaar 3D-model te construeren dat overeenkomt met het silhouet in een enkele foto, zeggen ze.
In het verleden hebben computerwetenschappers geprobeerd dit probleem op te lossen door een driedimensionaal lichaamsvormig gaas te vervormen om de 2D-uitsparing weer te geven. Dat lukt niet altijd even goed, dus proberen Weng en co een andere aanpak.
Hun idee is om het lichaamsvormige gaas in 2D-ruimte in kaart te brengen en het vervolgens uit te lijnen met de 2D-uitsnede met behulp van een kromtrekkend algoritme. Dit identificeert specifieke delen van het lichaam - hoofd, rechterarm, rechterbeen, linkerarm, linkerbeen en romp - en vervormt elk op een manier die overeenkomt met de uitsparing.
Nadat ze de uitlijning in 2D hebben uitgevoerd, transformeren ze deze terug naar 3D. Deze 2D-warping-aanpak werkt goed voor het hanteren van complexe silhouetten, zeggen ze.
Het team besteedt speciale aandacht aan het hoofd, waar menselijke kijkers de neiging om zich op te concentreren. Nauwkeurigheid in hoofdhouding is belangrijk voor goede animatie, zeggen ze. Dus hun algoritme identificeert ook kenmerken zoals blikrichting en hoofdhoek, en gebruikt dit vervolgens om een precieze hoek te krijgen voor de body-mesh hoofdhouding.
Deze geautomatiseerde technieken zijn goed, maar ze zijn niet perfect. Daarom heeft het team ook een gebruikersinterface ontwikkeld waarmee iedereen de oriëntatie van het skelet ten opzichte van het lichaam kan veranderen. Hiermee kunnen gebruikers eventuele fouten corrigeren en de animatie verfijnen.
Het eindresultaat is een indrukwekkend soort geanimeerde foto. Het algoritme isoleert een menselijk lichaam op de foto, snijdt het uit het beeld en vult de leemte op met een patch-filling-algoritme. Vervolgens animeert het dit lichaam in drie dimensies om het uit de foto te laten lopen, rennen, springen of zwaaien, net zoals de magische foto's die Rowling zich voorstelde. Het algoritme werkt zelfs in augmented-reality-instellingen.
Onze methode werkt met een grote verscheidenheid aan full-body, redelijk frontale foto's, variërend van sportfoto's tot kunst en posters, zeggen ze. Het team heeft een video gemaakt waarin hun methode en resultaten worden getoond hier . Het is de moeite waard om te kijken!
Dat is interessant werk met potentieel om te entertainen en te informeren. Zoals Weng en co het zeggen: we geloven dat de methode mensen niet alleen nieuwe manieren biedt om van foto's te genieten en ermee om te gaan, maar ook een manier suggereert om een virtuele avatar te reconstrueren op basis van een enkele afbeelding en tegelijkertijd inzicht geeft in de stand van de techniek van de mens. modelleren van een enkele foto.
Zelfs Rowling zou zeker onder de indruk zijn.
Referentie: arxiv.org/abs/1812.02246 : Photo Wake-Up: 3D-personageanimatie van een enkele foto