Een nieuwe AI maakt originele videoclips van tekstaanwijzingen

Categorie: Kunstmatige intelligentie Geplaatst 26 februari

Een korte, getypte beschrijving van een scène is voldoende om deze software beeldmateriaal te laten maken.

Hoe het werkt: Wetenschap rapporten dat de AI twee neurale netwerken gebruikt: een om video te maken en een andere om te beoordelen of het realistisch is om de output van de eerste te verbeteren. We noemden dit soort AI's een van onze 10 baanbrekende technologieën van 2018.

Wat het doet: Eerst wordt het systeem getraind op beelden van activiteiten die zijn gelabeld met beschrijvingen als 'golfen op gras'. Het kan dan vergelijkbare scènes nabootsen met een stukje tekst. Bovendien kan het clips maken waarin verschillende concepten uit trainingsgegevens worden gecombineerd, zoals 'zeilen op sneeuw'.

Waarom het uitmaakt: Het automatisch genereren van video uit tekst kan ongelooflijk handig zijn, bijvoorbeeld voor het maken van enorme sets synthetische trainingsgegevens voor autonome auto's. Het kan ook leiden tot verontrustende nep-inhoud.

Maar: De clips zijn slechts 32 frames lang en 64x64 pixels groot. Ze zijn nog steeds niet helemaal overtuigend, en als ze groter worden gemaakt, daalt de nauwkeurigheid. Alles wat gerepareerd moet worden om een ​​handige tekst-naar-video-omzetter te bouwen.