211service.com
Het algoritme van Yahoo Labs identificeert creativiteit in 6-seconden Vine-video's
In januari 2013 trof een dienst voor het delen van video's met de naam Vine plotseling cyberspace. De dienst, eigendom van Twitter, was uniek omdat gebruikers video's van maximaal zes seconden mochten opnemen en delen. Maar binnen enkele maanden was het de populairste toepassing voor het delen van video's op internet en de meest gedownloade gratis app in de Apple Store.
De tijdsdruk heeft een interessante impact gehad op het creatieve proces: het heeft gebruikers gedwongen om hun verhaal in slechts zes seconden te vertellen. Dat heeft op zijn beurt geleid tot een geheel nieuw filmgenre dat nu zijn eigen zes seconden filmcategorie heeft op het Tribeca Film Festival in New York.
Het buitengewone succes van video's van zes seconden biedt een merkwaardige kans. Omdat de video's zo kort zijn, zijn ze relatief eenvoudig te analyseren met behulp van machine vision-algoritmen en audio-analysetechnieken. En dat roept een interessante vraag op. Kunnen deze geautomatiseerde technieken het verschil zien tussen video's van zes seconden die mensen als creatief beschouwen en video's die als niet-creatief worden beschouwd.
Vandaag krijgen we een antwoord dankzij het werk van Miriam Redi bij Yahoo Labs in Barcelona, Spanje, en een paar vrienden die crowdsourcing-technieken en machine-algoritmen hebben gebruikt om zo'n 4000 video's van zes seconden van de Vine-stroomlijn te analyseren. Hun resultaten suggereren dat machines redelijk goed onderscheid kunnen maken tussen creatieve en niet-creatieve inhoud, althans in het genre van zes seconden.
Het team begon met de verzamelde dataset door 1000 video's te kiezen die al waren gemarkeerd als creatief. Ze selecteerden nog eens 200 video's uit online artikelen over de creativiteit van Vine en doorzochten de inhoud die door de auteurs van deze inhoud werd geproduceerd om nog eens 2300 video's te vinden. Ten slotte kozen ze willekeurig nog eens 500 video's uit de Vine-stroomlijn.
De volgende taak was om te bepalen welke van deze video's creatief waren en welke niet-creatief. Om daar achter te komen, vroegen ze zo'n 300 crowdsourced vrijwilligers om naar de video's te kijken en de vraag te beantwoorden: is deze video creatief? met mogelijke antwoorden positief, negatief of weet niet. Elke video werd beoordeeld door vijf verschillende vrijwilligers.
Deze werknemers produceerden verrassend consistente resultaten. Ze waren het 100 procent eens over 48 procent van de video's. Met andere woorden, alle vijf de beoordelaars gaven dezelfde score aan bijna de helft van de video's. Hiervan waren ze het erover eens dat 25 procent creatief was. Om dit in perspectief te plaatsen, identificeerden de vrijwilligers slechts 1,9 procent van de 500 willekeurig gekozen video's als creatief, wat een achtergrondpercentage van creativiteit geeft.
Vervolgens analyseerden ze elke video met verschillende algoritmen. Ze zochten bijvoorbeeld naar compositorische kenmerken zoals de regel van derden en geringe scherptediepte. Ze gebruikten een algoritme voor het analyseren van de inhoud van videoscènes die de contouren en lay-out in een afbeelding bestuderen. Ze zochten ook naar enig bewijs dat de video's stop-motionanimaties waren of ontworpen om in een schijnbaar eindeloze lus te lopen door te zoeken naar overeenkomsten tussen het eerste en laatste frame. En ze beoordeelden de nieuwheid van elke video door de eigenschappen ervan te vergelijken met een willekeurig geselecteerde groep anderen.
Vervolgens zochten ze naar correlaties tussen de functies die werden gevonden door machine-algoritmen en de video's die door menselijke vrijwilligers als creatief werden geïdentificeerd. Het blijkt dat de inhoud van de scène het sterkst gecorreleerd is met creativiteit, gevolgd door compositorische kenmerken en nieuwe video's.
In een laatste stap trainden ze een machine learning-algoritme om deze functies te gebruiken om creatieve video's te vinden in een dataset die ze nog niet eerder hadden gezien. Dat algoritme was in staat om video's 80 procent van de tijd correct te classificeren als creatief of niet-creatief.
Dat is een interessant resultaat dat de mogelijkheid opent om de Vine-livestream automatisch te filteren op de meest creatieve inhoud. Dit stelt ons in staat om audiovisuele creativiteit op een fijnkorrelig niveau te bestuderen, wat ons helpt te begrijpen wat creativiteit in microvideo's precies inhoudt, zeggen Redi en co.
En als een algoritme creativiteit nauwkeurig kan identificeren, waarom zou een computer dan geen creatieve inhoud kunnen genereren? In feite kan het ontdekken van het verschil tussen door de mens geproduceerde creativiteit en door de computer gegenereerde creativiteit ooit een interessante Turing-test-achtige oefening zijn.
Referentie: arxiv.org/abs/1411.4080