211service.com
Nu leren AI-machines verhalen te begrijpen
Kunstmatige intelligentietechnieken veroveren de wereld stormenderhand. Vorig jaar onthulde het DeepMind-onderzoeksteam van Google een machine die zichzelf had geleerd om arcade-videogames te spelen . Eerder dit jaar demonstreerde een team van Chinese onderzoekers: een gezichtsherkenningssysteem dat beter presteert dan mensen , en vorige week onthulde de Chinese internetgigant Baidu een enkel spraakherkenningssysteem dat zowel Engels als Mandarijn Chinees kan transcriberen .
Twee factoren hebben dit mogelijk gemaakt. De eerste is een beter begrip van meerlagige neurale netwerken en hoe deze te verfijnen voor specifieke taken. De tweede is het creëren van de enorme databases die nodig zijn om deze netwerken te trainen.
Deze databases zijn enorm belangrijk. Voor gezichtsherkenning moet een neuraal netwerk bijvoorbeeld vele duizenden real-world afbeeldingen zien waarin gezichten vanuit alle hoeken, soms afgesloten, duidelijk zijn gelabeld. Dat vereist vele uren menselijke annotatie, maar dit is nu mogelijk dankzij crowdsourcing-technieken en webservices zoals Amazon's Mechanical Turk.
De snelle vooruitgang op dit gebied betekent dat veel van het laaghangende fruit snel wordt opgeruimd: gezichtsherkenning, objectherkenning, spraakherkenning, enzovoort. Het is echter veel moeilijker om databases te maken voor complexere redeneertaken, zoals het begrijpen van verhalen.
Vandaag begint dat te veranderen dankzij het werk van Makarand Tapaswi aan het Karlsruhe Institute of Technology in Duitsland en een paar vrienden, die een database hebben samengesteld over films die zouden moeten dienen als testarena voor deep learning-machines en hun vermogen om te redeneren over verhalen.
Het belangrijkste inzicht achter hun project is dat het vermogen om vragen over een verhaal of film te beantwoorden een belangrijke indicator is of het al dan niet is begrepen. Het doel van het onderzoek is dus om meerkeuzequizzen over films te maken die bestaan uit een reeks vragen en verschillende haalbare antwoorden, waarvan er slechts één correct is.
Hun aanpak is rechttoe rechtaan. Tapaswi en co beginnen met het verzamelen van samenvattingen van de plot van Wikipedia voor ongeveer 300 films. Deze variëren in detail van een enkele alinea tot meer dan 20 alinea's.
Ze koppelen dit aan de film zelf, wat een aanzienlijke hoeveelheid gegevens is. Een gemiddelde film is ongeveer twee uur lang en heeft meer dan 198K frames en bijna 2.000 shots, zeggen ze.
Films tonen duidelijk informatie die vragen kan beantwoorden van het type Wie heeft wat met wie gedaan? Maar ze bevatten niet altijd de informatie om vragen te beantwoorden over waarom dingen gebeuren, waarvoor soms extra kennis van de wereld nodig is.
Tapaswi en co halen dus ook informatie uit aanvullende databases. Ze ontginnen bijvoorbeeld beschreven videotekst voor blinden die is ontworpen om voldoende informatie te bevatten om te begrijpen wat er aan de hand is zonder het te zien; en ze ontginnen ook de originele filmscripts die vaak nuttig zijn, hoewel regisseurs ze niet altijd precies volgen.
Het team vroeg menselijke annotators vervolgens om de synopses voor elke film te lezen. Vervolgens moesten ze bij elke alinea die ze lazen een aantal vragen formuleren, samen met het antwoord. Gemiddeld schreven de annotators vijf vragen per alinea. Ze moesten ook een gedeelte van de tekst markeren dat het antwoord op elke vraag gaf.
Ten slotte vroegen Tapaswi en co de annotators om elke vraag en antwoord te lezen en vier verkeerde antwoorden te bedenken om een meerkeuzequiz te maken. De resulterende database bevat meer dan 7.000 vragen over 300 films.
De vragen vallen in verschillende categorieën. Hier zijn een paar voorbeelden (raad de films, als je kunt):
Persoonsnaam (wie)
Tot wie voelt Epps zich aangetrokken?
Wat is de bijnaam van Jeff Lebowski?
Redeneren (waarom)
Waarom wil Arwen in Middle Earth blijven?
Waarom is Bruce bang voor vleermuizen?
Samenvatting (wat)
Welke kracht bevat de groene essentie?
Wat was de voornaamste oorzaak van het ongeval, zoals ter terechtzitting uiteengezet?
Reden: actie (hoe)
Hoe brengt Kale de tijd door wanneer hij voor het eerst zijn huisarrest begint?
Hoe verslaat Hal Parallax?
Locatie (waar)
Hoe heet de sportschool waar de cd is achtergelaten?
Waar leidt Aragorn de Fellowship naartoe?
Actie (wat)
Wat doet WALL-E als hij denkt dat EVE is uitgeschakeld?
Wat doen Jane en Kevin een jaar na hun ontmoeting?
Object/Ding (wat)
Wat vindt de groep in de trollengrot?
Wat vernietigen de mannen die de Dude aanvallen in zijn huis?
Persoonstype (wat)
Wie is Daniël Klaver?
Wat is het beroep van Rachel Dawes?
Ja/Nee (is, doet)
Accepteert Madeleine geld voor haar werk voor Arthur Case?
Is de oudste zoon van Faramir Denethor?
Causaliteit (wat gebeurt er)
Wat doet Mark nadat Bridget hem heeft bezocht en hem om vergeving heeft gevraagd?
Wat gebeurt er tijdens Miley's date met Travis?
Deze zijn relatief eenvoudig voor mensen die een film hebben bekeken. Maar deze jongens testen de database op een paar eenvoudige machinegebaseerde strategieën voor het beantwoorden van vragen om te zien hoe goed ze het doen. Geen enkele doet het bijzonder goed, maar het gaat er natuurlijk om om toekomstige generaties van deze machines te helpen trainen die vermoedelijk beter zullen zijn.
Dat is een grote vraag. Een interessant punt is dat diepe neurale netwerken grote databases nodig hebben om te leren. En hoe complexer de taak, hoe groter de database moet zijn.
Een belangrijke vraag is dus hoe groot een database moet zijn om een deep learning-algoritme te trainen om vragen over films te beantwoorden. Dat is moeilijk te beantwoorden, zelfs binnen een orde van grootte.
Een belangrijk doel zal dus zijn om erachter te komen of deze database in de buurt van groot genoeg is om moderne AI-machines te helpen beperken terwijl ze leren deze taak uit te voeren. Daar komen Tapaswi en co snel achter.
Ondertussen stellen ze de database in het nieuwe jaar online beschikbaar op: http://movieqa.cs.toronto.edu/home/ . Mocht het AI-onderzoek niet lukken, dan moet het in ieder geval bruikbaar zijn voor pubquizzen.
Referentie: http://arxiv.org/abs/1512.02902 : MovieQA: Verhalen in films begrijpen door middel van het beantwoorden van vragen