211service.com
Zal kunstmatige intelligentie de ondertitelingswedstrijd winnen?
Wanneer gebruikers van sociale media foto's uploaden en er een onderschrift bij plaatsen, labelen ze niet alleen hun inhoud. Ze vertellen een verhaal, dat de foto's context en extra emotionele betekenis geeft.
NAAR paper gepubliceerd door Microsoft Research beschrijft een systeem voor het ondertitelen van afbeeldingen dat de unieke stijl van visuele verhalen van mensen nabootst. Bedrijven als Microsoft, Google en Facebook hebben jarenlang computers geleerd om de inhoud van afbeeldingen te labelen, maar dit nieuwe onderzoek gaat nog een stap verder door een neuraal netwerkgebaseerd systeem te leren een verhaal af te leiden uit verschillende afbeeldingen. Op een dag zou het kunnen worden gebruikt om automatisch beschrijvingen voor reeksen afbeeldingen te genereren, of om menselijke taal naar andere toepassingen voor kunstmatige intelligentie te brengen.
In plaats van flauwe of vanille beschrijvingen te geven van wat er in de afbeeldingen gebeurt, plaatsen we die in een grotere verhalende context, zegt Frank Ferraro, een Johns Hopkins University PhD-student die co-auteur van het artikel was. U kunt beginnen met het maken van waarschijnlijke gevolgtrekkingen van wat er zou kunnen gebeuren.
Overweeg een album met foto's van een groep vrienden die een verjaardag vieren in een bar. Sommige van de vroege foto's tonen mensen die bier bestellen en drinken, terwijl een latere foto iemand laat zien die op een bank slaapt.
Een ondertitelingssysteem zou gewoon kunnen zeggen: 'Een persoon die op een bank ligt', zegt Ferraro. Maar een vertelsysteem zou misschien kunnen zeggen: 'Nou, aangezien ik denk dat deze mensen aan het feesten waren of aan het eten en drinken waren, is deze persoon misschien dronken.'
Een voorbeeld dat in de krant wordt vermeld, omvat een reeks van vijf afbeeldingen. Ze tonen een gezin rond een tafel, een bord schelpdieren, een hond en beelden van het strand. Het neurale netwerk beschreef ze met een verhaallezing. De familie kwam bij elkaar voor een cookout. Ze hadden veel lekkers. De hond was blij dat hij er was. Ze hadden een geweldige tijd op het strand. Ze hebben zelfs gezwommen in het water.
Het team, dat werd geleid door Microsoft-onderzoeker Margaret Mitchell en bestond uit Microsoft-stagiairs zoals Ferraro en een onderzoeker van Facebook AI, veranderde wat een sequentie-naar-sequentie recurrent neuraal netwerk wordt genoemd in een verhalenverteller door het te trainen met afbeeldingen afkomstig van Flickr. Ze lieten helpers bijschriften schrijven voor afzonderlijke afbeeldingen en voor reeksen afbeeldingen in specifieke reeksen.
Een benadering die vergelijkbaar was met die welke werd gebruikt om de inhoud van afzonderlijke foto's te labelen, leverde verhalen op die te algemeen waren. Om dit tegen te gaan, ontwikkelde het team een manier waarop het netwerk woorden kon kiezen die visueel opvallend waren. Ze eisten ook dat het systeem geen woorden zou herhalen.
Verhalen vertellen is een belangrijk onderdeel van het mens-zijn, zegt Fei-Fei Li, directeur van Stanford Vision Lab, die niet heeft bijgedragen aan het onderzoek. Technologie die de technieken van mensen voor het documenteren van verhalen kan imiteren, moet in staat zijn om te verwijzen naar objecten en personages die in meerdere afbeeldingen worden gezien en om relaties tussen mensen, objecten en plaatsen af te leiden.
Het gepubliceerde artikel is nog maar het begin van dit soort technologie, zegt Li. Maar het is een goede stap voorwaarts om zo'n ambitieus project aan te pakken. Ik kijk uit naar meer vervolgwerk van deze auteurs en anderen.