211service.com
AI-algoritme identificeert humoristische afbeeldingen
Humor is een unieke menselijke eigenschap. De meeste mensen herkennen grappige zinnen, incidenten, foto's, video's, enzovoort. Maar het is niet altijd gemakkelijk te zeggen waarom deze dingen humoristisch zijn.
Het is dus gemakkelijk voor te stellen dat humor een van de laatste bastions zal zijn die mensen van machines scheidt. Computers, zo denkt men, kunnen onmogelijk gevoel voor humor ontwikkelen totdat ze de subtiliteiten van onze rijke sociale en culturele omgeving kunnen begrijpen. En zelfs de krachtigste AI-machines zijn daar zeker nog ver van verwijderd.
Dat denken moet binnenkort misschien veranderen. Tegenwoordig zeggen Arjun Chandrasekaran van Virginia Tech en vrienden dat ze een machine-learning-algoritme hebben getraind om humoristische scènes te herkennen en zelfs te creëren. Ze zeggen dat hun machine nauwkeurig kan voorspellen wanneer een scène grappig is en wanneer niet, ook al weet het niets van de sociale context van wat het ziet.
Psychologen hebben een relatief slecht begrip van de mechanismen achter humor. De meeste theorieën over humor suggereren dat de belangrijkste componenten eigenschappen zijn zoals onverwachtheid, ongerijmdheid, pijn, enzovoort. Wanneer een of al deze elementen aanwezig zijn in zinnen, afbeeldingen en video's, is de kans op een glimlach groter.
Chandrasekaran en co beperken hun studie tot foto's. En om het simpel te houden, beperken ze zich tot afbeeldingen die zijn gemaakt met een clipartprogramma. Deze bevat 20 menselijke modellen van papieren poppen van verschillende leeftijden, geslachten en rassen met beweegbare armen en benen en acht verschillende uitdrukkingen. Het bevat ook 31 dieren in verschillende poses en ongeveer 100 binnen- en buitenobjecten zoals deuren, ramen, tafels, zon, wolken, bomen, enzovoort.
Een belangrijk onderdeel van elk machine-learningproces is het creëren van een database die goede voorbeelden bevat van wat het algoritme moet leren. Dit is geen gemakkelijke taak, vooral niet als het gaat om zoiets subjectiefs als humor.
Het team pakt dit aan door werknemers van Amazon's Mechanical Turk-service te vragen grappige scènes te maken met behulp van het clipartprogramma, samen met een korte zin die beschrijft waarom ze de scènes grappig vinden. Ze vroegen deze mensen - turkers, zoals ze worden genoemd - ook om niet-grappige scènes te maken.
Op deze manier verzamelde het team een database van 6.400 afbeeldingen, waarvan de helft grappig en de helft ongrappig. Ze kalibreerden de database door andere turkers te vragen om de grappigheid van elke scène te beoordelen en ontdekten dat de meeste in hun beoogde categorieën vielen, hoewel een paar ongrappige scènes onbedoeld grappig bleken te zijn en vice versa.
Na verdere analyse bleek dat de meest grappige scènes meestal werden geassocieerd met dieren of mensen die iets ongewoons deden.
Dat zette het team ertoe aan na te denken over manieren om de grappigheid van een afbeelding te veranderen. Een manier om dit te doen is om het object of de persoon die iets ongewoons doet te vervangen door een ander object of persoon. Dus vroegen ze turkers om objecten te vervangen door andere objecten die zo veel mogelijk op het eerste object leken, maar dat maakte de scène ongrappig. Dit helpt ons de fijnmazige semantiek te begrijpen die ervoor zorgt dat een specifieke objectcategorie bijdraagt aan humor, zeggen ze.
Op deze manier hebben ze elk van de 3.000 grappige afbeeldingen op vijf verschillende manieren gewijzigd om een database te creëren van 15.000 ongrappige tegenhangers van grappige afbeeldingen.
Met deze database onder hun riem begonnen Chandrasekaran en co met de taak om een machine-learning-algoritme te trainen om het verschil te ontdekken tussen grappige en ongrappige afbeeldingen (ze hielden 20 procent van de database achter om het later te testen).
Ze gaven de machine twee taken. De eerste was om de grappigheid van een scène te voorspellen en de tweede was om de grappigheid van een scène te veranderen door een object erin te vervangen.
De resultaten zorgen voor interessante lectuur. Over het algemeen presteert het algoritme redelijk goed bij het voorspellen van de grappigheid van een scène - zeker beter dan een willekeurige gok.
De taak om de grappigheid van een scène te veranderen, bestaat uit twee delen. De eerste is om de elementen van de scène te herkennen die bijdragen aan de humor en de tweede is om een vervangend object te kiezen dat de grappigheid vermindert.
In de eerste taak maakt het algoritme een aantal interessante vorderingen. We zien dat het model leert dat geanimeerde objecten zoals mensen en dieren in het algemeen meer bronnen van humor zijn in vergelijking met levenloze objecten en daarom de neiging hebben om deze objecten te vervangen, zeggen Chandrasekaran en co.
Het algoritme boekt ook vooruitgang in de tweede taak. Het elimineert humor in de meeste scènes door ervoor te kiezen objecten die bijdragen aan humor te vervangen door andere objecten die goed op de achtergrond passen, zegt het team. Het algoritme kan bijvoorbeeld het ongebruikelijke object in een binnenscène vervangen door een potplant die goed past of een vlinder in buitenscènes.
En de technieken werken goed. Bij menselijke evaluaties bleken scènes die door ons [algoritme] ongrappig waren gemaakt, 95 procent van de tijd minder grappig te zijn dan de originele grappige scène, zeggen Chandrasekaran en co.
De machine deed het minder goed in het grappiger maken van scènes, maar dat is duidelijk iets om in de toekomst aan te werken.
Een belangrijke vraag is natuurlijk wat de machine precies leert te doen. In dit werk kan grappigheid een proxy zijn voor iets heel anders. Inderdaad, als het artikel van Chandrasekaran en co zou worden herschreven waarbij elke instantie van het woord grappig zou zijn vervangen door het woord vreemdheid of incongruentie of onverwachtheid, zouden de resultaten niet minder geldig zijn.
Desalniettemin heeft het team een interessante aanpak die tot fascinerende toepassingen kan leiden. De mogelijkheid om de humor in een scène te beoordelen, zou onderzoekers kunnen helpen bij het ontwikkelen van betere tools voor het bewerken van foto's, tools die grappige foto's kiezen om op sociale media te plaatsen, of zelfs slimme camera's die betere momenten kunnen kiezen om humoristische foto's te maken.
Het maakt ook deel uit van een nieuw gebied van computationele humor - het gebruik van machine-intelligentie om ons aan het lachen te maken. Misschien delen machines op een dag zelfs de grap.
Referentie: arxiv.org/abs/1512.04407 : Wij zijn humorwezens: visuele humor begrijpen en voorspellen