Een algoritmisch gevoel voor humor? Nog niet.

In de afgelopen maanden hebben onderzoekers op het gebied van kunstmatige intelligentie enorme vooruitgang geboekt bij het matchen van menselijke prestaties bij allerlei taken die tot voor kort als bijna onmogelijk werden beschouwd voor computers. Zaken als gezichts- en objectherkenning bijvoorbeeld.

Maar er zijn een aantal gebieden die nog steeds enorm moeilijk te begrijpen zijn voor machines, en humor is daar een van. Gevoel voor humor hebben is een unieke persoonlijke kwaliteit die moeilijk te definiëren is. Wat de ene persoon aan het lachen maakt en de andere doet grimassen is bijna niet te voorspellen.

Dat komt deels omdat humor afhankelijk is van zoveel parameters, waarvan er vele intern zijn en van het ene op het andere moment kunnen veranderen. Wat nu grappig lijkt, lijkt later of morgen misschien niet zo grappig.

Niettemin hebben verschillende taalkundigen en psychologen gesuggereerd dat goede grappen allemaal gemeenschappelijke eigenschappen hebben en dat een systematische analyse ze zou moeten onthullen. De vraag is hoe je aan deze primitieve humor kunt komen en of machine learning kan helpen.

Vandaag krijgen we een soort antwoord dankzij het werk van Dragomir Radev aan de Universiteit van Michigan in Ann Arbor en een paar vrienden van Yahoo Labs, Columbia University en de New Yorker tijdschrift. Deze jongens hebben de bijschriften bestudeerd die bij tekenfilms horen.

De New Yorker publiceert beroemd elke week een cartoon zonder bijschrift en vraagt ​​​​lezers om hun eigen bijschrift in te dienen. De redactie kiest vervolgens de top drie en vraagt ​​de lezers om op de beste te stemmen.

Dat heeft een enorme database met bijschriften opgeleverd. Vandaag publiceren Radev en co hun studie van 300.000 bijschriften geschreven voor 50 New Yorker tekenfilms sinds 2005.

Hun methode is eenvoudig. Ze analyseren eerst de reeks bijschriften voor elke cartoon met behulp van een aantal standaard taalkundige technieken. Criteria zijn onder meer het niveau van positief of negatief sentiment, of de bijschriften mensgericht waren (d.w.z. verwijzend naar mensen), hoe duidelijk ze verwijzen naar objecten die in de cartoon zijn afgebeeld, enzovoort.

Radev en co gebruikten ook netwerktheorie om de bijschriften te bestuderen. Ze somden de onderwerpen op die in elk bijschrift werden genoemd en creëerden vervolgens een netwerk door bijschriften te koppelen die dezelfde onderwerpen noemden. Dat stelde hen in staat om standaard netwerkanalysetools te gebruiken om bijvoorbeeld het belangrijkste knooppunt in het netwerk te vinden, een eigenschap die bekend staat als centrality.

Elk van deze methoden leverde een rangschikking van de bijschriften op. Radev en co namen elk van de hoogst gerangschikte bijschriften en vergeleken ze met de gouden standaard: bijschriften die de lezers van de New Yorker gekozen als de grappigste. Ze deden dit door opinies te crowdsourcen met behulp van Amazon's Mechanical Turk, waarbij ze zeven Turken vroegen om de grappigste van twee bijschriften te kiezen of ze gelijk te rangschikken.

Radev en co zeggen dat de resultaten enig inzicht geven in de aard van grappige bijschriften. We ontdekten dat de methoden die consequent grappigere bijschriften selecteren, negatief sentiment, mensgerichtheid en lexicale centraliteit zijn, zeggen ze.

Dat is een merkwaardige studie die moeilijk te evalueren is. De onderzoekers erkennen dat het geen verrassing is dat negatief sentiment correleert met grappigheid; mensgerichtheid is ook een verwachte eigenschap van humor. De betekenis van lexicale centraliteit is minder duidelijk.

En daar zit het probleem met dit soort onderzoek. Het is gemakkelijk voor te stellen dat een van de doelen van dit soort werk zou zijn om een ​​machine te maken die automatisch het beste bijschrift kan kiezen uit duizenden die in de lijst zijn ingevoerd. New Yorker elke week wedstrijd. Maar de teams lijken dit nog lang niet te bereiken. Heeft een van deze automatische methoden op betrouwbare wijze het door lezers gekozen bijschrift gekozen? Radev en co zeggen niet, dus vermoedelijk niet.

Een ambitieuzer doel zou zijn om een ​​manier te vinden om betere bijschriften voor tekenfilms te schrijven, misschien automatisch. De conclusie uit dit werk? Houd je adem niet in.

En misschien is dat een verademing. Er is tenminste één menselijke kwaliteit die buiten het bereik van de huidige machine learning-technieken valt.

Het is hun verdienste dat Radev en co hun corpus van cartoons en bijschriften beschikbaar stellen aan andere onderzoekers. Dus als er iemand is die denkt dat ze het beter kunnen doen, zijn ze welkom om het te proberen.

Referentie: arxiv.org/abs/1506.08126 : Humor in collectieve verhandeling: Detectie van grappigheid zonder toezicht in de New Yorker Cartoon Caption Contest

zich verstoppen