Hoe mechanische Turkers een enorm lexicon van verbanden tussen woorden en emotie hebben verzameld

Een van de buzz-zinnen die met het sociale web worden geassocieerd, is sentimentanalyse. Dit is het vermogen om de mening of gemoedstoestand van een persoon te bepalen door de woorden te analyseren die ze op Twitter, Facebook of een ander medium plaatsen.

Er is veel beloofd met deze methode: de mogelijkheid om tevredenheid over politici, films en producten te meten; het vermogen om klantrelaties beter te beheren; het vermogen om een ​​dialoog te creëren voor emotiebewuste games; het vermogen om de stroom van emoties in romans te meten; enzovoorts.

Het idee is om dit proces volledig te automatiseren - om de brandslang van woorden te analyseren die door sociale websites worden geproduceerd met behulp van geavanceerde dataminingtechnieken om het sentiment op grote schaal te meten.

Maar dit hangt allemaal af van hoe goed we de emotie en polariteit (negatief of positief) begrijpen die mensen met elk woord of elke combinatie van woorden associëren.

Vandaag onthullen Saif Mohammad en Peter Turney van de National Research Council Canada in Ottawa een enorme database van woorden en de bijbehorende emoties en polariteit, die ze snel en goedkoop hebben verzameld met behulp van Amazon's crowdsourcing Mechanical Turk-website. Ze zeggen dat dit crowdsourcing-mechanisme het mogelijk maakt om de omvang en kwaliteit van de database snel en gemakkelijk te vergroten.

De meeste psychologen geloven dat er in wezen zes basisemoties zijn - vreugde, verdriet, woede, angst, walging en verrassing - of ten hoogste acht als je vertrouwen en anticipatie meetelt. Dus de taak van elk woord-emotie lexicon is om te bepalen hoe sterk een woord is geassocieerd met elk van deze emoties.

Een manier om dit te doen is door een kleine groep experts te gebruiken om emoties te associëren met een reeks woorden. Een van de beroemdste databases, gemaakt in de jaren zestig en bekend als de General Inquirer-database, heeft meer dan 11.000 woorden gelabeld met 182 verschillende tags, waaronder enkele van de emoties waarvan de psycholoog nu denkt dat ze de meest elementaire zijn.

Een modernere database is het WordNet Affect Lexicon, waarin een paar honderd woorden op deze manier zijn getagd. Hierbij werd een kleine groep experts gebruikt om handmatig een reeks seed-woorden te taggen met de basisemoties. De omvang van deze database werd vervolgens drastisch vergroot door automatisch dezelfde emoties te associëren met alle synoniemen van deze woorden.

Een van de problemen met deze benaderingen is de enorme tijd die het kost om een ​​grote database samen te stellen, dus Mohammad en Turney probeerden een andere benadering.

Deze jongens selecteerden ongeveer 10.000 woorden uit een bestaande thesaurus en de hierboven beschreven lexicons en creëerden vervolgens een reeks van vijf vragen om te stellen over elk woord dat de bijbehorende emoties en polariteit zou onthullen. Dat zijn in totaal meer dan 50.000 vragen.

Vervolgens stelden ze deze vragen aan meer dan 2000 mensen, of Turkers, op Amazon's Mechanical Turk-website, waarbij ze 4 cent betaalden voor elke reeks goed beantwoorde vragen.

Het resultaat is een uitgebreid woord-emotie-lexicon voor meer dan 10.000 woorden of zinnen van twee woorden die ze EmoLex noemen.

Een belangrijke factor in dit onderzoek is de kwaliteit van de antwoorden die crowdsourcing geeft. Sommige Turkers kunnen bijvoorbeeld willekeurig antwoorden of zelfs opzettelijk verkeerde antwoorden invoeren.

Mohammad en Turney hebben dit aangepakt door testvragen in te voegen die ze gebruiken om te beoordelen of de Turker al dan niet goed antwoordt. Zo niet, dan worden alle gegevens van die persoon genegeerd.

Ze hebben de kwaliteit van hun database getest door deze te vergelijken met eerdere databases die door experts zijn gemaakt en zeggen dat deze goed vergelijkbaar is. We vergeleken een subset van ons lexicon met bestaande gouden standaardgegevens om aan te tonen dat de verkregen annotaties inderdaad van hoge kwaliteit zijn, zeggen ze.

Deze aanpak heeft een aanzienlijk potentieel voor de toekomst. Mohammad en Turney zeggen dat het eenvoudig moet zijn om de datumdatabase te vergroten en dat dezelfde techniek gemakkelijk kan worden aangepast om vergelijkbare lexicons in andere talen te creëren. En dit alles kan heel goedkoop worden gedaan - voor dit werk hebben ze $ 2100 uitgegeven aan Mechanical Turk.

Waar het op neerkomt, is dat sentimentanalyse altijd maar zo goed kan zijn als de database waarop deze is gebaseerd. Met EmoLex hebben analisten een nieuwe tool voor hun trukendoos.

Referentie: arxiv.org/abs/1308.6297 : Crowdsourcing van een woord-emotieassociatielexicon

zich verstoppen