Een op Emoji getraind algoritme weet wanneer je sarcastisch bent op Twitter

Graham Roumieu

Blader door Twitter en je zult veel sarcastische opmerkingen vinden - om nog maar te zwijgen van veel gevallen waarin sarcasme blijkbaar recht over iemands hoofd ging.

Gelukkig kan een algoritme dat MIT-onderzoekers hebben ontwikkeld om tweets te analyseren, nu sarcasme en emotionele subtekst in het algemeen beter detecteren dan de meeste mensen.

Het detecteren van het sentiment van posts op sociale media is al nuttig voor het volgen van attitudes ten opzichte van merken en producten, en voor het identificeren van signalen die kunnen wijzen op trends op de financiële markten. Maar het nauwkeuriger onderscheiden van de betekenis van tweets en opmerkingen kan computers helpen om automatisch misbruik en haatzaaiende uitlatingen online op te sporen en te vernietigen. Een beter begrip van Twitter zou academici ook moeten helpen begrijpen hoe informatie en invloed door het netwerk stromen. Sterker nog, naarmate machines slimmer worden, kan het vermogen om emotie te voelen een belangrijk kenmerk worden van communicatie tussen mens en machine.

Verwant verhaal

Verwant verhaal Rechtbanken, banken en andere instellingen gebruiken geautomatiseerde gegevensanalysesystemen om beslissingen over uw leven te nemen. Laten we het niet aan de algoritme-makers overlaten om te beslissen of ze het op de juiste manier doen.

Oorspronkelijk wilden de onderzoekers een systeem ontwikkelen dat racistische berichten op Twitter kan detecteren. Maar ze realiseerden zich al snel dat de betekenis van veel berichten niet goed begrepen kon worden zonder enig begrip van sarcasme.

Het algoritme maakt gebruik van deep learning, een populaire machine learning-techniek die afhankelijk is van het trainen van een zeer groot gesimuleerd neuraal netwerk om subtiele patronen te herkennen met behulp van een grote hoeveelheid gegevens. Het geheim van het trainen van dit algoritme was dat veel tweets al zoiets als een labelsysteem voor emotionele inhoud gebruiken: emoji. Toen ze hiervan gebruik maakten om het systeem te helpen tweets voor emotie in het algemeen te lezen, hadden de onderzoekers een voorsprong door het te leren sarcasme te herkennen.

Omdat we intonatie in onze stem of lichaamstaal niet kunnen gebruiken om te contextualiseren wat we zeggen, is emoji de manier waarop we het online doen, zegt Iyad Rahwan , een universitair hoofddocent van het MIT Media lab die het algoritme ontwikkelde met een van zijn studenten, Bjarke Felbo . Het neurale netwerk leerde het verband tussen een bepaald soort taal en een emoji.

Om het algoritme, DeepMoji genaamd, te trainen, verzamelden de onderzoekers 55 miljard tweets en selecteerden vervolgens 1,2 miljard met een combinatie van 64 populaire emoji. Eerst trainden ze het systeem om te voorspellen welke emoji zou worden gebruikt bij een bepaalde boodschap, afhankelijk van of het blij, verdrietig, humoristisch, enzovoort was. Daarna werd het systeem geleerd om sarcasme te identificeren met behulp van een bestaande dataset van geëtiketteerde voorbeelden. Het algoritme dat vooraf was getraind met emoji, was veel beter in het detecteren van sarcasme dan een algoritme dat dat niet had gedaan. Ze zullen het algoritme vrijgeven zodat iedereen het kan gebruiken.

Om te zien hoe goed DeepMoji is, hebben de onderzoekers het getest met verschillende benchmarks voor het voelen van sentiment en emotie in tekst. Ze ontdekten dat het in elk geval veel beter presteerde dan de beste bestaande algoritmen.

Ze hebben het ook getest op mensen, met behulp van vrijwilligers die zijn gerekruteerd via de crowdsourcing-site Mechanical Turk. Ze ontdekten dat het beter was dan de mensen om sarcasme en andere emoties op Twitter te herkennen. Het was 82 procent nauwkeurig in het correct identificeren van sarcasme, vergeleken met een gemiddelde score van 76 procent voor de menselijke vrijwilligers.

De DeepMoji-website kan automatisch emoji voor een tweet genereren.

Het kan zijn dat het alle verschillende slang leert, zegt Felbo. Mensen gebruiken heel interessant taalgebruik [op Twitter] - laten we het zo zeggen.

De onderzoekers hebben een DeepMoji website om het emoji-gedeelte van het systeem te demonstreren. Het zal automatisch geschikte emoji aan een stuk tekst toevoegen. Het lijkt redelijk goed te werken, hoewel toen ik probeerde de nu beruchte van Donald Trump in te voeren covfefe tweet het was net zo verward als iedereen.

Op de site kunnen gebruikers ook bijdragen aan het onderzoek door hun eigen tweets te annoteren met emoties. Dit is een belangrijk onderdeel van het werk, zegt Rahwan. Meestal laten onderzoekers vrijwilligers tweets of posts van anderen taggen met waargenomen emotie, wat een minder directe maatstaf is. Deze benchmarks geven niet weer wat psychologen als echt sentiment zouden beschouwen, zegt hij.

Gary King , directeur van het Institute for Quantitative Social Science aan de Harvard University en een expert in het ontginnen van sociale netwerken op zoek naar betekenis, zegt dat het een slim idee is om emoji te gebruiken als trainingsmiddel. Maar hij vraagt ​​zich af hoe waardevol het is om sarcasme te identificeren als het voor de meeste mensen verloren gaat. Als het sarcasme zo genuanceerd is dat een menselijke lezer het waarschijnlijk zou missen, dan maakt het echt niet uit, zegt hij.

Desalniettemin weerspiegelt het werk het feit dat computers geleidelijk beter worden in het voelen van menselijke emoties. Sentimentanalyse van tekst is al een veelgebruikte techniek. Het kan bedrijven bijvoorbeeld helpen om aan de hand van de inhoud van een e-mail of chatbericht te bepalen of een klant bijzonder woedend is.

Het kan steeds gebruikelijker worden dat computers onze emoties proberen te ontcijferen. Stel je misschien een robotcollega voor die begrijpt wanneer zijn menselijke collega's gefrustreerd raken - of wanneer ze een sarcastisch compliment geven.

Als machines met ons willen samenwerken, zullen ze ons moeten begrijpen, en emotie is heel moeilijk, zegt Rahwan.

zich verstoppen