211service.com
Een videogame-algoritme om online misbruik op te lossen
Zoals veel online ruimtes, is League of Legends, de meest gespeelde online videogame ter wereld, een broedplaats voor grof taalgebruik en beledigend gedrag. Aangemoedigd door anonimiteit en versterkt in de verhitte smeltkroes van een competitieve teamsport, was dit gedrag zo'n probleem voor de maker, Riot Games, dat het bedrijf nu een toegewijd team van wetenschappers en ontwerpers in dienst heeft om manieren te vinden om de interactie tussen de game's te verbeteren. spelers.
De afgelopen jaren heeft het team geëxperimenteerd met een reeks systemen en technieken, ondersteund door machine learning, die zijn ontworpen om de communicatie tussen spelers te controleren, negatief gedrag te straffen en positief gedrag te belonen. De resultaten zijn verbluffend, zegt Jeffrey Lin, hoofdontwerper van sociale systemen bij Riot Games. De software heeft meerdere miljoenen gevallen van vermoedelijk misbruik gevolgd. Tweeënnegentig procent van de spelers die zijn betrapt op het gebruik van beledigende taal tegen anderen, heeft niet opnieuw een overtreding begaan. Lin, een cognitief neurowetenschapper, gelooft dat de technieken van het team ook buiten de videogamecontext kunnen worden toegepast. Hij denkt dat Riot iets van een tegengif heeft gecreëerd voor online toxiciteit, ongeacht waar het zich voordoet.
Het project begon enkele jaren geleden toen het team een bestuurssysteem introduceerde dat, in overeenstemming met het fantasiethema van de game, het Tribunaal werd genoemd. De game zou mogelijke gevallen van beledigend taalgebruik identificeren en een dossier van de interactie maken. Deze bestanden werden vervolgens gepresenteerd aan de gamegemeenschap van spelers (naar schatting 67 miljoen unieke gebruikers), die werden uitgenodigd om de in-game chatlogs te bekijken en te stemmen of ze het gedrag acceptabel vonden. Over het algemeen was het systeem zeer nauwkeurig, zegt Lin. Inderdaad, 98 procent van de uitspraken van de gemeenschap kwam overeen met die van het interne team van Riot.
Op deze enigszins arbeidsintensieve manier werden enkele miljoenen zaken afgehandeld. Al snel begonnen Lin en het team patronen te zien in de taal die giftige spelers gebruikten. Om het proces te helpen optimaliseren, besloten ze om machine learning-technieken toe te passen op de gegevens. Het bleek buitengewoon succesvol te zijn in het segmenteren van negatief en positief taalgebruik in de 15 officiële talen die League ondersteunt, zegt Lin.
De nieuwe versie van het systeem, nu gecontroleerd door technologie in plaats van door andere spelers, maakte het efficiënter om feedback te geven en consequenties op te leggen voor giftig gedrag in het spel. Het kan spelers nu binnen vijf minuten feedback geven, waar het voorheen tot een week kon duren.
Lin zegt dat het systeem drastisch verbeterde wat het bedrijf hervormingspercentages noemt. Een speler die eerder een straf heeft gekregen, zoals een schorsing voor gerangschikte wedstrijden, wordt als hervormd beschouwd als hij of zij gedurende een bepaalde periode vervolgstraffen vermijdt. Toen we betere feedback aan de straffen toevoegden en bewijsmateriaal zoals chatlogboeken voor de straf toevoegden, stegen de hervormingspercentages van 50 procent naar 65 procent, zegt hij. Maar toen het machine learning-systeem veel sneller feedback begon te geven met het bewijsmateriaal, steeg het hervormingspercentage tot een recordhoogte van 92 procent.
Een uitdaging waarmee het systeem wordt geconfronteerd, is het onderscheiden van de context. Zoals in elke teamsport, bouwen spelers vaak kameraadschap op door grappen of sarcasme die in een andere context als onvriendelijk of agressief kunnen worden beschouwd. Een machine kan het sarcasme meestal niet opvangen. In feite is dat misschien wel de belangrijkste belemmering voor het bestrijden van online misbruik met machine learning. Het is redelijk om te zeggen dat AI's die taal begrijpen het beste presteren wanneer er minimale contextuele informatie nodig is om de juiste reactie te berekenen, legt Chris Dyer uit, een assistent-professor aan de Carnegie Mellon University die werkt aan natuurlijke taalverwerking. Problemen waarbij veel informatie moet worden geïntegreerd uit de context waarin een uiting wordt gedaan, zijn veel moeilijker op te lossen en sarcasme is extreem contextafhankelijk.
Momenteel proberen Lin en zijn team het probleem op te lossen met extra checks and balances. Zelfs wanneer het systeem een speler identificeert als iemand die giftig gedrag heeft vertoond, worden andere systemen gecontroleerd om het vonnis kracht bij te zetten of een veto uit te spreken. Het zal bijvoorbeeld proberen elk afzonderlijk rapport van een speler te valideren om zijn of haar historische rapportnauwkeurigheid te bepalen. Omdat meerdere systemen samenwerken om gevolgen voor spelers te hebben, zien we momenteel een gezond percentage van 1 op 5.000 fout-positieven, zegt Lin.
Om misbruik echt te beteugelen, ontwierp Riot straffen en ontmoedigingen om spelers over te halen hun gedrag aan te passen. Het kan bijvoorbeeld de chatbronnen beperken voor spelers die zich beledigend gedragen, of van spelers eisen dat ze niet-gerangschikte spellen zonder incidenten voltooien voordat ze spellen met de hoogste rang kunnen spelen. Het bedrijf beloont ook respectvolle spelers met positieve bekrachtiging.
Lin is ervan overtuigd dat de lessen die hij en zijn team uit hun werk hebben geleerd een bredere betekenis hebben. Een van de cruciale inzichten uit het onderzoek is dat giftig gedrag niet noodzakelijk afkomstig is van vreselijke mensen; het komt van gewone mensen die een slechte dag hebben, zegt Justin Reich, een onderzoeker van het Berkman Center van Harvard, die het werk van Riot heeft bestudeerd. Dat betekent dat onze strategieën om giftig online gedrag aan te pakken niet alleen gericht kunnen zijn op geharde trollen; ze moeten rekening houden met onze collectieve menselijke neiging om het slechtste van onszelf naar boven te laten komen onder de anonimiteit van internet.
Desalniettemin gelooft Reich dat het werk van Lin aantoont dat giftig gedrag geen vast onderdeel is van het web, maar een probleem dat kan worden aangepakt door een combinatie van techniek, experimenten en betrokkenheid van de gemeenschap. De uitdagingen waarmee we in League of Legends worden geconfronteerd, zijn te zien op elk online spel, platform, community of forum. Daarom denken we dat we ons op een cruciaal punt in de tijdlijn van online gemeenschappen en samenlevingen bevinden, zegt Lin. Daarom zijn we heel open geweest in het delen van onze gegevens en best practices met de bredere industrie en hopen we dat andere studio's en bedrijven deze resultaten bekijken en beseffen dat online toxiciteit toch geen onmogelijk probleem is.