AI is nog steeds slecht in het modereren van haatzaaien

mevrouw Tech | Getty, Unsplash

Ondanks alle recente ontwikkelingen in taal-AI-technologie, worstelt het nog steeds met een van de meest elementaire toepassingen. In een nieuwe studie , hebben wetenschappers vier van de beste AI-systemen getest voor het detecteren van haatspraak en ontdekten dat ze allemaal op verschillende manieren worstelden om giftige en onschadelijke zinnen te onderscheiden.

De resultaten zijn niet verrassend: het creëren van AI die de nuances van natuurlijke taal begrijpt, is moeilijk. Maar de manier waarop de onderzoekers het probleem diagnosticeerden, is belangrijk. Ze ontwikkelden 29 verschillende tests die gericht waren op verschillende aspecten van haatspraak om nauwkeuriger te kunnen bepalen waar elk systeem faalt. Dit maakt het gemakkelijker om te begrijpen hoe de zwakke punten van een systeem kunnen worden verholpen en helpt al één commerciële dienst om zijn AI te verbeteren.

De auteurs van het onderzoek, geleid door wetenschappers van de Universiteit van Oxford en het Alan Turing Institute, interviewden werknemers van 16 non-profitorganisaties die werken aan online haat. Het team gebruikte deze interviews om een ​​taxonomie te maken van 18 verschillende soorten haatspraak, waarbij de nadruk lag op Engelse en op tekst gebaseerde haatspraak, inclusief denigrerende uitlatingen, laster en dreigend taalgebruik. Ze identificeerden ook 11 niet-haatdragende scenario's die AI-moderators vaak doen struikelen, waaronder het gebruik van godslastering in onschuldige uitspraken, laster die zijn teruggewonnen door de beoogde gemeenschap, en aanklachten van haat die de oorspronkelijke haatspraak citeren of ernaar verwijzen (bekend als counter toespraak).

Voor elk van de 29 verschillende categorieën maakten ze tientallen voorbeelden met de hand en gebruikten ze sjabloonzinnen zoals ik haat [IDENTITEIT] of Je bent gewoon een [SLUR] voor mij om dezelfde reeks voorbeelden te genereren voor zeven beschermde groepen - identiteiten die wettelijk beschermd tegen discriminatie volgens de Amerikaanse wetgeving. Zij open source de laatste dataset genaamd HateCheck, die in totaal bijna 4.000 voorbeelden bevat.

De onderzoekers testten vervolgens twee populaire commerciële diensten: Google Jigsaw's Perspectief-API en Twee Hoeden SiftNinja . Beide stellen klanten in staat om inbreukmakende inhoud in berichten of opmerkingen te markeren. Vooral Perspective wordt gebruikt door platforms als Reddit en nieuwsorganisaties als The New York Times en Wall Street Journal. Het markeert en prioriteert berichten en opmerkingen voor beoordeling door mensen op basis van de mate van toxiciteit.

Hoewel SiftNinja overdreven toegeeflijk was ten aanzien van haatzaaiende uitlatingen en bijna al zijn variaties niet ontdekte, was Perspective overdreven moeilijk. Het blonk uit in het detecteren van de meeste van de 18 haatdragende categorieën, maar markeerde ook de meeste niet-haatdragende categorieën, zoals teruggewonnen laster en tegenspraak. De onderzoekers vonden hetzelfde patroon toen ze twee academische modellen van Google testten die een van de beste beschikbare taal-AI-technologie vertegenwoordigen en waarschijnlijk als basis dienen voor andere commerciële content-moderatiesystemen. De academische modellen lieten ook ongelijke prestaties zien tussen beschermde groepen, waarbij haat tegen sommige groepen vaker verkeerd werd geclassificeerd dan andere.

Verwant verhaal

Hoe Facebook verslaafd raakte aan het verspreiden van verkeerde informatie

De AI-algoritmen van het bedrijf gaven het een onverzadigbare gewoonte voor leugens en haatzaaien. Nu kan de man die ze heeft gebouwd het probleem niet oplossen.

De resultaten wijzen op een van de meest uitdagende aspecten van op AI gebaseerde haatspraakdetectie van vandaag: Matig te weinig en je lost het probleem niet op; te veel matigen en je zou het soort taal kunnen censureren dat gemarginaliseerde groepen gebruiken om zichzelf te versterken en te verdedigen: ineens zou je juist die gemeenschappen straffen die het vaakst het doelwit zijn van haat, zegt Paul Röttger, een PhD kandidaat bij het Oxford Internet Institute en co-auteur van het artikel.

Lucy Vasserman, de hoofdsoftware-engineer van Jigsaw, zegt dat Perspective deze beperkingen overwint door te vertrouwen op menselijke moderators om de uiteindelijke beslissing te nemen. Maar dit proces is niet schaalbaar voor grotere platforms. Jigsaw werkt nu aan de ontwikkeling van een functie die berichten en opmerkingen opnieuw zou prioriteren op basis van de onzekerheid van Perspective: het automatisch verwijderen van inhoud waarvan het zeker is dat het hatelijk is, en het signaleren van borderline-inhoud voor mensen.

Wat opwindend is aan de nieuwe studie, zegt ze, is dat het een fijnmazige manier biedt om de stand van de techniek te evalueren. Veel van de dingen die in dit artikel worden benadrukt, zoals teruggewonnen woorden die een uitdaging vormen voor deze modellen, dat is iets dat in de branche bekend is, maar moeilijk te kwantificeren is, zegt ze. Jigsaw gebruikt nu HateCheck om de verschillen tussen zijn modellen beter te begrijpen en waar deze moeten worden verbeterd.

Ook academici zijn enthousiast over het onderzoek. Dit artikel geeft ons een mooie schone bron voor het evalueren van industriële systemen, zegt Maarten Sap, een taal-AI-onderzoeker aan de Universiteit van Washington, waarmee bedrijven en gebruikers om verbetering kunnen vragen.

Thomas Davidson, een assistent-professor sociologie aan de Rutgers University, is het daarmee eens. De beperkingen van taalmodellen en de rommeligheid van taal betekenen dat er altijd afwegingen zullen zijn tussen onder- en overidentificerende haatspraak, zegt hij. De HateCheck-dataset helpt om deze afwegingen zichtbaar te maken, voegt hij eraan toe.

zich verstoppen