Het algoritme van Google voor het detecteren van haatzaaiende uitlatingen is racistisch bevooroordeeld

Categorie: Siliconen vallei Geplaatst 13 aug

AI-systemen die bedoeld zijn om beledigende online-inhoud op te sporen, zullen tweets eerder als beledigend bestempelen als ze zijn gepost door mensen die zich identificeren als Afro-Amerikaans.

Het nieuws: Onderzoekers hebben twee AI-systemen gebouwd en testte ze op een paar datasets van meer dan 100.000 tweets die door mensen waren geannoteerd met labels als aanstootgevend, geen of haatdragende taal. Een van de algoritmen markeerde ten onrechte 46% van de onschuldige tweets van Afro-Amerikaanse auteurs als beledigend. Tests op grotere datasets, waaronder een bestaande uit 5,4 miljoen tweets, toonden aan dat berichten van Afro-Amerikaanse auteurs 1,5 keer meer kans hadden om als aanstootgevend te worden bestempeld. Toen de onderzoekers vervolgens Google's testten Perspectief , een AI-tool die het bedrijf iedereen laat gebruiken om online discussies te modereren, vonden ze vergelijkbare raciale vooroordelen.

Een moeilijk te vinden evenwicht: Massale schietpartijen gepleegd door blanke supremacisten in de VS en Nieuw-Zeeland hebben geleid tot een groeiende vraag van politici naar sociale-mediaplatforms om meer te doen om haatzaaiende uitlatingen uit te bannen. Deze onderzoeken onderstrepen hoe ingewikkeld een taak is. Of taal aanstootgevend is, kan afhangen van wie het zegt en wie het hoort. Een zwarte persoon die het N-woord gebruikt, is bijvoorbeeld heel anders dan een blanke die het gebruikt. Maar AI-systemen begrijpen die nuance niet en kunnen dat momenteel ook niet begrijpen.

Het risico: Door ons te haasten om software te gebruiken om aanstootgevende taal automatisch te verwijderen, lopen we het risico de stemmen van minderheden het zwijgen op te leggen. Het modereren van online content is een traumatiserende, moeilijke baan , dus technologiebedrijven vertrouwen graag op AI-systemen in plaats van op mensen (ze zijn ook veel goedkoper). Dit onderzoek laat de enorme risico's zien die aan die aanpak kleven.

Meld u hier aan voor onze dagelijkse nieuwsbrief The Download om uw dosis van het laatste must-read nieuws uit de wereld van opkomende technologie te ontvangen.