211service.com
AI-programma's leren sommige Afro-Amerikaanse stemmen uit te sluiten
Spraakinterfaces, chatbots en andere systemen discrimineren bepaalde dialecten van minderheden. 16 augustus 2017
Maar al te vaak oordelen mensen snel op basis van hoe je spreekt. Sommige AI-systemen leren ook vooroordelen te hebben over bepaalde dialecten. En naarmate op taal gebaseerde AI-systemen steeds gebruikelijker worden, kunnen sommige minderheden automatisch worden gediscrimineerd door machines, waarschuwen onderzoekers die het probleem bestuderen.
Iedereen met een sterk of ongebruikelijk accent weet misschien hoe het is om moeite te hebben om begrepen te worden door Siri of Alexa. Dit komt omdat spraakherkenningssystemen natuurlijke-taaltechnologie gebruiken om de inhoud van spraak te ontleden, en het is vaak afhankelijk van algoritmen die zijn getraind met voorbeeldgegevens. Als er niet genoeg voorbeelden zijn van een bepaald accent of een bepaalde volkstaal, dan begrijpen deze systemen je misschien gewoon niet (zie AI's taalprobleem).
Het probleem kan meer wijdverbreid en verderfelijk zijn dan de meeste mensen beseffen. Natuurlijke taaltechnologie maakt nu geautomatiseerde interacties met klanten mogelijk, via geautomatiseerde telefoonsystemen of chatbots. Het wordt gebruikt om de publieke opinie op het web en sociale netwerken te ontginnen en om door geschreven documenten te bladeren op zoek naar nuttige informatie. Dit betekent dat diensten en producten die bovenop taalsystemen zijn gebouwd, bepaalde groepen al oneerlijk kunnen discrimineren.
Brendan O'Connor , een assistent-professor aan de Universiteit van Massachusetts, Amherst, en een van zijn afgestudeerde studenten, Su Lin Blodgett , keek naar het taalgebruik op Twitter. Met behulp van demografische filtering verzamelden de onderzoekers 59,2 miljoen tweets met een grote kans dat ze Afrikaans-Amerikaans jargon of volkstaal bevatten. Vervolgens testten ze verschillende natuurlijke taalverwerkingstools op deze dataset om te zien hoe ze deze uitspraken zouden behandelen. Ze ontdekten dat een populaire tool deze berichten met een hoge mate van vertrouwen als Deens classificeerde.
Als je Twitter analyseert op de mening van mensen over een politicus en je houdt niet eens rekening met wat Afro-Amerikanen zeggen of jonge volwassenen, dan lijkt dat problematisch, zegt O'Connor.
Het paar testte ook verschillende populaire op machine learning gebaseerde API's die tekst analyseren op betekenis en sentiment, en ze ontdekten dat deze systemen ook worstelden. Als je een sentimentanalysator van een bedrijf koopt, weet je niet eens welke vooroordelen erin zitten, zegt O'Connor. We hebben niet veel controle of kennis over deze dingen.
Hij zegt dat het probleem zich uitstrekt tot elk systeem dat taal gebruikt, inclusief zoekmachines.
De kwestie van oneerlijkheid die voortkomt uit het gebruik van AI-algoritmen krijgt in sommige kringen de aandacht naarmate deze algoritmen op grotere schaal worden gebruikt. Een controversieel voorbeeld van mogelijke vooringenomenheid is een eigen algoritme genaamd Compass, dat wordt gebruikt om te beslissen of gedetineerden voorwaardelijke vrijlating moeten krijgen. De werking van het algoritme is onbekend, maar Onderzoek suggereert dat het bevooroordeeld is tegen zwarte gevangenen.
Sommige deskundigen zeggen echter dat het probleem ernstiger kan zijn dan veel mensen weten, en dat het een groeiend aantal beslissingen in financiën, gezondheidszorg en onderwijs beïnvloedt (zie Bevooroordeelde algoritmen zijn overal en niemand lijkt te kunnen schelen).
De UMass-onderzoekers presenteerden hun werk tijdens een workshop gewijd aan het onderzoeken van de kwestie van vooringenomenheid in AI. Het evenement, Fairness and Transparency in Machine Learning, maakte dit jaar deel uit van een grotere datawetenschapsconferentie, maar zal in 2018 zelf een op zichzelf staande conferentie worden. Solon Barok , een assistent-professor bij Cornell en medeoprichter van het evenement, zegt dat het veld groeit, met steeds meer onderzoekers die de kwestie van vooringenomenheid in AI-systemen onderzoeken.
Gedeeld Goel , een assistent-professor aan de Stanford University die algoritmische rechtvaardigheid en openbaar beleid bestudeert, zegt dat het probleem niet altijd eenvoudig is. Hij merkt op dat het te simplistisch kan zijn om algoritmen bevooroordeeld te noemen, in die zin dat ze volledig kunnen werken zoals bedoeld, voorspellingen doen die nauwkeurig zijn en simpelweg bredere sociale vooroordelen weerspiegelen. Het is beter om te beschrijven wat een algoritme doet, de reden waarom het het doet, en dan te beslissen of we dat willen, zegt Goel.