211service.com
Nieuw onderzoek heeft tot doel het probleem van AI-bias in Black Box-algoritmen op te lossen
Siobhan Gallagher
Van het plukken van aandelen tot het onderzoeken van röntgenfoto's, kunstmatige intelligentie wordt steeds vaker gebruikt om beslissingen te nemen die voorheen aan de mens waren. Maar AI is alleen zo goed als de gegevens waarop het is getraind, en in veel gevallen bakken we onze al te menselijke vooroordelen in algoritmen die het potentieel hebben om een enorme impact op het leven van mensen te hebben.
In een nieuw artikel gepubliceerd op de arXiv , zeggen onderzoekers dat ze misschien een manier hebben gevonden om het probleem te verminderen voor algoritmen die moeilijk te onderzoeken zijn voor buitenstaanders, de zogenaamde black box-systemen.
Een bijzonder verontrustend gebied waar vooringenomenheid zich voordoet, is de modellering van risicobeoordelingen, die bijvoorbeeld de kansen van een persoon op borgtocht of goedkeuring voor een lening kunnen bepalen. Het is doorgaans illegaal om in dergelijke gevallen rekening te houden met factoren als ras, maar algoritmen kunnen het feit leren herkennen en exploiteren dat iemands opleidingsniveau of thuisadres kan correleren met andere demografische informatie, wat hen effectief kan doordrenken met raciale en andere vooroordelen.
Wat dit probleem nog lastiger maakt, is dat veel van de AI's die worden gebruikt om die keuzes te maken zwarte dozen zijn - of ze zijn te ingewikkeld om gemakkelijk te begrijpen, of het zijn eigen algoritmen die bedrijven weigeren uit te leggen. Onderzoekers hebben aan tools gewerkt om te zien wat er aan de hand is onder de motorkap , maar het probleem is wijdverbreid en groeit (zie bevooroordeelde algoritmen zijn overal, en niemand lijkt te kunnen schelen).
In de krant probeerden Sarah Tan (die destijds bij Microsoft werkte) en collega's hun methode uit op twee black-box-risicobeoordelingsmodellen: een over leningrisico's en wanbetalingspercentages van het peer-to-peerbedrijf LendingClub, en een van Northpointe , een bedrijf dat op algoritmen gebaseerde diensten levert aan rechtbanken in het hele land en het recidiverisico voor verdachten voorspelt.
De onderzoekers gebruikten een tweeledige benadering om licht te werpen op hoe deze mogelijk bevooroordeelde algoritmen werken. Eerst creëerden ze een model dat het black-box-algoritme nabootst dat wordt onderzocht en komt met een risicoscore op basis van een eerste set gegevens, net zoals LendingClub en Northpointe dat zouden doen. Vervolgens bouwden ze een tweede model dat ze trainden op real-world resultaten, en gebruikten het om te bepalen welke variabelen uit de initiële dataset belangrijk waren in de uiteindelijke resultaten.
In het geval van LendingClub analyseerden de onderzoekers gegevens over een aantal vervallen leningen van 2007 tot 2011. De database van LendingClub bevatte tal van verschillende velden, maar de onderzoekers ontdekten dat het leenmodel van het bedrijf waarschijnlijk zowel het jaarinkomen van de aanvrager als het doel van de lening negeerde . Inkomen kan logisch zijn om te negeren, omdat het zelfgerapporteerd is en kan worden vervalst. Maar het doel van de lening hangt sterk samen met het risico: leningen voor kleine bedrijven zijn veel risicovoller dan die voor bijvoorbeeld bruiloften. Dus LendingClub leek een belangrijke variabele te negeren.
Northpointe zegt ondertussen dat zijn COMPAS-algoritme race niet als variabele opneemt bij het doen van aanbevelingen over veroordeling. Echter, in een onderzoek door ProPublica , verzamelden journalisten raciale informatie over verdachten die met hulp van COMPAS waren veroordeeld en vonden bewijs van raciale vooroordelen. In hun nabootsingsmodel gebruikten de onderzoekers de gegevens die door ProPublica waren verzameld, evenals informatie over de leeftijd, het geslacht, de mate van beschuldiging, het aantal eerdere veroordelingen en de duur van eerdere gevangenisstraffen van de verdachten. De methode kwam overeen met de bevindingen van ProPublica, wat suggereert dat COMPAS waarschijnlijk bevooroordeeld was voor bepaalde leeftijds- en raciale groepen.
Critici zouden erop kunnen wijzen dat dit geen exacte replica's zijn - uit noodzaak deden de onderzoekers veel gefundeerde gissingen. Maar als het bedrijf achter een algoritme niet bereid is informatie vrij te geven over hoe het systeem werkt, zijn benaderingsmodellen zoals die uit dit onderzoek een redelijke manier om inzicht te krijgen, zegt Brendan O'Connor, een assistent-professor aan de Universiteit van Massachusetts , Amherst, die een paper heeft gepubliceerd over vooringenomenheid bij de verwerking van natuurlijke taal.
We moeten ons ervan bewust zijn dat dit gebeurt, en onze ogen er niet voor sluiten en doen alsof het niet gebeurt, zegt O'Connor.