211service.com
Dit is hoe AI-bias echt gebeurt - en waarom het zo moeilijk is om dit op te lossen
mevrouw Tech; Foto: PIXOLOGICSTUDIO/SCIENCE FOTOBIBLIOTHEEK
De afgelopen maanden hebben we gedocumenteerd hoe de overgrote meerderheid van de huidige AI-toepassingen is gebaseerd op de categorie algoritmen die bekend staat als deep learning, en hoe deep learning-algoritmen patronen in gegevens vinden. We hebben ook besproken hoe deze technologieën het leven van mensen beïnvloeden: hoe ze onrecht kunnen voortzetten op het gebied van aanwerving, detailhandel en beveiliging, en dit mogelijk al doen in het strafrechtelijke systeem.
Maar het is niet genoeg om te weten dat deze vooringenomenheid bestaat. Als we het willen kunnen repareren, moeten we in de eerste plaats de mechanica begrijpen van hoe het ontstaat.
Hoe AI-bias ontstaat
We verkorten onze uitleg van AI-bias vaak door de schuld te geven aan vooringenomen trainingsgegevens. De realiteit is genuanceerder: vooringenomenheid kan binnensluipen lang voor de gegevens wordt zowel verzameld als bij vele andere stadia van het diepgaande leerproces. Voor de doeleinden van deze discussie zullen we ons concentreren op drie belangrijke fasen.
Het probleem in kaart brengen. Het eerste wat computerwetenschappers doen als ze een deep learning-model maken, is beslissen wat ze er echt mee willen bereiken. Een creditcardmaatschappij wil bijvoorbeeld misschien de kredietwaardigheid van een klant voorspellen, maar kredietwaardigheid is een nogal vaag begrip. Om het te vertalen in iets dat kan worden berekend, moet het bedrijf beslissen of het bijvoorbeeld zijn winstmarges wil maximaliseren of het aantal leningen dat wordt terugbetaald, wil maximaliseren. Het zou dan kredietwaardigheid kunnen definiëren in de context van dat doel. Het probleem is dat die beslissingen om verschillende zakelijke redenen worden genomen, behalve om eerlijkheid of discriminatie, legt Solon Barocas uit, een assistent-professor aan de Cornell University die gespecialiseerd is in eerlijkheid in machine learning. Als het algoritme zou ontdekken dat het verstrekken van subprime-leningen een effectieve manier was om de winst te maximaliseren, zou het uiteindelijk tot roofzuchtig gedrag leiden, zelfs als dat niet de bedoeling van het bedrijf was.
Het verzamelen van de gegevens. Er zijn twee belangrijke manieren waarop vooroordelen zichtbaar worden in trainingsgegevens: ofwel zijn de gegevens die u verzamelt niet representatief voor de werkelijkheid, ofwel weerspiegelen ze bestaande vooroordelen. Het eerste geval kan zich bijvoorbeeld voordoen als een deep-learning-algoritme meer foto's van gezichten met een lichte huid krijgt dan van gezichten met een donkere huid. Het resulterende gezichtsherkenningssysteem zou onvermijdelijk slechter zijn in het herkennen van gezichten met een donkere huidskleur. Het tweede geval is precies wat er gebeurde toen Amazon ontdekte dat zijn interne wervingstool... vrouwelijke kandidaten afwijzen . Omdat het was getraind in historische wervingsbeslissingen, waarbij mannen de voorkeur gaven boven vrouwen, leerde het hetzelfde te doen.
Het voorbereiden van de gegevens. Ten slotte is het mogelijk om vooringenomenheid te introduceren tijdens de fase van gegevensvoorbereiding, waarbij u moet selecteren met welke attributen het algoritme rekening moet houden. (Dit moet niet worden verward met de fase van probleemstelling. Je kunt dezelfde attributen gebruiken om een model voor heel verschillende doelen te trainen of heel verschillende attributen gebruiken om een model voor hetzelfde doel te trainen.) In het geval van het modelleren van kredietwaardigheid, een kenmerk kan de leeftijd, het inkomen of het aantal afgeloste leningen van de klant zijn. In het geval van de wervingstool van Amazon kan een kenmerk het geslacht, het opleidingsniveau of het aantal jaren ervaring van de kandidaat zijn. Dit is wat mensen vaak de kunst van diep leren noemen: kiezen welke attributen te overwegen of te negeren, kan de voorspellingsnauwkeurigheid van uw model aanzienlijk beïnvloeden. Maar hoewel de impact op de nauwkeurigheid gemakkelijk te meten is, is de impact op de vooringenomenheid van het model dat niet.
Waarom AI-bias moeilijk op te lossen is
In die context zijn enkele van de uitdagingen van het verminderen van vooringenomenheid misschien al duidelijk voor u. Hier lichten we er vier uit.
Onbekende onbekenden. De introductie van vooringenomenheid is niet altijd duidelijk tijdens de constructie van een model, omdat u de downstream-effecten van uw gegevens en keuzes pas veel later realiseert. Als je dat eenmaal hebt gedaan, is het moeilijk om met terugwerkende kracht vast te stellen waar die vooringenomenheid vandaan kwam en vervolgens uit te zoeken hoe je er vanaf kunt komen. In het geval van Amazon, toen de ingenieurs aanvankelijk ontdekten dat zijn tool vrouwelijke kandidaten bestrafte, herprogrammeerden ze het om expliciet gendergerelateerde woorden zoals vrouwen te negeren. Ze ontdekten al snel dat het herziene systeem nog steeds op gang kwam impliciet geslachtswoorden - werkwoorden die sterk gecorreleerd waren met mannen boven vrouwen, zoals geëxecuteerd en gevangengenomen - en dat gebruikten om zijn beslissingen te nemen.
Onvolmaakte processen. Ten eerste zijn veel van de standaardpraktijken in deep learning niet ontworpen met het oog op biasdetectie. Deep-learning-modellen worden getest op prestaties voordat ze worden ingezet, wat een perfecte gelegenheid lijkt te zijn om vooringenomenheid op te vangen. Maar in de praktijk ziet testen er meestal zo uit: computerwetenschappers splitsen willekeurig hun gegevens voordat training in een groep die daadwerkelijk wordt gebruikt voor training en een andere die is gereserveerd voor validatie zodra de training is voltooid. Dat betekent dat de gegevens die u gebruikt om de prestaties van uw model te testen, dezelfde vooroordelen hebben als de gegevens die u hebt gebruikt om het te trainen. Het zal er dus niet in slagen om scheve of bevooroordeelde resultaten te markeren.
Gebrek aan sociale context. Evenzo is de manier waarop computerwetenschappers worden geleerd om problemen te framen, vaak niet verenigbaar met de beste manier om over sociale problemen na te denken. Bijvoorbeeld, in een nieuw papier , identificeert Andrew Selbst, een postdoc bij het Data & Society Research Institute, wat hij de overdraagbaarheidsval noemt. Binnen de informatica wordt het als een goede praktijk beschouwd om een systeem te ontwerpen dat voor verschillende taken in verschillende contexten kan worden gebruikt. Maar wat dat doet, is veel sociale context negeren, zegt Selbst. Je kunt een systeem niet in Utah laten ontwerpen en vervolgens rechtstreeks in Kentucky toepassen, omdat verschillende gemeenschappen verschillende versies van eerlijkheid hebben. Of je kunt geen systeem hebben dat je toepast op ‘eerlijke’ strafrechtelijke resultaten en vervolgens toegepast op arbeid. Hoe we in die contexten over rechtvaardigheid denken, is gewoon totaal anders.
De definities van rechtvaardigheid. Het is ook niet duidelijk hoe de afwezigheid van vooringenomenheid eruit zou moeten zien. Dit geldt niet alleen in de informatica - deze vraag heeft een lange geschiedenis van debat in filosofie, sociale wetenschappen en recht. Wat anders is aan informatica, is dat het concept van eerlijkheid moet worden gedefinieerd in wiskundige termen, zoals het balanceren van de fout-positieve en fout-negatieve percentages van een voorspellingssysteem. Maar zoals onderzoekers hebben ontdekt, zijn er veel verschillende wiskundige definities van rechtvaardigheid die elkaar ook uitsluiten. Betekent eerlijkheid bijvoorbeeld dat de dezelfde verhouding van zwarte en blanke personen hoge risicobeoordelingen moeten krijgen? Of dat de hetzelfde risiconiveau moet resulteren in dezelfde score, ongeacht het ras? Het is onmogelijk om aan beide definities tegelijkertijd te voldoen ( hier is een meer diepgaande blik op waarom), dus op een gegeven moment moet je er een kiezen. Maar terwijl op andere gebieden deze beslissing wordt gezien als iets dat in de loop van de tijd kan veranderen, heeft de informatica het idee dat dit moet worden opgelost. Door het antwoord vast te stellen, los je een probleem op dat er heel anders uitziet dan hoe de samenleving over deze problemen denkt, zegt Selbst.
Waar gaan we vanaf hier?
Als je bijkomt van onze wervelwindtour door de volledige reikwijdte van het AI-biasprobleem, ben ik dat ook. Maar gelukkig werkt een sterk contingent AI-onderzoekers hard om het probleem aan te pakken. Ze hebben verschillende benaderingen gekozen: algoritmen die helpen detecteren en verzachten verborgen vooroordelen in trainingsgegevens of die de vooroordelen geleerd door het model, ongeacht de gegevenskwaliteit; processen die bedrijven houden verantwoordelijk naar de eerlijkere resultaten en discussies die de verschillende definities van rechtvaardigheid uit elkaar halen.
Het ‘repareren’ van discriminatie in algoritmische systemen is niet iets dat eenvoudig op te lossen is, zegt Selbst. Het is een proces dat gaande is, net als discriminatie in elk ander aspect van de samenleving.
Dit verscheen oorspronkelijk in onze AI-nieuwsbrief The Algorithm. Om het direct in je inbox te krijgen, kun je je hier gratis aanmelden.