AI heeft raciale vooroordelen in huisvesting verergerd. Zou het kunnen helpen om het in plaats daarvan te elimineren?

Een discussie over de vraag of machines ooit eerlijker kunnen zijn dan mensen. Door

• Charlton McIlwain archiefpagina

20 oktober 2020

Andrea Daquino

Ons komende tijdschriftnummer is gewijd aan problemen op de lange termijn. Weinig problemen zijn op langere termijn of hardnekkiger dan de systemische raciale ongelijkheid in Amerika. En een bijzonder diepgewortelde vorm ervan is discriminatie op het gebied van huisvesting.

Een lange geschiedenis van polissen door banken, verzekeringsmaatschappijen en makelaars in onroerend goed heeft mensen van kleur een eerlijke kans ontzegd op eigenwoningbezit, geconcentreerde rijkdom en eigendom in de handen van blanke mensen en gemeenschappen, en heeft de feitelijke segregatie in stand gehouden. Hoewel dit beleid - met namen als redlining, blockbusting, raciale zonering, beperkende convenanten en raciale sturing - niet langer legaal is, blijven de gevolgen bestaan ​​​​en worden ze soms nog steeds heimelijk of onopzettelijk toegepast.

Dit verhaal maakte deel uit van ons nummer van november 2020

• Zie de rest van het nummer
• Abonneren

Technologie heeft in sommige gevallen de systemische raciale vooringenomenheid van Amerika verergerd. Het is bijvoorbeeld aangetoond dat op algoritmen gebaseerde gezichtsherkenning, voorspellend politiewerk en beslissingen over veroordelingen en borgtocht consequent slechtere resultaten opleveren voor zwarte mensen. Ook op het gebied van huisvesting toonde recent onderzoek van de University of California, Berkeley, aan dat een op AI gebaseerd systeem voor hypotheekleningen zwarte en Latijns-Amerikaanse leners hogere tarieven in rekening bracht dan blanke mensen voor dezelfde leningen.

Kan technologie worden gebruikt om in plaats daarvan de vooroordelen in huisvesting te verminderen? We brachten enkele experts samen om de mogelijkheden te bespreken. Zij zijn:

Lisa Rijst

President en CEO van de National Fair Housing Alliance, het grootste consortium van organisaties die zich inzetten voor het beëindigen van discriminatie op het gebied van huisvesting.

Bobby Bartlett

Rechtsprofessor aan UC Berkeley, die het onderzoek leidde en een van de eerste grootschalige bewijzen leverde voor hoe kunstmatige intelligentie discriminatie veroorzaakt bij hypotheekleningen.

Charlton McIlwain

Hoogleraar media, cultuur en communicatie aan de NYU en auteur van Black Software: Internet & Racial Justice, van Afronet tot Black Lives Matter .

---

Deze discussie is voor de duidelijkheid bewerkt en gecomprimeerd.

McIlwain: Toen ik afgelopen december voor het Congres getuigde over de impact van automatisering en AI in de financiële dienstverlening, citeerde ik een recent onderzoek waaruit bleek dat, in tegenstelling tot menselijke leningfunctionarissen, geautomatiseerde hypotheekleningssystemen woningkredieten redelijk goedkeurden, zonder te discrimineren op basis van ras. De geautomatiseerde systemen rekenen zwarte en Latijns-Amerikaanse leners echter nog steeds aanzienlijk hogere prijzen voor die leningen.

Dit maakt me sceptisch dat AI het beter kan of zal doen dan mensen. Bobby - dit was jouw studeerkamer. Trek je dezelfde conclusies?

Bartlett: We hadden toegang tot een dataset waarmee we de geregistreerde kredietverstrekker konden identificeren en of die kredietverstrekker een volledig geautomatiseerd systeem gebruikte, zonder enige menselijke tussenkomst - althans wat betreft de goedkeuring en acceptatie. We hadden informatie over het ras en de etniciteit van de geregistreerde kredietnemer en konden vaststellen of de prijzen van goedgekeurde leningen per ras verschilden. In feite deed het dat, met ongeveer $ 800 miljoen per jaar.

Waarom zouden deze algoritmen, die blind zijn voor het ras of de etniciteit van de lener, op deze manier discrimineren? Onze werkhypothese is dat de algoritmen vaak gewoon proberen de prijs te maximaliseren. Vermoedelijk is degene die het algoritme ontwerpt zich niet bewust van de raciale consequentie van deze vastberaden focus op winstgevendheid. Maar ze moeten begrijpen dat er een raciale dynamiek is, dat de proxy-variabelen die ze gebruiken - naar alle waarschijnlijkheid daar de discriminatie is. In zekere zin is er effectief een rode lijn van de roodste soort die door de code gaat. Het lijkt op wat er in het algemeen op de hypotheekmarkt gebeurt. We weten dat makelaars hogere prijzen zullen aanbieden aan minderheidsleners, wetende dat sommigen het zullen afwijzen, maar anderen zullen het eerder accepteren om een ​​hele reeks redenen.

McIlwain: Ik heb een theorie dat een van de redenen dat we eindigen met bevooroordeelde systemen - zelfs als ze zijn gebouwd om minder discriminerend te zijn - is omdat de mensen die ze ontwerpen de onderliggende complexiteit van het probleem niet echt begrijpen. Er lijkt mij een zekere naïviteit te zijn in het denken dat een systeem vrij van vooroordelen zou zijn, alleen maar omdat het rassenblind is.

Rijst: Weet je, Charlton, we hadden hetzelfde perspectief als jij in de jaren '90 en het begin van de jaren 2000. We hebben financiële instellingen verboden om alleen voor dit doel verzekeringsscores, op risico's gebaseerde prijsstelling of kredietscoresystemen te gebruiken. We realiseerden ons dat de systemen zelf vooringenomenheid vertoonden. Maar toen begonnen we te zeggen dat je ze alleen kunt gebruiken als ze mensen helpen, de toegang uitbreiden of eerlijkere prijzen genereren.

McIlwain: Gaan mensen die deze systemen ontwerpen de fout in omdat ze het onderliggende probleem met huisvestingsdiscriminatie echt niet fundamenteel begrijpen? En komt uw bron van optimisme voort uit het feit dat u en organisaties zoals de uwe die complexiteit wel begrijpen?

Rijst: Wij zijn een burgerrechtenorganisatie. Dat is wat we zijn. We doen al ons werk vanuit een raciale gelijkheidslens. Wij zijn een antiracismeorganisatie.

Bij het oplossen van redlining- en reverse redlining-zaken moedigden we de financiële instellingen en verzekeringsagentschappen aan om hun bedrijfsmodellen te heroverwegen, om te heroverwegen hoe ze op de markt brachten, om hun acceptatierichtlijnen te heroverwegen, om de producten die ze aan het ontwikkelen waren te heroverwegen. En ik denk dat de reden dat we dat konden doen, is omdat we een bureau voor burgerrechten zijn.

Verwant verhaal

Natuurlijk houdt technologie racisme in stand. Het is zo ontworpen. Zwarte Amerikanen hebben gezien hoe technologie keer op keer op hen werd gericht. Stoppen betekent anders naar het probleem kijken.

We beginnen met het helpen van bedrijven om de geschiedenis van huisvesting en financiën in de Verenigde Staten te begrijpen en hoe al ons huisvesting- en financieringsbeleid is afgedwongen door een raciale lens. Je kunt niet bij nul beginnen in termen van het ontwikkelen van een systeem en denken dat dat systeem eerlijk zal zijn. Je moet het ontwikkelen op een manier die gebruik maakt van antiracistische technologieën en methodologieën.

McIlwain: Kunnen we realistisch gezien nog een deuk in dit probleem maken met behulp van de technologische hulpmiddelen die ons ter beschikking staan? Zo ja, waar beginnen we?

Rijst: Ja - toen de financiële crisis van 2008 een beetje voorbij was en we omhoog keken, was het alsof de technologie ons had ingehaald. En dus besloten we, misschien als we het niet kunnen verslaan, misschien zullen we meedoen. We hebben dus veel tijd besteed aan het proberen te leren hoe op algoritmische systemen gebaseerde systemen werken, hoe AI werkt, en we zijn op het punt gekomen waarop we denken dat we nu technologie kunnen gebruiken om discriminerende resultaten te verminderen.

Als we begrijpen hoe deze systemen vooringenomenheid vertonen, kunnen we hopelijk tot in de ingewanden doordringen en die systemen vervolgens de-biasen, en nieuwe systemen bouwen die de de-biasing-technieken erin doordringen.

We hebben echt geen regelgevende instanties die begrijpen hoe ze een onderzoek van een kredietinstelling moeten uitvoeren om uit te zoeken of het systeem bevooroordeeld is of niet.

Maar als je bedenkt hoe ver we achter de feiten aanlopen, is het echt ontmoedigend om na te denken over al het werk dat gedaan moet worden, al het onderzoek dat gedaan moet worden. We hebben meer Bobby's van de wereld nodig. Maar ook al het onderwijs dat gedaan moet worden zodat datawetenschappers deze zaken begrijpen.

Rijst: We proberen regelgevers te laten begrijpen hoe systemen vooringenomenheid vertonen. Weet je, we hebben niet echt een groep examinatoren bij regelgevende instanties die begrijpen hoe ze een examen moeten afleggen bij een kredietinstelling om uit te zoeken of het systeem - het geautomatiseerde acceptatiesysteem, het marketingsysteem, het servicesysteem - al dan niet werkt. bevooroordeeld. Maar de instellingen ontwikkelen zelf hun eigen organisatiebeleid dat kan helpen.

Het andere dat we moeten doen, is de diversiteit in de technische ruimte echt vergroten. We moeten meer studenten met verschillende achtergronden in STEM-gebieden en in de technische ruimte krijgen om verandering te helpen bewerkstelligen. Ik kan een aantal voorbeelden bedenken waarbij het hebben van een gekleurde persoon in het team een ​​groot verschil maakte in termen van eerlijkheid van de technologie die werd ontwikkeld.

McIlwain: Welke rol speelt beleid? Ik heb het gevoel dat op dezelfde manier waarop burgerrechtenorganisaties achter de industrie stonden wat betreft het begrijpen van hoe algoritmische systemen werken, veel van onze beleidsmakers achterlopen. Ik weet niet hoeveel vertrouwen ik zou stellen in hun vermogen om realistisch te dienen als een effectieve controle op het systeem, of op de nieuwe AI-systemen die snel hun weg vinden naar de hypotheekarena.

McIlwain: Ik blijf sceptisch. Voorlopig gaat de omvang van het probleem voor mij nog steeds veel verder dan zowel onze collectieve menselijke wil als de mogelijkheden van onze technologie. Bobby, denk je dat technologie ooit kan helpen?
dit probleem?

Bartlett: Ik moet dat met de advocaat beantwoorden. Het hangt ervan af. Wat we zien, althans in de leencontext, is dat je de bron van vooringenomenheid en discriminatie die je hebt waargenomen bij persoonlijke interacties kunt elimineren door middel van een soort algoritmische besluitvorming. De keerzijde is dat als je het niet op de juiste manier implementeert, je zou kunnen eindigen met een besluitvormingsapparaat dat zo slecht is als een redlining-regime. Het hangt dus echt af van de uitvoering, het soort technologie en de zorg waarmee het wordt ingezet. Maar een eerlijk leenregime dat wordt geoperationaliseerd via geautomatiseerde besluitvorming? Ik vind dat een heel uitdagend voorstel. En ik denk dat die jury er nog steeds niet is.

zich verstoppen