Bias is niet het enige probleem met kredietscores - en nee, AI kan het niet helpen

mevrouw Tech | Cindy Tang/Unsplash

We wisten al dat bevooroordeelde gegevens en bevooroordeelde algoritmen geautomatiseerde besluitvorming scheeftrekken op een manier die in het nadeel is van lage-inkomens- en minderheidsgroepen. Bijvoorbeeld, software die door banken wordt gebruikt om te voorspellen of iemand al dan niet creditcardschulden zal terugbetalen, bevoordeelt doorgaans rijkere blanke aanvragers. Veel onderzoekers en een hele reeks start-ups proberen het probleem op te lossen door: deze algoritmen eerlijker maken .

Verwant verhaal

De komende oorlog tegen de verborgen algoritmen die mensen in armoede vangen Een groeiende groep advocaten ontdekken, navigeren en bestrijden de geautomatiseerde systemen die de slechte huisvesting, banen en basisvoorzieningen ontkennen.

Maar in de grootste studie ooit van hypotheekgegevens in de echte wereld , laten economen Laura Blattner van Stanford University en Scott Nelson van de University of Chicago zien dat verschillen in hypotheekgoedkeuring tussen minderheids- en meerderheidsgroepen niet alleen te wijten zijn aan vooringenomenheid, maar aan het feit dat minderheids- en lage-inkomensgroepen minder gegevens in hun kredietwaardigheid hebben geschiedenissen.

Dit betekent dat wanneer deze gegevens worden gebruikt om een ​​kredietscore te berekenen en deze kredietscore wordt gebruikt om een ​​voorspelling te doen over wanbetaling, die voorspelling minder nauwkeurig zal zijn. Het is dit gebrek aan precisie dat leidt tot ongelijkheid, niet alleen vooringenomenheid.

De implicaties zijn grimmig: eerlijkere algoritmen zullen het probleem niet oplossen.

Het is een heel opvallend resultaat, zegt Ashesh Rambachan, die machine learning en economie studeert aan de Harvard University, maar niet bij het onderzoek betrokken was. Bias en fragmentarische kredietgegevens zijn al geruime tijd hot issues, maar dit is het eerste grootschalige experiment dat kijkt naar leningaanvragen van miljoenen echte mensen.

Kredietscores persen een reeks sociaaleconomische gegevens, zoals arbeidsverleden, financiële gegevens en koopgewoonten, in één enkel getal. Naast het beslissen over kredietaanvragen, worden kredietscores nu gebruikt om veel levensveranderende beslissingen te nemen, waaronder beslissingen over verzekeringen, huren en huisvesting.

Om erachter te komen waarom minderheids- en meerderheidsgroepen verschillend werden behandeld door hypotheekverstrekkers, verzamelden Blattner en Nelson kredietrapporten voor 50 miljoen geanonimiseerde Amerikaanse consumenten, en koppelden ze elk van die consumenten aan hun sociaaleconomische gegevens uit een marketingdataset, hun eigendomsbewijzen en hypotheektransacties en gegevens over de hypotheekverstrekkers die hen leningen hebben verstrekt.

Een van de redenen waarom dit de eerste studie in zijn soort is, is dat deze datasets vaak eigendom zijn van eigendom en niet openbaar beschikbaar zijn voor onderzoekers. We gingen naar een kredietbureau en moesten ze daarvoor veel geld betalen, zegt Blattner.

Lawaaierige gegevens

Vervolgens experimenteerden ze met verschillende voorspellende algoritmen om aan te tonen dat kredietscores niet alleen bevooroordeeld maar luidruchtig waren, een statistische term voor gegevens die niet kunnen worden gebruikt om nauwkeurige voorspellingen te doen. Neem een ​​minderheidskandidaat met een creditscore van 620. In een bevooroordeeld systeem zouden we kunnen verwachten dat deze score altijd het risico van die aanvrager overschat en dat een nauwkeuriger score bijvoorbeeld 625 zou zijn. In theorie zou deze vooringenomenheid dan kunnen worden verklaard via een vorm van algoritmische positieve actie, zoals het verlagen van de drempel voor goedkeuring voor minderheidsaanvragen.

Verwant verhaal

Podcast: kan AI uw tegoed herstellen?

Rimpeleffecten van automatisering bij kredietscores reiken verder dan financiën

Maar Blattner en Nelson laten zien dat correctie voor vooringenomenheid geen effect had. Ze ontdekten dat de score van een minderheidskandidaat van 620 inderdaad een slechte maatstaf was voor haar kredietwaardigheid, maar dat dit kwam omdat de fout twee kanten op kon gaan: een 620 zou 625 kunnen zijn, of het zou 615 kunnen zijn.

Dit verschil lijkt misschien subtiel, maar het is belangrijk. Omdat de onnauwkeurigheid voortkomt uit ruis in de gegevens in plaats van vooringenomenheid in de manier waarop gegevens worden gebruikt, kan deze niet worden verholpen door betere algoritmen te maken.

Het is een zichzelf in stand houdende cyclus, zegt Blattner. We geven de verkeerde mensen leningen en een deel van de bevolking krijgt nooit de kans om de gegevens op te bouwen die nodig zijn om ze in de toekomst een lening te geven.

Blattner en Nelson probeerden toen te meten hoe groot het probleem was. Ze bouwden hun eigen simulatie van de voorspellingstool van een hypotheekverstrekker en schatten wat er zou zijn gebeurd als hun beslissingen zouden worden teruggedraaid als borderline-aanvragers die waren geaccepteerd of afgewezen vanwege onnauwkeurige scores. Om dit te doen, gebruikten ze verschillende technieken, zoals het vergelijken van afgewezen aanvragers met soortgelijke die waren geaccepteerd, of kijken naar andere kredietlijnen die afgewezen aanvragers hadden ontvangen, zoals autoleningen.

Door dit alles samen te voegen, stopten ze deze hypothetische nauwkeurige leningbeslissingen in hun simulatie en maten ze het verschil tussen groepen opnieuw. Ze ontdekten dat wanneer werd aangenomen dat beslissingen over aanvragers van minderheden en een laag inkomen even nauwkeurig waren als die voor rijkere, blanke, de ongelijkheid tussen groepen met 50% daalde. Voor minderheidsaanvragers kwam bijna de helft van deze winst voort uit het verwijderen van fouten waar de aanvrager had moeten worden goedgekeurd maar dat niet was. Aanvragers met een laag inkomen zagen een kleinere winst omdat deze werd gecompenseerd door het verwijderen van fouten die de andere kant op gingen: aanvragers die hadden moeten worden afgewezen maar dat niet waren.

Blattner wijst erop dat het aanpakken van deze onnauwkeurigheid zowel geldschieters als achtergestelde aanvragers ten goede zou komen. De economische benadering stelt ons in staat om de kosten van de luidruchtige algoritmen op een zinvolle manier te kwantificeren, zegt ze. We kunnen inschatten hoeveel kredietmisallocatie hierdoor optreedt.

Onrecht herstellen

Maar het probleem oplossen zal niet eenvoudig zijn. Er zijn veel redenen waarom minderheidsgroepen luidruchtige kredietgegevens hebben, zegt Rashida Richardson, een advocaat en onderzoeker die technologie en racen studeert aan de Northeastern University. Er zijn verergerde sociale gevolgen als bepaalde gemeenschappen geen traditioneel krediet zoeken vanwege wantrouwen jegens bankinstellingen, zegt ze. Elke oplossing zal te maken hebben met de onderliggende oorzaken . Het terugdraaien van schade door generaties vereist talloze oplossingen, waaronder nieuwe bankregelgeving en investeringen in minderheidsgemeenschappen: de oplossingen zijn niet eenvoudig omdat ze zoveel verschillende slechte beleidslijnen en praktijken moeten aanpakken.

Verwant verhaal

Predictive policing-algoritmen zijn racistisch. Ze moeten worden gedemonteerd. Gebrek aan transparantie en bevooroordeelde trainingsgegevens betekenen dat deze tools niet geschikt zijn voor het beoogde doel. Als we ze niet kunnen repareren, moeten we ze dumpen.

Een optie op korte termijn zou kunnen zijn dat de overheid kredietverstrekkers ertoe aanzet om het risico te accepteren van het verstrekken van leningen aan aanvragers uit minderheidsgroepen die door hun algoritmen worden afgewezen. Hierdoor zouden kredietverstrekkers voor het eerst nauwkeurige gegevens over deze groepen kunnen verzamelen, wat op de lange termijn zowel de aanvragers als de kredietverstrekkers ten goede zou komen.

Een paar kleinere kredietverstrekkers beginnen dit al te doen, zegt Blattner: Als de bestaande gegevens je niet veel vertellen, ga dan naar buiten en maak een heleboel leningen en leer meer over mensen. Rambachan en Richardson zien dit ook als een noodzakelijke eerste stap. Maar Rambachan denkt dat er een culturele verschuiving nodig is voor grotere geldschieters. Het idee is heel logisch voor de datawetenschapsmenigte, zegt hij. Maar als hij met die teams binnen banken praat, geven ze toe dat het geen gangbare visie is. Ze zullen zuchten en zeggen dat ze het op geen enkele manier aan het zakelijke team kunnen uitleggen, zegt hij. En ik weet niet zeker wat de oplossing daarvoor is.

Blattner vindt ook dat kredietscores moeten worden aangevuld met andere gegevens over sollicitanten, zoals banktransacties. Ze verwelkomt de recente aankondiging van een handvol banken, waaronder JPMorgan Chase, dat ze gegevens over de bankrekeningen van hun klanten gaan delen als een aanvullende informatiebron voor personen met een slechte kredietgeschiedenis. Maar er zal meer onderzoek nodig zijn om te zien welk verschil dit in de praktijk zal maken. En waakhonden zullen ervoor moeten zorgen dat een grotere toegang tot krediet niet hand in hand gaat met roofzuchtig leengedrag, zegt Richardson.

Veel mensen zijn zich nu bewust van de problemen met vooringenomen algoritmen, zegt Blattner. Ze wil dat mensen ook gaan praten over luidruchtige algoritmen. De focus op vooringenomenheid - en de overtuiging dat het een technische oplossing heeft - betekent dat onderzoekers het bredere probleem mogelijk over het hoofd zien.

Richardson maakt zich zorgen dat beleidsmakers ervan overtuigd zullen zijn dat technologie de antwoorden heeft als dat niet het geval is. Onvolledige gegevens zijn verontrustend, omdat onderzoekers voor het detecteren ervan een redelijk genuanceerd begrip van maatschappelijke ongelijkheid moeten hebben, zegt ze. Als we in een rechtvaardige samenleving willen leven waar iedereen het gevoel heeft erbij te horen en met waardigheid en respect wordt behandeld, dan moeten we realistisch gaan worden over de ernst en omvang van de problemen waarmee we worden geconfronteerd.

zich verstoppen