Podcast: kan AI uw tegoed herstellen?

mevrouw Tech | Pexels

Kredietscores worden al tientallen jaren gebruikt om de kredietwaardigheid van consumenten te beoordelen, maar hun reikwijdte is veel groter nu ze worden aangedreven door algoritmen. Ze houden niet alleen rekening met veel meer gegevens, zowel in volume als in type, maar ze hebben ook steeds meer invloed op de vraag of je een auto kunt kopen, een appartement kunt huren of een fulltime baan kunt krijgen. In deze tweede van een serie over automatisering en onze portefeuilles onderzoeken we hoeveel invloed de machines die onze kredietwaardigheid bepalen, veel meer zijn geworden dan ons financiële leven.

We ontmoeten:

• Chi Chi Wu, stafadvocaat bij National Consumer Law Center
• Michele Gilman, professor in de rechten aan de Universiteit van Baltimore
• Mike de Vere, CEO van Zest AI

Credits:

Deze aflevering is geproduceerd door Jennifer Strong, Karen Hao, Emma Cillekens en Anthony Green. We zijn bewerkt door Michael Reilly.

Vertaling:

[TECH REVIEW-ID]

Mirjam : Het was niet ongewoon om buiten onze hotelkamer te worden buitengesloten of dat een sleutel niet werkte en dat hij naar de receptie moest gaan om het af te handelen. En het was niet ongewoon om een ​​rekening te betalen in een restaurant en dan de cheque terug te laten komen.

Jennifer: We gaan deze vrouw Miriam noemen om haar privacy te beschermen. Ze was 21 toen ze de man ontmoette met wie ze zou trouwen... en... binnen een paar jaar... haar leven... en haar financiële positie... op zijn kop zetten.

Mirjam: Maar hij had altijd een reden en het was altijd de schuld van iemand anders.

Jennifer: Toen ze elkaar voor het eerst ontmoetten, had Miram twee banen, schreef ze budgetten op een whiteboard en maakte ze een deuk in haar studieschuld.

Haar krediet was schoon.

Mirjam: Hij nam me mee uit eten en hij nam me mee op kleine uitstapjes, je weet wel, twee of drie nachten vakantiedeals naar het strand of, je weet wel, lokale dingen. En hij betaalde altijd alles en dat vond ik gewoon zo leuk.

Mirjam: En toen begon hij te vragen of hij mijn lege creditcards mocht gebruiken voor een van zijn zaken. En hij zou het volledige bedrag in rekening brengen, ongeveer 5.000 en het dan elke keer binnen, ik bedoel, twee of drie dagen betalen. En hij noemde het gewoon flippen. Dat gebeurde een tijdje. En gedurende die tijd werd dat gewoon een normaal iets. En dus stopte ik er een beetje mee om er aandacht aan te schenken.

Jennifer: Tot op een dag... haar hele wereld instortte.

Mirjam: Ik had, laten we eens kijken naar een zesjarige, een tweejarige en een vierjarige en het is Halloweenochtend en we zijn in de eetkamer en maken ons klaar om haar naar de kleuterschool te brengen. En de FBI kwam en arresteerde mijn man en het is net als in de films, weet je, ze doorzoeken al je spullen en ze sturen een stel mannen met modderige laarzen en geweren je huis in.

Jennifer: Een federale rechter veroordeelde haar man voor het plegen van een kwart miljoen dollar aan overboekingsfraude... en Miriam ontdekte tienduizenden dollars aan schulden op haar naam.

Ze werd achtergelaten om de stukken op te rapen... en de financiën.

Mirjam : Ik bedoel, mijn credit score was op een gegeven moment lager dan 500. Ik bedoel, het stortte gewoon in en dat duurt lang om eruit te graven, maar ik heb geleerd dat het een beetje bij beetje is... waar ik mezelf in moest leren. Ik bedoel, sinds dit hele debacle hier, heb ik nog nooit iets gemist. Het is alsof... belangrijker voor mij dan de meeste dingen... is om mijn credit score goud te houden.

Jennifer: Ze is een overlevende van wat bekend staat als gedwongen schuld. Het is een vorm van economisch misbruik... meestal door een partner of familielid.

Mirjam: Er zijn geen fysieke wonden. Rechts. En er is, dit is niet iets dat je zomaar de politie kunt bellen op iemand. En, het is ook meestal geen vijandige situatie. Het is meestal mooi, het is een rustig gesprek waarin hij zich een weg baant en dan krijgt wat hij wil.

Jennifer: Economisch misbruik is niet nieuw... maar net als identiteitsdiefstal is het een stuk eenvoudiger geworden in een digitale wereld van online formulieren en geautomatiseerde beslissingen.

Mirjam: Ik weet wat een algoritme is. Ik snap het. Maar wat bedoel je met mijn kredietalgoritme?

Jennifer: Ze kwam weer op de been... maar velen doen dat niet... en terwijl algoritmen ons financiële kredietsysteem blijven overnemen... beweren sommigen dat dit nog veel erger kan worden.

Gilman: We hebben een systeem dat ervoor zorgt dat mensen die ontberingen ervaren waar ze geen controle over hebben, eruitzien als een doodlopende weg, wat op zijn beurt van invloed is op hun vermogen om de kansen te krijgen die nodig zijn om aan armoede te ontsnappen en economische stabiliteit te verwerven.

Jennifer: Maar anderen beweren dat de Rechtsaf algoritmen voor het scoren van kredieten... kunnen de poort zijn naar een betere toekomst... waar vooroordelen kunnen worden uitgeroeid... en het systeem eerlijker kan worden gemaakt.

Van Vere: Dus vanuit mijn perspectief is krediet gelijk aan kansen. Het is heel belangrijk als samenleving dat we dat goed doen. We geloven dat er een 2.0-versie van kan zijn, gebruikmakend van machine learning.

Jennifer: Ik ben Jennifer Strong en in deze tweede van een serie over automatisering en onze portemonnee... onderzoeken we hoeveel de machines die onze kredietwaardigheid bepalen... veel meer zijn gaan beïnvloeden dan ons financiële leven.

[IMWT-ID]

Jennifer: Vroeger was het zo dat wanneer iemand een lening wilde... ze relaties aangingen met mensen bij een bank of kredietvereniging die beslissingen namen over hoe veilig of riskant die investering leek.

Zoals deze scène uit de kerstklassieker uit de jaren 40, It's a Wonderful Life... waar de hoofdpersoon van de film besluit zijn eigen geld aan klanten te lenen om zijn bedrijf overeind te houden.... na een poging tot run op de bank.

George: Ik heb $ 2.000! Hier is $2000, dit houdt ons vast tot de bank weer opengaat. Oké, Tom, hoeveel heb je nodig?

Tom: $ 242.

George: Oh Tom. Net genoeg om je overeind te houden tot de bank herop-.

Tom: Ik neem $242!

George: Daar ben je.

Tom: Dat zal mijn account sluiten.

George: Je account is er nog steeds. Dat is een lening!

Jennifer: Tegenwoordig verstrekken banken leningen zonder ooit veel van hun klanten te ontmoeten... Vaak worden deze beslissingen geautomatiseerd... op basis van gegevens uit uw kredietrapport... die zaken als creditcardsaldi, autoleningen, studieschulden... persoonlijke gegevens…

In de jaren vijftig wilde de industrie een manier vinden om deze rapporten te standaardiseren... dus datawetenschappers bedachten een manier om die informatie te verkrijgen... ze door een computermodel halen en een getal uitspugen....

Dat is uw kredietscore... en het zijn niet alleen banken die ze gebruiken om beslissingen te nemen. Afhankelijk van waar je woont, verwijzen allerlei groepen naar dit nummer ... inclusief verhuurders ... verzekeringsmaatschappijen ... zelfs werkgevers.

Wu: Consumenten zijn niet de klanten van kredietbureaus. Wij zijn, of onze data is de grondstof. Wij zijn niet de klanten, wij zijn de kip. Wij, wij zijn het ding dat wordt verkocht….

Jennifer: Chi Chi Wu is een consumentenadvocaat en advocaat bij het National Consumer Law Center.

Wu: En als gevolg daarvan zijn de prikkels in deze markt een beetje in de war. De prikkels zijn bedoeld om te voorzien in de behoeften van schuldeisers en andere gebruikers van rapporten en niet van consumenten.

Jennifer: Als het gaat om kredietrapporten, zijn er drie bewaarders van de sleutels .... Equifax, Experian en Transunion.

Maar deze rapporten zijn verre van volledig... en ze kunnen onnauwkeurig zijn.

Wu: Er zijn onaanvaardbaar hoge foutenpercentages in kredietrapporten. Eh, nu blijkt uit de gegevens van het definitieve onderzoek door de federale handelscommissie dat, uh, een op de vijf consumenten een geverifieerde fout had in hun kredietrapport. En één op de 20 of 5% had een fout die zo ernstig was dat ze zouden worden geweigerd voor krediet, of ze zouden meer moeten betalen.

Jennifer: Klachten bij de federale overheid over deze rapporten zijn de afgelopen jaren explosief gestegen ... en vorig jaar tijdens de pandemie? Klachten over fouten verdubbelden.

Deze vormen meer dan de helft van alle klachten die zijn ingediend bij de C-F-P-B -- of het Consumer Financial Protection Bureau van de Amerikaanse overheid.

Maar Wu is van mening dat zelfs zonder fouten de manier waarop kredietscores worden gebruikt... een probleem is.

Wu: Het probleem is dus werkgevers... verhuurders. Ze beginnen kredietrapporten en kredietscores te zien als een soort weerspiegeling van iemands onderliggende verantwoordelijkheid, hun waarde als persoon, hun karakter. En dat is gewoon helemaal fout. Wat we zien is dat mensen eindigen met negatieve informatie over hun kredietrapport omdat ze het financieel moeilijk hebben omdat er iets ergs met hen is gebeurd. Dus mensen die hun baan zijn kwijtgeraakt, die ziek zijn geworden. Ze kunnen hun rekeningen niet betalen. En deze pandemie is daar de perfecte illustratie van en je kunt dit echt zien aan de raciale verschillen in kredietscores. De creditscores voor zwarte gemeenschappen zijn veel lager dan voor blanke gemeenschappen en voor Latijns-X-gemeenschappen zit het ergens tussenin. En heeft niets met karakter te maken. Het heeft alles te maken met ongelijkheid.

Jennifer: En aangezien de industrie oudere methoden voor het scoren van kredieten vervangt door machine learning... vreest ze dat dit het probleem kan verankeren.

Wu: En als er niets aan wordt gedaan, als hier geen opzettelijke controle op is, als we hier niet op onze hoede voor zijn, zal hetzelfde gebeuren met die algoritmen die met kredietscores zijn gebeurd, wat zal zijn, ze zullen de voortgang van de historisch gemarginaliseerde gemeenschappen belemmeren .

Jennifer: Ze maakt zich vooral zorgen over bedrijven die beloven dat hun kredietscore-algoritmen eerlijker zijn omdat ze alternatieve gegevens gebruiken... gegevens die zogenaamd minder vatbaar zijn voor raciale vooroordelen...

Wu: Zoals je mobiele telefoonrekening, of je huur, eh, tot de meer funky fringy, big data. Wat staat er in je sociale media-feed voor het eerste type alternatieve gegevens dat een beetje conventioneel of financieel is, eh, mijn mantra is de duivel in de details. Sommige van die gegevens zien er veelbelovend uit. Andere soorten van die gegevens kunnen zeer riskant zijn. Dus dat is mijn zorg over kunstmatige intelligentie en machine learning. Niet dat we ze nooit zouden moeten gebruiken. Je moet ze gewoon gebruiken, toch? Je moet ze met opzet gebruiken. Zij zouden de oplossing kunnen zijn. Als ze te horen krijgen dat een van uw doelen is om de ongelijkheden voor gemarginaliseerde groepen te minimaliseren. U weet dat het uw doel is om net zo voorspellend of meer voorspellend te zijn met minder verschillen.

Jennifer: Het congres overweegt het gebruik van kredietrapporten door werkgevers te beperken... en sommige staten hebben besloten ze te verbieden bij het vaststellen van verzekeringstarieven... of toegang tot betaalbare huisvesting.

Maar bewustwording is ook een issue.

Gilman: Er zijn veel schade aan het rapporteren van kredieten die mensen zonder hun medeweten treft. En als je niet weet dat je schade hebt geleden, kun je geen hulp of remedies krijgen,

Jennifer: Michelle Gilman is hoogleraar klinisch recht aan de Universiteit van Baltimore...

Gilman: Ik heb niets geleerd over algoritmische besluitvorming op de rechtenstudie en de meeste rechtenstudenten nog steeds niet. En ze kunnen erg geïntimideerd zijn door de gedachte een algoritme te moeten uitdagen.

Jennifer: Ze weet niet zeker wanneer ze voor het eerst merkte dat algoritmen beslissingen namen voor haar klanten. Maar één geval springt eruit... van een oudere en gehandicapte cliënt wiens thuiszorguren onder het Medicaid-programma drastisch werden verminderd... ook al werd de cliënt zieker...

Gilman: En pas toen we voor een bestuursrechter stonden in een betwiste hoorzitting, werd duidelijk dat de verlaging van het aantal uren te wijten was aan een algoritme. En toch kon de getuige van de staat, die verpleegster was, niets uitleggen over het algoritme. Ze bleef maar herhalen dat het internationaal en statistisch gevalideerd was, maar ze kon ons niet vertellen hoe het werkte, welke gegevens erin waren ingevoerd, welke factoren het woog, hoe de factoren werden gewogen. En dus kijkt mijn studentenadvocaat mij aan en we kijken elkaar aan en denken: hoe onderzoeken we een algoritme?

Jennifer: Ze kwam in contact met andere advocaten in het hele land die hetzelfde meemaakten. En ze besefte dat het probleem veel groter was...

Gilman: En als het op algoritmen aankomt, zijn ze actief in bijna elk aspect van het leven van onze klant.

Jennifer: En algoritmen voor kredietrapportage zijn het meest doordringend.

Haar bedrijf ziet slachtoffers die worden opgezadeld met onverwachte schulden... soms vanwege ontberingen... andere keren van medische rekeningen... of... vanwege identiteitsdiefstal, waarbij iemand anders leningen aangaat in jouw naam...

Maar de impact is hetzelfde... het weegt op de kredietscores... en zelfs als de schuld is vereffend, kan het langetermijneffecten hebben.

Gilman: Als goede consumentenadvocaat moeten we weten dat het soms niet voldoende is om de feitelijke rechtszaak die voor u ligt op te lossen. Je moet ook naar buiten gaan om de rimpeleffecten van deze algoritmische systemen op te ruimen. Veel armoedeadvocaten delen dezelfde vooroordelen als de algemene bevolking in termen van het zien van een door de computer gegenereerd resultaat en denken dat het neutraal, objectief en correct is. Het is op de een of andere manier magisch. Het is als een rekenmachine. En geen van die veronderstellingen is waar, maar we hebben de training en de middelen nodig om te begrijpen hoe deze systemen werken. En dan moeten we als gemeenschap betere tools ontwikkelen zodat we die systemen kunnen ondervragen, zodat we deze systemen kunnen uitdagen.

Jennifer: Na de pauze... We kijken naar de inspanningen om eerlijkheid in kredietrapportage te automatiseren.

[midroll]

Van Vere: AI helpt op twee manieren: het zijn meer gegevens en betere wiskunde. En dus als je denkt aan beperkingen op de huidige wiskunde, weet je, ze kunnen een paar dozijn variabelen binnenhalen. En, uh, als ik Jennifer zou proberen te beschrijven, uh, met twee dozijn variabelen, weet je, zou ik waarschijnlijk tot een redelijk goede beschrijving kunnen komen, maar stel je voor dat ik meer gegevens zou kunnen verzamelen en ik beschreef je met 300 tot duizend variabelen die signaal en resolutie resulteren in een veel nauwkeurigere voorspelling van uw kredietwaardigheid als kredietnemer.

Jennifer: Mike de Vere is de CEO van Zest AI. Het is een van de vele bedrijven die transparantie willen toevoegen aan het goedkeuringsproces voor kredieten en leningen... met software die is ontworpen om rekening te houden met enkele van de huidige problemen met kredietscores... inclusief ras, geslacht en andere mogelijke vooroordelen.

Om te begrijpen hoe het werkt... hebben we eerst wat context nodig. In de VS is het voor geldschieters (anders dan hypotheekverstrekkers) illegaal om gegevens over ras te verzamelen. Dit was oorspronkelijk bedoeld om voorkomen discriminatie.

Maar iemands ras heeft een sterke correlatie met hun naam... waar ze wonen... waar ze naar school gingen... en hoeveel ze betaald krijgen. Dat betekent dat... zelfs zonder racegegevens... een machine learning-algoritme toch kan leren discrimineren... gewoon omdat het ingebakken zit.

Dus geldschieters proberen dit te controleren en de discriminatie in hun leenmodellen uit te bannen. Het enige probleem? Om te controleren hoe het met je gaat, moet je het ras van de leners kennen... zonder dat... worden kredietverstrekkers gedwongen een weloverwogen gok te doen.

Van Vere: De geaccepteerde benadering is dus een acroniem BISG en gebruikt in feite twee variabelen, uw postcode en uw achternaam. En dus mijn naam is Mike De Vere en het deel van Californië waar ik vandaan kom, met zo'n naam zou ik uit komen als Hispanic of Latin X, maar toch ben ik Iers.

Jennifer: Met andere woorden... de industriestandaard om dit te doen is vaak ronduit verkeerd. Zijn bedrijf pakt het dus anders aan.

Van Vere: We geloven dat daar een 2.0-versie van kan zijn, waarbij gebruik wordt gemaakt van machine learning.

Jennifer: In plaats van ras te voorspellen op slechts twee variabelen... gebruikt het veel meer... zoals de voor- en middelste namen van de persoon... en andere geografische gegevens - zoals hun volkstelling... of schoolbestuur.

Hij zegt in een recente test in Florida dat deze methode 60 procent beter presteerde dan het standaardmodel.

Van Vere: Waarom is dat belangrijk? Dat is belangrijk, want het is jouw maatstaf voor hoe je het doet.

Jennifer: Vervolgens kiest hij voor een benadering die adversarial de biasing wordt genoemd.

Het basisidee is: deze . Het bedrijf begint met één machine learning-model dat is getraind om te voorspellen hoe riskant een bepaalde lener is.

Van Vere: Laten we zeggen dat het 300 tot 500 gegevenspunten heeft om risico's voor een persoon toe te wijzen.

Jennifer: Het heeft dan een seconde machine learning-model dat probeert het ras van die lener te raden... (op basis van de bevindingen van de eerste).

Als de voorspellingen van het tweede model overeenkomen met de output van de race-voorspeller... hij zegt dat dit betekent dat het systeem vooringenomenheid codeert... en moet worden aangepast... door aan te passen hoeveel het elk van de datapunten weegt.

Van Vere: Dus die 300 tot 500 signalen kunnen we verhogen of verlagen als het een proxy voor race wordt. Dus wat je uiteindelijk krijgt is niet alleen een performant model dat goede economie levert, maar tegelijkertijd heb je een model dat bijna kleurenblind is in dat proces.

Jennifer: Hij zegt dat het heeft geleid tot meer inclusieve leenpraktijken.

Van Vere: We werken samen met een van de grootste kredietverenigingen in de VS buiten Florida. En dus wat dat betekent voor onze kredietvereniging is meer ja voor meer van hun leden. Maar waar ze echt enthousiast over waren, was een toename van 26% in goedkeuring voor vrouwen. Vijfentwintig procent meer goedkeuring voor leden van kleur.

Jennifer: Hoewel het bemoedigend is... Iedereen die beweert een oplossing te hebben voor tientallen jaren van schade veroorzaakt door algoritmische besluitvorming... zal veel moeten overwinnen om het vertrouwen van mensen te winnen.

Het is een taak die nog moeilijker wordt gemaakt als de voorgestelde oplossing voor een slecht algoritme... een ander algoritme is.

De Treasury Department heeft onlangs richtlijnen uitgegeven - waarbij het gebruik van AI-kredietacceptatie wordt benadrukt als een belangrijk risico voor het bankwezen... waarschuwing voor de kosten die gepaard gaan met hun ondoorzichtige aard... en het verdedigen van acceptatie- en modelleringsbeslissingen.

Wat... zelfs met de meest transparante tools... nog steeds als een hele opgave voelt.

En zonder moderne regelgeving is het ook onduidelijk wie deze kredietscoremonitors controleert... en wie beslist of zaken als telefoongegevens of informatie van sociale media fair play zijn?

Vooral als de eindresultaten nog steeds worden gebruikt voor niet-kredietdoeleinden... zoals werk of verzekeringen.

[CREDITS]

Deze aflevering is geproduceerd door mij, Karen Hao, Emma Cillekens en Anthony Green. We zijn bewerkt door Michael Reilly.

Bedankt voor het luisteren, ik ben Jennifer Strong.

[TECH REVIEW-ID]

zich verstoppen