De komende oorlog tegen de verborgen algoritmen die mensen in armoede vangen

Daniel Zender

Miriam was pas 21 toen ze Nick ontmoette. Ze was een fotograaf, vers van de universiteit, wachttafels. Hij was 16 jaar ouder dan zij en een lokale ondernemer die in de financiële wereld had gewerkt. Hij was charmant en charismatisch; hij nam haar mee op mooie dates en betaalde alles. Ze viel snel in zijn baan.

Het begon met één creditcard. Op dat moment was het de enige die ze had. Nick zou het maximaal maken met $ 5.000 aan zakelijke aankopen en het de volgende dag onmiddellijk afbetalen. Miriam, die me vroeg hun echte namen niet te gebruiken uit angst om zich te bemoeien met hun lopende echtscheidingsprocedure, ontdekte dat dit haar kredietscore een boost gaf. Ze groeide op met een alleenstaande vader in een huishouden met een laag inkomen en vertrouwde op Nicks knowhow boven die van haarzelf. Hij moedigde de dynamiek gemakkelijk aan en vertelde haar dat ze geen verstand had van financiën. Ze opende meer creditcards voor hem onder haar naam.

De problemen begonnen drie jaar later. Nick vroeg haar haar baan op te zeggen om te helpen met zijn bedrijf. Zij deed. Hij zei dat ze naar de middelbare school moest gaan en zich geen zorgen moest maken over haar bestaande studieschuld. Zij deed. Hij beloofde voor alles te zorgen en zij geloofde hem. Kort daarna stopte hij met het vereffenen van haar creditcardsaldi. Haar score begon te kraters.

Toch bleef Miriam bij hem. Ze zijn getrouwd. Ze hadden drie kinderen. Op een dag kwam de FBI naar hun huis en arresteerde hem. In de federale rechtbank veroordeelde de rechter hem voor bijna $ 250.000 aan draadfraude. Miriam ontdekte de volle omvang van de tienduizenden dollars aan schulden die hij in haar naam had opgebouwd. De dag dat hij naar de gevangenis ging, had ik $ 250 contant, een huis in executie, een auto die in beslag werd genomen, drie kinderen, zegt ze. Ik ging binnen een maand van het hebben van een oppas en wonen in een mooi huis en alles naar echt bittere armoede.

Miriam is een overlevende van wat bekend staat als gedwongen schuld, een vorm van misbruik die meestal wordt gepleegd door een intieme partner of familielid. Hoewel economisch misbruik een al lang bestaand probleem is, heeft digitaal bankieren het gemakkelijker gemaakt om rekeningen te openen en leningen af ​​te sluiten op naam van het slachtoffer, zegt Carla Sanchez-Adams, een advocaat bij Texas RioGrande Legal Aid. In het tijdperk van geautomatiseerde kredietscore-algoritmen kunnen de gevolgen ook veel verwoestender zijn.

Kredietscores worden al tientallen jaren gebruikt om de kredietwaardigheid van consumenten te beoordelen, maar hun reikwijdte is veel groter nu ze worden aangedreven door algoritmen: ze houden niet alleen rekening met veel meer gegevens, zowel in volume als in type, maar ze beïnvloeden steeds meer of u een auto, huur een appartement of ga fulltime werken. Hun uitgebreide invloed betekent dat als je score is geruïneerd, het bijna onmogelijk kan zijn om te herstellen. Erger nog, de algoritmen zijn eigendom van particuliere bedrijven die niet onthullen hoe ze tot hun beslissingen komen. Slachtoffers kunnen in een neerwaartse spiraal terechtkomen die soms eindigt in dakloosheid of terugkeer naar de dader.

Algoritmen voor het scoren van kredieten zijn niet de enige die van invloed zijn op het economisch welzijn van mensen en de toegang tot basisdiensten. Algoritmen beslissen nu welke kinderen in pleeggezinnen terechtkomen, welke patiënten medische zorg krijgen, welke gezinnen toegang krijgen tot stabiele huisvesting. Degenen onder ons met middelen kunnen ons leven onbewust van dit alles doorbrengen. Maar voor mensen met een laag inkomen heeft de snelle groei en acceptatie van geautomatiseerde besluitvormingssystemen een verborgen web van in elkaar grijpende vallen gecreëerd.

Gelukkig begint een groeiende groep burgerlijk juristen zich rondom deze kwestie te organiseren. Door een draaiboek te lenen van de tegenstanders van de criminele verdediging tegen algoritmen voor risicobeoordeling, proberen ze zichzelf te leren over deze systemen, een gemeenschap op te bouwen en processtrategieën te ontwikkelen. In principe begint elke civiele advocaat met dit soort zaken te maken te krijgen, omdat al onze cliënten op de een of andere manier door deze systemen worden geraakt, zegt Michele Gilman, een professor klinisch recht aan de Universiteit van Baltimore. We moeten wakker worden, trainen. Als we echt goede holistische advocaten willen zijn, moeten we ons daarvan bewust zijn.

Ga ik een algoritme onder de loep nemen?

Gilman is al 20 jaar advocaat in Baltimore. In haar werk als burgerlijk advocaat en armoedeadvocaat kwamen haar zaken altijd op hetzelfde neer: het vertegenwoordigen van mensen die geen toegang meer hebben tot basisbehoeften, zoals huisvesting, voedsel, onderwijs, werk of gezondheidszorg. Soms betekent dat een confrontatie met een overheidsinstantie. Andere keren is het met een kredietrapportagebureau of een verhuurder. In de strijd om de geschiktheid van een klant is nu steeds meer een soort algoritme betrokken.

Dit gebeurt over de hele linie bij onze klanten, zegt ze. Ze zijn verstrikt in zoveel verschillende algoritmen die hen uitsluiten van basisdiensten. En de klanten zijn zich daar misschien niet van bewust, omdat veel van deze systemen onzichtbaar zijn.

Voor mensen met een laag inkomen kan één tijdelijke economische tegenspoed leiden tot een vicieuze cirkel die soms eindigt in faillissement of dakloosheid.

JON TYSON / UNSPLASH

Ze herinnert zich niet precies wanneer ze zich realiseerde dat sommige subsidiabiliteitsbeslissingen werden genomen door algoritmen. Maar toen die overgang voor het eerst begon te gebeuren, was het zelden duidelijk. Ooit vertegenwoordigde ze een oudere, gehandicapte cliënt die om onverklaarbare redenen was afgesneden van haar door Medicaid gefinancierde thuiszorg. We konden er niet achter komen waarom, herinnert Gilman zich. Ze werd zieker, en normaal gesproken, als je zieker wordt, krijg je meer uren, niet minder.

Pas toen ze midden in de rechtszaal in de rechtszaal stonden, onthulde de getuige die de staat vertegenwoordigde dat de regering zojuist een nieuw algoritme had aangenomen. De getuige, een verpleegster, kon er niets over verklaren. Natuurlijk niet - ze kochten het van de plank, zegt Gilman. Ze is verpleegster, geen computerwetenschapper. Ze kon niet beantwoorden welke factoren erbij betrokken zijn. Hoe wordt het gewogen? Wat zijn de resultaten waarnaar u op zoek bent? Dus daar ben ik met mijn studentenadvocaat, die bij mij in mijn kliniek is, en het is alsof, 'Oh, ga ik een algoritme ondervragen?'

Voor Kevin De Liban, advocaat bij Legal Aid of Arkansas, was de verandering even verraderlijk. In 2014 voerde zijn staat ook een nieuw systeem in voor de distributie van door Medicaid gefinancierde thuishulp, waardoor een hele reeks mensen werd afgesneden die eerder in aanmerking kwamen. Op dat moment konden hij en zijn collega's het kernprobleem niet identificeren. Ze wisten alleen dat er iets anders was. We konden herkennen dat er een verandering was in beoordelingssystemen van een papieren vragenlijst met 20 vragen naar een elektronische vragenlijst met 283 vragen, zegt hij.

Twee jaar later, toen een fout in het algoritme het opnieuw onder juridische controle bracht, kwam De Liban eindelijk tot de kern van de zaak. Hij realiseerde zich dat verpleegsters tegen patiënten zeiden: Nou, de computer deed het - ik ben het niet. Dat heeft ons getipt, zegt hij. Als ik in 2016 had geweten wat ik wist, had ik in 2014 waarschijnlijk beter gepresteerd, voegt hij eraan toe.

Eén persoon doorloopt dagelijks zoveel systemen

Gilman is sindsdien veel slimmer geworden. Vanuit haar standpunt dat klanten met een reeks problemen vertegenwoordigt, heeft ze de opkomst en botsing van twee algoritmische webben geobserveerd. De eerste bestaat uit algoritmen voor kredietrapportage, zoals degene die Miriam hebben gestrikt, die de toegang tot privégoederen en -diensten zoals auto's, huizen en werk beïnvloeden. De tweede omvat algoritmen die zijn aangenomen door overheidsinstanties en die van invloed zijn op de toegang tot openbare voorzieningen zoals gezondheidszorg, werkloosheid en kinderbijslag.

Wat de kredietrapportage betreft, is de groei van algoritmen gedreven door de wildgroei aan gegevens, die gemakkelijker dan ooit te verzamelen en te delen zijn. Kredietrapporten zijn niet nieuw, maar tegenwoordig is hun voetafdruk veel groter. Rapportagebureaus voor consumenten, waaronder kredietbureaus, screeningbedrijven voor huurders of controlediensten, verzamelen deze informatie uit een breed scala aan bronnen: openbare registers, sociale media, surfen op het web, bankactiviteiten, app-gebruik en meer. De algoritmen kennen vervolgens de waardigheidsscores van mensen toe, die een grote rol spelen in achtergrondcontroles die worden uitgevoerd door geldschieters, werkgevers, verhuurders en zelfs scholen.

Overheidsinstanties daarentegen zijn gedreven om algoritmen toe te passen wanneer ze hun systemen willen moderniseren. De druk om webgebaseerde apps en digitale tools te gebruiken begon in het begin van de jaren 2000 en is voortgezet met een verschuiving naar meer gegevensgestuurde geautomatiseerde systemen en AI. Er zijn goede redenen om naar deze veranderingen te streven. Tijdens de pandemie hadden veel werkloosheidsuitkeringsstelsels moeite om het enorme aantal nieuwe aanvragen te verwerken, wat leidde tot aanzienlijke vertragingen. Het moderniseren van deze legacy-systemen belooft snellere en betrouwbaardere resultaten.

Maar het software-inkoopproces is zelden transparant en daarom wordt er geen verantwoording afgelegd. Overheidsinstanties kopen vaak geautomatiseerde besluitvormingstools rechtstreeks van particuliere leveranciers. Het resultaat is dat wanneer systemen niet goed werken, de betrokken personen - en hun advocaten - in het ongewisse blijven. Ze adverteren het nergens, zegt Julia Simon-Mishel, een advocaat bij Philadelphia Legal Assistance. Het staat vaak niet in beleidsgidsen of beleidshandleidingen. We zijn in het nadeel.

Het gebrek aan openbare doorlichting maakt de systemen ook vatbaarder voor fouten. Een van de meest flagrante storingen vond plaats in Michigan in 2013. Na een grote inspanning om het werkloosheidsuitkeringssysteem van de staat te automatiseren, heeft het algoritme heeft meer dan 34.000 mensen ten onrechte gemarkeerd voor fraude . Het veroorzaakte een enorm verlies aan uitkeringen, zegt Simon-Mishel. Er waren faillissementen; er waren helaas zelfmoorden. Het was een hele bende.

Gilman maakt zich zorgen dat aan het coronavirus gerelateerde schulden en huisuitzettingen zullen worden gecodificeerd in kredietscores, waardoor het voor mensen permanent moeilijker wordt om banen, appartementen en leningen te krijgen.

SCOTT HEINS/GETTY IMAGES

Mensen met een laag inkomen dragen de dupe van de verschuiving naar algoritmen. Zij zijn de mensen die het meest kwetsbaar zijn voor tijdelijke economische ontberingen die worden vastgelegd in consumentenrapporten, en degenen die publieke voordelen nodig hebben en zoeken. In de loop der jaren heeft Gilman steeds meer gevallen gezien waarin klanten het risico lopen in een vicieuze cirkel te belanden. Eén persoon doorloopt dagelijks zoveel systemen, zegt ze. Ik bedoel, dat doen we allemaal. Maar de gevolgen ervan zijn veel zwaarder voor arme mensen en minderheden.

Als voorbeeld haalt ze een actuele casus in haar kliniek aan. Een familielid verloor zijn werk als gevolg van de pandemie en kreeg geen werkloosheidsuitkering vanwege een storing in het geautomatiseerd systeem. Het gezin raakte vervolgens achter met de huurbetalingen, wat ertoe leidde dat hun huisbaas hen aanklaagde voor uitzetting. Hoewel de uitzetting niet legaal zal zijn vanwege het moratorium van de CDC , zal de rechtszaak nog steeds worden vastgelegd in openbare registers. Die gegevens kunnen vervolgens worden gebruikt in algoritmen voor het screenen van huurders, waardoor het voor het gezin in de toekomst moeilijker kan worden om stabiele huisvesting te vinden. Het niet betalen van huur en nutsvoorzieningen kan ook een deuk hebben op hun kredietwaardigheid, wat weer gevolgen heeft. Als ze proberen een mobiele telefoondienst op te zetten, een lening afsluiten, een auto kopen of een baan aanvragen, dan heeft dat alleen maar deze trapsgewijze rimpeleffecten, zegt Gilman.

Elke zaak wordt een algoritmegeval

In september heeft Gilman, die momenteel als Faculty Fellow verbonden is aan het onderzoeksinstituut Data and Society, een rapport uitgebracht het documenteren van alle verschillende algoritmen die armoedeadvocaten kunnen tegenkomen. Genaamd Armoedewetgoritmen , het is bedoeld als leidraad voor haar collega's in het veld. Verdeeld in specifieke praktijkgebieden zoals consumentenrecht, familierecht, huisvesting en openbare uitkeringen, legt het uit hoe om te gaan met problemen die worden veroorzaakt door algoritmen en andere gegevensgestuurde technologieën binnen de reikwijdte van bestaande wetten.

Als een klant bijvoorbeeld een appartement wordt geweigerd vanwege een slechte kredietscore, beveelt het rapport aan dat een advocaat eerst controleert of de gegevens die in het scoresysteem worden ingevoerd, juist zijn. Volgens de Fair Credit Reporting Act zijn rapportagebureaus verplicht om de geldigheid van hun informatie te waarborgen, maar dit gebeurt niet altijd. Het betwisten van ondeugdelijke claims kan helpen om het krediet van de klant en daarmee de toegang tot huisvesting te herstellen. Het rapport erkent echter dat bestaande wetten slechts zo ver kunnen gaan. Er zijn nog steeds hiaten in de regelgeving die moeten worden opgevuld, zegt Gilman.

Gilman hoopt dat het rapport een wake-up call zal zijn. Veel van haar collega's realiseren zich nog steeds niet dat dit aan de hand is, en ze zijn niet in staat om de juiste vragen te stellen om de algoritmen bloot te leggen. Degenen die zich bewust zijn van het probleem, zijn verspreid over de VS, leren over, navigeren en bestrijden deze systemen afzonderlijk. Ze ziet een kans om hen te verbinden en een bredere gemeenschap te creëren van mensen die elkaar kunnen helpen. We hebben allemaal meer training nodig, meer kennis, niet alleen in de wet, maar in deze systemen, zegt ze. Uiteindelijk is het alsof elke zaak een algoritmezaak wordt.

Verwant verhaal

Inloggen om eruit gegooid te worden: Inside America's virtual uitzettingscrisis Duizenden huurders worden telefonisch en via videobellen uit hun huizen gezet.

Op den duur zoekt ze inspiratie in de strafrechtelijke wereld. Strafrechtadvocaten lopen voorop, zegt ze, door zich als gemeenschap te organiseren en terug te dringen tegen algoritmen voor risicobeoordeling die bepalend zijn voor de straftoemeting. Ze wil dat civiele advocaten hetzelfde doen: een beweging creëren om meer publieke controle en regulering te brengen in het verborgen web van algoritmen waarmee hun cliënten worden geconfronteerd. In sommige gevallen moet het waarschijnlijk gewoon worden stopgezet omdat er geen manier is om het rechtvaardig te maken, zegt ze.

Wat Miriam betreft, na Nicks veroordeling liep ze voorgoed weg. Ze verhuisde met haar drie kinderen naar een nieuwe staat en sloot zich aan bij een non-profitorganisatie die overlevenden van gedwongen schulden en huiselijk geweld ondersteunt. Via hen volgde ze een reeks lessen die haar leerde hoe ze haar financiën moest beheren. De organisatie hielp haar veel van haar gedwongen schulden kwijt te schelden en meer te leren over kredietalgoritmen. Toen ze een auto ging kopen, haalde haar kredietscore amper het minimum met haar vader als mede-ondertekenaar. Sindsdien hebben haar consistente betalingen voor haar auto en haar studieschuld haar credit score langzaam aangevuld.

Miriam moet nog steeds waakzaam blijven. Nick heeft haar burgerservicenummer en ze zijn nog niet gescheiden. Ze maakt zich constant zorgen dat hij meer rekeningen zou kunnen openen, meer leningen op haar naam zou kunnen afsluiten. Een tijdlang controleerde ze dagelijks haar kredietrapport op frauduleuze activiteiten. Maar tegenwoordig heeft ze ook iets om naar uit te kijken. Haar vader, halverwege de zestig, wil met pensioen en intrekken. De twee zijn nu gefocust op het voorbereiden van de aankoop van een huis. Ik ben er behoorlijk psychisch over. Mijn doel is om tegen het einde van het jaar 700 te hebben, zegt ze over haar score, en dan ben ik zeker klaar om een ​​huis te kopen.

Ik heb nog nooit in een huis gewoond dat ik ooit heb gehad, voegt ze eraan toe. Hij en ik werken samen om te sparen voor een forever home.

zich verstoppen