Algoritmen op vooringenomenheid inspecteren

Rechtbanken, banken en andere instellingen gebruiken geautomatiseerde gegevensanalysesystemen om beslissingen over uw leven te nemen. Laten we het niet aan de algoritme-makers overlaten om te beslissen of ze het op de juiste manier doen. Door

• Matthew Spielkamp archiefpagina

12 juni 2017

Paul Delcan

Het was een treffend verhaal. Machine Bias, de gelezen kop en de teaser uitgeroepen tot : Er wordt in het hele land software gebruikt om toekomstige criminelen te voorspellen. En het is bevooroordeeld tegen zwarten.

ProPublica, een Pulitzer Prize-winnende non-profit nieuwsorganisatie, had risicobeoordelingssoftware geanalyseerd die bekend staat als COMPAS. Het wordt gebruikt om te voorspellen welke criminelen de meeste kans hebben om te recidiveren. Geleid door dergelijke voorspellingen nemen rechters in rechtszalen in de Verenigde Staten beslissingen over de toekomst van beklaagden en veroordeelden, en bepalen ze alles, van borgsombedragen tot straffen. Toen ProPublica de risicobeoordelingen van COMPAS vergeleek voor: meer dan 10.000 mensen gearresteerd in een provincie in Florida met hoe vaak die mensen daadwerkelijk recidiveerden, ontdekte het dat het algoritme recidive correct voorspelde voor zwarte en blanke verdachten in ongeveer hetzelfde tempo. Maar toen het algoritme fout was, was het op verschillende manieren fout voor zwarten en blanken. In het bijzonder hebben zwarten bijna twee keer zoveel kans als blanken om als een hoger risico te worden bestempeld, maar niet echt in herhaling te vallen. En COMPAS had de neiging om de tegenovergestelde fout te maken met blanken: ze hebben veel meer kans dan zwarten om een ​​lager risico te krijgen, maar gaan door met het plegen van andere misdaden.

Dingen beoordeeld

• Machinebias

  ProPublica, 23 mei 2016

  
  
  

• COMPAS-risicoschalen: nauwkeurigheid en voorspellende pariteit aantonen

  Noordpunt, 8 juli 2016

• Technische reactie op Northpointe

  ProPublica, 29 juli 2016

• Valse positieven, valse negatieven en valse analyses: een dupliek op 'machinebias'

  Anthony Flores, Christopher Lowenkamp en Kristin Bechtel
  10 augustus 2016

  
  
  

Dit verhaal maakte deel uit van ons nummer van juli 2017

• Zie de rest van het nummer
• Abonneren

Of het gepast is om systemen zoals COMPAS te gebruiken, is een vraag die verder gaat dan raciale vooroordelen. Het Amerikaanse Hooggerechtshof zou binnenkort de zaak kunnen behandelen van een veroordeelde uit Wisconsin die zegt dat zijn recht op een eerlijk proces werd geschonden toen de rechter die hem veroordeelde COMPAS raadpleegde, omdat de werking van het systeem ondoorzichtig was voor de beklaagde. Mogelijke problemen met andere systemen voor geautomatiseerde besluitvorming (ADM) bestaan ​​ook buiten het rechtssysteem. Aan de hand van online persoonlijkheidstesten helpen ADM's om te bepalen of iemand de juiste persoon is voor een baan. Kredietscore-algoritmen spelen een enorme rol bij het afsluiten van een hypotheek, een creditcard of zelfs de meest kosteneffectieve mobiele telefoondeals.

Het is niet per se een slecht idee om risicobeoordelingssystemen zoals COMPAS te gebruiken. In veel gevallen kunnen ADM-systemen de eerlijkheid vergroten. Menselijke besluitvorming is soms zo onsamenhangend dat er toezicht nodig is om deze in overeenstemming te brengen met onze rechtsnormen. Zoals een specifiek verontrustend onderzoek aantoonde, waren voorwaardelijke vrijlatingsborden: meer kans om veroordeelden vrij te laten als de juryleden net een maaltijdpauze hadden gehad. Dit was waarschijnlijk nooit bij de rechters opgekomen. Een ADM-systeem zou dergelijke inconsistenties kunnen ontdekken en het proces kunnen verbeteren.

Maar vaak weten we niet genoeg over hoe ADM-systemen werken om te weten of ze eerlijker zijn dan mensen in hun eentje zouden zijn. Mede omdat de systemen keuzes maken op basis van onderliggende aannames die zelfs voor de systeemontwerpers niet duidelijk zijn, is het niet per se mogelijk om te bepalen welke algoritmen bevooroordeeld zijn en welke niet. En zelfs als het antwoord duidelijk lijkt, zoals in de bevindingen van ProPublica over COMPAS, is de waarheid soms ingewikkelder.

Wetgevers, de rechtbanken en een geïnformeerd publiek moeten beslissen wat we willen dat algoritmen prioriteit geven.

Wat moeten we doen om ADM's beter onder controle te krijgen? Democratische samenlevingen hebben meer toezicht op dergelijke systemen nodig dan nu het geval is. AlgorithmWatch, een in Berlijn gevestigde belangenbehartigingsorganisatie zonder winstoogmerk die ik samen met een computerwetenschapper, een rechtsfilosoof en een collega-journalist heb opgericht, heeft tot doel mensen te helpen de effecten van dergelijke systemen te begrijpen. Het feit dat de meeste ADM-procedures zwarte dozen zijn voor de mensen die erdoor worden getroffen, is geen natuurwet. Het moet eindigen, beweren we in ons manifest . Toch is onze kijk op de kwestie anders dan die van veel critici', omdat we bang zijn dat de technologie onterecht gedemoniseerd zou kunnen worden. Wat belangrijk is, is dat samenlevingen, en niet alleen algoritmemakers, de waardeoordelen maken die naar ADM's gaan.

Maatregelen van eerlijkheid

COMPAS bepaalt haar risicoscores van antwoorden op a vragenlijst dat onderzoekt de criminele geschiedenis van een verdachte en de houding ten opzichte van misdaad. Levert dit vertekende resultaten op?

Na het onderzoek van ProPublica betwistte Northpointe, het bedrijf dat COMPAS ontwikkelde, het verhaal met het argument dat de journalisten de gegevens verkeerd interpreteerden. Dat deden drie strafrechtonderzoekers ook , waaronder een van een justitiële hervormingsorganisatie. Wie heeft er gelijk: de verslaggevers of de onderzoekers? Krishna Gummadi, hoofd van de Networked Systems Research Group van het Max Planck Institute for Software Systems in Saarbrücken, Duitsland, biedt een verrassend antwoord: dat zijn ze allemaal.

Gummadi, die uitgebreid onderzoek heeft gedaan naar eerlijkheid in algoritmen, zegt dat de resultaten van ProPublica en Northpointe elkaar niet tegenspreken. Ze verschillen omdat ze verschillende maatstaven voor eerlijkheid gebruiken.

Als ze op de juiste manier worden gebruikt, bieden strafrechtelijke algoritmen de kans van een generatie, en misschien wel een heel leven lang, om de strafoplegging op een wetenschappelijke manier te hervormen en massale opsluiting te beëindigen.

Stel je voor dat je een systeem ontwerpt om te voorspellen welke criminelen zullen recidiveren. Een optie is om te optimaliseren voor echte positieven, wat betekent dat u zoveel mogelijk mensen identificeert die een hoog risico lopen om nog een misdaad te plegen. Een probleem met deze aanpak is dat het de neiging heeft om het aantal valse positieven te verhogen: mensen die onterecht worden geclassificeerd als waarschijnlijke recidivisten. De wijzerplaat kan worden aangepast om zo min mogelijk valse positieven te leveren, maar dat heeft de neiging om meer valse negatieven te creëren: waarschijnlijke recidivisten die erdoorheen glippen en een mildere behandeling krijgen dan gerechtvaardigd is.

Het verhogen van de incidentie van echte positieven of het verlagen van de valse positieven zijn beide manieren om een ​​statistische maatstaf te verbeteren die bekend staat als positief voorspellende waarde of PPV. Dat is het percentage van alle positieven dat waar is.

Zoals Gummadi opmerkt, vergeleek ProPublica de percentages fout-positieve en fout-negatieve percentages voor zwarten en blanken en ontdekte dat ze scheef waren in het voordeel van blanken. Northpointe daarentegen vergeleek de PPV's voor verschillende rassen en ontdekte dat ze vergelijkbaar waren. Gedeeltelijk omdat de recidivecijfers voor zwarten en blanken in feite verschillen, is het wiskundig waarschijnlijk dat de positief voorspellende waarden voor mensen in elke groep vergelijkbaar zullen zijn, terwijl de percentages vals-negatieven dat niet zijn.

Dit vertelt ons één ding: de bredere samenleving - wetgevers, de rechtbanken, een geïnformeerd publiek - moet beslissen wat we willen dat dergelijke algoritmen prioriteit geven. Zijn we er in de eerste plaats in geïnteresseerd om zo min mogelijk risico te nemen dat iemand borgtocht overslaat of recidive pleegt? Welke afwegingen moeten we maken om gerechtigheid te verzekeren en de enorme maatschappelijke kosten van gevangenisstraf te verlagen?

Het maakt niet uit op welke manier de wijzerplaten zijn ingesteld, elk algoritme zal vooroordelen hebben - het maakt tenslotte een voorspelling op basis van algemene statistieken, niet op iemands individuele situatie. Maar we kunnen dergelijke systemen nog steeds gebruiken om beslissingen te nemen die wijzer en eerlijker zijn dan de beslissingen die mensen meestal alleen nemen.

De controverse rond de stop-and-frisk-praktijken van de politie van New York helpt om te laten zien waarom. Tussen januari 2004 en juni 2012 heeft de politie van New York City 4,4 miljoen aanhoudingen uitgevoerd in het kader van een programma dat agenten in staat stelde mensen op straat tijdelijk vast te houden, te ondervragen en te fouilleren op zoek naar wapens en andere smokkelwaar. Maar in feite resulteerde 88 procent van de 4,4 miljoen stops in geen verdere actie – wat inhoudt dat een overgrote meerderheid van degenen die gestopt waren niets verkeerd deed, de New York Times zei in een redactionele afwijzing van de praktijk. Wat meer is: in ongeveer 83 procent van de gevallen was de gestopte persoon zwart of Spaans, hoewel de twee groepen iets meer dan de helft van de bevolking uitmaakten. Dit voorbeeld van menselijke vooringenomenheid, belicht door data-analyse, herinnert ons eraan dat ADM-systemen een positieve rol kunnen spelen in het strafrecht. Op de juiste manier gebruikt, bieden ze de kans van een generatie, en misschien wel een heel leven lang, om de veroordeling te hervormen en massale opsluiting op een wetenschappelijke manier af te wikkelen, volgens Anthony Flores, Christopher Lowenkamp en Kristin Bechtel, drie onderzoekers die fouten ontdekten in de methodologie die ProPublica gebruikt om COMPAS te analyseren. De auteurs maken zich zorgen dat deze kans wegglipt vanwege verkeerde informatie en misverstanden over de technologie.

Maar als we accepteren dat algoritmen het leven misschien eerlijker maken als ze goed zijn ontworpen, hoe kunnen we dan weten of ze zo zijn ontworpen?

Democratische samenlevingen zouden nu moeten werken om te bepalen hoeveel transparantie ze van ADM-systemen verwachten. Is er behoefte aan nieuwe regelgeving van de software om ervoor te zorgen dat deze goed gecontroleerd kan worden? Wetgevers, rechters en het publiek zouden inspraak moeten hebben in welke maatregelen van eerlijkheid prioriteit krijgen door algoritmen. Maar als de algoritmen deze waardeoordelen niet echt weerspiegelen, wie wordt dan verantwoordelijk gehouden?

Dit zijn de moeilijke vragen die we moeten beantwoorden als we verwachten te profiteren van de vooruitgang in algoritmische technologie.

Matthias Spielkamp is uitvoerend directeur van AlgorithmWatch, een belangenorganisatie die de risico's en kansen van geautomatiseerde besluitvorming analyseert.

zich verstoppen