211service.com
Kun je AI eerlijker maken dan een rechter? Speel ons rechtszaalalgoritme-spel
Selman Ontwerp
Als kind ontwikkel je een besef van wat rechtvaardigheid betekent. Het is een concept dat je al vroeg leert als je in het reine komt met de wereld om je heen. Iets voelt eerlijk of niet.
Maar in toenemende mate beginnen algoritmen eerlijkheid voor ons te bemiddelen. Zij beslissen wie huisvestingsadvertenties te zien krijgt, wie wordt aangenomen of ontslagen, en zelfs wie naar de gevangenis wordt gestuurd. Daarom wordt de mensen die ze maken - software-ingenieurs - gevraagd om te verwoorden wat het betekent om eerlijk te zijn in hun code. Dit is de reden waarom regelgevers over de hele wereld nu worstelen met een vraag: hoe kun je rechtvaardigheid wiskundig kwantificeren?
Dit verhaal probeert een antwoord te bieden. En daarvoor hebben we jouw hulp nodig. We gaan door een echt algoritme lopen, een algoritme dat wordt gebruikt om te beslissen wie naar de gevangenis wordt gestuurd, en we vragen je om de verschillende parameters ervan aan te passen om de resultaten eerlijker te maken. (Maak je geen zorgen - je hoeft niet naar code te kijken!)
Het algoritme dat we onderzoeken staat bekend als COMPAS, en het is een van de verschillende instrumenten voor risicobeoordeling die worden gebruikt in het Amerikaanse strafrechtsysteem.
Op hoog niveau moet COMPAS rechters helpen bepalen of een verdachte in de gevangenis moet worden vastgehouden of moet worden vrijgelaten in afwachting van zijn proces. Het traint op historische gegevens van verdachten om correlaties te vinden tussen factoren zoals iemands leeftijd en geschiedenis met het strafrechtelijke systeem, en of de persoon al dan niet opnieuw is gearresteerd. Vervolgens gebruikt het de correlaties om de waarschijnlijkheid te voorspellen dat een beklaagde tijdens de proefperiode wordt gearresteerd voor een nieuw misdrijf.1
Voetnoot
1. Arrestaties versus veroordelingen
Dit proces is zeer onvolmaakt. De tools gebruiken arrestaties als een proxy voor misdaden, maar er zijn eigenlijk grote verschillen tussen de twee omdat de politie een geschiedenis heeft van onevenredig arresteren van raciale minderheden en van het manipuleren van gegevens. Bovendien worden arrestaties vaak verricht voor technische overtredingen, zoals niet verschijnen voor de rechtbank, in plaats van voor herhaalde criminele activiteiten. In dit verhaal simplificeren we te veel om te onderzoeken wat er zou gebeuren als arrestaties overeenkwamen met echte misdaden.
Deze voorspelling staat bekend als de risicoscore van de verdachte en is bedoeld als een aanbeveling: verdachten met een hoog risico moeten gevangen worden gezet om te voorkomen dat ze potentiële schade aan de samenleving toebrengen; verdachten met een laag risico moeten vóór hun proces worden vrijgelaten. (In werkelijkheid, rechters) volg niet altijd deze aanbevelingen, maar de risicobeoordelingen blijven van invloed.)
Voorstanders van risicobeoordelingsinstrumenten stellen dat ze het strafrechtelijk systeem eerlijker maken. Ze vervangen de intuïtie en vooringenomenheid van rechters - in het bijzonder raciale vooroordelen - door een schijnbaar objectievere evaluatie. Ze kunnen ook vervangen van de praktijk van het plaatsen van borgtocht in de VS, waar verdachten een geldsom moeten betalen voor hun vrijlating. Borgtocht discrimineert arme Amerikanen en treft onevenredig zwarte beklaagden, die oververtegenwoordigd zijn in het strafrechtelijk systeem.
Voetnoot
2. ProPublica's methodologie
Voor beklaagden die vóór het proces in de gevangenis zaten, heeft ProPublica gekeken of ze binnen twee jaar na hun vrijlating opnieuw werden gearresteerd. Het gebruikte dat vervolgens om te schatten of de verdachten voorafgaand aan het proces opnieuw zouden zijn gearresteerd als ze niet gevangen waren gezet.
Zoals wettelijk vereist, houdt COMPAS geen rekening met ras bij het berekenen van zijn risicoscores. In 2016 echter, een ProPublica-onderzoek betoogde dat de tool was nog altijd bevooroordeeld tegen zwarten. ProPublica ontdekte dat onder verdachten die nooit opnieuw werden gearresteerd, zwarte verdachten twee keer zoveel kans hadden als blanke om door COMPAS als risicovol te zijn bestempeld.2
Dus onze taak is nu om COMPAS beter te maken. Klaar?
Laten we beginnen met de dezelfde dataset die ProPublica in haar analyse gebruikte. Het omvat elke beklaagde die is gescoord door het COMPAS-algoritme in Broward County, Florida, van 2013 tot 2014. In totaal zijn dat meer dan 7.200 profielen met de naam, leeftijd, ras en COMPAS-risicoscore van elke persoon, waarbij wordt opgemerkt of de persoon uiteindelijk opnieuw werd gearresteerd nadat worden vrijgelaten of voorafgaand aan het proces gevangen gezet.
Om de gegevens gemakkelijker te visualiseren, hebben we willekeurig 500 zwart-witte beklaagden uit de volledige set geselecteerd.
We hebben elke gedaagde weergegeven als een punt.
Onthoud: al deze stippen zijn mensen die worden beschuldigd (maar niet veroordeeld) van een misdrijf. Sommigen zullen voorafgaand aan het proces in de gevangenis worden gezet; anderen zullen onmiddellijk worden vrijgelaten. Sommigen zullen na hun vrijlating opnieuw worden gearresteerd; anderen niet. We willen twee dingen vergelijken: de voorspellingen (welke verdachten hoge vs. lage risicoscores kregen) en de real-world uitkomsten (die verdachten eigenlijk werd opnieuw gearresteerd nadat ze waren vrijgelaten).
COMPAS scoort verdachten op een schaal van 1 tot 10, waarbij 1 ongeveer overeenkomt met 10% kans op herbezetting, 2 tot 20%, enzovoort.
Laten we eens kijken hoe COMPAS iedereen scoorde.
Voetnoot
3. De scores van COMPAS
COMPAS is ontworpen om geaggregeerde voorspellingen te doen over groepen mensen die vergelijkbare kenmerken delen, in plaats van voorspellingen over specifieke individuen. De methodologie achter de scores en de aanbevelingen voor het gebruik ervan zijn ingewikkelder dan we hadden om te presenteren; u kunt erover lezen op de bovenstaande link.
Hoewel COMPAS alleen een statistische kans kan bieden dat een verdachte voor het proces opnieuw wordt vastgehouden, moeten rechters natuurlijk een alles-of-niets-beslissing nemen: de verdachte vrijlaten of vasthouden. Voor de doeleinden van dit verhaal gaan we de hoge risicodrempel van COMPAS gebruiken, een score van 7 of hoger, om een aanbeveling te vertegenwoordigen om een verdachte vast te houden.3
Vanaf hier ben jij de baas. Jouw missie is om de laatste fase van dit algoritme opnieuw te ontwerpen door een eerlijker plek te vinden om de hoge risicodrempel in te stellen.
Zo ziet je drempel eruit. Probeer erop te klikken en het rond te slepen.
Laten we ons dus eerst het beste scenario voorstellen: alle verdachten die uw algoritmelabels met een hoge risicoscore hebben, worden opnieuw gearresteerd, en alle verdachten die een lage risicoscore krijgen niet. Hieronder laat onze afbeelding zien hoe dit eruit zou kunnen zien. De ingevulde cirkels zijn verdachten die opnieuw zijn gearresteerd; de lege cirkels zijn degenen die dat niet waren.
Verplaats nu de drempel om uw algoritme zo eerlijk mogelijk te maken.
(Met andere woorden, alleen opnieuw gearresteerde verdachten mogen gevangen worden gezet.)
Geweldig! Dat was gemakkelijk. Je drempel zou tussen 6 en 7 moeten liggen. Niemand werd nodeloos vastgehouden, en niemand die werd vrijgelaten, werd vervolgens opnieuw gearresteerd.
Maar dit ideale scenario gebeurt natuurlijk nooit. Het is onmogelijk om de uitkomst voor elke persoon perfect te voorspellen. Dit betekent dat de gevulde en lege punten niet zo netjes van elkaar kunnen worden gescheiden.
Dus hier is wie er daadwerkelijk opnieuw wordt gearresteerd.
Verplaats nu de drempel opnieuw om uw algoritme zo eerlijk mogelijk te maken.
(Hint: u wilt de nauwkeurigheid maximaliseren.)
U zult merken dat waar u de drempel ook plaatst, het nooit perfect is: we arresteren altijd enkele verdachten die niet worden gearresteerd (lege stippen rechts van de drempel) en laten enkele verdachten vrij die wel worden gearresteerd (gevulde stippen om links van de drempel). Dit is een afweging waar ons strafrechtelijk systeem altijd mee te maken heeft gehad, en het is niet anders als we een algoritme gebruiken.
Om deze afwegingen duidelijker te maken, laten we eens kijken naar het percentage onjuiste voorspellingen dat COMPAS doet elke kant van de drempelwaarde, in plaats van alleen de algehele nauwkeurigheid te meten. Nu zullen we expliciet kunnen zien of onze drempel de voorkeur geeft aan het nodeloos vasthouden van mensen in de gevangenis of het vrijlaten van mensen die vervolgens opnieuw worden gearresteerd.4 Merk op dat de standaarddrempel van COMPAS in het voordeel is van het laatste.
Voetnoot
4. Technische definities
Deze twee foutpercentages staan ook bekend als het percentage fout-negatieven (dat we hebben bestempeld als vrijgelaten maar opnieuw gearresteerd) en fout-positief percentage (dat we nodeloos gevangen hebben gezet).
Hoe moeten we deze afweging eerlijk in evenwicht brengen? Er is geen universeel antwoord, maar in de jaren 1760 schreef de Engelse rechter William Blackstone: Het is beter dat tien schuldigen ontsnappen dan dat één onschuldige lijdt.
De verhouding van Blackstone is vandaag de dag nog steeds zeer invloedrijk in de VS. Dus laten we het gebruiken voor inspiratie.
Verplaats de drempel naar waar het vrijgelaten maar opnieuw gearresteerde percentage ongeveer 10 keer het onnodige gevangenschapspercentage is.
Je ziet al twee problemen met behulp van een algoritme zoals COMPAS. De eerste is dat een betere voorspelling altijd kan helpen de foutenpercentages over de hele linie te verminderen, maar ze nooit helemaal kan elimineren. Hoeveel data we ook verzamelen, twee mensen die er voor het algoritme hetzelfde uitzien, kunnen altijd verschillende keuzes maken.
Het tweede probleem is dat zelfs als je de aanbevelingen van COMPAS consequent opvolgt, iemand – een mens – eerst moet beslissen waar de hoge risicodrempel moet liggen, of het nu gaat om de ratio van Blackstone of iets anders. Dat hangt af van allerlei overwegingen: politiek, economisch en sociaal.
Nu komen we bij een derde probleem. Dit is waar onze verkenningen van rechtvaardigheid interessant worden. Hoe verhouden de foutenpercentages zich tussen verschillende groepen? Zijn er bepaalde soorten mensen die een grotere kans lopen om nodeloos vastgehouden te worden?
Laten we eens kijken hoe onze gegevens eruitzien als we kijken naar het ras van de verdachten.
Verplaats nu elke drempel om te zien hoe het zwarte en blanke verdachten verschillend beïnvloedt.
Ras is een voorbeeld van een beschermde klasse in de VS, wat betekent dat discriminatie op die basis illegaal is. Andere beschermde klassen zijn geslacht, leeftijd en handicap.
Nu we zwarte en blanke verdachten van elkaar hebben gescheiden, hebben we ontdekt dat hoewel ras niet wordt gebruikt om de COMPAS-risicoscores te berekenen, de scores verschillende foutenpercentages hebben voor de twee groepen. Bij de standaard COMPAS-drempel tussen 7 en 8 is 16% van de zwarte beklaagden die niet opnieuw worden gearresteerd nodeloos gevangen gezet, terwijl hetzelfde geldt voor slechts 7% van de blanke beklaagden. Dat lijkt me helemaal niet eerlijk! Dit is precies wat ProPublica gemarkeerd bij zijn onderzoek.
Oké, laten we dit oplossen.
Verplaats elke drempel zodat blanke en zwarte verdachten nodeloos in ongeveer hetzelfde tempo worden vastgezet.
(Er zijn een aantal oplossingen. We hebben er een gekozen, maar u kunt proberen andere te vinden.)
We probeerden de ratio van Blackstone opnieuw te bereiken, dus kwamen we tot de volgende oplossing: blanke verdachten hebben een drempel tussen 6 en 7, terwijl zwarte verdachten een drempel hebben tussen 8 en 9. Nu ongeveer 9% van zowel zwarte als blanke verdachten die dat niet doen die niet opnieuw worden gearresteerd, worden onnodig gevangengezet, terwijl 75% van degenen die dat wel doen, opnieuw worden gearresteerd nadat ze geen tijd in de gevangenis hebben doorgebracht. Goed werk! Uw algoritme lijkt nu veel eerlijker dan COMPAS.
Maar wacht - is het? Tijdens het matchen van de foutenpercentages tussen races, hebben we iets belangrijks verloren: onze drempels voor elke groep liggen op verschillende plaatsen, dus onze risicoscores betekenen verschillende dingen voor blanke en zwarte verdachten.
Blanke verdachten krijgen gevangenisstraf voor een risicoscore van 7, maar zwarte verdachten worden vrijgelaten voor dezelfde score. Dit lijkt me wederom niet eerlijk. Twee mensen met dezelfde risicoscore hebben dezelfde kans om opnieuw gearresteerd te worden, dus zouden ze niet dezelfde behandeling moeten krijgen? In de VS kan het gebruik van verschillende drempels voor verschillende rassen ook ingewikkelde juridische problemen opleveren problemen met het 14e amendement, de gelijke beschermingsclausule van de Grondwet.
Laten we dit dus nog een keer proberen met een enkele drempel die tussen beide groepen wordt gedeeld.
Verplaats de drempel opnieuw zodat blanke en zwarte beklaagden nodeloos in hetzelfde tempo worden opgesloten.
Als je gefrustreerd raakt, is daar een goede reden voor. Er is geen oplossing.
We gaven je twee definities van rechtvaardigheid: houd de foutenpercentages vergelijkbaar tussen groepen en behandel mensen met dezelfde risicoscores op dezelfde manier. Beide definities zijn volledig verdedigbaar! Maar beide tegelijk bevredigen is onmogelijk.
De reden is dat zwarte en blanke verdachten tegen verschillende snelheden opnieuw worden vastgehouden. Terwijl 52% van de zwarte verdachten opnieuw werd gearresteerd in onze gegevens in Broward County, was dat slechts 39% van de blanke verdachten. Er is een soortgelijk verschil in veel rechtsgebieden in de VS, deels vanwege de geschiedenis van het land waarin de politie zich onevenredig op minderheden richt (zoals we eerder vermeldden).
Voorspellingen weerspiegelen de gegevens die zijn gebruikt om ze te maken, al dan niet door algoritmen. Als zwarte verdachten in een hoger percentage worden gearresteerd dan blanke verdachten in de echte wereld, zullen ze ook een hoger percentage voorspelde arrestaties hebben. Dit betekent dat ze gemiddeld ook hogere risicoscores zullen hebben en dat een groter percentage van hen het label met een hoog risico zal krijgen. zowel correct als incorrect . Dit is waar ongeacht welk algoritme wordt gebruikt, zolang het zo is ontworpen dat elke risicoscore hetzelfde betekent, ongeacht het ras.
Dit vreemde conflict van billijkheidsdefinities beperkt zich niet alleen tot risicobeoordelingsalgoritmen in het strafrechtelijk systeem. Dezelfde soort paradoxen gelden voor kredietscores, verzekeringen en wervingsalgoritmen. In elke context waarin een geautomatiseerd besluitvormingssysteem middelen of straffen moet toewijzen aan meerdere groepen met verschillende uitkomsten, zullen verschillende definities van rechtvaardigheid elkaar onvermijdelijk uitsluiten.
Er is geen algoritme dat dit kan oplossen; dit is niet eens een algoritmisch probleem, echt. Menselijke rechters zijn momenteel dezelfde soorten gedwongen afwegingen maken – en dat hebben ze door de geschiedenis heen gedaan.
Maar hier is wat een algoritme heeft veranderd. Hoewel rechters niet altijd transparant zijn over hoe ze kiezen tussen verschillende noties van rechtvaardigheid, kunnen mensen hun beslissingen aanvechten. COMPAS, dat wordt gemaakt door het particuliere bedrijf Northpointe, is daarentegen een handelsgeheim dat niet publiekelijk kan worden herzien of ondervraagd. Beklaagden kunnen de uitkomsten ervan niet langer in twijfel trekken en overheidsinstanties verliezen het vermogen om het besluitvormingsproces te onderzoeken. Er is geen publieke verantwoording meer.
Dus wat moeten regelgevers doen? De voorgestelde Algorithmic Accountability Act van 2019 is een voorbeeld van een goed begin, zegt Andrew Selbst, hoogleraar rechten aan de University of California en gespecialiseerd in AI en het recht. Het wetsvoorstel, dat vooroordelen in geautomatiseerde besluitvormingssystemen wil reguleren, heeft twee opvallende kenmerken die als sjabloon dienen voor toekomstige wetgeving. Ten eerste zouden bedrijven hun machine-learningsystemen moeten controleren op vooringenomenheid en discriminatie in een effectbeoordeling. Ten tweede specificeert het geen definitie van rechtvaardigheid.
Met een impact assessment ben je heel transparant over hoe je als bedrijf omgaat met de eerlijkheidsvraag, zegt Selbst. Dat brengt publieke verantwoording weer in het debat. Omdat eerlijkheid verschillende dingen betekent in verschillende contexten, voegt hij eraan toe, zorgt het vermijden van een specifieke definitie voor die flexibiliteit.
Maar of algoritmen überhaupt moeten worden gebruikt om eerlijkheid te beslechten, is een ingewikkelde vraag. Algoritmen voor machinaal leren worden getraind op gegevens die zijn geproduceerd door geschiedenissen van uitsluiting en discriminatie, schrijft Ruha Benjamin, een universitair hoofddocent aan de Princeton University, in haar boek Race na technologie . Risicobeoordelingsinstrumenten zijn niet anders. De grotere vraag over het gebruik ervan - of algoritmen die worden gebruikt om mensen te rangschikken - is of ze bestaande ongelijkheden verminderen of ze erger maken.
Selbst raadt aan om voorzichtig te werk te gaan: wanneer je filosofische noties van rechtvaardigheid omzet in wiskundige uitdrukkingen, verliezen ze hun nuance, hun flexibiliteit, hun maakbaarheid, zegt hij. Dat wil niet zeggen dat sommige van de efficiëntieverbeteringen om dit te doen uiteindelijk niet de moeite waard zullen zijn. Ik heb alleen mijn twijfels.
Woorden en code door Karen Hao en Jonathan Stray. Ontwerpadvies van Emily Luong en Emily Caulfield. Bewerking door Niall Firth en Gideon Lichfield. Speciale dank aan Rashida Richardson van AI Nu, Mutale Nkonde van Berkman Klein Center, en William Isaac van DeepMind voor hun beoordeling en consultatie.
Correctie: Een eerdere versie van het artikel bevatte een link naar informatie over een ander risicobeoordelingsinstrument dan COMPAS. Het is verwijderd om verwarring te voorkomen.