211service.com
Predictive policing-algoritmen zijn racistisch. Ze moeten worden gedemonteerd.
Franziska Barczyk
Yeshimabeit Milner zat op de middelbare school en zag voor het eerst dat kinderen die ze kende geboeid werden en in politieauto's werden gestopt. Het was 29 februari 2008 en de directeur van een nabijgelegen school in Miami, met een meerderheid van de Haïtiaanse en Afro-Amerikaanse bevolking, had een van zijn leerlingen in een wurggreep gebracht. De volgende dag organiseerden enkele tientallen kinderen een vreedzame demonstratie. Het ging niet goed.
Die avond begon Miami's NBC 6 News at Six met een segment genaamd Chaos on Campus. (Er is een clip op YouTube .) De spanningen lopen hoog op bij Edison Senior High nadat een strijd om rechten eindigt in een strijd met de wet, aldus de uitzending. Gesneden tot wazige telefoonbeelden van schreeuwende tieners: de chaos die je ziet is een totale vechtpartij in de kantine van de school.
Studenten vertelden verslaggevers dat de politie hen met wapenstokken sloeg, op de grond gooide en tegen muren duwde. De politie beweerde dat zij degenen waren die werden aangevallen - met waterflessen, frisdrank, melk, enzovoort - en riep op tot noodhulp. Ongeveer 25 studenten werden gearresteerd en velen werden beschuldigd van meerdere misdaden, waaronder verzet bij arrestatie met geweld. Milner herinnert zich dat ze op tv keek en kinderen zag met wie ze naar de basisschool was gegaan toen ze in hechtenis werden genomen. Het was zo gek, zegt ze.
'Er is een lange geschiedenis van gegevens die worden gebruikt tegen zwarte gemeenschappen.'
Voor Milner waren de gebeurtenissen van die dag en de langetermijngevolgen voor de gearresteerden cruciaal. Kort daarna, terwijl ze nog op school zat, raakte ze betrokken bij op data gebaseerd activisme, waarbij ze de ervaringen van medestudenten met racistisch politiewerk documenteerde. Ze is nu de directeur van Gegevens voor zwarte levens , een grassroots digitale rechtenorganisatie die ze in 2017 mede oprichtte. Wat ze als tiener leerde, duwde haar in een leven van terugvechten tegen vooringenomenheid in het strafrechtsysteem en het ontmantelen van wat zij de pijplijn van school naar gevangenis noemt. Er is een lange geschiedenis van gegevens die worden gebruikt tegen zwarte gemeenschappen, zegt ze.
Ongelijkheid en misbruik van politiemacht zijn niet alleen op straat spelen of tijdens schoolrellen. Voor Milner en andere activisten ligt de focus nu op waar het meeste potentieel is voor langdurige schade: voorspellende politietools en misbruik van gegevens door politiediensten. Een aantal onderzoeken hebben aangetoond dat deze tools doen voortduren systemisch racisme , en toch weten we nog heel weinig over hoe ze werken, wie ze gebruikt en met welk doel. Dit alles moet veranderen voordat een goede afrekening kan plaatsvinden. Gelukkig kan het tij keren.
Er zijn twee brede soorten voorspellende politietools. Locatiegebaseerde algoritmen maken gebruik van verbanden tussen plaatsen, gebeurtenissen en historische misdaadcijfers om te voorspellen waar en wanneer misdaden zullen plaatsvinden, bijvoorbeeld in bepaalde weersomstandigheden of bij grote sportevenementen. De tools identificeren hotspots en de politie plant patrouilles rond deze tips. Een van de meest voorkomende, PredPol genaamd, die wordt gebruikt door tientallen steden in de VS , verdeelt locaties in blokken van 500 bij 500 voet en werkt de voorspellingen gedurende de dag bij - een soort weersvoorspelling voor misdaad.
Andere tools maken gebruik van gegevens over mensen, zoals hun leeftijd, geslacht, burgerlijke staat, geschiedenis van middelenmisbruik en strafblad, om te voorspellen wie een grote kans heeft om betrokken te raken bij toekomstige criminele activiteiten. Deze persoonsgebonden instrumenten kunnen ofwel door de politie worden gebruikt om in te grijpen voordat een misdrijf plaatsvindt, ofwel door rechtbanken om tijdens hoorzittingen of veroordelingen te bepalen of iemand die is gearresteerd waarschijnlijk opnieuw in de fout gaat. Een hulpmiddel genaamd COMPAS, dat in veel rechtsgebieden wordt gebruikt om beslissingen te nemen over voorlopige vrijlating en veroordeling, geeft bijvoorbeeld een statistische score tussen 1 en 10 om te kwantificeren hoe waarschijnlijk het is dat een persoon opnieuw wordt gearresteerd als hij wordt vrijgelaten.
Het probleem ligt bij de gegevens waarop de algoritmen zich voeden. Om te beginnen worden voorspellende algoritmen gemakkelijk vertekend door arrestatiepercentages. Volgens cijfers van het Amerikaanse ministerie van Justitie bent u: meer dan twee keer zoveel kans om gearresteerd te worden als je zwart bent dan als je wit bent. Een zwarte persoon heeft vijf keer zoveel kans om zonder geldige reden te worden gestopt als een blanke. De massale arrestatie op Edison Senior High was slechts één voorbeeld van een soort onevenredige politiereactie die niet ongewoon is in zwarte gemeenschappen.
De kinderen die Milner zag gearresteerd werden, werden opgezet voor een leven lang bevooroordeelde beoordelingen vanwege dat arrestatieverslag. Maar het was niet alleen hun eigen leven dat die dag werd beïnvloed. De gegevens die door hun arrestaties werden gegenereerd, zouden zijn ingevoerd in algoritmen die zich onevenredig zouden richten op alle jonge zwarte mensen die de algoritmen beoordeelden. Hoewel de algoritmen volgens de wet geen gebruik maken van ras als voorspeller, fungeren andere variabelen, zoals sociaaleconomische achtergrond, opleiding en postcode, als proxy's. Zelfs zonder expliciet rekening te houden met ras, zijn deze tools racistisch.
Dat is de reden waarom voor velen het concept van predictive policing zelf het probleem is. De schrijver en academicus Dorothy Roberts , die rechten en sociale rechten studeert aan de Universiteit van Pennsylvania, verwoordde het goed in een online paneldiscussie in juni. Racisme ging altijd over voorspellen, over het laten lijken van bepaalde raciale groepen alsof ze vatbaar zijn om slechte dingen te doen en daarom het beheersen ervan rechtvaardigen, zei ze.
Risicobeoordelingen maken al decennia lang deel uit van het strafrechtelijk systeem. Maar politiediensten en rechtbanken hebben de afgelopen jaren meer gebruik gemaakt van geautomatiseerde tools, om twee belangrijke redenen. Ten eerste hebben bezuinigingen geleid tot een efficiencyslag. Mensen bellen om de politie te ontlasten, maar die is al teruggedraaid, zegt Milner. Steden gaan al jaren failliet en vervangen de politie door algoritmen. Exacte cijfers zijn moeilijk te vinden, maar voorspellende instrumenten worden verondersteld te worden gebruikt door politiediensten of rechtbanken in de meeste Amerikaanse staten.
De tweede reden voor het toegenomen gebruik van algoritmen is de wijdverbreide overtuiging dat ze objectiever zijn dan mensen: ze werden voor het eerst geïntroduceerd om de besluitvorming in het strafrechtelijk systeem eerlijker te maken. Vanaf de jaren negentig maakten vroege geautomatiseerde technieken gebruik van op regels gebaseerde beslissingsbomen, maar tegenwoordig wordt voorspelling gedaan met machine learning.
KLEIBANKEN VIA UNSPLASHNog toenemend bewijs suggereert dat menselijke vooroordelen in deze tools zijn ingebakken omdat de modellen voor machinaal leren zijn getraind op vooringenomen politiegegevens. In plaats van racisme te vermijden, zijn ze misschien gewoon beter in het verbergen ervan. Veel critici beschouwen deze tools nu als: een vorm van tech-washing , waar een vernisje van objectiviteit mechanismen bedekt die ongelijkheid in de samenleving in stand houden.
Het is echt alleen in de afgelopen jaren dat de opvattingen van mensen over deze tools zijn verschoven van iets dat vooringenomenheid zou kunnen verminderen naar iets dat het zou kunnen verankeren, zegt Alice Xiang , een jurist en datawetenschapper die onderzoek leidt naar eerlijkheid, transparantie en verantwoording bij het Partnership on AI. Deze vooroordelen zijn verergerd sinds de eerste generatie voorspellingstools 20 of 30 jaar geleden verscheen. We hebben in de eerste plaats slechte gegevens genomen en vervolgens hebben we tools gebruikt om het erger te maken, zegt Katy Weathington , die algoritmische vooringenomenheid bestudeert aan de Universiteit van Colorado Boulder. Het is gewoon een zichzelf versterkende lus geweest, keer op keer.
Het kan zijn dat de zaken erger worden. In het kielzog van de protesten tegen vooringenomenheid van de politie na de dood van George Floyd door toedoen van een politieagent in Minneapolis, verdubbelen sommige politiediensten hun gebruik van voorspellende tools. Een maand geleden stuurde de commissaris van de politie van New York Dermot Shea een brief naar zijn agenten. In het huidige klimaat moeten we de misdaad anders bestrijden, schreef hij. We zullen het doen met minder straatstops - misschien waardoor u minder gevaar loopt en aansprakelijk bent - terwijl we beter gebruikmaken van gegevens, intelligentie en alle technologie die tot onze beschikking staat ... Dat betekent voor de NYPD dat we onze precisie zullen verdubbelen... inspanningen van de politie.
De politie houdt van het idee van tools die hen een waarschuwing geven en hen in staat stellen om vroeg in te grijpen, omdat ze denken dat het de misdaadcijfers laag houdt, zegt Rashida Richardson , directeur beleidsonderzoek bij het AI Now Institute. Maar in de praktijk kan het gebruik ervan aanvoelen als intimidatie. Onderzoekers hebben ontdekt dat sommige politiediensten agenten de meest gezochte lijsten geven van mensen die volgens de tool als een hoog risico worden aangemerkt. Dit kwam voor het eerst aan het licht toen mensen in Chicago meldden dat de politie op hun deuren had geklopt en verteld dat ze in de gaten werden gehouden. In andere staten, zegt Richardson, waarschuwde de politie mensen op de lijsten dat ze een hoog risico liepen om betrokken te raken bij bendegerelateerde misdaad en vroeg ze om actie te ondernemen om dit te voorkomen. Als ze later werden gearresteerd voor welk soort misdaad dan ook, gebruikten officieren van justitie de voorafgaande waarschuwing om hogere aanklachten te eisen. Het is bijna een digitale vorm van beknelling, waarbij je mensen wat vage informatie geeft en dat vervolgens tegen ze houdt, zegt ze.
'Het is bijna een digitale vorm van beknelling.'
Evenzo onderzoeken - waaronder een in opdracht van het Centre for Data Ethics and Innovation van de Britse regering vorig jaar - suggereren dat het identificeren van bepaalde gebieden als hotspots ervoor zorgt dat officieren problemen verwachten als ze op patrouille zijn, waardoor ze eerder mensen daar zullen stoppen of arresteren vanwege vooroordelen dan vanwege noodzaak.
Een ander probleem met de algoritmen is dat velen zijn getraind op blanke bevolkingsgroepen buiten de VS, deels omdat strafregisters moeilijk te verkrijgen zijn in verschillende Amerikaanse rechtsgebieden. Static 99, een tool die is ontworpen om recidive onder zedendelinquenten te voorspellen, werd getraind in Canada, waar slechts ongeveer 3% van de bevolking zwart is, vergeleken met 12% in de VS. Verschillende andere tools die in de VS worden gebruikt, zijn ontwikkeld in Europa, waar 2% van de bevolking zwart is. Vanwege de verschillen in sociaaleconomische omstandigheden tussen landen en bevolkingsgroepen, zijn de tools waarschijnlijk minder nauwkeurig op plaatsen waar ze niet zijn opgeleid. Bovendien gebruiken sommige pre-trial algoritmen die vele jaren geleden zijn getraind, nog steeds voorspellers die verouderd zijn. Sommigen voorspellen bijvoorbeeld nog steeds dat een beklaagde die geen vaste telefoon heeft, minder snel voor de rechtbank zal verschijnen.
Maar werken deze tools, ook al zijn ze niet perfect? Het hangt ervan af wat je onder werk verstaat. In het algemeen is het praktisch onmogelijk om het gebruik van voorspellende politie-instrumenten te onderscheiden van andere factoren die van invloed zijn op criminaliteit of opsluiting. Toch hebben een handvol kleine studies beperkte conclusies getrokken. Sommige vertonen tekenen dat het gebruik door rechtbanken van instrumenten voor risicobeoordeling een klein positief effect heeft gehad. EEN Onderzoek uit 2016 naar een machine-learningtool die in Pennsylvania wordt gebruikt om beslissingen over voorwaardelijke vrijlating te informeren vond geen bewijs dat het de openbare veiligheid in gevaar bracht (dat wil zeggen, het identificeerde correct personen met een hoog risico die niet voorwaardelijk zouden moeten worden vrijgelaten) en enig bewijs dat het geweldloze mensen identificeerde die veilig konden worden vrijgelaten.
Rashida Richardson is directeur beleidsonderzoek bij het AI Now Institute. Ze leidde eerder werkzaamheden aan de juridische kwesties rond privacy en toezicht bij de American Civil Liberties Union.
MET DANK AAN AI NUEen andere studie, in 2018, keek naar een instrument dat wordt gebruikt door de rechtbanken in Kentucky en ontdekte dat hoewel risicoscores inconsistent werden geïnterpreteerd tussen provincies, wat leidde tot discrepanties in wie wel en niet werd vrijgelaten, de tool het opsluitingspercentage enigszins zou hebben verlaagd als het op de juiste manier was gebruikt. En de American Civil Liberties Union meldt dat een beoordelingsinstrument dat is aangenomen als onderdeel van de New Jersey Criminal Justice Reform Act 2017, heeft geleid tot een 20% daling van het aantal gevangenen in afwachting van hun proces .
Voorstanders van dergelijke tools zeggen dat algoritmen eerlijker kunnen zijn dan menselijke besluitvormers, of oneerlijkheid op zijn minst expliciet maken. In veel gevallen, vooral tijdens hoorzittingen op borgtocht, wordt van rechters verwacht dat ze in korte tijd vele tientallen zaken afhandelen. In een onderzoek naar hoorzittingen voorafgaand aan het proces in Cook County, Illinois, ontdekten onderzoekers dat rechters gemiddeld slechts 30 seconden aan elke zaak besteedden.
In dergelijke omstandigheden is het redelijk om aan te nemen dat rechters snelle beslissingen nemen die ten minste gedeeltelijk worden gedreven door hun persoonlijke vooroordelen. Melissa Hamilton aan de Universiteit van Surrey in het VK, die juridische kwesties rond risicobeoordelingsinstrumenten bestudeert, is kritisch over het gebruik ervan in de praktijk, maar gelooft dat ze in principe beter werk kunnen doen dan mensen. Het alternatief is het black-boxbrein van een menselijke beslisser, zegt ze.
Maar er is een duidelijk probleem. De arrestatiegegevens die worden gebruikt om voorspellende tools te trainen, geven geen nauwkeurig beeld van criminele activiteiten. Arrestatiegegevens worden gebruikt omdat dit is wat politiediensten registreren. Maar arrestaties leiden niet noodzakelijk tot veroordelingen. We proberen mensen die misdaden begaan te meten, maar we hebben alleen gegevens over arrestaties, zegt Xiang.
'We proberen mensen die misdaden plegen te meten, maar we hebben alleen gegevens over arrestaties.'
Bovendien coderen arrestatiegegevens patronen van racistisch politiegedrag. Als gevolg hiervan voorspellen ze eerder een groot potentieel voor criminaliteit in minderheidsbuurten of onder minderheden. Zelfs wanneer arrestatie- en misdaadgegevens overeenkomen, zijn er talloze sociaaleconomische redenen waarom bepaalde bevolkingsgroepen en bepaalde buurten hogere historische misdaadcijfers hebben dan andere. Door deze gegevens in voorspellende tools te gebruiken, kan het verleden de toekomst vormgeven.
Sommige tools gebruiken ook gegevens over waar de politie is gebeld, wat een nog zwakkere weerspiegeling is van de werkelijke misdaadpatronen dan arrestatiegegevens, en nog meer vervormd door racistische motieven . Overwegen de zaak van Amy Cooper , die de politie belde omdat een zwarte vogelaar, Christian Cooper, haar vroeg om haar hond aan de lijn te houden in Central Park in New York.
Alleen omdat er een melding is dat er een misdrijf heeft plaatsgevonden, wil nog niet zeggen dat er daadwerkelijk een misdrijf heeft plaatsgevonden, zegt Richardson. Als de oproep een datapunt wordt om het sturen van politie naar een specifieke buurt te rechtvaardigen, of zelfs om een specifiek individu aan te vallen, krijg je een feedbacklus waarin datagestuurde technologieën discriminerend politiewerk legitimeren.
Naarmate meer critici beweren dat deze tools niet geschikt zijn voor het beoogde doel, wordt er gepleit voor een soort algoritmische bevestigende actie, waarbij de vooringenomenheid in de gegevens op de een of andere manier wordt gecompenseerd. Een manier om dit voor risicobeoordelingsalgoritmen te doen, zou in theorie zijn om differentiële risicodrempels te gebruiken - drie arrestaties voor een zwarte persoon kunnen hetzelfde risiconiveau aangeven als bijvoorbeeld twee arrestaties voor een blanke.
Dit was een van de benaderingen die in een studie werden onderzocht publiceren d in mei door Jennifer Skeem, die openbaar beleid studeert aan de Universiteit van Californië, Berkeley, en Christopher Lowenkamp, een sociaalwetenschappelijk analist bij het Administratief Bureau van de Amerikaanse rechtbanken in Washington, DC. Het paar keek naar drie verschillende opties om de vooringenomenheid weg te nemen in algoritmen die het risico op recidive hadden ingeschat voor ongeveer 68.000 deelnemers, half blank en half zwart. Ze ontdekten dat de beste balans tussen rassen werd bereikt wanneer algoritmen expliciet rekening hielden met ras - wat bestaande tools wettelijk verboden zijn te doen - en zwarte mensen een hogere drempel toekenden dan blanken om als een hoog risico te worden beschouwd.
Natuurlijk is dit idee behoorlijk controversieel. Het betekent in wezen het manipuleren van de gegevens om een deel van de misdaden te vergeven vanwege het ras van de dader, zegt Xiang: Dat is iets dat mensen erg ongemakkelijk maakt. Het idee om leden van verschillende groepen aan verschillende normen te houden, druist in tegen het gevoel van eerlijkheid van veel mensen, zelfs als het wordt gedaan op een manier die historisch onrecht zou moeten aanpakken. (U kunt deze afweging zelf uitproberen in onze interactief verhaal over algoritmische vooringenomenheid in het strafrechtelijk systeem , waarmee u kunt experimenteren met een vereenvoudigde versie van de COMPAS-tool.)
Het Amerikaanse rechtssysteem is in ieder geval niet klaar voor een dergelijke discussie. De advocatuur loopt ver achter bij deze risicobeoordelingsinstrumenten, zegt Hamilton. Zij geeft de afgelopen jaren trainingen aan advocaten en constateert dat advocaten vaak niet eens door hebben dat hun cliënten op deze manier worden beoordeeld. Als je je er niet van bewust bent, ga je het niet uitdagen, zegt ze.
Het gebrek aan bewustzijn kan worden toegeschreven aan de troebelheid van het algemene beeld: de wetshandhavers hebben zo de mond gesnoerd over hoe zij deze technologieën gebruiken dat het voor iedereen heel moeilijk is om te beoordelen hoe goed ze werken. Zelfs als er informatie beschikbaar is, is het moeilijk om één systeem aan één uitkomst te koppelen. En de weinige gedetailleerde onderzoeken die zijn gedaan, richten zich op specifieke hulpmiddelen en trekken conclusies die mogelijk niet van toepassing zijn op andere systemen of rechtsgebieden.
Het is niet eens duidelijk welke tools worden gebruikt en wie ze gebruiken. We weten niet hoeveel politiediensten predictive policing hebben gebruikt of momenteel gebruiken, zegt Richardson.
Zo kwam het feit dat de politie in New Orleans gebruikmaakte van een voorspellingstool die is ontwikkeld door het geheime dataminingbedrijf Palantir pas aan het licht nadat een onderzoek door The Verge . En uit openbare registers blijkt dat de New York Police Department heeft $ 2,5 miljoen betaald aan Palantir maar zegt niet waarvoor.
GETTYDe meeste tools zijn in licentie gegeven aan politiediensten door een lappendeken van kleine bedrijven, overheidsinstanties en onderzoekers. Sommige zijn eigen systemen; sommige zijn dat niet. Ze werken allemaal op een iets andere manier. Op basis van de resultaten van de tools herscheppen onderzoekers zo goed als ze kunnen wat zij denken dat er aan de hand is.
Hamid Khan, een activist die jarenlang heeft gevochten om de politie van Los Angeles ertoe te brengen een voorspellende tool genaamd PredPol te laten vallen, eiste een audit van de tool door de inspecteur-generaal van de politie. Volgens Khan , in maart 2019 zei de inspecteur-generaal dat de taak onmogelijk was omdat de tool zo ingewikkeld was.
In het VK probeerde Hamilton te kijken naar een tool genaamd OASys, die - net als COMPAS - vaak wordt gebruikt bij hoorzittingen, veroordelingen en voorwaardelijke vrijlating. Het bedrijf dat OASys maakt, doet zijn eigen audits en heeft niet veel informatie vrijgegeven over hoe het werkt, zegt Hamilton. Ze heeft herhaaldelijk geprobeerd om informatie van de ontwikkelaars te krijgen, maar ze reageerden niet meer op haar verzoeken. Ze zegt, volgens mij hebben ze mijn studie opgezocht en besloten: nee.
Het bekende onthouden van bedrijven die deze tools maken, is dat ze geen informatie kunnen delen omdat het handelsgeheimen of vertrouwelijke informatie zou prijsgeven over mensen die de tools hebben beoordeeld.
Dit alles betekent dat er slechts een handvol in detail is bestudeerd, hoewel over enkele ervan enige informatie beschikbaar is. Static 99 is ontwikkeld door een groep datawetenschappers die details over zijn algoritmen hebben gedeeld. Public Safety Assessment, een van de meest gebruikte instrumenten voor risicobeoordeling voorafgaand aan het proces in de VS, werd oorspronkelijk ontwikkeld door Arnold Ventures, een particuliere organisatie, maar het bleek gemakkelijker om jurisdicties te overtuigen om het toe te passen als er enkele details werden onthuld over hoe het werkte , zegt Hamilton. Toch hebben de makers van beide tools geweigerd de datasets vrij te geven die ze gebruikten voor training, die nodig zou zijn om volledig te begrijpen hoe ze werken.
Het kopen van een risicobeoordelingsinstrument is onderworpen aan dezelfde regels als het kopen van een sneeuwploeg.
Er is niet alleen weinig inzicht in de mechanismen binnen deze tools, maar critici zeggen dat politiediensten en rechtbanken niet genoeg doen om ervoor te zorgen dat ze tools kopen die werken zoals verwacht. Voor de NYPD is het kopen van een risicobeoordelingsinstrument onderworpen aan dezelfde regels als het kopen van een sneeuwploeg, zegt Milner.
De politie kan op volle snelheid technologie kopen zonder te weten wat ze gebruiken, en ze investeren geen tijd om ervoor te zorgen dat het veilig kan worden gebruikt, zegt Richardson. En dan is er geen doorlopende audit of analyse om te bepalen of het zelfs werkt.
Pogingen om hierin verandering te brengen stuitten op weerstand. Vorige maand New York City geslaagd de Wet openbaar toezicht op bewakingstechnologie (POST) , die vereist dat de NYPD al zijn bewakingstechnologieën opsomt en beschrijft hoe deze de inwoners van de stad beïnvloeden. De NYPD is de grootste politiemacht in de VS, en voorstanders van het wetsvoorstel hopen dat de onthulling ook licht zal werpen op welke technologie andere politiediensten in het land gebruiken. Maar zo ver komen was moeilijk. Richardson, die pleitbezorger was voor het wetsvoorstel, zag het sinds 2017 in het ongewisse, totdat de wijdverbreide roep om hervorming van de politie in de afgelopen maanden de meningsverschillen deed doorslaan.
Het was frustratie bij het zoeken naar basisinformatie over digitale politiepraktijken in New York die Richardson ertoe bracht om aan de rekening te werken. De politie had zich verzet toen zij en haar collega's meer wilden weten over het gebruik van surveillancetools door de NYPD. Freedom of Information Act-verzoeken en rechtszaken door de New York Civil Liberties Union werkten niet. In 2015 stelden ze met de hulp van gemeenteraadslid Daniel Garodnik wetgeving voor die de kwestie zou forceren.
We ondervonden veel verzet van de NYPD, waaronder een gemene PR-campagne die suggereerde dat het wetsvoorstel de kaart van de stad aan terroristen gaf, zegt Richardson. Er was geen steun van de burgemeester en een vijandige gemeenteraad.
Met zijn ethische problemen en gebrek aan transparantie is de huidige staat van predictive policing een puinhoop. Maar wat kan eraan gedaan worden? Xiang en Hamilton denken dat algoritmische tools het potentieel hebben om eerlijker te zijn dan mensen, zolang iedereen die betrokken is bij de ontwikkeling en het gebruik ervan zich volledig bewust is van hun beperkingen en er bewust aan werkt om ze eerlijk te maken.
Maar deze uitdaging is niet alleen een technische. Er moet een afweging worden gemaakt over wat te doen aan vertekening in de data, want die is er om te blijven. Het draagt de littekens van generaties politiewerk met zich mee, zegt Weathington.
En wat het betekent om een eerlijk algoritme te hebben, kunnen computerwetenschappers niet beantwoorden, zegt Xiang. Het is niet echt iets dat iemand kan beantwoorden. Het vraagt hoe een eerlijk strafrechtsysteem eruit zou zien. Zelfs als je advocaat bent, zelfs als je ethicus bent, kun je daar geen eenduidig antwoord op geven.
Dit zijn fundamentele vragen die niet oplosbaar zullen zijn in de zin dat een wiskundig probleem oplosbaar kan zijn, voegt ze eraan toe.
Hamilton is het daarmee eens. Burgerrechtenorganisaties staan voor een moeilijke keuze, zegt ze: als je tegen risicobeoordeling bent, zullen waarschijnlijk meer minderheden opgesloten blijven. Als je risicobeoordeling accepteert, ben je een beetje medeplichtig aan het promoten van raciale vooroordelen in de algoritmen.
Maar dit betekent niet dat er niets aan gedaan kan worden. Richardson zegt dat beleidsmakers moeten worden aangesproken op hun tactische onwetendheid over de tekortkomingen van deze instrumenten. Zo is de NYPD betrokken geweest bij: tientallen rechtszaken over jarenlang bevooroordeeld politiewerk. Ik begrijp niet hoe je actief bezig kunt zijn met schikkingsonderhandelingen met betrekking tot raciaal vooringenomen praktijken en toch kunt denken dat gegevens die uit die praktijken voortvloeien, goed zijn om te gebruiken, zegt ze.
Yeshimabeit Milner is mede-oprichter en directeur van Data for Black Lives, een grassroots collectief van activisten en computerwetenschappers die data gebruiken om het strafrechtsysteem te hervormen.
MET DANK AAN GEGEVENS VOOR BLACK LIVESVoor Milner is de sleutel tot het tot stand brengen van verandering het betrekken van de mensen die het meest getroffen zijn. In 2008, na te hebben gezien hoe de kinderen die ze kende gearresteerd werden, sloot Milner zich aan bij een organisatie die ongeveer 600 jonge mensen ondervroeg over hun ervaringen met arrestaties en politiegeweld op scholen, en vervolgens wat ze leerde in een stripboek veranderde. Jongeren in het hele land gebruikten het stripboek om soortgelijk werk te doen waar ze woonden.
Tegenwoordig coördineert haar organisatie, Data for Black Lives, ongeveer 4.000 software-ingenieurs, wiskundigen en activisten op universiteiten en gemeenschapscentra. Instrumenten voor risicobeoordeling zijn niet de enige manier waarop het misbruik van gegevens systemisch racisme in stand houdt, maar het is er wel een in hun vizier. We gaan niet elk particulier bedrijf ervan weerhouden instrumenten voor risicobeoordeling te ontwikkelen, maar we kunnen de cultuur veranderen en mensen opleiden, hen manieren geven om terug te dringen, zegt Milner. In Atlanta leiden ze mensen die een tijd in de gevangenis hebben doorgebracht op om data science te doen, zodat ze een rol kunnen spelen in de hervorming van de technologieën die worden gebruikt door het strafrechtsysteem.
In de tussentijd vinden Milner, Weathington, Richardson en anderen dat de politie moet stoppen met het gebruik van gebrekkige voorspellende tools totdat er een overeengekomen manier is om ze eerlijker te maken.
De meeste mensen zijn het erover eens dat de samenleving een manier moet hebben om te beslissen wie een gevaar is voor anderen. Maar een bevooroordeelde menselijke politieagent of rechter vervangen door algoritmen die alleen diezelfde vooroordelen verbergen, is niet het antwoord. Als er zelfs maar een kans is dat ze racistische praktijken in stand houden, moeten ze worden teruggetrokken.
Zoals pleitbezorgers voor verandering echter hebben ontdekt, duurt het vele jaren om een verschil te maken, met weerstand bij elke stap. Het is geen toeval dat zowel Khan als Richardson vooruitgang zagen na weken van landelijke verontwaardiging over politiegeweld. De recente opstanden hebben zeker in ons voordeel gewerkt, zegt Richardson. Maar het kostte haar en collega-advocaten ook vijf jaar constante druk. Ook Khan voerde al jaren campagne tegen predictive policing in de LAPD.
Die druk moet blijven bestaan, ook nadat de marsen zijn gestopt. Het elimineren van vooringenomenheid is geen technische oplossing, zegt Milner. Er is een diepere en, eerlijk gezegd, minder sexy en duurdere beleidsverandering nodig.