Politie in de VS traint misdaadvoorspellende AI's op vervalste gegevens

David McNieuw/Staff

In mei 2010, naar aanleiding van een reeks spraakmakende schandalen, vroeg de burgemeester van New Orleans het Amerikaanse ministerie van Justitie om onderzoek te doen naar de stadspolitie (NOPD). Tien maanden later bood het DOJ zijn... zinderende analyse : tijdens de herzieningsperiode vanaf 2005 had de NOPD herhaaldelijk grondwettelijk en federaal recht geschonden.

Het gebruikte buitensporig geweld en onevenredig veel tegen zwarte bewoners; gerichte raciale minderheden, niet-moedertaalsprekers van het Engels en LGBTQ-individuen; en verzuimde geweld tegen vrouwen aan te pakken. De problemen, zei assistent-procureur-generaal Thomas Perez in die tijd, waren serieus, breed opgezet, systemisch en diep geworteld in de cultuur van het departement.

Ondanks de verontrustende bevindingen, ging de stad een geheim partnerschap slechts een jaar later met dataminingbedrijf Palantir om een ​​voorspellend politiesysteem in te zetten. Het systeem maakte gebruik van historische gegevens, waaronder arrestatiegegevens en elektronische politierapporten, om misdaad te voorspellen en om strategieën voor openbare veiligheid vorm te geven bedrijf en stadsbestuur materialen. Op geen enkel moment suggereerden die materialen enige inspanning om de gegevens op te schonen of te wijzigen om de door het DOJ aan het licht gebrachte schendingen aan te pakken. Naar alle waarschijnlijkheid werden de corrupte gegevens rechtstreeks in het systeem ingevoerd, wat de discriminerende praktijken van de afdeling versterkte.

Predictive policing-algoritmen worden gemeengoed in steden in de VS. Hoewel het gebrek aan transparantie het moeilijk maakt om exacte statistieken vast te stellen, heeft PredPol, een toonaangevende leverancier, opschept dat het 1 op 33 Amerikanen helpt beschermen. De software wordt vaak aangeprezen als een manier om dun uitgerekte politiediensten te helpen efficiëntere, datagestuurde beslissingen te nemen.

Maar nieuw onderzoek suggereert dat niet alleen New Orleans deze systemen heeft getraind met vuile gegevens. In een papier vandaag vrijgegeven, om te worden gepubliceerd in de NYU Law Review, ontdekten onderzoekers van het AI Now Institute, een onderzoekscentrum dat de sociale impact van kunstmatige intelligentie bestudeert, dat het probleem alomtegenwoordig is in de rechtsgebieden die het heeft bestudeerd. Dit heeft belangrijke implicaties voor de effectiviteit van predictive policing en andere algoritmen die in het strafrechtelijk systeem worden gebruikt.

Je systeem is zo goed als de gegevens waarmee je het traint, zegt Kate Crawford, medeoprichter en mededirecteur van AI Now en auteur van het onderzoek. Als de gegevens zelf onjuist zijn, zal dit ertoe leiden dat meer politiemiddelen worden gericht op dezelfde overbewaakte en vaak raciaal gerichte gemeenschappen. Dus wat je hebt gedaan is eigenlijk een soort tech-washing waarbij mensen die deze systemen gebruiken aannemen dat ze op de een of andere manier neutraler of objectiever zijn, maar in feite hebben ze een vorm van ongrondwettigheid of illegaliteit ingebakken.

De onderzoekers onderzochten 13 jurisdicties, met de nadruk op die rechtsgebieden die voorspellende politiesystemen hebben gebruikt en onderworpen zijn aan een door de overheid in opdracht gegeven onderzoek. De laatste vereiste zorgde ervoor dat de politiepraktijken juridisch verifieerbare documentatie hadden. In negen van de rechtsgebieden vonden ze sterk bewijs dat de systemen waren getraind op vuile gegevens.

Het probleem was niet alleen gegevens die vertekend waren door onevenredige targeting van minderheden, zoals in New Orleans. In sommige gevallen hadden politiediensten een cultuur van opzettelijke manipulatie of vervalsing van gegevens onder intense politieke druk om de officiële misdaadcijfers te verlagen. In New York, bijvoorbeeld, vroegen districtscommandanten, om de misdaadstatistieken kunstmatig te laten leeglopen, slachtoffers op de plaats delict om geen klachten in te dienen. Sommige politieagenten plantten zelfs drugs bij onschuldige mensen om hun quota voor arrestaties te halen. In moderne voorspellende politiesystemen, die afhankelijk zijn van machine learning om misdaad te voorspellen, worden die beschadigde datapunten legitieme voorspellers.

De bevindingen van het artikel stellen de validiteit van voorspellende politiesystemen in twijfel. Verkopers van dergelijke software beweren vaak dat de vertekende resultaten van hun tools gemakkelijk kunnen worden verholpen, zegt Rashida Richardson, directeur beleidsonderzoek bij AI Now en hoofdauteur van het onderzoek. Maar in al deze gevallen is er een soort systemisch probleem dat wordt weerspiegeld in de gegevens, zegt ze. De remedie zou daarom veel meer vereisen dan alleen het verwijderen van een of twee gevallen van slecht gedrag. Het is niet zo eenvoudig om goede gegevens te scheiden van slechte gegevens of goede agenten van slechte agenten, voegt Jason Schultz toe, de onderzoeksleider van het instituut voor wet en beleid, een andere auteur van het onderzoek.

Verkopers beweren ook dat ze gegevens vermijden die eerder vooroordelen weerspiegelen, zoals drugsgerelateerde arrestaties, en in plaats daarvan kiezen voor trainingsinputs zoals 911-oproepen. Maar de onderzoekers vonden net zoveel bias in de zogenaamd neutralere gegevens. Bovendien ontdekten ze dat leveranciers de gegevens die in hun systemen worden ingevoerd nooit onafhankelijk controleren.

Verwant verhaal

Verwant verhaal Het gebruik van historische gegevens om instrumenten voor risicobeoordeling te trainen zou kunnen betekenen dat machines de fouten uit het verleden kopiëren.

Het artikel werpt licht op het debat dat in de VS woedt over het gebruik van instrumenten voor strafrechtelijke risicobeoordeling, die ook gebruikmaken van machine learning om alles te helpen bepalen, van het lot van de verdachten tijdens de voorprocedures tot de zwaarte van hun straffen. De gegevens die we in dit artikel bespreken, zijn niet alleen voorbehouden aan de politie, zegt Richardson. Het wordt in het hele strafrechtsysteem gebruikt.

Momenteel is een groot deel van het debat gericht op de mechanica van het systeem zelf - of het kan worden ontworpen om wiskundig eerlijke resultaten te produceren. Maar de onderzoekers benadrukken dat dit de verkeerde vraag is. Als je de algoritmevraag loskoppelt van het sociale systeem waarmee het is verbonden en waarin het is ingebed, kom je niet ver, zegt Schultz. We moeten echt de grenzen erkennen van dat soort wiskundige, op berekeningen gebaseerde pogingen om vooroordelen aan te pakken.

In de toekomst hopen de onderzoekers dat hun werk het debat zal helpen herkaderen om zich te concentreren op het bredere systeem in plaats van op de tool zelf. Ze hopen ook dat het regeringen ertoe zal aanzetten om mechanismen te creëren, zoals de algoritmisch effectbeoordelingskader het instituut vorig jaar uitgebracht, om meer transparantie, verantwoording en toezicht te brengen op het gebruik van geautomatiseerde besluitvormingstools.

Als de sociale en politieke mechanismen die vuile data genereren niet worden hervormd, zullen dergelijke tools alleen maar meer kwaad dan goed doen, zeggen ze. Als mensen dat eenmaal inzien, zal het debat misschien eindelijk verschuiven naar manieren waarop we machine learning en andere technologische ontwikkelingen kunnen gebruiken om de oorzaak van [misdaad] daadwerkelijk te stoppen, zegt Richardson. Misschien kunnen we armoede en werkloosheid en huisvestingsproblemen oplossen met behulp van overheidsgegevens op een meer voordelige manier.

zich verstoppen