211service.com
Er is een crisis van gezichtsherkenning en politie in de VS
mevrouw Tech | Unsplash
Toen het nieuws naar buiten kwam dat een verkeerde match van een gezichtsherkenningssysteem de politie van Detroit ertoe had gebracht Robert Williams te arresteren voor een misdaad die hij niet had begaan, was het eind juni, en het land was al in rep en roer over de dood van George Floyd een maand eerder . Kort daarna bleek dat nog een andere zwarte man, Michael Oliver, was gearresteerd onder vergelijkbare omstandigheden als Williams. Terwijl een groot deel van de VS blijft schreeuwen om raciale rechtvaardigheid, ontstaat er een rustiger gesprek over gezichtsherkenningstechnologie en de politie. We zouden er goed aan doen om te luisteren.
Toen Jennifer Strong en ik begonnen te rapporteren over het gebruik van gezichtsherkenningstechnologie door de politie voor onze nieuwe podcast, In machines waarop we vertrouwen , wisten we dat deze AI-aangedreven systemen door agenten in de hele VS en in andere landen werden geadopteerd. Maar we hadden geen idee hoeveel er buiten het publieke oog gebeurde.
Om te beginnen weten we niet hoe vaak politiediensten in de VS gezichtsherkenning gebruiken om de eenvoudige reden dat ze in de meeste rechtsgebieden geen aangifte hoeven te doen wanneer ze het gebruiken om een verdachte van een misdrijf te identificeren. De meest recente cijfers zijn speculatief en van 2016 , maar ze suggereren dat in die tijd minstens de helft van de Amerikanen foto's had in een gezichtsherkenningssysteem. Een provincie in Florida voerde elke maand 8.000 zoekopdrachten uit.
We weten ook niet welke politiediensten gezichtsherkenningstechnologie hebben, omdat het gebruikelijk is dat de politie hun inkoopproces verduistert. Er zijn bijvoorbeeld aanwijzingen dat veel afdelingen hun technologie kopen met behulp van federale subsidies of non-profitgeschenken, die zijn vrijgesteld van bepaalde openbaarmakingswetten. In andere gevallen bieden bedrijven de politie proefperiodes aan voor hun software waarmee agenten systemen kunnen gebruiken zonder officiële goedkeuring of toezicht. Hierdoor kunnen bedrijven die gezichtsherkenningssystemen maken, beweren dat hun producten op grote schaal worden gebruikt - en de uiterlijke indruk wekken dat ze zowel populaire als betrouwbare hulpmiddelen voor het oplossen van misdaad zijn.
Beschermde algoritmen die niet dienen
Maar als gezichtsherkenning ergens om bekend staat, dan is het wel hoe onbetrouwbaar het is. Zoals we in de show melden, in januari Londense Metropolitan Police debuteerde met een live gezichtsherkenningssysteem dat in tests had een nauwkeurigheidspercentage van minder dan 20% . In New York City, de Metro Transit Authority heeft een systeem uitgeprobeerd op hoofdwegen met een gerapporteerde nauwkeurigheid van 0%. De systemen zijn vaak ook raciaal bevooroordeeld - een onderzoek wees uit dat in sommige commerciële systemen, zelfs in laboratoriumomstandigheden foutenpercentages bij het identificeren van vrouwen met een donkere huidskleur waren ongeveer 35%. Toen we verslag uitbrachten voor de show, ontdekten we dat het niet ongebruikelijk is dat de politie foto's wijzigt om hun kansen op het vinden van een match te vergroten. Sommigen verdedigden de praktijk zelfs als cruciaal voor het doen van goed politiewerk.
Twee van de meest controversiële en geavanceerde bedrijven in het veld, ClearviewAI en NTechLabs, beweren het bias-probleem te hebben opgelost en een bijna perfecte nauwkeurigheid te bereiken. ClearviewAI beweert dat het wordt gebruikt door ongeveer 600 politiediensten in de VS (sommige experts met wie we spraken waren sceptisch over dat cijfer). NTechLabs, gevestigd in Rusland, heeft zich aangemeld voor live video-gezichtsherkenning in de hele stad Moskou.
Maar er is bijna geen manier om hun beweringen onafhankelijk te verifiëren. Beide bedrijven hebben algoritmen die in databases van miljarden openbare foto's zitten. Het National Institute of Standards and Technology (NIST) biedt ondertussen een van de weinige onafhankelijke audits van gezichtsherkenningstechnologie. De NIST Vendor Test maakt gebruik van een veel kleinere dataset, wat samen met de kwaliteit en diversiteit van de afbeeldingen in de database zijn kracht als auditingtool beperkt. ClearviewAI heeft de meest recente test van NIST niet gedaan. NTechLabs heeft de statische beeldtest gedaan en heeft goed gepresteerd, maar er is momenteel geen test voor live video gezichtsherkenning. Er is ook geen onafhankelijke test specifiek voor bias.
Herkenning op straat
De recente golf van Black Lives Matter-protesten, aangewakkerd door de dood van Floyd, heeft veel van wat we hebben geaccepteerd over modern politiewerk, inclusief het gebruik van technologie, in twijfel getrokken. De duistere ironie is dat, wanneer mensen de straat op gaan om te protesteren tegen racisme bij de politie, sommige politie geavanceerde instrumenten hebben gebruikt met een bekende raciale vooringenomenheid tegen de aanwezigen. We weten bijvoorbeeld dat de politie van Baltimore gebruikte gezichts-ID op demonstranten na de dood van Freddie Gray in 2015. En we weten dat een handvol afdelingen openbare oproepen hebben gedaan voor beelden van de protesten van dit jaar. Er is gedocumenteerd dat de politie in Minneapolis toegang heeft tot een reeks technische, inclusief de diensten van ClearviewAI . Volgens Jameson Spivack van het Center on Privacy and Technology aan de Georgetown University, die we in de show interviewen, is gezichtsherkenning gericht op en ontmoedigen van zwarte politieke uitingen als gezichtsherkenning wordt gebruikt bij BLM-protesten.
Na jaren van strijd voor regulering, door voornamelijk zwarte en bruine geleide organisaties , we zijn nog nooit op een beter moment geweest om echt te veranderen. Microsoft, Amazon en IBM hebben alle stopzettingen of moratoriums van hun gezichtsherkenningsproducten aangekondigd. In de afgelopen maanden hebben een handvol grote Amerikaanse steden een verbod of moratorium op de technologie afgekondigd. Aan de andere kant gaat de technologie snel. De mogelijkheden van het systeem, evenals het potentieel voor misbruik en misbruik, zullen met grote sprongen blijven groeien. We beginnen nu al te zien dat politiediensten en technologieleveranciers verder gaan dan statische, retrospectieve gezichtsherkenningssystemen naar live videoanalyses die zijn geïntegreerd met andere soorten gegevensstromen, zoals bewakingssystemen voor audio-pistoolschoten.
Sommige politieagenten met wie we spraken, zeiden dat ze niet met archaïsche instrumenten zouden moeten worden achtergelaten om de misdaad in de 21e eeuw te bestrijden. En het is waar dat technologie in sommige gevallen het politiewerk minder gewelddadig en minder vatbaar voor menselijke vooroordelen kan maken.
Maar na maanden van verslaggeving over onze audiominiserie, bleef ik met een onheilspellend gevoel achter. Er staat met de dag meer op het spel en tot nu toe is het publiek ver achtergebleven in het begrip van wat er gaande is. Het is niet duidelijk hoe dat zal veranderen, tenzij alle mensen aan alle kanten van deze kwestie het erover eens zijn dat iedereen het recht heeft om geïnformeerd te worden.