De strijd van twee jaar om te voorkomen dat Amazon gezichtsherkenning aan de politie verkoopt

mevrouw Tech | Getty

In de zomer van 2018 hebben bijna 70 burgerrechten- en onderzoeksorganisaties schreef een brief tegen Jeff Bezos die eist dat Amazon stopt met het verstrekken van gezichtsherkenningstechnologie aan overheden. Als onderdeel van een grotere focus op de rol die technologiebedrijven speelden in het volgen en deporteren van immigranten door de Amerikaanse regering mogelijk maken , riep het Amazon op om op te komen voor burgerrechten en burgerlijke vrijheden. Zoals geadverteerd, zei het, is Rekognition een krachtig bewakingssysteem dat direct beschikbaar is om rechten te schenden en zich op gekleurde gemeenschappen te richten.

Samen met de brief leverde de American Civil Liberties Union (ACLU) van Washington meer dan 150.000 handtekeningen voor petities en nog een brief van de eigen aandeelhouders van het bedrijf soortgelijke eisen uiten. Een paar dagen later herhaalden de werknemers van Amazon de zorgen in een interne memo .

Ondanks de toenemende druk ging Amazon gewoon door. Het duwde Rekognition als een hulpmiddel voor het monitoren van interessante mensen en verdubbeld over het verstrekken van andere bewakingstechnologieën aan regeringen. De dochteronderneming van het bedrijf, Ring, bijvoorbeeld, die slechts een paar maanden eerder werd overgenomen, sloot snel partnerschappen met meer dan 1.300 wetshandhavingsinstanties beeldmateriaal van zijn beveiligingscamera's in huis te gebruiken in strafrechtelijke onderzoeken.

Maar op woensdag 10 juni schokte Amazon burgerrechtenactivisten en onderzoekers toen het aankondigde dat het een eenjarig moratorium zou instellen op het gebruik van Rekognition door de politie. De verhuizing volgde IBM's beslissing om te stoppen zijn gezichtsherkenningssysteem voor algemene doeleinden. De volgende dag, Microsoft heeft aangekondigd dat het zou stoppen met de verkoop van zijn systeem aan politiediensten totdat de federale wet de technologie regelt. Hoewel Amazon de kleinste concessie deed van de drie bedrijven, is het ook de grootste leverancier van de technologie aan rechtshandhavingsinstanties. Het besluit is het resultaat van twee jaar onderzoek en externe druk om de technische tekortkomingen van Rekognition en het potentieel voor misbruik aan te tonen.

Het is ongelooflijk dat Amazon daadwerkelijk reageert in dit huidige gesprek over racisme, zei Deborah Raji, een AI-accountability-onderzoeker die co-auteur was van een fundamentele studie over de raciale vooroordelen en onnauwkeurigheden die in de technologie van het bedrijf zijn ingebouwd. Het spreekt gewoon tot de kracht van dit huidige moment.

Een jaar is een begin, zegt Kade Crockford, directeur van het technologievrijheidsprogramma van de ACLU van Massachusetts. Het is absoluut een erkenning van de kant van het bedrijf, althans impliciet, dat wat voorstanders van raciale rechtvaardigheid hen al twee jaar vertellen correct is: technologie voor gezichtsbewaking brengt zwarte en bruine mensen in de Verenigde Staten in gevaar. Dat is een opmerkelijke bekentenis.

Twee jaar in de maak

In februari 2018 publiceerden MIT-onderzoeker Joy Buolamwini en Timnit Gebru, toen een Microsoft-onderzoeker, een baanbrekende studie genaamd Gender Shades over de gender- en raciale vooroordelen die zijn ingebed in commerciële gezichtsherkenningssystemen. Destijds omvatte het onderzoek de systemen die werden verkocht door Microsoft, IBM en Megvii, een van China's grootste leveranciers van gezichtsherkenning. Het omvatte niet de erkenning van Amazon.

Niettemin was het de eerste studie in zijn soort, en de resultaten waren schokkend: het slechtste systeem, dat van IBM, was 34,4 procentpunten slechter in het classificeren van geslacht voor donkere vrouwen dan voor mannen met een lichte huid. De bevindingen ontkrachtten onmiddellijk de nauwkeurigheidsclaims die de bedrijven hadden gebruikt om hun producten te verkopen en leidden tot een debat over gezichtsherkenning in het algemeen.

Terwijl het debat woedde, werd al snel duidelijk dat het probleem ook dieper lag dan scheve trainingsgegevens of onvolmaakte algoritmen. Zelfs als de systemen 100% nauwkeurig zouden zijn, zouden ze nog steeds op gevaarlijke manieren kunnen worden ingezet, waarschuwden veel onderzoekers en activisten.

Een still shot uit Joy Buolamwini's videogedicht 'AI, Ain't I A Woman?' presentatie van enkele van de grove fouten gemaakt door Rekognition.

MET DANK AAN ALGORITHMIC JUSTICE LEAGUE

Er zijn twee manieren waarop deze technologie mensen kan kwetsen, zegt Raji die met Buolamwini en Gebru aan Gender Shades heeft gewerkt. Eén manier is door niet te werken: omdat ze hogere foutenpercentages hebben voor gekleurde mensen, lopen ze een groter risico. De tweede situatie is wanneer het doet werk - waar je het perfecte gezichtsherkenningssysteem hebt, maar het kan gemakkelijk worden ingezet tegen gemeenschappen om ze lastig te vallen. Het is een apart en verbonden gesprek.

Het werk van Gender Shades was om de eerste situatie bloot te leggen, zegt ze. Daarbij creëerde het een opening om de tweede bloot te leggen.

Amazon probeerde hun onderzoek in diskrediet te brengen; het probeerde hen te ondermijnen als zwarte vrouwen die dit onderzoek leidden.

Meredith Whittaker

Dit is wat er gebeurde met IBM. Nadat Gender Shades was gepubliceerd, was IBM een van de eerste bedrijven die contact opnam met de onderzoekers om erachter te komen hoe de bias-problemen konden worden opgelost. In januari 2019 bracht het een dataset uit genaamd Diversiteit in gezichten , met meer dan 1 miljoen geannoteerde gezichtsafbeeldingen, in een poging om dergelijke systemen te verbeteren. Maar de verhuizing mislukte nadat mensen ontdekten dat de afbeeldingen van Flickr waren geschraapt, waardoor problemen met toestemming en privacy naar voren kwamen. Het leidde tot een nieuwe reeks interne discussies over hoe gezichtsherkenning ethisch kan worden getraind. Het leidde hen door het konijnenhol om de veelheid aan problemen te ontdekken die met deze technologie bestaan, zegt Raji.

Dus uiteindelijk was het geen verrassing toen het bedrijf eindelijk de stekker eruit trok. (Critici aanwijzen dat zijn systeem sowieso niet veel voet aan de grond had op de markt.) IBM realiseerde zich net dat de 'voordelen' op geen enkele manier in verhouding stonden tot de schade, zegt Raji. En op dit specifieke moment was het voor hen het juiste moment om het openbaar te maken.

Maar terwijl IBM reageerde op externe feedback, reageerde Amazon juist andersom. In juni 2018, te midden van alle andere brieven waarin het bedrijf werd geëist het gebruik van Rekognition door de politie stop te zetten, Raji en Buolamwini de Gender Shades-audit uitgebreid om zijn prestaties te omvatten. De resultaten, een half jaar later gepubliceerd in een peer-reviewed artikel , vond opnieuw enorme technische onnauwkeurigheden. Erkenning classificeerde het geslacht van donkere vrouwen 31,4 procentpunt minder nauwkeurig dan dat van lichte mannen.

In juli heeft de ACLU van Noord-Californië ook voerde zijn eigen onderzoek uit , waarbij hij ontdekte dat het systeem foto's van 28 leden van het Amerikaanse congres valselijk koppelde aan mugshots. De valse lucifers waren onevenredig gekleurde mensen.

In plaats van de resultaten te erkennen, publiceerde Amazon echter twee Blog berichten beweren dat het werk van Raji en Buolamwini misleidend was. In reactie, bijna 80 AI-onderzoekers , waaronder Turing Award-winnaar Yoshua Bengio, verdedigde het werk en riep het bedrijf nogmaals op om te stoppen met het verkopen van gezichtsherkenning aan de politie.

Het was destijds zo'n emotionele ervaring, herinnert Raji zich. We hadden zoveel due diligence gedaan met betrekking tot onze resultaten. En toen was de eerste reactie zo direct confronterend en agressief defensief.

Amazon probeerde hun onderzoek in diskrediet te brengen; het probeerde hen te ondermijnen als zwarte vrouwen die dit onderzoek leidden, zegt Meredith Whittaker, medeoprichter en directeur van het AI Now Institute, dat de sociale effecten van AI bestudeert. Het probeerde een verhaal te wekken dat ze het bij het verkeerde eind hadden - dat iedereen die de technologie begreep duidelijk zou weten dat dit geen probleem was.

De verhuizing bracht Amazon echt in politiek gevaar.

Mutale Nkonde

Terwijl het de studie publiekelijk afwees, begon Amazon te investeren in het onderzoeken van oplossingen achter de schermen. Het huurde een eerlijkheidsleider in, investeerde in een NSF-onderzoeksbeurs om de problemen te verminderen, en bracht een paar maanden later een nieuwe versie van Rekognition uit, die direct inspeelde op de zorgen van het onderzoek, zegt Raji. Tegelijkertijd is het de inspanningen van de aandeelhouders terugdraaien om de verkoop van de technologie op te schorten en een onafhankelijke mensenrechtenbeoordeling uit te voeren. Het ook miljoenen uitgegeven lobbyen bij het Congres om regulering te vermijden.

Maar toen veranderde alles. Op 25 mei 2020 vermoordde agent Derek Chauvin George Floyd, waarbij vonken ontstonden een historische beweging in de VS om institutioneel racisme te bestrijden en een einde te maken aan politiegeweld. Als reactie hierop introduceerden de Democraten van het Huis en de Senaat: een politiehervormingswet dat omvat een voorstel om gezichtsherkenning in een context van wetshandhaving te beperken, wat de grootste federale inspanning ooit is om de technologie te reguleren. Toen IBM aankondigde dat het zijn gezichtsherkenningssysteem zou stopzetten, stuurde het ook een brief aan de Congressional Black Caucus, waarin wordt aangedrongen op een nationale dialoog over de vraag of en hoe gezichtsherkenningstechnologie moet worden gebruikt door binnenlandse wetshandhavingsinstanties.

Ik denk dat de beslissing van IBM om die brief te sturen, op het moment dat diezelfde wetgevende instantie een wetsvoorstel voor politiehervorming overweegt, het landschap echt heeft veranderd, zegt Mutale Nkonde, een AI-beleidsadviseur en fellow aan het Berkman Klein Center van Harvard. Hoewel ze geen grote speler waren op het gebied van gezichtsherkenning, bracht de verhuizing Amazon echt in politiek gevaar. Het legde een duidelijk verband tussen de technologie en het lopende nationale gesprek, op een manier die regelgevers moeilijk konden negeren.

Een voorzichtig optimisme

Maar hoewel activisten en onderzoekers de concessie van Amazon als een grote overwinning zien, erkennen ze ook dat de oorlog nog niet voorbij is. Om te beginnen was de aankondiging van 102 woorden van Amazon vaag over details over de vraag of het moratorium ook wetshandhavingsinstanties zou omvatten die verder gaan dan de politie, zoals de Amerikaanse immigratie- en douanehandhaving of het ministerie van Binnenlandse Veiligheid. (Amazon reageerde niet op een verzoek om commentaar.) Voor een ander is het verstrijken van een jaar ook een rode vlag.

Het cynische deel van mij zegt dat Amazon gaat wachten tot de protesten zijn gestaakt - totdat het nationale gesprek op iets anders verschuift - om terug te keren naar zijn eerdere standpunt, zegt Crockford van de ACLU. We zullen nauwlettend in de gaten houden om ervoor te zorgen dat deze bedrijven niet effectief goede pers krijgen voor deze recente aankondigingen, terwijl we tegelijkertijd achter de schermen werken om onze inspanningen in de wetgevende macht te dwarsbomen.

Dit is de reden waarom activisten en onderzoekers ook denken dat regulering in de toekomst een cruciale rol zal spelen. De les hier is niet dat bedrijven zelfbestuur moeten hebben, zegt Whittaker. De les is dat we meer druk nodig hebben en dat we regels nodig hebben die ervoor zorgen dat we niet alleen naar een verbod van een jaar kijken.

Het cynische deel van mij zegt dat Amazon gaat wachten tot de protesten zijn afgenomen... om terug te keren naar zijn eerdere standpunt.

Kade Crockford

Critici zeggen dat de bepalingen over gezichtsherkenning in de huidige wet op de hervorming van de politie, die alleen het realtime gebruik ervan in lichaamscamera's verbiedt, lang niet breed genoeg zijn om de techreuzen volledig verantwoordelijk te houden. Maar Nkonde is optimistisch: ze ziet deze eerste reeks aanbevelingen als een kiem voor aanvullende regelgeving. Als ze eenmaal in de wet zijn aangenomen, zullen ze een belangrijk referentiepunt worden voor andere wetsvoorstellen die zijn geschreven om gezichtsherkenning in andere toepassingen en contexten te verbieden.

Er is echt een grotere wetgevende beweging op zowel federaal als lokaal niveau, zegt ze. En de schijnwerpers dat de dood van Floyd heeft geschenen op racistische politiepraktijken, heeft de brede steun ervan versneld.

De politiemoorden op George Floyd, Breonna Taylor en veel te veel andere zwarte mensen - en honderdduizenden mensen die in het hele land de straat op gingen - hadden echt niet mogen duren voordat deze bedrijven zouden beseffen dat de eisen van zwarte en bruine geleide organisaties en geleerden, van de ACLU, en van vele andere groepen waren moreel correct, zegt Crockford. Maar hier zijn we. Beter laat dan nooit.

zich verstoppen