Live gezichtsherkenning volgt kinderen die verdacht worden van criminelen

mevrouw Tech | Getty

In een nationale database in Argentinië bevatten tienduizenden gegevens de namen, verjaardagen en nationale identiteitsbewijzen van mensen die verdacht worden van misdaden. De database, bekend als de Consulta Nacional de Rebeldías y Capturas (Nationaal register van voortvluchtigen en arrestaties), of CONARC, begon in 2009 als onderdeel van een poging om de rechtshandhaving voor ernstige misdrijven te verbeteren.

Maar er zijn verschillende dingen mis met CONARC. Ten eerste is het een spreadsheetbestand met platte tekst zonder wachtwoordbeveiliging, dat gemakkelijk kan worden gevonden via Google Zoeken en door iedereen kan worden gedownload. Aan de andere kant zijn veel van de vermeende misdaden, zoals kleine diefstallen, niet zo ernstig, terwijl andere helemaal niet worden gespecificeerd.

Het meest verontrustend is echter de leeftijd van de jongste vermeende dader, alleen geïdentificeerd als M.G., die wordt gedagvaard voor misdaden tegen personen (kwaadaardige) - ernstige verwondingen. MG werd blijkbaar geboren op 17 oktober 2016, wat betekent dat hij een week verlegen is van vier jaar oud.

nutsvoorzieningen een nieuw onderzoek van Human Rights Watch heeft geconstateerd dat niet alleen kinderen regelmatig worden toegevoegd aan CONARC, maar dat de database ook de basis vormt voor een live gezichtsherkenningssysteem in Buenos Aires dat door het stadsbestuur wordt ingezet. Dit maakt het systeem waarschijnlijk het eerste bekende exemplaar in zijn soort dat wordt gebruikt om op kinderen te jagen die verdacht worden van criminele activiteiten.

Het is ronduit schandalig, zegt Hye Jung Han, een kinderrechtenadvocaat bij Human Rights Watch, die het onderzoek leidde.

Buenos Aires begon op 24 april 2019 met het testen van live gezichtsherkenning. Het systeem werd geïmplementeerd zonder enige openbare raadpleging en leidde tot onmiddellijke weerstand. In oktober heeft een nationale burgerrechtenorganisatie diende een rechtszaak om het uit te dagen. Als reactie hierop heeft de regering een nieuw wetsvoorstel opgesteld - dat nu wetgevingsprocessen doorloopt - dat gezichtsherkenning in openbare ruimtes zou legaliseren.

Het systeem is vanaf het begin ontworpen om te koppelen met CONARC. Hoewel CONARC zelf geen foto's van zijn vermeende overtreders bevat, wordt het gecombineerd met foto-ID's van het nationale register. De software gebruikt de hoofdopnamen van verdachten om te scannen naar realtime wedstrijden via de metrocamera's van de stad. Zodra het systeem een ​​persoon markeert, waarschuwt het de politie om een ​​arrestatie te verrichten.

Het systeem heeft sindsdien geleid tot: talrijk vals arrestaties (links in het Spaans), waarvoor de politie geen vastgesteld protocol heeft voor de afhandeling. Een man die ten onrechte werd geïdentificeerd, werd zes dagen vastgehouden en stond op het punt te worden overgebracht naar een maximaal beveiligde gevangenis voordat hij eindelijk zijn identiteit ophelderde. Een ander kreeg te horen dat hij zou verwachten dat hij in de toekomst herhaaldelijk zou worden gemarkeerd, ook al had hij bewezen dat hij niet de politie was die naar hem op zoek was. Om de verwarring op te lossen, gaven ze hem een ​​pasje om te laten zien aan de volgende officier die hem zou kunnen tegenhouden.

Er lijkt geen mechanisme te zijn om fouten in het algoritme of de database te corrigeren, zegt Han. Dat is een signaal voor ons dat hier een regering is die een technologie heeft aangeschaft die ze niet zo goed begrijpt in termen van alle technische en mensenrechtenimplicaties.

Dit alles is al zeer zorgwekkend, maar het toevoegen van kinderen aan de vergelijking maakt de zaken nog veel erger. Hoewel de regering heeft publiekelijk ontkend (link in het Spaans) dat CONARC minderjarigen omvat, heeft Human Rights Watch tussen mei 2017 en mei 2020 ten minste 166 kinderen gevonden in verschillende versies van de database. In tegenstelling tot M.G. worden de meeste van hen met hun volledige naam geïdentificeerd, wat illegaal is. Volgens de internationale mensenrechtenwetgeving moeten kinderen die van een misdrijf worden beschuldigd, hun privacy tijdens de procedure beschermen.

Ook in tegenstelling tot M.G. waren de meesten 16 of 17 op het moment van binnenkomst, hoewel er op mysterieuze wijze een paar één- tot driejarigen zijn geweest. De leeftijden zijn niet de enige schijnbare fouten in de inzendingen van de kinderen. Er zijn flagrante typefouten, tegenstrijdige details en soms worden meerdere nationale identiteitsbewijzen voor dezelfde persoon vermeld. Omdat kinderen ook fysiek sneller veranderen dan volwassenen, lopen hun foto-ID's meer risico verouderd te zijn.

Bovendien zijn gezichtsherkenningssystemen, zelfs onder ideale laboratoriumomstandigheden, notoir slecht in het omgaan met kinderen, omdat ze voornamelijk op volwassenen zijn getraind en getest. Het systeem van Buenos Aires is niet anders. Volgens officiële documenten (link in het Spaans), werd het vóór aanschaf alleen getest op de volwassen gezichten van stadsbestuurders. Eerdere tests door de Amerikaanse overheid van het specifieke algoritme waarvan wordt aangenomen dat het gebruikt, suggereren ook dat het een factor zes slechter presteert bij kinderen (10 tot 16 jaar) dan volwassenen (24 tot 40 jaar).

Door al deze factoren lopen kinderen een verhoogd risico om verkeerd te worden geïdentificeerd en ten onrechte te worden gearresteerd. Dit kan leiden tot een ongerechtvaardigd strafblad, met mogelijk langdurige gevolgen voor hun opleidings- en werkgelegenheidskansen. Het kan ook een impact hebben op hun gedrag.

Het argument dat gezichtsherkenning een huiveringwekkend effect heeft op de vrijheid van meningsuiting, wordt versterkt voor kinderen, zegt Han. Je kunt je voorstellen dat een kind [dat ten onrechte is gearresteerd] extreem zelfcensurerend zou zijn of voorzichtig zou zijn met hoe ze zich in het openbaar gedragen. En het is nog te vroeg om te proberen de psychologische effecten op de lange termijn te achterhalen - hoe dit ook hun wereldbeeld en mentaliteit kan vormen.

Hoewel Buenos Aires de eerste stad is die Han heeft geïdentificeerd met behulp van live gezichtsherkenning om kinderen te volgen, maakt ze zich zorgen dat veel andere voorbeelden aan het zicht worden onttrokken. In januari, Londen aangekondigd dat het live gezichtsherkenning zou integreren in zijn politieactiviteiten. Binnen enkele dagen zei Moskou dat het... een soortgelijk systeem uitgerold dwars door de stad.

Hoewel het nog niet bekend is of deze systemen actief proberen om kinderen te matchen, worden kinderen al getroffen. In de documentaire van 2020 Gecodeerde bias , wordt een jongen valselijk vastgehouden door de Londense politie nadat live gezichtsherkenning hem voor iemand anders aanziet. Het is onduidelijk of de politie inderdaad op zoek was naar een minderjarige of een ouder persoon.

Zelfs degenen die niet worden vastgehouden, verliezen hun recht op privacy, zegt Han: Er zijn alle kinderen die voor een camera met gezichtsherkenning passeren om toegang te krijgen tot het metrosysteem.

In debatten over deze systemen wordt vaak gemakkelijk vergeten dat kinderen speciale aandacht nodig . Maar dat is niet de enige reden tot bezorgdheid, voegt Han eraan toe. Het feit dat deze kinderen onder dat soort invasieve bewaking zouden staan ​​- de volledige mensenrechten en maatschappelijke implicaties van deze technologie zijn nog steeds onbekend. Anders gezegd: wat slecht is voor kinderen, is uiteindelijk slecht voor iedereen.

zich verstoppen