Acht casestudies over het reguleren van biometrische technologie tonen ons een weg voorwaarts

Amba Kako met dank aan AI Now

Amba Kak studeerde rechten in India toen het land in 2009 het Aadhaar-project uitrolde. Het nationale biometrische identificatiesysteem, opgevat als een uitgebreid identiteitsprogramma, probeerde de vingerafdrukken, irisscans en foto's van alle inwoners te verzamelen. Het duurde niet lang, herinnert Kak zich, voordat verhalen over de verwoestende gevolgen zich begonnen te verspreiden. Plotseling hoorden we berichten over handarbeiders die met hun handen werken, hoe hun vingerafdrukken het systeem in de steek lieten en vervolgens de toegang tot basisbehoeften werd ontzegd, zegt ze. We hadden eigenlijk sterfgevallen door honger in India die werden gekoppeld aan de barrières die deze biometrische ID-systemen creëerden. Het was dus echt een cruciale kwestie.

Die gevallen daagden haar uit om biometrische systemen te onderzoeken en de manieren waarop de wet ze verantwoordelijk kon houden. Op 2 september bracht Kak, die nu de directeur van wereldwijde strategie en programma's is bij het in New York gevestigde AI Now Institute, een nieuw rapport met acht casestudies over hoe biometrische systemen over de hele wereld worden gereguleerd. Ze omvatten inspanningen van steden, staten, landen en wereldwijd, evenals enkele van non-profitorganisaties. Het doel is om een ​​dieper begrip te ontwikkelen van hoe verschillende benaderingen werken of tekortschieten. Ik sprak met Kak over wat ze heeft geleerd en hoe we verder moeten.

Dit interview is voor de duidelijkheid bewerkt en ingekort.

Wat motiveerde dit project?

Biometrische technologie is zich vermenigvuldigen en genormaliseerd worden , zowel in overheidsdomeinen als in ons privéleven. De monitoring van protesten met gezichtsherkenning vond dit jaar alleen plaats in Hong Kong, in Delhi, in Detroit en in Baltimore. Biometrische ID-systemen, waar minder over wordt gesproken, waarbij biometrische gegevens worden gebruikt als voorwaarde om toegang te krijgen tot uw welzijnsdiensten - dat wordt ook verspreid in lage- en middeninkomenslanden in Azië, Afrika en Latijns-Amerika.

Maar het interessante is dat het verzet tegen deze systemen ook op zijn hoogtepunt is. De belangenbehartiging eromheen krijgt meer aandacht dan ooit tevoren. De vraag is dus: waar spelen recht en beleid een rol? Dat is waar dit compendium van pas komt. Dit rapport probeert eruit te halen wat we kunnen leren van deze ervaringen op een moment dat het lijkt alsof er veel animo is van regeringen en van belangengroepen voor meer regulering.

Wat is de huidige stand van zaken op het gebied van biometrische regulering wereldwijd? Hoe volwassen zijn de wettelijke kaders voor het omgaan met deze opkomende technologie?

Er zijn ongeveer 130 landen in de wereld die gegevensbeschermingswetten hebben. Bijna alle hebben betrekking op biometrische gegevens. Dus als we ons alleen maar de vraag stellen of er wetten bestaan ​​om biometrische gegevens te reguleren, dan zou het antwoord in de meeste landen zijn: dat doen ze.

Maar als u wat dieper graaft, wat zijn dan de beperkingen van een gegevensbeschermingswet? Een wet op de gegevensbescherming op zijn best kan u helpen te reguleren wanneer biometrische gegevens worden gebruikt en ervoor te zorgen dat deze niet worden gebruikt voor doeleinden waarvoor geen toestemming is gegeven. Maar kwesties als nauwkeurigheid, discriminatie - die kwesties hebben nog steeds heel weinig juridische aandacht gekregen.

Aan de andere kant, hoe zit het met het volledig verbieden van de technologie? We hebben gezien dat dat geconcentreerd is in de VS op stad- en staatsniveau. Ik denk dat mensen soms vergeten dat de meeste van deze wetgevende activiteiten zich hebben geconcentreerd op het publiek, en meer specifiek op het gebruik door de politie.

We hebben dus een mix van gegevensbeschermingswetten die enkele waarborgen bieden, maar die inherent beperkt zijn. En dan hebben we een concentratie van deze complete moratoria op het lokale stads- en staatsniveau in de VS.

Wat waren enkele veelvoorkomende thema's die uit deze casestudies naar voren kwamen?

Voor mij was de duidelijkste: het hoofdstuk over India door Nayantara Ranganathan, en het hoofdstuk over de Australische gezichtsherkenningsdatabase door Monique Mann en Jake Goldenfein. Dit zijn allebei enorme gecentraliseerde staatsarchitecturen waar het erom gaat de technische silo's tussen verschillende staats- en andere soorten databases te verwijderen en ervoor te zorgen dat deze databases centraal zijn gekoppeld. Dus je creëert deze monsterlijke gecentraliseerde, centraal gekoppelde biometrische data-architectuur. Dan zeg je als pleister op dit enorme probleem: Oké, we hebben een wet op de gegevensbescherming, die zegt dat gegevens nooit mogen worden gebruikt voor een doel dat niet werd bedacht of verwacht. Maar ondertussen verandert u de verwachting van wat u kunt verwachten. Vandaag de dag wordt de database die werd gebruikt in een strafrechtelijke context nu gebruikt in een immigratiecontext.

[in de VS] gebruikt ICE nu bijvoorbeeld DMV-databases in verschillende staten in het proces van immigratiehandhaving, of probeert dit te gebruiken. Dit zijn dus databases die in een civiele context zijn gemaakt en ze proberen ze te gebruiken voor immigratie. Evenzo heb je in Australië deze gigantische database, die rijbewijsgegevens bevat, die nu zal worden gebruikt voor onbeperkte strafrechtelijke doeleinden, en waar de afdeling Binnenlandse Zaken de volledige controle zal hebben. En op dezelfde manier hebben ze in India een wet gemaakt, maar de wet legde in feite het grootste deel van de discretie in handen van de autoriteit die de database heeft gemaakt. Dus ik denk dat uit deze drie voorbeelden, wat mij duidelijk wordt, is dat je de wet moet lezen in de context van de bredere politieke bewegingen die plaatsvinden. Als ik de bredere trend zou moeten samenvatten, is het de securitisatie van elk aspect van bestuur, van strafrecht tot immigratie tot welzijn, en het valt samen met de drang naar biometrie. Dat is een.

De tweede - en dit is een les die we blijven herhalen - toestemming als juridisch hulpmiddel is zeer gebrekkig, en zeker in de context van biometrische gegevens. Maar dat betekent niet dat het nutteloos is. Woody Hartzogs hoofdstuk over Illinois's BIPA [Biometrische Informatie Privacy Act] zegt: Kijk, het is geweldig dat we verschillende succesvolle rechtszaken hebben gehad tegen bedrijven die BIPA gebruiken, meest recentelijk met Clearview AI. Maar we kunnen niet blijven verwachten dat het instemmingsmodel structurele verandering teweeg zal brengen. Onze oplossing kan niet zijn: De gebruiker weet het het beste; de gebruiker zal Facebook vertellen dat ze niet willen dat hun gezichtsgegevens worden verzameld. Misschien zal de gebruiker dat niet doen, en zou de last niet bij het individu moeten liggen om deze beslissingen te nemen. Dit is iets dat de privacygemeenschap echt op de harde manier heeft geleerd, en daarom zijn wetten zoals de AVG niet alleen afhankelijk van toestemming. Er zijn ook harde richtlijnregels die zeggen: als je gegevens voor de ene reden hebt verzameld, kun je deze niet voor een ander doel gebruiken. En u kunt niet meer gegevens verzamelen dan strikt noodzakelijk is.

Was er een land of staat waarvan u dacht dat het een bijzondere belofte vertoonde in zijn benadering van de regulering van biometrie?

Ja, het is niet verwonderlijk dat het geen land of staat is. Het is eigenlijk het Internationale Comité van het Rode Kruis [ICRC]. In het boek, Ben Hayes en Massimo Marelli - ze zijn eigenlijk allebei vertegenwoordigers van het ICRC - schreef een reflecterend stuk over hoe zij besloten dat er een legitiem belang voor hen was om biometrische gegevens te gebruiken in het kader van de distributie van humanitaire hulp. Maar ze erkenden ook dat er veel regeringen waren die hen onder druk zouden zetten om toegang tot die gegevens te krijgen om deze gemeenschappen te vervolgen.

Ze hadden dus een heel reëel raadsel, en ze losten dat op door te zeggen: we willen een biometrisch beleid creëren dat de daadwerkelijke bewaring van de biometrische gegevens van mensen minimaliseert. Dus wat we zullen doen, is een kaart hebben waarop de biometrische gegevens van iemand veilig zijn opgeslagen. Ze kunnen die kaart gebruiken om toegang te krijgen tot de humanitaire welzijns- of hulpverlening. Maar als ze besluiten die kaart weg te gooien, worden de gegevens nergens anders opgeslagen. Het beleid besloot in wezen om geen biometrische database op te zetten met de gegevens van vluchtelingen en anderen die humanitaire hulp nodig hebben.

Voor mij is de bredere les die daaruit kan worden afgeleid, te erkennen wat het probleem is. Het probleem in dat geval was dat de databases een honeypot vormden en een reëel risico vormden. Dus bedachten ze zowel een technische oplossing als een manier voor mensen om hun biometrische gegevens met volledige toestemming in te trekken of te verwijderen.

Wat zijn de grootste hiaten die u ziet in de benaderingen van biometrische regulering over de hele linie?

Een goed voorbeeld om dat punt te illustreren is: hoe gaat de wet om met deze hele kwestie van vooringenomenheid en nauwkeurigheid? In de afgelopen jaren hebben we gezien zoveel fundamenteel onderzoek van mensen als Joy Buolamwini, Timnit Gebru en Deb Raji die existentieel uitdagen: werken deze systemen? Tegen wie werken ze? En zelfs als ze deze zogenaamde nauwkeurigheidstests doorstaan, hoe presteren ze dan eigenlijk in een real-life context?

Gegevensprivacy houdt zich niet bezig met dit soort problemen. Dus wat we nu hebben gezien - en dit zijn voornamelijk wetgevende inspanningen in de VS - zijn wetsvoorstellen die nauwkeurigheids- en non-discriminatie-audits voor gezichtsherkenningssystemen verplicht stellen. Sommigen van hen zeggen: we pauzeren het gebruik van gezichtsherkenning, maar een voorwaarde voor het opheffen van dit moratorium is dat u deze nauwkeurigheids- en non-discriminatietest doorstaat. En de tests waarnaar ze vaak verwijzen, zijn tests met technische standaarden, zoals NIST's gezichtsherkenningstest voor leveranciers.

Maar zoals ik daarin beargumenteer eerste hoofdstuk , deze tests evolueren; het is bewezen dat ze ondermaats presteren in real-life contexten; en belangrijker nog, ze zijn beperkt in hun vermogen om de bredere discriminerende impact van deze systemen aan te pakken wanneer ze in de praktijk worden toegepast. Dus in sommige opzichten maak ik me echt zorgen dat deze technische normen een soort selectievakje worden dat moet worden aangevinkt, en dat vervolgens de andere vormen van schade die deze technologieën veroorzaken, negeert of verdoezelt wanneer ze worden toegepast.

Hoe heeft dit compendium de manier waarop u denkt over biometrische regulering veranderd?

Het belangrijkste dat het voor mij deed, is om regelgeving niet alleen te zien als een hulpmiddel om deze systemen te beperken. Het kan een instrument zijn om terug te dringen tegen deze systemen, maar het kan evengoed een instrument zijn om deze systemen te normaliseren of te legitimeren. Pas als we kijken naar voorbeelden zoals die in India of die in Australië, beginnen we het recht te zien als een veelzijdig instrument dat op verschillende manieren kan worden gebruikt. Op het moment dat we echt aandringen om te zeggen: Moeten deze technologieën überhaupt bestaan? de wet, en vooral zwakke regelgeving, kan echt worden bewapend. Dat was voor mij een goede herinnering. Daar moeten we voor oppassen.

Dit gesprek is zeker onthullend voor mij geweest, want als iemand die de manier behandelt waarop technologie wordt bewapend, wordt mij vaak gevraagd: wat is de oplossing? en ik zeg altijd: Regelgeving. Maar nu zeg je, regulering kan ook worden bewapend.

Dat is zo waar! Dit doet me denken aan deze groepen die zich vroeger in India bezighielden met huiselijk geweld. En ik herinner me dat ze zeiden dat aan het einde van decennia van vechten voor de rechten van overlevenden van huiselijk geweld, de regering uiteindelijk zei: Oké, we hebben deze wet aangenomen. Maar daarna veranderde er niets. Ik herinner me dat ik toen al dacht dat we soms het idee van het aannemen van wetten verheerlijken, maar wat gebeurt er daarna?

En dit is een goed vervolg - zelfs als ik Clare Garvie en Jameson Spivack's lees hoofdstuk over verboden en moratoria , wijzen ze erop dat de meeste van deze verboden alleen gelden voor gebruik door de overheid. Er is nog steeds deze enorme privé-industrie van miljarden dollars. Dus het zal nog steeds worden gebruikt tijdens het Taylor Swift-concert op dezelfde manier als de politie het zou gebruiken: om mensen buiten te houden, om mensen te discrimineren. Het stopt de machine niet. Dat een vorm van juridische interventie zou ongekende belangenbehartiging vergen. Ik denk niet dat het onmogelijk is om dat zogenaamde volledige verbod te krijgen, maar we zijn er nog niet. Dus ja, we moeten voorzichtiger en kritischer zijn over de manier waarop we de rol van het recht begrijpen.

Wat over het compendium maakte je hoopvol over de toekomst?

Dat is altijd zo'n moeilijke vraag, maar dat zou het niet moeten zijn. Het was waarschijnlijk Het hoofdstuk van Rashida Richardson en Stephanie Coyle . Hun hoofdstuk was bijna een etnografie over deze groep ouders in New York die heel sterk waren over het feit dat ze niet wilden dat hun kinderen in de gaten werden gehouden. En ze zeiden: we gaan naar elke bijeenkomst, ook al verwachten ze dat niet van ons. En we gaan zeggen dat we hier een probleem mee hebben.

Het was gewoon heel geruststellend om te horen over een verhaal waarbij het de groep van de ouders was die het discours volledig veranderde. Ze zeiden: laten we het er niet over hebben of biometrische gegevens of surveillance nodig zijn. Laten we het hebben over de echte schade hiervan voor onze kinderen en of dit het beste gebruik van geld is. Een senator pakte dit op en diende een wetsvoorstel in, en in augustus keurde de senaat van de staat New York dit wetsvoorstel goed. Ik vierde het met Rashida omdat ik dacht, Yay! Dit soort verhalen gebeuren! Het is zeer nauw verbonden met het verhaal van belangenbehartiging.

zich verstoppen