De pandemie stelt de grenzen van gezichtsherkenning op de proef

mevrouw Tech | Pexels

Op het eerste gezicht lijkt JB, een kunstenaar uit Los Angeles, misschien niet veel op de foto op hun rijbewijs. Om te beginnen is de pasfoto van een paar jaar geleden. Haar dat ooit lang en donker was, is nu zoemend en gebleekt. En er is het feit dat JB transgender is en al meer dan twee jaar testosteron gebruikt, wat heeft geleid tot veranderende gelaatstrekken, dikkere wenkbrauwen en acne die er voorheen niet was. (Ze vroegen om alleen met hun eerste initialen te worden geïdentificeerd vanwege privacyoverwegingen.)

JB verloor een parttime baan in de detailhandel toen afgelopen maart de lockdowns toesloegen en probeerde, net als miljoenen andere Amerikanen, een werkloosheidsuitkering aan te vragen – zonder te vermoeden dat hun veranderende uiterlijk in de weg zou staan. Maanden nadat hij het papierwerk elektronisch had ingediend en meerdere keren had gebeld met een hotline die nergens toe leidde, werd JB eindelijk uitgenodigd om het gezichtsherkenningssysteem van Californië te gebruiken om hun identiteit te verifiëren. Maar zelfs na meerdere pogingen kon het systeem het gezicht en de identiteitsfoto van JB niet evenaren, waardoor ze geen toegang meer hadden tot de voordelen waarvoor ze in aanmerking kwamen. Uiteindelijk stopte JB met proberen: het proces was te frustrerend.

Verwant verhaal

Hoe deze Amerikaanse scholen weer open gingen zonder een covid-uitbraak te veroorzaken

Scholen die het aantal gevallen vorig jaar laag hielden, ondanks de pandemische chaos, deelden enkele strategieën gemeen. Dit is wat ze ons kunnen leren om het goed te doen.

Wetshandhavers en particuliere bedrijven maken al jaren gebruik van gezichtsherkenning, maar het gebruik van de technologie bij het verdelen van overheidshulp is tijdens de pandemie snel toegenomen. Staten en federale agentschappen zijn overgegaan op gezichtsherkenning als een contactloze, geautomatiseerde manier om de identiteit te verifiëren van mensen die een werkloosheidsuitkering en andere uitkeringen aanvragen.

Experts en activisten maken zich zorgen dat het falen van deze technologie zou kunnen voorkomen dat mensen de voordelen krijgen die ze hard nodig hebben - en dat het nog gevaarlijker zou kunnen zijn als het werkt zoals ontworpen.

Je gezicht gebruiken voor het alledaagse

De pandemie versnelde het gebruik van veel hulpmiddelen voor het verzamelen van biometrische gegevens: temperatuurcontroles aan deuren, thermische camera's op scholen, gezichtsscans op luchthavens. Als het gaat om uitkeringen zoals werkloosheid, wenden deelstaatregeringen zich met name tot gezichtsherkenning, om de identiteit van mensen te verifiëren voordat ze geld vrijgeven waar ze recht op hebben. De tweede golf van Amerikaanse stimuleringsfondsen, goedgekeurd in december 2020, verplichtte staten om mensen te verifiëren die een aanvraag voor Pandemic Unemployment Assistance indienen - een federale geldpool.

Nu 27 staat werkloosheidsbureaus (waaronder Californië) werken samen met ID.me, een bedrijf dat gezichtsherkenningstechnologie aanbiedt, zegt CEO Blake Hall. Het Amerikaanse ministerie van Arbeid heeft ook verstrekt: miljoenen aan financiering aan staten om fraudepreventiemaatregelen te implementeren, die: meer dollars gepompt in gezichtsherkenning. De afgelopen maanden zijn er rapporten door het hele land van incidenten waarbij werkloosheidssystemen de gezichtsscans van sollicitanten niet herkenden, waardoor mensen zoals JB in precaire financiële situaties terechtkwamen. Het risico op verkeerde identificatie is niet gelijk verdeeld: gezichtsherkenning is minder nauwkeurig gebleken voor: mensen van kleur dan blanke mensen, en mannen hebben meer kans om nauwkeurig te worden geïdentificeerd dan vrouwen, volgens a federale studie gepubliceerd in 2019. De bevindingen werden verder onderzocht in een studie afgelopen jaar.

Hall zegt dat ID.me in een steekproef van 700 gebruikers geen correlatie heeft gevonden tussen huidskleur en de kans dat de één-op-één-matchingstap niet slaagt.

Software voor gezichtsherkenning begon jaren voor de pandemie steeds gebruikelijker te worden, en de mogelijke gebreken zijn goed gedocumenteerd: journalisten hebben onthuld hoe politiediensten in de VS enorme databases met gezichten in onderzoeken, met twijfelachtige nauwkeurigheid. bedrijven zijn gestopt of beperkt gebruik van de technologie te midden van bewijs dat het niet zo goed werkt bij mensen van kleur. Toch blijft het zich verspreiden: andere federale agentschappen plan op uitbreiding van het gebruik, terwijl het ook overal wordt gebruikt, van winkelcentra tot concertzalen. Macy's was vorig jaar aangeklaagd over het vermeende gebruik van gezichtsherkenning bij winkelklanten. Maar aan pandemisch gerelateerd gebruik van de technologie om te screenen op zaken als het in aanmerking komen voor uitkeringen, hebben critici zich vooral zorgen gemaakt.

Wat me 's nachts wakker houdt, is dat met de pandemie die dingen versnelt, we dit overal zullen zien opduiken, zegt Evan Greer, directeur van Fight for the Future, een digitale rechtengroep. Het zal in de winkels liggen en je hebt de mogelijkheid om met je gezicht te betalen. In het openbaar vervoer wordt het genormaliseerd. Het zal worden gebruikt in sollicitatiegesprekken.

Verwant verhaal

Hoe heeft de Amerikaanse pandemiereactie de ongelijkheid vergroot? Kijk naar de nagelsalons in New York.

Terwijl veel bedienden thuis bleven om covid te vermijden, hadden salonmedewerkers te maken met hoge infectiepercentages, onmogelijke keuzes om veilig te blijven en weinig overheidshulp.

Meer en meer wordt het gebruikt in wat wordt gepresenteerd als het belang van de volksgezondheid. Australië onlangs een programma uitgebreid gezichtsherkenning gebruiken om covid-19-veiligheidsmaatregelen af ​​te dwingen. Mensen die in quarantaine zitten, worden willekeurig gecontroleerd, waarbij ze een selfie moeten sturen om te bevestigen dat ze de regels volgen. Ook worden locatiegegevens verzameld, aldus Reuters.

Als het gaat om essentiële zaken zoals nooduitkeringen om huisvesting en voedsel te betalen, moet de eerste prioriteit zijn ervoor te zorgen dat iedereen toegang heeft tot hulp, zegt Greer. Fraude voorkomen is op het eerste gezicht een redelijk doel, voegt ze eraan toe, maar het meest dringende doel moet zijn om mensen de voordelen te geven die ze nodig hebben.

Systemen moeten vanaf het begin worden gebouwd met mensenrechten en met de behoeften van kwetsbare mensen in gedachten. Dat kunnen geen bijzaken zijn, zegt Greer. Het kunnen geen bugfixes zijn nadat het al mis is gegaan.

ID.me's Hall zegt dat de diensten van zijn bedrijf te verkiezen zijn boven de bestaande methoden om identiteit te verifiëren en staten hebben geholpen om massale werkloosheidsfraude te verminderen sinds de implementatie van gezichtsverificatiecontroles. Hij zegt dat werkloosheidsaanvragen een echt slagingspercentage van ongeveer 91% hebben, hetzij op zichzelf, hetzij via een videogesprek met een ID.me-vertegenwoordiger.

[Dat] was ons doel om naar binnen te gaan, zegt hij. Als we 91% hiervan zouden kunnen automatiseren, dan kunnen de staten die net te weinig middelen hebben, die middelen gebruiken om conciërgediensten met witte handschoenen te leveren aan de 9%.

Wanneer gebruikers het gezichtsherkenningsproces niet kunnen doorlopen, e-mailt ID.me ze om op te volgen, aldus Hall.

Alles aan dit bedrijf draait om het helpen van mensen om toegang te krijgen tot dingen waarvoor ze in aanmerking komen, zegt hij.

Technologie in de echte wereld

De maanden dat JB zonder inkomen leefde, waren zwaar. De financiële zorgen waren genoeg om stress te veroorzaken, en andere problemen zoals een kapotte computer verergerden de angst. Zelfs hun voormalige werkgever kon of wilde niet helpen de administratieve rompslomp te doorbreken.

Het is heel isolerend om te zeggen: 'Niemand helpt me in welke situatie dan ook', zegt JB.

Aan de kant van de overheid zeggen experts dat het logisch is dat de pandemie nieuwe technologie op de voorgrond heeft gebracht, maar gevallen zoals die van JB laten zien dat technologie op zich niet het hele antwoord is. Anne L. Washington, een assistent-professor databeleid aan de New York University, zegt dat het verleidelijk is om een ​​nieuwe overheidstechnologie als een succes te beschouwen als deze het grootste deel van de tijd werkt tijdens de onderzoeksfase, maar 5% van de tijd faalt in de echte wereld. Ze vergelijkt het resultaat met een stoelendans, waarbij in een zaal van 100 mensen er altijd vijf zonder zitplaats zitten.

Het probleem is dat regeringen een soort technologie krijgen en het werkt 95% van de tijd - ze denken dat het is opgelost, zegt ze. In plaats daarvan wordt menselijk ingrijpen belangrijker dan ooit. Washington zegt: Ze hebben een systeem nodig om de vijf mensen die staan ​​regelmatig te behandelen.

Er is een extra risicolaag wanneer er een privébedrijf bij betrokken is. Het grootste probleem dat zich voordoet bij de uitrol van een nieuw soort technologie is waar de gegevens worden bewaard, zegt Washington. Zonder een vertrouwde entiteit die de wettelijke plicht heeft om de informatie van mensen te beschermen, kunnen gevoelige gegevens in de handen van anderen terechtkomen. Hoe zouden we ons bijvoorbeeld voelen als de federale overheid een particulier bedrijf onze sofinummers had toevertrouwd toen ze werden gecreëerd?

Het probleem is dat regeringen een soort technologie krijgen en het werkt 95% van de tijd - ze denken dat het is opgelost

Anne L. Washington, Universiteit van New York

Wijdverbreid en ongecontroleerd gebruik van gezichtsherkenningshulpmiddelen heeft ook de potentie om reeds gemarginaliseerde groepen meer te treffen dan andere. Transgenders bijv. hebben gedetailleerd , veelvoorkomende problemen met tools zoals Google Foto's, die de vraag kunnen stellen of foto's van voor en na de overgang dezelfde persoon tonen. Het betekent steeds weer rekening houden met de software.

[Er is] onnauwkeurigheid in het vermogen van technologie om de breedte van de werkelijke diversiteit en randgevallen in de echte wereld weer te geven, zegt Daly Barnett, een technoloog bij de Electronic Frontier Foundation. We kunnen niet op hen vertrouwen om die prachtige edge-cases nauwkeurig te classificeren en te berekenen en weer te geven.

Erger dan falen

Gesprekken over gezichtsherkenning debatteren meestal over hoe de technologie zou kunnen falen of discrimineren. Maar Barnett moedigt mensen aan om verder te denken dan of de biometrische tools werken of niet, of dat er vooringenomenheid in de technologie optreedt. Ze duwt het idee terug dat we ze überhaupt nodig hebben. Activisten zoals Greer waarschuwen inderdaad dat de tools nog gevaarlijker kunnen zijn als ze perfect werken. Gezichtsherkenning is al gebruikt om demonstranten te identificeren, te straffen of te verstikken, hoewel mensen terugvechten. In Hong Kong droegen demonstranten maskers en veiligheidsbrillen om hun gezicht verbergen s van dergelijk politietoezicht. In de VS, federale openbare aanklagers aanklachten laten vallen tegen een met gezichtsherkenning geïdentificeerde demonstrant die ervan werd beschuldigd politieagenten te hebben aangevallen.

Verwant verhaal

De officiële werkloosheidscijfers zijn huiveringwekkend. De werkelijke situatie is nog erger. De recordwerkloosheidscijfers duiden alleen maar op de crisis waarmee velen zonder werk worden geconfronteerd.

Ik denk dat het begrijpelijk is dat we ons concentreren op deze gebreken en vooroordelen, omdat deze technologie nu wordt gebruikt, zegt Greer. Maar als je een technologie neemt … en deze bovenop een samenleving legt die diep onrechtvaardig is, zelfs als de technologie zelf 'neutraal' is of er geen enkele vooringenomenheid in zit, zal het het effect hebben van automatisering en die discriminatie verergeren.

Fight for the Future en EFF steunen beide een verbod op het gebruik van gezichtsherkenningstools door de overheid. En Barnett zegt dat zelfs wanneer de technologie wordt gebruikt, overheidsinstanties niet mogen vertrouwen op één enkel systeem als poortwachter om toegang te krijgen, vooral om mensen de essentiële dingen te geven die ze nodig hebben om te overleven.

Het is niet ver om je voor te stellen hoe, zelfs als ze nu goed bedoeld zijn, [deze technologieën] later voor verschillende doeleinden tegen mensen kunnen worden gebruikt, zegt ze.

Voor gemarginaliseerde mensen zorgen borstels met gezichtsherkenning echter al voor problemen. Meer dan een jaar nadat JB voor het eerst werkloosheid aanvroeg, staan ​​de details van het moeizame proces nog steeds in hun geheugen gegrift. Toen de oorspronkelijke claim dit voorjaar afliep, was dat een verademing. Ze hadden onlangs een nieuwe baan gekregen en eindelijk voelde het weer op de rails.

Het was alsof ik eindelijk mijn leven weer op de rails krijg, zeggen ze. Ik ben echt blij dat ik niet met dat systeem te maken heb. En ik hoop echt dat ik nooit meer met dat systeem te maken krijg.

Dit verhaal maakt deel uit van het Pandemic Technology Project, ondersteund door de Rockefeller Foundation.

zich verstoppen