Van wie is jouw gezicht?

De politie gebruikt in het verleden gezichtsherkenning om demonstranten te arresteren - iets wat activisten sinds de dood van George Floyd niet zijn vergeten. In de laatste van een vierdelige serie over gezichtsherkenning onderzoekt presentatrice Jennifer Strong de weg vooruit voor de technologie en onderzoekt ze hoe beleid eruit zou kunnen zien.

We ontmoeten :

• Artem Kuharenko, NTechLab
• Deborah Raji, AI Now Institute
• Toussaint Morrison, muzikant, acteur en organisator van Black Lives Matter
• Jameson Spivack, Centrum voor Privacy en Technologie

tegoeden

Deze aflevering werd gerapporteerd en geproduceerd door Jennifer Strong, Tate Ryan-Mosley, Emma Cillekens en Karen Hao. We hadden hulp van Benji Rosen. We worden geredigeerd door Michael Reilly en Gideon Lichfield. Onze technisch directeur is Jacob Gorski.

Transcript van de volledige aflevering

Toussaint Morrison : Deze plaats was het eerste weekend van de avondklok griezelig stil. Ook hier reden heel stille politieauto's heel langzaam.

Jennifer Sterk: Dat is Toussaint Morrison. Hij toont mijn producer, Tate Ryan Mosley, rond een park in Minneapolis, Minnesota, op 2 en een halve mijl rijden van waar George Floyd op 25 mei werd vermoord, wat de aanzet gaf tot wat waarschijnlijk de grootste protestbeweging in de Amerikaanse geschiedenis is.

Toussaint Morrison : Ongeveer een halve mijl naar het oosten was een poging gedaan om het politiebureau van het vijfde district in brand te steken.

Jennifer Sterk: Morrison is muzikant, acteur, filmmaker en de afgelopen maanden is hij ook organisator geworden van de Black Lives Matter-beweging in Minneapolis.

Toussaint Morrison: Je woede is volkomen terecht. Je huid is mooi en je bent niet de crimineel die ze van je maken.

Jennifer Sterk: Hij is hier bekend. Activisten weten wie hij is. Overheidsfunctionarissen weten wie hij is. En hij denkt dat de politie dat waarschijnlijk ook doet.

Tate Ryan-Mosley : Heeft u gesprekken gehad met mensen die zich zorgen maken over identificatie door politieagenten die mogelijk foto's van hen hebben tijdens de protesten die deel uitmaken van de protesten?

Toussaint Morrison: Er is zeker een angst. Ik heb dat een beetje te laat geleerd. Mijn regeringsnaam en gezicht zijn daarbuiten. Dus, ik bedoel, dus ja, dat was zeker een punt van zorg. En ik heb het gehoord van zwarte mensen tot blanke mensen, tot alles daartussenin.

Jennifer Sterk: Hoewel hij zegt dat demonstranten zich momenteel meer zorgen maken over hun fysieke veiligheid, zoals aangereden worden door een auto.

Toussaint Morrison: Identiteitsuitje is niet iets dat ik zo vaak heb gehoord als bang zijn voor je leven tijdens een echte mars.

Jennifer Sterk: We weten uit een onderzoek door Buzzfeed dat de politie hier toegang heeft tot veel bewakingstechnologie, waaronder de gezichtsherkenningssoftware van Clearview - die je je herinnert uit aflevering twee - plus pijlstaartroggen die fungeren als zendmasten om mobiele gegevens te verzamelen, een audiobewaking systeem genaamd ShotSpotter, en een camerasysteem met daarop gelaagde videoanalyses.

Federale agenten vlogen ook een roofdierdrone over de protesten. En Morrison is van mening dat deze tools anders gericht zijn op kleurgemeenschappen.

Toussaint Morrison: Nu hebben ze geen reden meer nodig om achterdochtig te zijn. Oh, ik zag dat je gezicht bij deze bijeenkomst was. En ik zie dat het in lijn ligt met iets anders. Welnu, wat als de technologie verkeerd is? Ze zullen niet denken dat het mogelijk zou zijn, weet je, omdat ze de computer vertrouwen. Dus die technologie vergroot een gevaar. Dat is al gevaarlijk. En het is al gewezen op gekleurde mensen, mensen met een handicap, transgenders. Wij zijn, wij zijn de dupe van die technologie. Dus als je die technologie maakt, op wie heeft dit dan het meeste invloed?

Jennifer Sterk: Ik ben Jennifer Strong en dit is deel vier van onze serie over politie en gezichtsherkenning, waarin we de weg vooruit zullen onderzoeken en hoe regelgeving eruit zou kunnen zien.

Toussaint Morrison : Vooruit, ik weet niet wat er gaat gebeuren,

maar ik, wat ik wel weet, is dat er geen weg terug zal zijn, weet je, er zal geen weg terug zijn.

Jameson Spivek : We weten niet of de politie gezichtsherkenning gebruikt bij de huidige golf van protesten, maar we weten wel twee dingen. Eén, velen van hen hebben de mogelijkheid om dit te doen, en twee -- het is in het verleden gebeurd.

Jennifer Sterk: Jameson Spivek is beleidsmedewerker bij het Center for Privacy and Technology...

Jameson Spivek : ...wat een onafhankelijke denktank is die is gebaseerd op Georgetown Law School.

Jennifer Sterk: In 2015 gebruikte de politie in Baltimore het volgen van sociale media bij mensen die protesteerden tegen de dood van Freddie Gray.

Gezichtsherkenning hielp de politie om demonstranten met openstaande bevelen te identificeren, en ze arresteerden ze rechtstreeks uit de menigte.

Spivek maakt zich zorgen over wat dit betekent voor de vrijheid van meningsuiting als het zo doorgaat.

Jameson Spivek : Dit is echt verontrustend omdat het politieke meningsuiting en participatie ontmoedigt, wat wordt beschermd door het eerste amendement. dus als mensen denken dat ze worden geïdentificeerd of gearresteerd voor een misdaad die niets met de protesten te maken heeft, zullen ze niet aanwezig zijn. Dit is dus, specifiek gericht op en ontmoedigen van zwarte politieke spraak.

Jennifer Sterk: En meer in het algemeen...

Jameson Spivek : Het verschuift de machtsverhoudingen aanzienlijk naar regeringen. Het geeft hen de mogelijkheid om veel mensen te identificeren en te volgen... van een afstand en in het geheim. En de overheid heeft nooit de mogelijkheid gehad om het publiek op deze manier te surveilleren. Dit is in wezen een tijdelijke oplossing waarmee de politie zoekopdrachten zonder huiszoekingsbevel kan uitvoeren.

Jennifer Strong: Zo ziet hij regulering vorm beginnen te krijgen.

Jameson Spivek : Een optie die al is ingevoerd, is om het gebruik van deze technologie door de politie in het algemeen te verbieden. Het is gebrekkig... Het faciliteert ongekende niveaus van overheidstoezicht en het is aangetoond dat de politie het misbruikt. Evenzo is een andere optie om een ​​moratorium in te stellen op het gebruik van gezichtsherkenning door de politie. En wat dit doet, is dat het het publiek en gekozen functionarissen de tijd geeft om op de hoogte te zijn van wat deze technologie is, hoe het werkt, hoe de politie het gebruikt. Dan is een andere optie om gewoon regelgeving aan te nemen die de politie toestaat het te gebruiken, maar bepaalde beperkingen heeft op hun vermogen om het te gebruiken.

Jennifer Sterk: Bij het rapporteren van deze serie hebben we met verschillende mensen gesproken die geloven dat het hervormen van het gebruik van Face ID gewoon niet mogelijk is. De ACLU zegt dat het nationaal verboden moet worden. En dus ben ik benieuwd wat voor soort regelgeving hij denkt dat echt een verschil zou maken?

Jameson Spivek : Zaken als het eisen van een huiszoekingsbevel met een waarschijnlijke oorzaak voor elke zoekopdracht met gezichtsherkenning, het beperken van het gebruik tot gewelddadige misdrijven en het verbieden van het gebruik van gezichtsherkenning voor de handhaving van immigratie. Beperkt verbod op het gebruik van gezichtsherkenning in combinatie met zaken als drones of in door de politie gedragen lichaamscamera's, of voor doorlopend toezicht, omdat gezichtsherkenning niet mag worden gebruikt in situaties van leven of dood. Een ander ding is om een ​​verplichte, verplichte openbaarmaking aan verdachten te hebben dat de politie gezichtsherkenning gebruikt om hen te identificeren en uiteindelijk te arresteren.

Jennifer Sterk: Maar zelfs als die regels er niet komen, zegt hij dat we...

Jameson Spivek : Testen om er zeker van te zijn dat het accuraat is en niet bevooroordeeld en, rapporten hebben over hoe het wordt gebruikt en, en transparantie... Die zijn allemaal goed en ze zijn allemaal nodig.... Maar ze zijn niet genoeg. We hebben deze, deze diepere hervormingen, echt nodig.

Jennifer Sterk: Hij zegt dat het niet alleen aan de bedrijven kan zijn die de technologie maken om verantwoordelijk te zijn voor de regels die erop van toepassing zijn.

Jameson Spivek : We moeten heel waakzaam zijn en ons afvragen zijn de dingen die deze bedrijven ondersteunen in termen van wetgeving, gaan ze echt mensen beschermen of is het gewoon een manier voor de bedrijven om duidelijkheid te krijgen over hoe de technologie wordt gereguleerd, maar niet echt gereguleerd op een manier die sterk genoeg is om mensen daadwerkelijk te beschermen en dan daadwerkelijk het vermogen van het bedrijf om het te produceren beïnvloedt. Ik denk niet dat ze vrijwillig zullen stoppen met het verkopen van deze technologie. dus het is echt aan de wetgevers om in te grijpen.

Jameson Spivek : De meeste, de grote bedrijven die gezichtsherkenning voor politie en overheid ontwikkelen, zijn kleinere, meer gespecialiseerde bedrijven waar de meeste mensen nog nooit van hebben gehoord.

Jennifer Sterk: Een van die bedrijven waar je waarschijnlijk nog nooit van hebt gehoord, is NTechLab, hoewel het ongeveer vijf jaar geleden voor het eerst furore maakte toen het, als een gloednieuwe startup, Google versloeg en een internationale wedstrijd won met een nauwkeurigheid van 95 procent in een van de categorieën .

Sindsdien heeft het Russische bedrijf herhaaldelijk biometrische competities gewonnen die worden gehouden door bedrijven als Amazon, door Amerikaanse overheidsinstanties en universiteiten.

Jennifer Sterk: En de oprichter van het bedrijf is deze man...

Artem Kuharenko : Artem Kuharenko

Jennifer Sterk: NTechLab is vooral bekend om zijn app FindFace, waarmee mensen sociale-mediaprofielen kunnen doorzoeken met foto's op hun telefoon.

Is het bedoeld voor een bepaalde groep mensen of wil je dat het voor iedereen beschikbaar is op sociale media?

Artem Kuharenko : Het was beschikbaar voor iedereen op internet.

Jennifer Sterk: Zo beschreef John Oliver de app tijdens een recente aflevering van HBO's Last Week Tonight.

John Oliver : Als je wilt weten hoe angstaanjagend deze technologie zou kunnen zijn als het onderdeel wordt van het dagelijks leven, kijk dan hoe een Russische tv-presentator een app demonstreert genaamd FindFace... [journaal] Als je in een café bent met een aantrekkelijk meisje en je hebt het lef niet om haar te benaderen, geen probleem. Het enige wat je nodig hebt is een smartphone en de applicatie FindFace.

Jennifer Sterk: De man in deze video gebruikt de app om een ​​foto te maken van een vrouw aan een andere tafel. Het trekt onmiddellijk haar profiel op de Russische versie van Facebook.

John Oliver : Stel je dat eens voor vanuit het perspectief van een vrouw... maak je geen zorgen, ik weet al waar je woont.

Jennifer Sterk: De app was een virale hit. Maar tegenwoordig ligt de aandacht van NTechLab op live gezichtsherkenning, wat betekent dat het algoritme in video werkt, in realtime.

Een systeem dat ze in de stad Moskou hebben geïnstalleerd, wordt beschouwd als een van de grootste van dit type ter wereld.

Artem Kuharenko : Op dit moment zijn er meer dan 100.000 videocamera's aangesloten op het systeem en het systeem bleek zeer nuttig en nuttig voor de stad.

Jennfier Sterk: Dus 100-duizend videocamera's, die een miljard gezichten per maand vastleggen. En hij beweert dat het systeem zeer, zeer nauwkeurig is.

Artem Kuharenko : Dus het is maar één valse acceptatie per 10 miljard vergelijkingen. Het is één op 10 nullen.

Jennfier Strong : Dat soort nauwkeurigheid is ongehoord. Maar we kunnen ook niet zeggen dat het onmogelijk is - en ik zal zo meteen uitleggen waarom. Wat we wel weten, is dat het veel moeilijker is om nauwkeurigheid te bereiken op live video dan op foto's.

Eerder in deze serie hadden we het over proeven met live gezichtsherkenning door de Londense politie die een nauwkeurigheidspercentage van ongeveer 20 procent opleverden. En nog een in New York City die tijdens de testperiode niet eens een juiste match produceerde.

Maar in Moskou zegt Kuharenko dat zijn systeem wordt gebruikt om misdaden in realtime op te lossen. Onder meer bij 's werelds grootste voetbalcompetitie:

Artem Kuharenko : Tijdens het WK voetbal in 2018 in Moskou zijn meer dan 100 criminelen gepakt vanwege het systeem.

Jennfier Strong : NtechLab werkt met meer dan honderd klanten in 20 landen, waaronder de Amerikaanse chipmaker Nvidia en het Chinese telecombedrijf Huawei. Het heeft ook smart city-projecten in Dubai, fintech-projecten in Europa en retailpartnerschappen in Noord- en Zuid-Amerika.

Het bedrijf dient enkele algoritmen in voor testen door de Amerikaanse overheid, maar hij zegt dat ze dat niet kunnen doen voor hun meest geavanceerde werk.

Omdat NIST - of The National Institute of Standards and Technology - gezichtsherkenningsalgoritmen test op foto's, en zijn nieuwste systemen video gebruiken.

Artem Kuharenko: Hun tests staan ​​ver af van echte scenario's.

Jennfier Sterk: En als overheidsinstanties de technologie niet inhalen, worden bedrijven min of meer aan zichzelf overgelaten.

Artem Kuharenko : Toonaangevende bedrijven in het veld hebben hun eigen tests. In ons bedrijf hebben we veel verschillende tests voordat we het naar productie sturen. Maar het probleem is dat er geen onafhankelijke test is, die open zal zijn, waar iedereen alle algoritmen kan zien en iedereen kan testen.

Jennfier Strong : Deze zomer heeft NTechLab silhouetdetectie toegevoegd aan hun videoplatform. Het wordt gebruikt om mensen in profiel te identificeren.

Ze hebben ook een nieuwe rol op zich genomen met de wereldwijde pandemie...

Artem Kuharenko: ...afstand tussen mensen meten en gebieden vinden waar veel mensen dicht bij elkaar staan, zodat de stad de processen die in deze gebieden plaatsvinden kan verbeteren. Het hielp ook om te stoppen voor uitbreiding van het coronavirus in Moskou.

Jennifer Strong : Nu, maar nu we ons midden in deze wereldwijde pandemie bevinden, hoe goed werkt de technologie als iemand een masker draagt?

Artem Kuharenko : Het werkt met dezelfde nauwkeurigheid als zonder masker. Het is dus bijna dezelfde nauwkeurigheid. En we hebben ook een speciaal algoritme, dat kan zien of er een masker op een persoon zit en of het correct gedragen is of niet.

Jennfier Sterk: Het dragen van een masker heeft er doorgaans voor gezorgd dat de nauwkeurigheid van deze systemen is afgenomen, ook in een pre-pandemische test van NTech Lab door NIST. Maar de pandemie heeft een soort wapenwedloop veroorzaakt tussen bedrijven die systemen proberen te bouwen die gemaskerde gezichten kunnen lezen. Het bureau zegt ook dat de algoritmen van het bedrijf vaak tot de nauwkeuriger behoren die ze testen.

We weten het gewoon niet.

Maar gemaskeerd of niet, gezichtsherkenning is niet het enige dat op die videofeeds gebeurt.

Artem Kuharenko: Autodetectie... de kentekenherkenning... en we combineren al deze videoanalyses zodat het als een heel systeem kan werken en zoveel mogelijk informatie uit de videostream kan halen. Idealiter kan het systeem zoveel informatie extraheren als mensen in de video kunnen zien. Maar het algoritme kan het, met een veel betere snelheid. En als een mens slechts één videostream tegelijk kan verwerken, kan het systeem honderden en honderdduizenden video's in realtime verwerken.

Jennfier Sterk: Ben je ooit bang dat iemand al je harde werk op zich neemt en het gebruikt om een ​​wereld op te bouwen waarin je niet echt wilt leven?

Artem Kuharenko : Uh, ik niet, ik geloof niet echt in dit scenario, want het is nogal wat, het is een goed scenario voor de film, maar het is een zeer onwaarschijnlijk scenario in het echte leven.

Artem Kuharenko : Als technologiebedrijf proberen we het altijd aan mensen te vertellen, zodat mensen begrijpen wat er gebeurt en kunnen beslissen of ze het willen of niet.

Jennfier Strong : Net als de oprichter van Clearview zegt hij dat het aan ons is - gewone mensen en burgers over de hele wereld - om te beslissen of en hoe we met deze technologie moeten leven. Nu, gezien de vele problemen rond transparantie en verantwoording, lijkt het niet zo eenvoudig. Maar er zijn mensen die hun best doen om die verantwoordelijkheid op zich te nemen.

En je zult er zo een tegenkomen.

Deb Raj: Ik denk dat de reis naar waar we vandaag zijn voortgekomen uit dit eerste soort van het kraken van de roze gekleurde lenzen van, dit is een technologie die werkt, en aantoont dat het niet werkt voor zeer specifieke mensen... en dan later bij het openen up, dit gesprek over wat betekent het eigenlijk dat gezichtsherkenning werkt?

Ik ben Debra Raji en ik ben een tech fellow bij het A-I now Institute.

Jennfier Strong : Het is gebaseerd op NYU en probeert de sociale impact van gezichtsherkenning en andere AI-technologieën te begrijpen.

Deb Raj: Weet je, hoe kunnen we eigenlijk gesprekken beginnen te voeren over de beperking ervan, over de openbaarmaking van het gebruik ervan, en hoe werkt dat in termen van beleidsbeperkingen?

Jennfier Strong : Als AI-onderzoeker heeft ze een superkracht die de meesten van ons niet hebben. Ze kan de algoritmen controleren die gezichts-ID-producten laten werken... zolang bedrijven toegang verlenen.

En haar inspanningen dwingen verandering af. De vonk die haar op dit pad stuurde, kwam van wat ze beschrijft als een vreselijke realisatie tijdens haar universiteitsstage bij een startup voor machine learning.

Deb Rajic : Wacht even, gezichtsherkenning werkt niet echt voor iedereen.

Jennfier Sterk: Ze werkte aan een computervisiemodel dat klanten zou helpen ongepaste afbeeldingen te markeren als niet veilig voor het werk. Het probleem was dat het foto's van gekleurde mensen in een veel hoger tempo markeerde.

Dus zocht ze naar het probleem, en ze vond het. Het model leerde onveilige afbeeldingen van pornografie en veilige afbeeldingen van stockfoto's te herkennen. Het blijkt dat porno veel diverser is en die diversiteit zorgde ervoor dat het model een donkere huid automatisch associeerde met wellustige inhoud.

De startup weigerde er iets aan te doen. Dus ging ze aan deze problemen werken met een vrouw die we eerder in deze serie ontmoetten - Joy Buolamwini - die als student een meer diverse en evenwichtige dataset maakte. Ze gebruikten het om algoritmen te controleren in gezichts-ID-producten die al op de markt zijn.

Dit werk heeft veel te maken met het huidige begrip van hoe deze producten vrouwen en gekleurde mensen in de steek laten.

Maar het kwam tegen een prijs.

Deb Raj: De computer vision-gemeenschap voerde destijds deze gesprekken niet over ethiek en samenleving en eerlijkheid. Nu voelen we ons veel meer op ons gemak met dit werk, maar er was een tijd dat zelfs de onderzoeksgemeenschap ook erg vijandig was en vragen stelde, zoals: wat is dit? Wat is je punt hier? Wat is de betekenis hiervan?

Jennfier Strong : Dat veranderde in de loop van de tijd en ze zegt dat ze ook steun heeft gevonden bij de bedrijven die ze controleren.

Deb Rajic : En hoewel hun houding op institutioneel of bedrijfsniveau defensief was. Deze individuen binnen deze bedrijven hebben heel hard gevochten om de positie van hun bedrijven te veranderen en om enkele van deze posities die we vandaag zien, te behalen.

Jennfier Strong : Amazon en Microsoft hebben onlangs een pauze ingelast bij de verkoop van hun gezichts-ID-systemen aan wetshandhavers. IBM stopte er helemaal mee.

Deb Rajic : Er is dit soort aanvullende erkenning met deze moratoria om te zeggen, wachten, en eigenlijk, terwijl dit genuanceerde gesprek gaande is met betrekking tot het vaststellen van dit beleid en deze regelgeving die we hard nodig hebben. We gaan die technologie niet tegelijkertijd verkopen. En ik denk dat dat besef en die kloof een belangrijke stap vooruit is in het gesprek.

Jennfier Strong : Er is dus urgentie voor dit moment, dat ze een pauze noemt. En tijdens deze pauze moeten we veel regelen.

Maar als we erop vertrouwen dat technologiebedrijven tot het uiterste gaan met regelgeving?

Deb Rajic : …ze komen altijd te kort.

VO: En ze waarschuwt dat Face ID slechts het topje van de ijsberg is.

Deb Rajic : Het is veel gemakkelijker om dit gesprek over gezichten te hebben dan over verzekeringsgegevens, of medische gegevens, of, je weet wel, zelfs sommige van deze, socialezekerheidsstelsels, ook al is deze exacte situatie van deze onevenredige prestatie ook van toepassing naar die gevallen.

Jennfier Strong : Dus in de toekomst wil ze openbaarmaking en transparantie. Ze pleit ook voor een goed evaluatiesysteem.

Maar uiteindelijk:

Deb Raj: Veel van de macht ligt in handen van de beleidsmakers, want grote technologiebedrijven mogen het gesprek beslist niet beheersen.

Jennfier Strong : We bevinden ons misschien op een keerpunt in onze relatie met gezichtsherkenning en met hoe het wordt gebruikt.

En toch lijkt het veilig om te zeggen dat de adoptie van deze technologie waarschijnlijk in een razend tempo zal doorgaan, en ons begrip van de kracht en impact ervan in het stof laat liggen - tenzij we echt stoppen en ademen, en enkele regels opstellen voor wie krijgt toegang tot afbeeldingen van onze gezichten en wat ze ermee kunnen doen.

Volgende aflevering ... gaan we op zoek naar coronavirus in de metro van New York City, terwijl we de rol van AI onderzoeken om de systemen voor openbaar vervoer in de wereld weer in beweging te krijgen.

Deze aflevering is gerapporteerd en geproduceerd door mij, Tate Ryan-Mosley, Emma Cillekens en Karen Hao. We hadden hulp van Benji Rosen. We worden geredigeerd door Michael Reilly en Gideon Litchfield. Onze technisch directeur is Jacob Gorski.

We zien je hier over een paar weken terug.

Bedankt voor het luisteren, ik ben Jennifer Strong.

zich verstoppen