Wat gebeurt er als een algoritme het bij het verkeerde eind heeft?

In de eerste van een vierdelige serie over FaceID onderzoekt presentatrice Jennifer Strong de valse arrestatie van Robert Williams door de politie in Detroit. Het vreemde aan de beproeving van Willliams was niet dat de politie gezichtsherkenning gebruikte om hem te identificeren - het was dat de politie hem erover vertelde. Er is geen wet die zegt dat ze dat moeten doen. De aflevering begint de complexiteit van deze technologie te ontrafelen en introduceert een aantal netelige vragen over het gebruik ervan.

We ontmoeten:

• Robert en Melissa Williams
• Peter Fussey, Universiteit van Essex
• Hamid Khan, stop de spionagecoalitie van LAPD

Credits:

Deze aflevering werd gerapporteerd en geproduceerd door Jennifer Strong, Tate Ryan-Mosley en Emma Cillekens. We hadden hulp van Karen Hao en Benji Rosen. We worden geredigeerd door Michael Reilly en Gideon Lichfield. Onze technisch directeur is Jacob Gorski. Speciale dank aan Kyle Thomas Hemingway en Eric Mongeon.

Transcript van de volledige aflevering:

Robert Willems: Ik was volledig geschokt en stomverbaasd toen ik op klaarlichte dag werd gearresteerd, in het bijzijn van mijn dochter, in het bijzijn van mijn vrouw, in het bijzijn van mijn buren. Het was een van de meest schokkende dingen die me ooit zijn overkomen.

Jennifer Sterk: Dat is Robert Williams. Hij beschrijft wat er in januari gebeurde buiten zijn huis in Farmington Hills, een welvarende buitenwijk van Detroit.

Jennifer Sterk: De dag begon als elke andere.

Robert Willems: Het was gewoon een saaie donderdag.

Jennifer Sterk: Hij stond op, ging aan het werk. Maar toen werd het raar.

Robert Willems: Aan de telefoon met Melissa rond 4.

Jennifer Sterk: Melissa is zijn vrouw. Ze zijn in gesprek als hij de andere lijn hoort.

Robert Willems: Ik klik door. Ik heb zoiets van, 'Hallo?'

'Robert?'

En ik heb zoiets van, 'Wie is dit?'

'Je moet naar beneden komen en jezelf aangeven.'

'Wie is dit?'

'Agent iemand van het derde district.'

'En waarvoor moet ik mezelf aangeven?'

Dus hij zei: 'Dat kan ik je niet vertellen.'

En ik heb zoiets van: 'Dan kan ik niet naar beneden komen.'

'Nou, als je naar beneden komt, zou het veel gemakkelijker voor je zijn. Je wilt toch niet dat we naar je werk komen?'

Op dit moment denk ik dat het een grap is.

Dus ik heb zoiets van: 'Kijk, man, als je me wilt, kom me dan halen. Ik zal thuis zijn. Breng een bevelschrift mee.' En ik hang hem op.

Jennifer Sterk: Melissa wacht thuis op haar moeder en dochter, en ze gaat ze begroeten als ze binnenkomen.

Melissa Willems: En terwijl ik erdoor liep, keek ik naar buiten en de politieauto stond buiten.

En ik zei: 'Oh, dus het was geen grap. Er zijn hier echt mensen.'

En ze kwamen aan de deur.

Ik beantwoordde het.

En ze staken hun voet tussen de deur en zeiden: 'Stuur Robert naar buiten.'

En ik zei: 'Hij is hier niet.'

En ze zeiden: 'We zagen hem net uit dat busje komen.'

En ik zei: 'Dat was mijn moeder. Hij is niet hier.'

Jennifer Sterk: Het is duidelijk dat er iets heel erg mis is, maar ze weten niet wat het is.

Robert Willems: Er moet een verkeerde identiteit zijn of zoiets. Ik weet niet waarom de politie van Detroit bij mij thuis is.

Jennifer Sterk: Het bleek dat ze daar waren omdat gezichtsherkenningssoftware zijn rijbewijsfoto ten onrechte had gekoppeld aan bewakingscamerabeelden van een persoon die horloges stal.

Robert Willems: Ik rijd hier de oprit op, stop op mijn vaste plek en spring eruit. Tegen de tijd dat ik de deur dichtdeed, stond de auto op de oprit en blokkeerde me. En ze parkeerden op deze manier, aan de overkant van mijn oprit alsof ik achteruit wilde rijden of zoiets en probeerde weg te rijden.

Melissa Willems: Zodra hij de deur sloot, waren ze vlak bij hem.

En ik was hier nog steeds omdat ik de meisjes had, en ze begonnen hem al in de boeien te slaan tegen de tijd dat we daar aankwamen.

Jennifer Sterk: Hij zei tegen zijn dochter dat ze weer naar binnen moest gaan, dat de politie een fout maakte en dat hij zo terug zou komen. Maar hij was niet meteen terug.

De politie nam hem in hechtenis en hij bracht de nacht door in de gevangenis. Hij had nog steeds geen idee wat er aan de hand was. En hij was boos.

Maar hij zegt dat hij als zwarte man moest nadenken over wat er zou kunnen gebeuren als hij dat zou laten zien. Dus bleef hij kalm - en hij wachtte.

De volgende ochtend lieten agenten hem enkele foto's zien van een man die horloges steelt. Alleen waren die foto's niet van hem. Ze waren iemand anders.

Robert Willems: 'Dus jij bent het niet?'

Ik keek. Ik zei: 'Nee, dat ben ik niet.'

Hij draait nog een papier om. Hij zegt: 'Ik neem aan dat jij dit ook niet bent?

Ik pakte dat papier op en hield het naast mijn gezicht. En ik zei: 'Dit ben ik niet.'

Ik had zoiets van, 'ik hoop dat jullie niet denken dat alle zwarte mensen op elkaar lijken.'

En dan zegt hij: 'De computer zegt dat jij het bent.'

Als hij de foto gewoon had meegenomen, had hij hem van top tot teen kunnen bekijken, en hij had kunnen vertrekken en zeggen: oh my bad. Ik wilde je niet lastig vallen.

Jennifer Strong : Het ongebruikelijke aan dit verhaal is niet dat gezichtsherkenning is gebruikt om een ​​verdachte te vinden. Wat ongebruikelijk is, is dat Robert Williams dat is verteld, omdat de politie dat niet hoeft te onthullen. Gezichtsherkenning is niet gereguleerd. Niet hoe het wordt gebruikt door wetshandhavers. Niet hoe het wordt gebruikt door werkgevers.

Ik ben Jennifer Strong. En dit is aflevering één van een nieuwe serie die onderzoekt wat er gebeurt als alles om ons heen wordt geautomatiseerd. We trappen af ​​met een vierdelige kijk op gezichtsherkenning en politie. We zullen mensen ontmoeten die deze technologie bouwen, ertegen vechten en proberen te reguleren hoe het wordt gebruikt.

Jennifer Sterk: Denk er zo over. Gezichtsherkenning wordt gebruikt als zoekmachine voor criminelen. En je gezicht is de zoekterm.

In 2016 werden de gezichten van de helft van alle Amerikaanse volwassenen verondersteld te zijn opgeslagen in systemen die de politie gebruikt om verdachten te noemen. Sommigen noemen het de eeuwige line-up. Maar de natie bevindt zich misschien op een keerpunt, zowel in haar relatie met de politie als met deze technologie. In juni stopten techgiganten Amazon en Microsoft met de verkoop van hun gezichts-ID-producten aan wetshandhavers. IBM stopte met de verkoop ervan. Vervolgens nam New York City een wetsvoorstel aan dat toezicht hield op alle bewakingstechnologieën, ondanks tegenstand van de NYPD. En nadat de onrechtmatige arrestatie van Robert Williams aan het licht kwam, zegt de politie van Detroit dat ze alleen gezichtsherkenning zullen gebruiken om gewelddadige misdaden te onderzoeken. En ze zullen het doen met stilstaande foto's, omdat die een grotere kans hebben om een ​​nauwkeurige overeenkomst te produceren. Maar is het genoeg?

Peter Fussey: Oké, dus op dit moment zijn we in Oost-Londen, in een plaats die Stratford heet.

Jennifer Sterk: Ik heb in februari voor de pandemie een wandeling gemaakt met Peter Fussey.

Peter Fussey: Wat historisch gezien een gebied was met veel achterstand, waar ontzettend veel investeringen waren gedaan vlak voor de Olympische Spelen van 2012, die hier werden gehouden.

Jennifer Sterk: Het is een plek waar de politie van Londen camera's test die gezichten met identiteiten in realtime matchen. Je maakt deel uit van een team dat werkt aan een nationale surveillancestrategie. Is dat juist?

Peter Fussey: Dus we zijn onderdeel van een onderzoeksproject. We kijken naar opkomende technologie en de implicaties voor mensenrechten die daar los van staan. Ik werk ook samen met de toezichthouder voor bewakingscamera's in het VK en ik leid een deel van zijn strategie inzake mensenrechten.

Jennifer Sterk: Hij studeerde meer dan 20 jaar technologische surveillance.

Peter Fussey : Ik begon te kijken naar gesloten televisiecircuits, CCTV-camera's. Ze zijn heel bekend op straat, CCTV. Ik was altijd verbaasd over hoe weinig mensen zich er zorgen over lijken te maken. Ik zou, weet je, een vreemde redenering aanvoeren waarom we zouden moeten reguleren. En het werd grotendeels met onverschilligheid ontvangen. En gezichtsherkenning lijkt heel anders. Het heeft de publieke verbeelding gevangen. Het is dagelijks in de media.

Nieuwslezer: Nou, je gezicht kan mensen veel meer vertellen dan je zou denken. In een nieuwe wereld van gezichtsherkenningstechnologie kan elke beweging worden gevolgd.

Nieuwslezer: Deze shoppers weten het niet, maar een computer scant hun gezichten en vergelijkt hun kenmerken met die van bekende winkeldieven.

Geïnterviewde man: Het is verschrikkelijk. Het is een inbreuk op de privacy.

Geïnterviewde vrouw: Deze technologie wordt geïnstalleerd zonder publiek toezicht en verantwoording.

Tweede geïnterviewde vrouw: We worden gepest om op de foto te gaan om onze sleutels te krijgen.

Nieuwslezer: Zelfs popster Taylor Swift zette de technologie in het geheim in om stalkers uit te roeien.

Jennifer Sterk: Maar terwijl de publieke verontwaardiging ertoe heeft geleid dat sommige plaatsen de technologie hebben verboden, waaronder technische hubsteden zoals San Francisco en Cambridge, Massachusetts, waar MIT is gevestigd, heeft de Londense politie een zeer agressieve versie ervan getest in 10 verschillende openbare ruimtes.

Peter Fussey: Wat je in het VK ziet, is live gezichtsherkenning, wat betekent dat er een database is van personen waarin de politie geïnteresseerd is. Als het publiek dan langs de camera loopt, wordt elk van die mensen gescand en vergeleken met die database. Hier voer je surveillance uit voor, je weet wel, elke overtreding.

Jennifer Sterk: Het is één ding voor een politieafdeling om een ​​foto van iemand omhoog te houden om te proberen deze in een systeem te identificeren. En het is iets heel anders om live identificatie in realtime te laten plaatsvinden.

Peter Fussey: Ja, dat klopt precies. En ik denk dat het een heel belangrijk onderdeel van het debat is dat vaak verloren gaat.

Het andere verschil is dat de bestaande CCTV-camera's, of low-tech, analoge menselijke bewaking, geen betrekking hebben op het vastleggen, verwerken, onderhouden en beheren van biometrische gegevens, wat een speciale categorie gegevens is, en universeel wordt gezien als een opdringerige oefening.

Jennifer Sterk: En die speciale categorie gegevens moet veilig worden gesorteerd en opgeslagen. En zoals hij aangeeft, kan geen mens het volume verwerken dat door deze systemen wordt vastgelegd.

Peter Fussey: Dat roept serieuze vragen op over hoe proportioneel dat bijvoorbeeld is. Hoe noodzakelijk is het om tienduizenden mensen biometrisch te scannen, alleen omdat je geïnteresseerd bent om met iemand te praten. Nu, als het een bekende moordenaar is, of het voorbeeld dat altijd wordt gegeven, weet je, een terroristische aanslag die op het punt staat te gebeuren, dan is dat anders. Je kunt daar een veel sterker argument van noodzaak en evenredigheid omheen maken, maar minder als het gewoon iemand is met wie je wilt praten over een incident van asociaal gedrag of iets dergelijks.

Jennifer Sterk: Nou, de andere vraag, als je zegt dat mensen die informatie niet kunnen verwerken, maar het is ook onduidelijk of de technologie dat al kan. Wat gebeurt er als je ten onrechte wordt geïdentificeerd?

Peter Fussey: Als de camera zegt dat je een verdachte bent, dat je iemand op hun kijklijst staat, hoe vaak weten we dan dat het klopt? In ons onderzoek ontdekten we dat het acht van de 42 keer correct was. Dus op zes volle dagen, zittend in politiebusjes, acht keer.

Jennifer Sterk: Hij deed de enige onafhankelijke beoordeling van deze onderzoeken, en hij ontdekte dat het minder dan 20% van de tijd nauwkeurig was.

Peter Fussey: Het kan briljant werken in laboratoriumomstandigheden. Maar, weet je, buiten, zoals een omgeving waarin we ons nu bevinden, het licht vervaagt, het is winterlicht. Een groot deel van het inlichtingenbeeld voor veel van de delicten houdt verband met de nachtelijke economie. Gezichtsherkenning werkt dus minder goed bij weinig licht, en allerlei problemen daaromheen.

Jennifer Sterk: Het is ook minder effectief in verschillende demografische groepen.

Peter Fussey: Dus niet alleen etniciteit of ras etniciteit, maar ook geslacht. En dat vouwt zich dan ook op tot een hele kwestie rond transgenderrechten en leeftijd. Gezichten van kinderen geven bijvoorbeeld minder informatie af dan een gezicht van iemand van in de veertig zoals ik. Waarom dat belangrijk is, is dat als de politie een technologie gebruikt die niet zo effectief is voor verschillende groepen, het onmogelijk is om te zeggen dat ze een technologie die verenigbaar is met mensenrechten.

Jennifer Sterk: Hoe stem je een mensenrechten- en een surveillancestrategie op elkaar af?

Peter Fussey: We denken vaak dat zaken als veiligheid in strijd zijn met mensenrechten.

Wat natuurlijk de eerste verantwoordelijkheid van staten is onder de VN-verklaring van de rechten van de mens, is dat staten zorgen voor de veiligheid en beveiliging van hun burgers. Er is dus vaak deze framing van vrijheid versus veiligheid, die ik en mijn collega's nogal nutteloos zouden vinden. Weet je, je kunt beide hebben, en je kunt geen van beide hebben.

Jennifer Sterk: We banen ons een weg naar een andere plek die hij me wil laten zien.

Peter Fussey: Net aan het einde van deze brug zie je een paal met enkele camera's erop. Als je over deze brug naar die camera's zou lopen, zou je op een punt komen waar een bord stond dat gezichtsherkenning in werking was. Als je nu je reis wilt voortzetten, moet je langs die camera's lopen. De politie zei echter dat dit een proces was. Dus als je geen deel wilde uitmaken van dat proces, moest je je omdraaien. En om op hetzelfde punt voorbij die camera's te komen, zou een omweg van ongeveer 20 minuten nodig zijn.

Jennifer Sterk: OK, dus dit deel is echt belangrijk.

Peter Fussey: Hier is geen echte zinvolle toestemming. Als je toestemming intrekt omdat je niet op de camera wilt staan, dan moet je die toestemming zonder boete kunnen intrekken. Anders is het geen toestemming.

Jennifer Sterk: Iets anders. Als je over straat loopt, ben je je dan bewust van de keren dat je van een openbare stoep oversteekt naar beton dat eigendom is van een bedrijf? Wist u dat uw recht op privacy in slechts een paar stappen anders kan zijn?

Peter Fussey: Dus hier, waar we staan, buiten Westfield Shopping Mall, is privéruimte. Maar we voelen dat het openbaar is. Er zijn hier veel mensen. Het heeft het gevoel van een openbare ruimte. Wat er echter gebeurt, is dat als je 30 meter naar links loopt, je in een openbare ruimte bent en dat alle camera's eigendom zijn van de overheid. En als je 30 meter naar rechts loopt, zijn ze eigendom van particuliere bedrijven.

Jennifer Sterk: En die boven je hoofd?

Peter Fussey: Welke? Die? Dus ja, dit is eigendom van een particulier bedrijf.

Jennifer Sterk: Het verschil komt terug op een eenvoudig punt. Publieke groepen zijn verantwoording verschuldigd aan het publiek.

Face ID werkt door de unieke reeks metingen tussen uw functies in kaart te brengen, zoals de afstand tussen uw ogen, de lengte van uw neus en de kromming van uw lippen. De vroegste systemen werden uitgevonden in de jaren zestig. Maar decennialang was de technologie niet echt bruikbaar. Toen, in het begin van de jaren 2000, creëerde de lokale wetshandhaving in Florida een programma voor gezichtsherkenning voor de hele staat. Tien jaar later vond Facebook een nieuwe manier uit om mensen op foto's te herkennen en automatisch te taggen, waardoor de gezichtsherkenning snel verbeterde tot wat we nu hebben. Nu wordt het veel gebruikt op luchthavens en door de politie, maar er is weinig transparantie over welke systemen worden gebruikt en hoe.

Hamid Khan: Algoritmen horen niet thuis in de politie. Ik denk dat het cruciaal is dat we dat begrijpen, want er staan ​​levens op het spel.

Jennifer Sterk: Hamid Khan is een activist die vecht tegen het gebruik van surveillance en vele andere technologische hulpmiddelen die door de politie van Los Angeles worden gebruikt.

Hamid Khan: Elke keer dat surveillance gelegitimeerd wordt, kan het in de loop van de tijd worden uitgebreid, en is het in het verleden gebruikt om bepaalde gemeenschappen op te sporen, te volgen en te volgen en te stalken,

Gemeenschappen die arm zijn, gemeenschappen die zwart en bruin zijn, gemeenschappen die als verdachte, queer, transgenders worden beschouwd. Het is een proces van sociale controle.

Jennifer Sterk: Khan richtte de Stop LAPD Spying Coalition op, een groep die hij omschrijft als fel abolitionist.

Hij denkt niet dat het beperken van de manier waarop de politie gezichtsherkenning gebruikt, zal werken. En dus, tijdens wat het best kan worden omschreven als een tsunami van adoptie, waarbij het debat vooral gericht was op best practices, ligt zijn focus op het verbieden van deze technologieën. En het is gelukt. Verschillende datapolitie- en voorspellende politieprogramma's in Los Angeles eindigden na publieke en juridische druk van zijn groep. Voor Khan is een deel van hoe we tot dit moment zijn gekomen door de manier te veranderen waarop we verdachte activiteiten definiëren en controleren,

Hamid Khan: De definitie is dat het waargenomen gedrag redelijk indicatief is voor pre-operationele planning van criminele en/of terroristische activiteiten. Dus je observeert iemands gedrag, geen feit, maar een zorg dat iemand misschien denkt iets verkeerd te doen, toch? Dus dit gaat er nu op in, speculatief en op voorgevoelens gebaseerd politiewerk is echt.

Jennifer Sterk: Wat we wel weten, dankzij academisch en overheidsonderzoek, is dat gezichtsherkenning het beste werkt bij blanke mannen.

Joy Buolamwini : Hallo camera. Ik heb een gezicht. Kun je mijn gezicht zien? Geen bril gezicht? Je kan zien...

Jennifer Sterk: Dat is MIT-onderzoeker, Joy Buolamwini, die een TED-talk geeft.

Joy Buolamwini: Dus wat is er aan de hand? Waarom wordt mijn gezicht niet gedetecteerd? We moeten kijken hoe we machines zicht geven. Dus hoe dit werkt, is dat je een trainingsset maakt met voorbeelden van gezichten. Dit is een gezicht, dit is een gezicht, dit is geen gezicht. En na verloop van tijd kun je een computer leren andere gezichten te herkennen.

Jennifer Sterk: Als de trainingssets echter niet zo divers zijn, zal elk gezicht dat te veel afwijkt van de vastgestelde norm moeilijker te detecteren zijn, wat mij overkwam.

In 2018 leidde ze een baanbrekend onderzoek dat aantoonde dat commerciële gezichtsherkenningssystemen er herhaaldelijk niet in slaagden om donkere vrouwen te classificeren.

Een jaar later ontdekte een groot rapport over gezichtsherkenning door een federaal agentschap genaamd NIST, of het National Institute of Standards and Technology, dat sommige gezichtsherkenningsalgoritmen tot honderd keer meer kans hadden om valselijk overeen te komen met foto's van mensen van kleur. Maar zelfs als deze systemen zo kunnen worden ontworpen dat ze een perfecte nauwkeurigheid bereiken, kunnen ze op gevaarlijke manieren worden gebruikt. En deze problemen gaan dieper dan alleen scheve gegevens en onvolmaakte wiskunde.

Hamid Khan: Technologie staat niet op zichzelf. Van het ontwerp tot de productie tot de implementatie, er is voortdurend vooringenomenheid ingebouwd. En het zijn niet alleen de vooroordelen van de mensen zelf. Dat is er maar één onderdeel van. Het is de inherente vooringenomenheid binnen het systeem.

Jennifer Sterk: Zou het de volgende aflevering verbazen dat foto's van jou, waaronder enkele die je misschien nog nooit hebt gezien, door bedrijven worden gebruikt om gezichtsherkenningssystemen te bouwen?

Hoan Ton-Dat: Herinner je je deze foto op Twitter nog?

Jennifer Sterk: Nee. Ik wist niet dat die was genomen en ik, ik zag er erg...

Hoan Ton-Dat: Je doet. Je zag er heel serieus uit in die ene.

Jennifer Sterk: In deel twee ontmoeten we de oprichter van een van de meest controversiële bedrijven die in deze ruimte werken, de chief executive van Clearview AI, Hoan Ton-That.

Hoan Ton-Dat: Toen we onze gezichtsherkenningstechnologie bouwden, hebben we veel verschillende ideeën in veel verschillende sectoren onderzocht, van particuliere beveiliging tot gastvrijheid. Toen we het aan sommige mensen van de wetshandhaving gaven, was de stijging enorm. En ze belden ons de volgende dag terug en zeiden: we lossen zaken op. Dit is gek. In een week tijd hadden we een heel dik boekje.

Jennifer Sterk: Deze aflevering is gerapporteerd en geproduceerd door mij, Tate Ryan-Mosley en Emma Cillekens. We hadden hulp van Karen Hao en Benji Rosen. We worden geredigeerd door Michael Riley en Gideon Lichfield. Onze technisch directeur is Jacob Gorski. Speciale dank aan Kyle Thomas Hemingway, Eric Mongeon en de ACLU voor het delen van hun opnames van Robert Williams.

Jennifer Sterk: Bedankt voor het luisteren. Ik ben Jennifer Strong.

zich verstoppen