Land van een miljard gezichten

Clearview AI heeft een van de meest uitgebreide databases van gezichten van mensen ter wereld gebouwd. Je foto staat daar waarschijnlijk in (die van onze gastheer Jennifer Strong was). In deel twee van deze vierdelige serie over gezichtsherkenning ontmoeten we de CEO van het controversiële bedrijf die ons vertelt dat onze toekomst gevuld is met FaceID, ongeacht of het gereguleerd is of niet.

We ontmoeten:

• Hoan Ton-Dat, Clearview AI
• Alexa Daniels-Shpall, onderzoeksforum van de politie

Credits:

Deze aflevering werd gerapporteerd en geproduceerd door Jennifer Strong, met Tate Ryan-Mosley en Emma Cillekens, met speciale dank aan Karen Hao en Benji Rosen. We worden geredigeerd door Michael Reilly en Gideon Lichfield. Onze technisch directeur is Jacob Gorski.

Transcript van de volledige aflevering:

Jennifer Sterk: Er is een gevecht gaande in de rechtbanken tussen de netwerksite LinkedIn en een bedrijf genaamd hiQ Labs - een startup die bedrijven vertelt wanneer hun werknemers het risico lopen door andere bedrijven te worden gestroopt...

Het probleem is dat het dit doet door gegevens van de website van LinkedIn te halen.

Nieuwsanker lezen: met meer dan 500 miljoen gebruikers wereldwijd is LinkedIn een schat aan persoonlijke informatie. Maar wat als die informatie die u niet wilt delen terugkomt bij uw baas?

Jennifer Sterk: Maar volgens hiQ is dat oké: al deze gegevens zijn openbaar beschikbaar zonder in te loggen. De zaak gaat mogelijk dit jaar naar het Hooggerechtshof, maar tot nu toe is het rechtssysteem het met hiQ eens.

Weet jij wat je rechten op privacy zijn op websites als LinkedIn of YouTube?

Zou het verrassend zijn dat foto's - waaronder enkele die je nog nooit hebt gezien maar die op de een of andere manier op internet zijn beland - door bedrijven worden gebruikt om hun bedrijf te laten groeien, inclusief om dingen te bouwen zoals AI-systemen die verdachten identificeren voor de politie?

Ik ben Jennifer Strong en in deel twee van onze serie over gezichtsherkenning en politiewerk spreken we met chief executive Hoan Ton-That, de oprichter van een van 's werelds meest controversiële technologiebedrijven, Clearview AI.

Jennifer Sterk: In 2011 gaf de toenmalige CEO van Google, Eric Schmidt, een keynote-interview op een conferentie georganiseerd door The Wall Street Journal.

Eric Schmidt : Ik maak me persoonlijk grote zorgen over de combinatie van mobiel volgen en gezichtsherkenning.

Jennifer Sterk: Door Face I-D te combineren met de trackinggegevens van mobiele telefoons, zou bijna elk detail kunnen worden onthuld over hoe en waar we onze tijd doorbrengen.

Schmidt zei dat hij geloofde dat het voor goed of kwaad kon worden gebruikt, maar in democratieën dacht hij dat het snel zou worden gereguleerd.

Hij stond op het podium met journalisten Walt Mossberg en Kara Swisher en ze drongen er bij hem op aan: welke mogelijkheden had Google en wat zou er in verkeerde handen kunnen gebeuren?

Eric Schmidt : Voor alle duidelijkheid, we hebben die technologie gebouwd... en die hebben we achtergehouden. Voor zover ik weet is dit de enige technologie die Google heeft gebouwd en na ernaar te hebben gekeken, hebben we besloten te stoppen.

Jennifer Sterk: Snel vooruit bijna een decennium. Gezichtsherkenning is nog steeds niet gereguleerd, en big tech is terug om zich af te vragen wat er moet worden gebouwd en wie het moet hebben.

Het punt is dat technische giganten niet de grootste spelers in die ruimte zijn. Bedrijven die dat wel zijn, waaronder NEC, Cognitec en Clearview AI, blijven hun systemen verkopen.

En omdat gezichtsherkenning niet gereguleerd is, zullen we, tenzij een bedrijf besluit ons te vertellen dat deze tools bestaan ​​of een journalist iets ontdekt, niet per se weten wat er is, laat staan ​​hoe het wordt gebruikt, zelfs als het op ons wordt gebruikt.

Clearview wordt soms de killer-app van Face ID genoemd. Het is ook ongelooflijk controversieel. Het schraapte stilletjes miljarden afbeeldingen van het internet - van Venmo, LinkedIn, Google, Facebook, Twitter, YouTube, enzovoort - en het bouwde een systeem waarvan wordt aangenomen dat het op grote schaal wordt gebruikt door wetshandhavers, waaronder de FBI en ICE, als staats- en lokale politie.

Er zijn veel juridische strijd gaande over deze praktijk die webscraping wordt genoemd - niet omdat er iets inherent slecht aan is, het is gewoon een hulpmiddel om gegevens van internet te verzamelen. Het is hoe websites prijsvergelijkingen en onroerendgoedvermeldingen aanbieden. Het is ook hoe veel openbaar onderzoek wordt gedaan.

Het echte probleem is dus dat er niet echt basisregels zijn voor: wat kan worden geschraapt. En de federale wet die het vaakst wordt gebruikt om deze zaken op te lossen? Nou, het is uit 1986. Voordat het web zelfs maar bestond.

In deze serie zullen we horen van mensen die technologieën bouwen, maar ook van mensen die ertegen vechten. En ik ging zitten met de chief executive van Clearview om over dit alles te praten, vanuit zijn perspectief.

Hoan Ton-Dat : Mijn naam is Hoan Ton-That en ik ben de oprichter en CEO van Clearview AI.

Jennifer Strong : Oké, hoe zou je je bedrijf, de technologie en wat het doet omschrijven?

Hoan Ton-Dat : Eigenlijk is het een zoekmachine voor gezichten. Dus je uploadt een foto van een gezicht en het vindt openbaar beschikbare links die online zijn. En nu wordt het gebruikt voor wetshandhaving om misdaden achteraf op te lossen. Dus een officier, als ze vastzitten in een zaak en ze hebben iets van videobeelden, ze kunnen het door ons systeem halen en dan een onderzoek starten.

Jennifer Sterk: Hij zegt dat het onmiddellijk een beroep deed op de politie, maar dat was nadat hij het aan een paar verschillende groepen had verkocht.

Hoan Ton-Dat : Toen we onze gezichtsherkenningstechnologie aan het bouwen waren, hebben we veel verschillende ideeën en veel verschillende sectoren onderzocht, van particuliere beveiliging tot gastvrijheid ... toen we het aan sommige mensen in de wetshandhaving gaven, was de stijging enorm. En ze belden ons de volgende dag terug en zeiden: we lossen zaken op. Dit is gek. In een week tijd hadden we een heel dik boekje.

Jennifer Strong : Dus waar kwam je op het idee om Clearview te maken. Wat waren je drijfveren?

Hoan Ton-Dat : Ik heb er altijd van gehouden om te leren over computerprogrammering sinds ik een kind was, naar de MIT-videocolleges keek of open source-projecten deed en afbeeldingen downloadde om betere modellen voor gezichtsherkenning te trainen. En uiteindelijk veranderde dat in het doen van een gezichtszoekmachine. En het was gewoon een verrassing voor mij hoeveel mensen dit idee echt niet hebben aangepakt, want het is zo'n moeilijk probleem omdat je heel, heel nauwkeurig moet zijn, maar we bleven erbij en het werkte uiteindelijk heel goed.

Jennifer Sterk: Er is een groeiende lijst van redenen waarom onderzoekers ervoor zouden kunnen kiezen om niet te werken aan een zoekmachine met gezichten. Een grote is hoe dat werk kan worden toegepast.

Kade Crockford : Neem het geval van Steve Talley, een financieel analist uit Colorado.

Jennifer Sterk: Kade Crockford is een pleitbezorger van privacy. Dit komt uit haar Ted Talk.

Kade Crockford : Talley werd in 2015 beschuldigd van bankoverval op basis van een fout in een gezichtsherkenningssysteem. Talley vocht tegen die zaak en hij werd uiteindelijk vrijgesproken van die aanklachten, maar hij verloor zijn huis, zijn baan en zijn kinderen. Het geval van Steve Talley is een voorbeeld van wat er kan gebeuren als de technologie faalt. Maar gezichtsbewaking is net zo gevaarlijk als het werkt zoals geadverteerd.

Bedenk eens hoe triviaal het zou zijn voor een overheidsinstantie om een ​​bewakingscamera te plaatsen buiten een gebouw waar mensen samenkomen voor bijeenkomsten van de Anonieme Alcoholisten. Het zou net zo gemakkelijk zijn om deze technologie te gebruiken om automatisch elke persoon te identificeren die de Women's March of een Black Lives Matter-protest bijwoonde.

Jennifer Sterk: Hoewel Ton-That gelooft dat de tool van Clearview veiliger is dan wat ze beschrijft.

Hoan Ton-Dat : Een vals positief in een live setting is meer een probleem dan in een after-the fact setting. Want als je een waarschuwing krijgt en je rent naar beneden om de persoon te vinden, heb je misschien veel minder tijd om te kijken of het klopt. Terwijl als je achter een bureau een onderzoek doet, je alle tijd van de wereld hebt om ervoor te zorgen dat je het juiste doet.

Jennifer Sterk: Maar er is geen overeenstemming over wat het juiste doen betekent.

In aflevering één ontmoetten we Robert Williams. Hij werd ten onrechte gearresteerd in precies het soort onderzoek waar Ton-Dat over heeft, nadat software zijn rijbewijsfoto verkeerd had gekoppeld aan foto's van iemand die horloges steelt.

De tool die in het geval van de heer Williams werd gebruikt, is niet gebouwd door Clearview, maar door een bedrijf genaamd DataWorks, hoewel beide systemen afhankelijk zijn van neurale netwerken.

Hoan Ton-Dat : Dus een neuraal netwerk is een nieuwere vorm van kunstmatige intelligentie waarbij in plaats van bepaalde factoren hard te coderen - we willen bijvoorbeeld gezichtsherkenning doen om vergelijkbare gezichten van dezelfde persoon te vinden - in plaats van hard coderende factoren zoals de afstand tussen je ogen of de afstand tussen de ogen en de neus, het leert gewoon van een heleboel verschillende voorbeelden. En wat we doen is dat we duizend voorbeelden van George Clooney of duizend voorbeelden van Brad Pitt verzamelen en de machine leert na verloop van tijd het verschil tussen die twee gezichten en kan het dan toepassen op een gezicht dat nog niet eerder is gezien .

Jennifer Sterk: Iedereen die we spraken voor deze serie was het erover eens dat deze systemen het beste werken als de verlichting goed is en camera's op gezichtshoogte worden geplaatst.

Maar met beveiligingscamera's is dat zeldzaam. Er is ook de uitdaging van schaal.

Hoan Ton-Dat : Hoe doorzoek je miljarden gezichten of vectoren in minder dan een seconde? Typische databases opzoeken op naam en e-mail. Dit wordt opgezocht door gelijkenis. En dat op grote schaal doen is moeilijk. Daar moesten we ook een eigen datacenter voor hebben. Als u een gezichtsherkenningssysteem koopt, is er doorgaans een probleem met de koude start. Welke foto's zet je erin? Dus politie-afdelingen hebben misschien hun eigen mugshots, maar ze hebben geen mugshots van andere politie-afdelingen. Het beperkt dus echt het nut ervan. En we realiseerden ons net dat er biljoenen en biljoenen webpagina's zijn op internet en op sociale media en je weet wel, nieuwssites, mugshot-websites.

Jennifer Sterk: We zijn maar een paar kilometer van elkaar verwijderd in New York City, maar vanwege de pandemie praten we via Zoom.

Hoan Ton-Dat : Jennifer, ik had al eerder een screenshot van een foto van jou gemaakt. Vind je het erg als ik hem upload?

Jennifer Strong : Nee, dat is prima.

Jennifer Sterk: En hij zet een oude foto van mijn LinkedIn-account op het scherm.

Hoan Ton-Dat : Dus, aan de linkerkant? Zie je deze nieuwe zoekknop waar je een foto kiest? Dit is dus degene die ik ga gebruiken. Maak je geen zorgen. Niemand kan het scherm zien behalve wij (gelach).

En dat duurde ongeveer een seconde. Uh, en je kunt zien dat er een link is waarop je kunt klikken. Maar terwijl we dit doornemen, is dat, uh, van Twitter. Herinner je je deze foto nog?

Jennifer Strong : Ummm nee ik wist niet dat die was genomen... Ik kijk erg...

Hoan Ton-Dat : Ja. Je doet. Je ziet er heel serieus uit in die ene. Ja.

Hier geef je een lezing in The Wall Street Journal, de toekomst van alles.

Jennifer Strong : Ja.

Hoan Ton-Dat : Je interviewt iemand hier bij Duke Health. Dus, zoals ik al zei, al deze dingen zijn openbaar beschikbaar. Zo werkt het dus eigenlijk.

Jennifer Sterk: Er is hier niets ongewoons. Alleen foto's van mij op het werk die verhalen rapporteer en panels host in verschillende steden - hoewel het nogal schokkend is om foto's van mezelf te vinden die ik nog nooit heb gezien - en opnieuw roept het deze netelige kwestie van toestemming op.

Zie je, het is onwaarschijnlijk dat ik een vakje aanvink dat bedrijven zoals Clearview toestemming geeft om mijn imago te schrapen en het te gebruiken om hun bedrijf op te bouwen.

Het punt is dat ze het niet nodig hebben.

We zijn zo meteen terug.

Hoan Ton-Dat : Wat uniek is aan Clearview AI en dat het voor mensen wat moeilijker maakt om te begrijpen, is alleen zoeken naar openbaar beschikbare informatie.

Jennifer Sterk: En dit is waar Ton-That een argument maakt waar we nog vele jaren over zullen debatteren en procederen: dat het open internet zoals we dat kennen, inclusief dingen als Google-zoekopdrachten, niet echt zou bestaan ​​als we beperkingen hadden gesteld aan het gebruik van online gegevens.

Hoan Ton-Dat : LinkedIn is een miljardenbedrijf, of een miljardenbedrijf Microsoft, ze hebben niet het recht om de toegang van andere mensen tot openbare gegevens te blokkeren. Het is dus iets dat zich op een interessante plek bevindt, omdat het alleen zoekt naar openbaar beschikbare informatie en dingen die mensen privé willen houden. We weten wel dat we ze niet overal op internet willen plakken. Dus ik denk dat we een instinct hebben van wat we privé willen houden en wat we openbaar willen houden en dat zal altijd het geval zijn.

Jennifer Sterk: Het is veilig om te zeggen dat niet iedereen het met hem eens is.

Twitter is een van de vele bedrijven die Clearview een stopzettingsbevel hebben gestuurd, waarin ze zeiden dat ze moesten stoppen met het schrapen van hun afbeeldingen en al hun gegevens moesten verwijderen. Twitter zegt ook dat hun beleid verbiedt dat hun gegevens worden gebruikt voor gezichtsherkenning. Aangezien hij al miljarden afbeeldingen heeft geschraapt, zou het je vergeven zijn je af te vragen hoeveel meer informatie hij nog kan vastleggen.

Maar het is slechts het topje van de ijsberg.

Hoan Ton-Dat : We zijn nog steeds niet eens 1% van wat er is als je de cijfers bekijkt, het is een beetje gek hoeveel informatie er is. Dus als het op privacy aankomt, moeten we een beetje naar onszelf kijken en zeggen, nou, we delen vrijwillig veel van deze informatie. En dat is misschien waar, maar hoe, wat vinden we ervan? We hebben geen privé-informatie zoals Google of Facebook. Google heeft uw locatie altijd op Android. Facebook kent al je gewoonten en wat je leuk vindt en wat je niet leuk vindt. Het Instagram-tabblad Verkennen is fenomenaal om uit te vinden wat je leuk vindt, het is best eng, maar ze weten veel meer informatie dan wij. En we zijn gewoon gefocust op het aanvragen van het hoogste goed, denken we, om de wereld een stuk veiliger te maken.

Jennifer Sterk: En voor hem betekent dat werken bij de politie.

Hoan Ton-Dat : Dus al in veel wetshandhavingsinstanties die gezichtsherkenning gebruiken, hebben ze een procedure die zegt dat je iemand niet zomaar kunt arresteren op basis van een gezichtsherkenningsmatch. U moet nog vervolgonderzoek doen. Dus er is altijd een mens in de lus die controleert of deze persoon de juiste persoon is? Hebben ze de juiste naam? Woont die persoon in dezelfde buurt als waar het misdrijf is gepleegd?

Jennifer Sterk: Maar hoe zit het met mensen die vals worden beschuldigd?

Ton-Dat zou beweren dat dit een menselijk falen is. Op dezelfde manier zijn we nog steeds verantwoordelijk voor hoe we rijden terwijl we GPS gebruiken - wanneer de navigatie zegt: sla rechtsaf en het is niet veilig om dat te doen - is het aan ons en ons menselijk brein om het te negeren.

En hij herinnert ons eraan dat mensen het ook verkeerd hebben.

Hoan Ton-Dat : Zoals een voorbeeld is menselijke opstellingen. Het Innocence Project zegt dat 70% van de onterechte veroordelingen afkomstig is van ooggetuigenverslagen. Dus, weet je, als je een slechte politieagent bent en je wilt iemand laten opdraaien voor een misdaad die ze niet hebben begaan, dan kun je mensen op het verkeerde been zetten om de persoon die je wilt uit een opstelling te halen en ik denk dat technologie zoals Clearview kan echt helpen om veel transparantie en verantwoording toe te voegen. Iets waar we heel graag naar zouden kijken, is hoe het mensen kan helpen om niet verkeerd geïdentificeerd te worden.

Jennifer Sterk: In zekere zin is dit argument dat hij tegen maakt? menselijk oordeel? Het is dezelfde die wordt gebruikt tegen het overdragen van deze beslissingen aan AI: er zijn fouten, vooroordelen en racisme. Maar waar Ton-That niet gelooft dat we mensen op betrouwbare wijze kunnen veranderen, gelooft hij wel dat hij deze dingen uit zijn systeem heeft verwijderd.

Hoan Ton-Dat : En dus zijn we van mening dat we het nauwkeurigheidsprobleem en het raciale vooringenomenheidsprobleem waarmee andere gezichtsherkenningsbedrijven een soort van geplaagd hebben, volledig hebben opgelost. En we willen dat andere mensen weten dat we deze technologie echt kunnen gebruiken en gebruiken.

Jennifer Sterk: Dit zijn zeer grote claims die misschien niet eens mogelijk zijn, en er is momenteel geen manier om deze te verifiëren. Clearview heeft niet het soort openbare toegang geboden waarmee hun systeem op dezelfde manier kan worden gecontroleerd als Amazon en anderen.

Hij zegt dat het bedrijf zijn eigen audit heeft gedaan en een onafhankelijke beoordelingscommissie heeft samengesteld die een vergelijkbare benadering hanteerde als toen de ACLU het gezichtsherkenningssysteem van Amazon testte door foto's van het Amerikaanse congres langs een mugshot-database te laten lopen - dit zijn foto's van mensen die zijn gearresteerd voor een misdaad.

Hoan Ton-Dat : En dus deden ze dit onafhankelijke onderzoek. Maar in plaats van een galerij van 25.000 mugshots te doorzoeken, doorzocht het destijds een galerij van 2,8 miljard foto's. En we deden andere wetgevende machten, zoals de staat New York en Texas. En elk van de resultaten die naar voren kwamen, waren de juiste persoon en ze hebben ze individueel doorgenomen.

Jennifer Sterk: Vanuit het perspectief van Clearview betekent dit dat de technologie het rechtssysteem daadwerkelijk kan helpen eerlijker te worden. Hij zegt dat ze Jonathan Lippman, de opperrechter van het New York Court of Appeals, hebben gekregen om deel uit te maken van dat beoordelingspanel.

Hoan Ton-Dat : En hij gelooft echt dat als je iets hebt dat nauwkeuriger is, het ook beter is voor de beklaagden. Ze gaan niet naar de gevangenis voor een misdaad die ze niet hebben begaan.

Jennifer Sterk: Als Silicon Valley een merk heeft, is het dit techno-optimisme over hoe hun creaties de wereld zullen veranderen, maar zonder de last om verantwoordelijk te zijn voor eventuele ongewenste veranderingen die daarmee gepaard gaan.

Misschien is het echt zou niet moeten het is de taak van tech-makers om zich zorgen te maken over welke soorten transparantie, toezicht en vangrails nodig zijn om het publiek te beschermen.

Hoan Ton-Dat : Ik vind dat het de verantwoordelijkheid is van overheid en beleidsmakers om met regelgeving te komen en techbedrijven moeten aan tafel zitten, en het is in hun belang om aan tafel te zitten. Soms zie je slecht beleid worden aangenomen omdat ze niet weten hoe de technologie werkt. Dus ik denk dat meer technologiebedrijven zich gaan bezighouden met beleid.

We hebben veel aandacht gehad, maar we weten dat we het juiste doen. En ik denk dat op de lange termijn elke nieuwe technologie controversieel is vanuit de drukpers... en dat is slechts een deel van het proces. De keuze is niet tussen geen gezichtsherkenning en gezichtsherkenning. Het zit tussen verantwoorde gezichtsherkenning en een soort wild westen in.

Jennifer Sterk: Een groep die het wilde westen wil helpen temmen, is het Police Executive Research Forum. De non-profitorganisatie heeft de afgelopen vier decennia politiechefs geholpen bij het oplossen van nieuwe problemen.

Alexa Daniels-Shpall : Het gebruik van tasers. Ze gebruiken op het lichaam gedragen camera's. Nu kijken we ook naar het onderwerp gezichtsherkenning.

Jennifer Sterk: Alexa Daniels-Shpall leidt dit onderzoek in samenwerking met het Amerikaanse ministerie van Justitie.

Alexa Daniels-Shpall : We hebben veel van dit onderzoek op dit gebied gedaan met als doel een aantal nationale richtlijnen te ontwikkelen. Ze gebruiken het op verschillende manieren en ze hebben allemaal hun eigen procedures, protocollen en beleid ontwikkeld.

Jennifer Sterk: We komen in die volgende aflevering ... Maar voor nu is het belangrijkste dat haar onderzoek suggereert dat de acceptatie van Clearview door politiediensten misschien niet zo wijdverbreid is als wordt beweerd. In januari vertelde hij aan de New York Times dat meer dan 600 wetshandhavingsinstanties het afgelopen jaar zijn product zijn gaan gebruiken.

Alexa Daniels-Shpall : We hebben slechts een handvol gezien die een formeel contract hebben doorgezet.

Jennifer Sterk: Kortom: politiebureaus gebruiken Clearview. Maar er is een groot verschil tussen proberen en kopen.

Alexa Daniels-Shpall : Ik weet dat sommigen het hebben uitgeprobeerd en vervolgens hebben besloten het niet te gebruiken. En tenminste sommigen van hen die we spraken zeiden dat het gewoon niet zo goed voor hen werkte. En ik denk dat het waarschijnlijk afhangt van, weet je, waarmee je het test en, en waar je bent in het land. Want, weet je, ik weet niet dat iemand een idee heeft waar, zoals hoeveel afbeeldingen er in verschillende gebieden verschijnen.

Jennifer Sterk: En niet alle politiebureaus die het probeerden, deden dat bewust... of via officiële kanalen.

Alexa Daniels-Shpall : De leidinggevenden kwamen erachter dat rechercheurs door het bedrijf waren benaderd om het uit te testen. En ze brachten het toen naar hun bazen om te zeggen: Hé, we moeten kijken of we ermee verder kunnen. En de leidinggevenden zeiden min of meer: ​​we gaan dat voorlopig afsluiten en onze normale inkoop- en evaluatieprocessen doorlopen voordat we verder gaan. // Het is een soort van gemengde ontvangst geweest, zou ik zeggen van verschillende bureaus. En de belangrijkste vraag zou zijn om erachter te komen hoeveel soorten permanente langetermijncontracten, en hoeveel bureaus de formele inkoop hebben gedaan om een ​​relatie met het bedrijf aan te gaan, in plaats van alleen die gratis proefversies die rondgingen.

Jennifer Sterk: De volgende keer zullen we de politie in de VS ontmoeten die gezichtsherkenning gebruikt...

Dori Koren : Het is een beetje Hollywoodachtig, maar dat hebben we expres gedaan, zo wilden we het voelen. Dus stel je voor dat je een grote kamer binnenloopt en aan de voormuur heb je dit enorme scherm - allerlei camerabeelden zoals een bewakingskamer, maar een beetje meer hightech, een beetje groter, een beetje geavanceerder.

Jennifer Sterk: En ontdek welke rol acteur Woody Harrelson en andere beroemdheden ongewild spelen bij het benoemen van politieverdachten...

Deze aflevering werd gerapporteerd en geproduceerd door mij, met Tate Ryan-Mosely en Emma Cillekens, met speciale dank aan Karen Hao en Benji Rosen. We worden geredigeerd door Michael Reilly en Gideon Litchfield. Onze technisch directeur is Jacob Gorski.

Bedankt voor het luisteren, ik ben Jennifer Strong.

zich verstoppen