EmTech Stage: Twitter's CTO over verkeerde informatie

In het tweede van twee exclusieve interviews ging Gideon Lichfield, hoofdredacteur van Technology Review, zitten met Parag Agrawal, de Chief Technology Officer van Twitter, om de opkomst van verkeerde informatie op het socialemediaplatform te bespreken. Agrawal bespreekt enkele van de maatregelen die het bedrijf heeft genomen om terug te vechten, terwijl hij toegeeft dat Twitter probeert een naald te krijgen van het verminderen van schade veroorzaakt door valse inhoud zonder een scheidsrechter van de waarheid te worden. Dit gesprek is afkomstig van de virtuele EmTech MIT-conferentie en is voor de duidelijkheid bewerkt.

Kijk voor meer informatie over dit onderwerp op de aflevering van Deep Tech van deze week en onze dekking van het technologiebeleid.

Credits:

Deze aflevering van EmTech MIT is geproduceerd door Jennifer Strong en Emma Cillekens, met speciale dank aan Brian Bryson en Benji Rosen. We worden geredigeerd door Michael Reilly en Gideon Lichfield.

Vertaling:

Krachtig: Hallo allemaal, Jennifer Strong is terug met deel twee van ons gesprek over verkeerde informatie en sociale media. Als Facebook een ontmoetingsplaats is waar je je community zoekt, YouTube een concertzaal of backstage voor iets waar je fan van bent, dan is Twitter een beetje zoals het openbare plein waar je heen gaat om erachter te komen wat er over iets wordt gezegd. Maar welke verantwoordelijkheid hebben deze platforms als deze gesprekken zich ontvouwen? Twitter heeft gezegd dat het een van zijn verantwoordelijkheden is om ervoor te zorgen dat het openbare gesprek gezond is. Wat houdt dat in en hoe meet je dat?

Het is een vraag die we stellen aan Twitter's Chief Technology Officer Parag Agrawal. Hier is hij, in gesprek met hoofdredacteur Gideon Lichfield van Tech Review. Het is opgenomen op onze EmTech-conferentie en is bewerkt voor lengte en duidelijkheid.

Lichfield: Een paar jaar geleden was er een project waarbij je begon te praten over statistieken die zouden meten wat een gezond openbaar gesprek is. Ik heb er sindsdien niet veel meer van gezien. Dus wat is daar mee aan de hand? Hoe meet je dit?

Agrarische: Twee jaar geleden, toen we samenwerkten met een paar mensen van het MIT-medialab en geïnspireerd door het denken, begonnen we aan een project om samen te werken met academici buiten het bedrijf, om te zien of we een paar eenvoudige meetwaarden of metingen konden definiëren om de gezondheid van het openbare gesprek. Wat we ons realiseerden door samen te werken met experts uit vele plaatsen, is dat het een hele, hele uitdaging is om de nuances en ingewikkeldheden van wat wij beschouwen als een gezond openbaar gesprek samen te vatten in een paar eenvoudig te begrijpen, gemakkelijk te meten statistieken waar je op kunt vertrouwen En dit gesprek heeft geleid tot een verandering in onze aanpak.

Wat is veranderd, is of we al dan niet prescriptief zijn in het proberen de zaken tot een paar cijfers terug te brengen. Maar wat is gebleven, is dat we ons realiseren dat we met academische onderzoekers buiten Twitter moeten werken, meer van onze gegevens moeten delen in een open omgeving, waar ze het kunnen gebruiken om onderzoek te doen, om verschillende gebieden vooruit te helpen. Uh, en er zijn een aantal API-gerelateerde producten die we de komende maanden zullen verzenden. En een van de dingen die direct tot dat gesprek leidden was in april, toen we zagen, uh, COVID, uh, we creëerden een eindpunt voor COVID-gerelateerd gesprek waartoe academische onderzoekers toegang konden hebben. Uh, we hebben onderzoek gezien in vier 20 landen, open het.

Dus in zekere zin ben ik blij dat we die reis zijn begonnen. En ik hoop nog steeds dat met deze open benadering, er academici en onze samenwerking met hen zullen zijn, wat er uiteindelijk toe zal leiden dat we openbare gesprekken en gezonde openbare gesprekken voldoende begrijpen om de meting terug te brengen tot enkele statistieken . Maar ik ben ook enthousiast over alle andere onderzoekspistes die deze benadering voor ons opent.

Lichfield: Heb je een idee hoe een voorbeeld van zo'n statistiek eruit zou zien?

Agrarische: Dus toen we hierover wilden praten, veronderstelden we dat er een paar statistieken waren, delen mensen een gevoel van realiteit? Hebben mensen verschillende perspectieven en kunnen ze worden blootgesteld aan verschillende perspectieven? We dachten over is het gesprek beschaafd, toch? Dus conceptueel zijn dit allemaal eigenschappen die we wensen in een gezond openbaar gesprek. De uitdaging is om ze te kunnen meten op een manier die kan evolueren naarmate het gesprek evolueert, op een manier die betrouwbaar is en de tand des tijds kan doorstaan, aangezien het gesprek van twee jaar geleden heel anders was dan het gesprek van vandaag. De uitdagingen van twee jaar geleden, zoals we ze begrepen, zijn vandaag heel anders. Uh, en dat is waar enkele van de uitdagingen en ons begrip van wat een gezonde openbare organisatie betekent nog steeds naar voren komen voor ons om het in deze eenvoudige statistieken te kunnen samenvatten.

Lichfield: Laten we het even hebben over enkele dingen die je de afgelopen jaren hebt gedaan. Ik bedoel, er is duidelijk veel aandacht geweest voor de beslissingen om enkele tweets van Donald Trump te markeren. Ik denk dat het meer systematische werk dat je de afgelopen jaren hebt gedaan tegen verkeerde informatie, je de belangrijkste punten kunt samenvatten van wat je hebt gedaan?

Agrarische: Onze benadering ervan is niet om te proberen alle mogelijke verkeerde informatie te identificeren of te markeren. Maar onze aanpak is geworteld in het vermijden van specifieke schade die misleidende informatie kan veroorzaken. We zijn gefocust in onze aanpak en gericht op schade die kan worden aangericht met verkeerde informatie over COVID-19, wat te maken heeft met de volksgezondheid, waarbij een paar mensen die verkeerd worden geïnformeerd, gevolgen kunnen hebben voor iedereen. Op dezelfde manier hebben we ons gericht op verkeerde informatie over wat we burgerlijke integriteit noemen, dat gaat over mensen die kunnen weten hoe ze aan verkiezingen moeten deelnemen.

Dus een voorbeeld, om dit duidelijk te maken, gaat over burgerlijke integriteit, we geven om en we ondernemen actie op inhoud die mensen die zeggen dat je moet stemmen op 5 november, wanneer de verkiezingsdag 3 november is, verkeerd zou kunnen informeren. En we proberen niet te bepalen wat waar of niet waar is wanneer iemand een beleidsstandpunt inneemt of wanneer iemand zegt dat de lucht paars of blauw is, of wat dat betreft rood. Onze benadering van verkeerde informatie is ook niet gericht op het verwijderen van inhoud als de enige maatregel, wat het regime is waarin we allemaal al vele jaren opereren. Maar het is een steeds genuanceerder benadering met een scala aan interventies, waarbij we nadenken over de vraag of bepaalde inhoud zonder context moet worden versterkt, of dat het onze verantwoordelijkheid is om wat context te bieden zodat mensen een heleboel informatie kunnen zien, maar ook de vermogen en gemak om alle conversatie en context eromheen te ontdekken, om zichzelf te informeren over waar ze voor kiezen te geloven.

Lichfield: Hoe evalueer je of iets schadelijk is zonder ook te proberen te achterhalen of het waar is, met andere woorden, specifiek COVID bijvoorbeeld?

Agrarische: Dat is een goede vraag en ik denk dat je in sommige gevallen vertrouwt op geloofwaardige bronnen om die context te bieden. Je hoeft dus niet altijd te bepalen of iets waar of onwaar is, maar als er kans is op schade, kiezen we ervoor om iets niet als waar of onwaar te markeren, maar kiezen we ervoor om een ​​link toe te voegen naar geloofwaardige bronnen of naar een extra gesprek rond dat onderwerp, om mensen context te bieden rond het stuk inhoud, zodat ze beter geïnformeerd kunnen worden, zelfs als deze gegevens voor begrip en kennis evolueren. En openbare conversatie is van cruciaal belang voor die evolutie. We zagen mensen leren via Twitter, vanwege de manier waarop ze geïnformeerd werden. En experts voeren gesprekken via Twitter om ook onze kennis over deze ziekte te vergroten.

Lichfield: Mensen waarschuwen al jaren voor QAnon. U bent in juli begonnen met het verwijderen van QAnon-accounts. Waarom duurde het zolang? Waarom heb je... wat is er veranderd in je denken?

Agrarische: De manier waarop we denken over QAnon of we dachten over QAnon, is dat we een gecoördineerd manipulatiebeleid hebben dat we al een tijdje hebben, en de manier waarop het werkt, is dat we samenwerken met overheidsdiensten en mensenrechtengroepen over de hele wereld om te proberen te begrijpen welke groepen, of welke organisaties, of wat voor soort activiteit tot een niveau van schade leidt waar het actie van ons vereist. Achteraf gezien had ik gewild dat we eerder hadden ingegrepen, maar omdat we de dreiging goed begrepen, hebben we door met deze groepen samen te werken actie ondernomen en onze acties hebben geleid tot een soort afnemende versterking van deze inhoud en het markeren van deze inhoud op een manier die leidde tot zeer snelle afname van het bereik van QAnon en gerelateerde content met meer dan 50% op het platform. En sindsdien hebben we een aanhoudende daling gezien als gevolg van deze stap.

Lichfield: Ik krijg nogal wat vragen van het publiek, die allemaal ongeveer hetzelfde vragen. En ze vragen eigenlijk, nou, ik zal ze lezen. Wie bepaalt wat misinformatie is? Kunt u een duidelijke klinische definitie geven van desinformatie? Moet iets kwade bedoelingen hebben om verkeerde informatie te zijn? Hoe weet je of je geloofwaardige bronnen waarheidsgetrouw zijn, wat meet de geloofwaardigheid van die bronnen en iemand zegt zelfs dat ik verkeerde informatie heb gezien in de zogenaamde geloofwaardige bronnen. Dus hoe definieer je die zin?

Agrarische: Ik denk dat dat de existentiële vraag van onze tijd is. Het definiëren van desinformatie is heel, heel moeilijk. Naarmate we in de loop van de tijd leren, evolueert ook ons ​​begrip van de waarheid. We proberen de waarheid niet te beoordelen, we richten ons op mogelijke schade. En als we zeggen dat we steunen op geloofwaardige bronnen, leunen we ook op alle conversaties op het platform die ook over deze geloofwaardige bronnen aan het woord komen en wijzen op mogelijke hiaten waardoor de geloofwaardige bronnen ook hun denken of wat ze praten ontwikkelen over.

Dus hebben we ons veel minder gericht op wat waar is en wat niet. We richten ons veel meer op mogelijke schade als gevolg van het feit dat bepaalde inhoud op het platform wordt versterkt zonder de juiste context. En context is vaak gewoon een extra gesprek dat een ander standpunt over een onderwerp geeft, zodat mensen de breedte van het gesprek op ons platform en daarbuiten kunnen zien en hun eigen beslissingen kunnen nemen in een wereld waar we allemaal samen leren.

Lichfield: Pas jij een andere maatstaf toe op dingen die van wereldleiders komen?

Agrarische: We hebben een beleid rond openbare inhoud in het algemeen belang, het staat in ons beleidskader. Dus ja, we hanteren verschillende normen. En dit is gebaseerd op het begrip en de kennis dat er bepaalde inhoud is van gekozen functionarissen die belangrijk is voor het publiek om te zien en te horen. En dat alle inhoud op Twitter niet alleen op Twitter staat. Het is in redactiekamers, het is in persconferenties, maar vaak staat de broninhoud op Twitter. Het beleid van algemeen belang is er om ervoor te zorgen dat de broninhoud toegankelijk is. We markeren echter heel duidelijk voor iedereen in de buurt wanneer dergelijke inhoud in strijd is met ons beleid. We nemen de gedurfde stap om het te markeren, het te labelen zodat mensen de juiste context hebben dat dit inderdaad een voorbeeld is van een overtreding, zodat mensen naar die inhoud kunnen kijken in het licht van dat begrip.

Lichfield: Als je president Trump neemt, was er een Cornell-studie die aantoonde dat – ze hebben gemeten dat 38% van de verkeerde informatie over COVID hem noemt. Ze noemden hen de grootste aanjager van verkeerde informatie rond COVID. Je hebt een aantal van zijn tweets gemarkeerd, maar er is veel dat hij naar buiten brengt dat niet helemaal voldoet aan de strikte definitie van verkeerde informatie, en toch mensen misleidt over de aard van de pandemie. Dus dit, deze uitzondering voor ambtenaren, ondermijnt niet de hele strategie?

Agrarische: Elke ambtenaar heeft toegang tot meerdere manieren om mensen te bereiken. Twitter is er daar één van. We leven in een groot ecosysteem. Onze aanpak bij het labelen van inhoud stelt ons in staat om bij de bron inhoud te markeren die mogelijk schadelijk is voor mensen, en ook om mensen extra context en extra conversatie eromheen te bieden. Dus veel van deze onderzoeken, en ik ben niet bekend met degene die je aanhaalt, zijn eigenlijk breder dan Twitter. En als het over Twitter gaat, hebben ze het over bereik en impressies, zonder te praten over mensen die ook worden blootgesteld aan andere stukjes informatie over het onderwerp. Nu kunnen we niet beslissen wat mensen kiezen om te geloven, maar we mogen wel inhoud en een diversiteit aan standpunten over elk onderwerp laten zien, zodat mensen hun eigen beslissingen kunnen nemen.

Lichfield: Dat klinkt een beetje alsof je probeert te zeggen: het is niet alleen onze schuld. Het is de schuld van iedereen. En daarom kunnen we er niet veel aan doen.

Agrarische: Ik geloof niet dat ik dat zeg. Waar ik het over heb, de onderwerpen van verkeerde informatie hebben altijd bestaan ​​in de samenleving. We zijn nu een cruciaal onderdeel van het weefsel van openbare gesprekken, en dat is onze rol in de wereld. Dit zijn geen onderwerpen waar we ons uit kunnen losmaken. Dit zijn onderwerpen die vandaag relevant zullen blijven en over vijf jaar relevant zullen blijven. Ik leef niet in de illusie dat we iets kunnen doen waardoor het probleem van misleidende informatie op magische wijze verdwijnt. We hebben niet dat soort macht of controle. En ik zou die macht of controle eerlijk gezegd niet willen hebben. Maar we hebben het voorrecht om naar mensen te luisteren, om een ​​diverse groep mensen op ons platform te hebben, die een diverse reeks standpunten uitdrukken, de dingen die er echt toe doen voor iedereen, en voor ons om ze te kunnen laten zien met de juiste context zodat de samenleving van elkaar kan leren en vooruit kan.

Lichfield: Als je het hebt over mensen inhoud laten zien en hun eigen conclusies laten trekken of tot hun eigen mening laten komen, dan is dat het soort taal waarmee wordt geassocieerd, denk ik aan de manier waarop sociale-mediaplatforms zichzelf van oudsher presenteerden. 'We zijn gewoon een neutrale ruimte, mensen komen en gebruiken ons, we proberen niet te oordelen'. En het lijkt een beetje in tegenspraak met wat je eerder zei over het willen bevorderen van een gezond openbaar gesprek, waar duidelijk veel waardeoordelen over wat gezond is. Dus hoe verzoen je die twee?

Agrarische: Oh, ik zeg niet dat we een neutrale partij zijn in dit hele gesprek. Zoals ik al zei, we zijn een cruciaal onderdeel van het weefsel van openbare gesprekken. En u zou niet willen dat wij oordelen over wat waar of niet waar is in de wereld. En eerlijk gezegd kunnen we dat niet wereldwijd doen in alle landen waarin we werken, in alle culturen en alle nuances die er zijn. We hebben echter het voorrecht dat iedereen op het platform dingen kan veranderen, mensen meer controle kunnen geven en het gesprek moeten sturen op een manier dat het een beetje ontvankelijker is en meer stemmen laat horen en voor iedereen van ons om beter geïnformeerd te worden.

Lichfield: Een van de dingen die sommige waarnemers zouden kunnen doen en die een groot verschil zouden maken, zou zijn om de functie trending topics af te schaffen, omdat daar uiteindelijk veel verkeerde informatie naar boven komt. Dingen zoals de QAnon-hashtag redden de kinderen, of er was een complottheorie over Hillary Clinton-stafmedewerkers die de Iowa-caucus oplichtten. Soms vinden zulke dingen hun weg naar trending topics, en dan hebben ze een grote invloed. Wat denk je daarvan?

Agrarische: Ik weet niet of je het hebt gezien, maar deze week hebben we een wijziging aangebracht in de manier waarop trends en trending-onderwerpen op het platform werken. En een van de dingen die we deden was, we gaan context tonen over alles wat trends zijn, zodat mensen beter geïnformeerd zijn als ze zien waar mensen het over hebben.

Krachtig: We gaan er even tussenuit - maar eerst... wil ik een andere show voorstellen die je vast leuk vindt. Brave New Planet weegt de voor- en nadelen af ​​van een breed scala aan krachtige innovaties in wetenschap en technologie. Dr. Eric Lander, die het Broad Institute of MIT en Harvard leidt, onderzoekt moeilijke vragen als:

Lander: Moeten we de atmosfeer van de aarde veranderen om klimaatverandering te voorkomen? En kunnen waarheid en democratie de impact van deepfakes overleven?

Krachtig: Brave New Planet is van Pushkin Industries. Je kunt het overal vinden waar je je podcasts vandaan haalt. Hierna zijn we terug.

[Advertentie]

Krachtig: Welkom terug bij een speciale aflevering van In Machines We Trust. Dit is een gesprek tussen Twitter's Chief Technology Officer Parag Agrawal en Tech Review's hoofdredacteur Gideon Lichfield. Als je meer wilt weten over dit onderwerp, inclusief onze analyse, bekijk dan de shownotes of bezoek ons ​​op Technology Review dot com.

Lichfield: De verkiezingen zijn natuurlijk heel dichtbij. En ik denk dat veel mensen vragen wat er gaat gebeuren, met name op de verkiezingsdag, aangezien de rapporten uit de peilingen beginnen binnen te komen, is er de zorg dat sommige politici geruchten gaan verspreiden over geweld of verkiezingsfraude of andere, andere problemen , wat op zijn beurt kan leiden tot demonstraties en geweld. En dat is dus iets waar alle sociale platforms heel snel en in realtime op moeten reageren. Wat ga je doen?

Agrarische: We hebben de afgelopen vier jaar in veel landen verkiezingen doorstaan. India, Brazilië, grote democratieën leerden door elk van hen, en we hebben door de jaren heen gewerkt om beter voorbereid te zijn op wat komen gaat. Vorig jaar hebben we een wijziging doorgevoerd in het beleid om alle politieke advertenties op Twitter te verbieden, in afwachting van het potentieel om schade aan te richten. En we wilden onze aandacht niet richten op reclame, maar op het openbare gesprek dat organisch plaatsvindt om het te kunnen beschermen en verbeteren, vooral als het gaat om gesprekken rond de verkiezingen.

We hebben veel werk verricht aan technologie om beter te worden in het opsporen en begrijpen van slechte staatsactoren en hun pogingen om verkiezingen te manipuleren, en we zijn hier heel transparant over geweest. We hebben honderden van dergelijke operaties uit meer dan 10 landen openbaar gemaakt, met elk tienduizenden accounts en terabytes aan gegevens waarmee mensen buiten het bedrijf het kunnen analyseren en de patronen van manipulatie kunnen begrijpen. En we zijn doorgegaan met productwijzigingen om ervoor te zorgen dat er meer aandacht en bedachtzaamheid is in hoe mensen inhoud delen en hoe mensen inhoud versterken.

We hebben dus een heleboel van dit werk gedaan ter voorbereiding en door middel van lessen. Om tot een antwoord te komen over de verkiezingsnacht. We hebben ook het beleid met betrekking tot onze burgerlijke integriteit aangescherpt om niemand, geen enkele kandidaat of iemand van alle rassen toe te staan ​​een verkiezing te claimen wanneer er geen winnaar is uitgeroepen. Ook hebben we strikte maatregelen om aanzetten tot geweld te voorkomen. En we hebben een team klaarstaan ​​dat 24/7 zal werken om ons in een agile staat te brengen.

Dat gezegd hebbende, we hebben heel wat werk verzet om te anticiperen op wat er zou kunnen gebeuren, maar één ding dat we zeker weten, is dat wat waarschijnlijk zal gebeuren, niet iets is dat we precies hebben voorzien. Dus wat gaat er die avond en daarna belangrijk voor ons zijn, en zelfs in de aanloop naar die tijd om voorbereid te zijn, om wendbaar te zijn, om te reageren op de feedback die we op het platform kregen, om te reageren op het gesprek dat je ziet op en buiten het platform, uh, en proberen ons best te doen om de openbare conversatie te dienen in deze belangrijke tijd in dit land.

Lichfield: Iemand in, uh, in het publiek vroeg iets waarvan ik denk dat je het er niet mee eens zou zijn, en dat was, zeiden ze, moeten Facebook en Twitter drie dagen voor de verkiezingen worden gesloten? Maar misschien zou een meer bescheiden versie daarvan zijn: is er een soort inhoud waarvan u denkt dat die vlak voor een verkiezing moet worden stopgezet?

Agrarische: Deze week is een van de opvallende veranderingen die de moeite waard zijn om in detail over te praten, dat we ervoor hebben gezorgd dat mensen meer aandacht hebben, meer nadenken wanneer ze retweeten. Dus in plaats van inhoud eenvoudig te kunnen retweeten zonder extra commentaar, laten we mensen nu standaard een reactie toevoegen wanneer ze retweeten. En dit is om twee redenen: een om extra overwegingen toe te voegen wanneer je bepaalde inhoud retweet en versterkt en twee om inhoud te laten delen met meer context over wat je ervan vindt, zodat mensen begrijpen waarom je het deelt, en wat de context rond de set van gesprek is. We hebben ook de trends veranderd die ik eerder heb beschreven. Dit zijn veranderingen die bedoeld zijn om het gesprek op Twitter meer doordacht te laten verlopen.

Dat gezegd hebbende, Twitter zal in de tijd van verkiezingen een zeer, zeer krachtig hulpmiddel zijn voor mensen om te begrijpen wat er gebeurt, voor mensen om echt belangrijke informatie te krijgen. We hebben labels op alle kandidaten. We hebben informatie op het platform over hoe ze kunnen stemmen. We hebben realtime feedback van mensen uit het hele land, die mensen vertellen wat er op het terrein gebeurt. En dit is allemaal belangrijke informatie voor iedereen in dit land om in die tijd op de hoogte te zijn. Het is een moment waarop ieder van ons op zoek is naar informatie en ons platform vervult op die dag een bijzonder belangrijke rol.

Lichfield: Je zit een beetje op een moeilijke plek, zoals iemand in het publiek ook aangeeft, dat je probeert desinformatie te bestrijden, dat je ook de vrijheid van meningsuiting wilt beschermen als een kernwaarde, en ook in de VS als de eerste wijziging. Hoe breng je die twee in evenwicht?

Agrarische: Onze rol is niet om gebonden te zijn aan het Eerste Amendement, maar onze rol is om een ​​gezond openbaar gesprek te dienen en onze bewegingen weerspiegelen dingen waarvan wij denken dat ze leiden tot een gezonder openbaar gesprek. Het soort dingen dat we hieraan doen, is minder focussen op het denken over vrijheid van meningsuiting, maar nadenken over hoe de tijden zijn veranderd. Een van de veranderingen die we vandaag zien, is dat spraak gemakkelijk is op internet. De meeste mensen kunnen praten. Waar onze rol in het bijzonder wordt benadrukt, is wie er kan worden gehoord. Het schaarse goed van tegenwoordig is aandacht. Er is veel inhoud. Er zijn veel tweets, niet alles krijgt aandacht, een deel ervan krijgt aandacht. En dus beweegt onze rol steeds meer naar hoe we inhoud aanbevelen en dat soort, is, is, een strijd waar we doorheen werken in termen van hoe we ervoor zorgen dat deze aanbevelingssystemen die we bouwen, hoe we de aandacht van mensen trekken leidt tot een gezond openbaar gesprek dat het meest participatief is.

Lichfield: We hebben geen tijd meer, maar bedankt voor het interessante inzicht in hoe u over deze zeer gecompliceerde kwesties denkt.

Agrarische: Bedankt Gideon dat je me hebt.

[Muziek]

Krachtig: Als je de analyse van onze redactie over dit onderwerp en de verkiezing wilt horen... Ik heb een link in onze shownotes geplaatst. Ik hoop dat je het wilt bekijken. Deze aflevering van EmTech is geproduceerd door mij en door Emma Cillekens, met speciale dank aan Brian Bryson en Benji Rosen. We worden geredigeerd door Michael Reilly en Gideon Lichfield. Zoals altijd, bedankt voor het luisteren. Ik ben Jennifer Strong.

[TR-ID]

zich verstoppen