Verschrikkelijke mensen hebben geleerd het internet te exploiteren. Yasmin Green vecht terug.

Het Jigsaw-team van Alphabet brengt mensen die online geradicaliseerd zijn terug van de rand, video voor video. Door

• Martin Giles archiefpagina

19 februari 2018

Landon Speers

Aanzetten tot haat, online radicalisering, tutorials over het maken van bommen, door de staat gesponsord nepnieuws, webcensuur - internet is een verschrikkelijke plek.

Een deel ervan is dat in ieder geval. Om dat deel zo klein mogelijk te houden, is de taak van Yasmin Green, directeur onderzoek en ontwikkeling bij Jigsaw, een tak van het moederbedrijf van Google, Alphabet. Ze neemt het op tegen terroristen en trollen met een multinationale groep van ongeveer 60 specialisten, waaronder software-ingenieurs, onderzoekswetenschappers en productmanagers. Ze kunnen ook gebruikmaken van de enorme bronnen van Google. Maar Green en haar collega's besteden niet al hun tijd aan coderen en bouwen; velen van hen reizen ook naar geopolitieke hotspots om radicalisering van dichtbij te bestuderen. Ze sprak met MIT Technology Review over enkele methodes van de groep.

Dit verhaal maakte deel uit van ons nummer van maart 2018

• Zie de rest van het nummer
• Abonneren

Wat trok je aan in de rol bij Jigsaw?

Ik verliet Iran, waar ik geboren ben, op zeer jonge leeftijd en groeide op in het VK. Ik herinner me dat ik terugging op 19-jarige leeftijd en verbaasd was over het niveau van censuur in het land, zowel offline als online. Termen als world wide web klinken vaak ironisch voor mensen die niet in landen wonen waar informatie gratis is. Dus ik werd aangetrokken om te werken bij een bedrijf dat probeert informatie voor iedereen beschikbaar te maken.

Landon Speers

Jigsaw houdt zich bezig met online dreigingen, maar teamleden bezoeken als onderdeel van hun werk ook conflictgebieden. Wat is het doel van deze reizen?

We willen ervoor zorgen dat we technologie ontwerpen die gebaseerd is op een goed begrip van menselijke ervaringen. Een groot deel van onze methodologie is het sturen van teamleden het veld in om mensen te interviewen die in de frontlinie staan ​​van de uitdagingen die we proberen aan te pakken, of dat nu repressie of conflict is. Een van onze excursies was naar Irak, waar we oog in oog stonden met mensen die zich hadden aangesloten bij de terroristische groepering die bekend staat als ISIS en die vervolgens hebben verlaten. We wilden het radicaliseringsproces begrijpen, zowel de menselijke elementen als de rol die technologie speelde. We hoorden hoe mensen ISIS ontdekten, hoe mensen werden gerekruteerd en hoe technologie nuttig was voor de logistiek van hun reizen [om lid te worden van de groep].

Wat is de belangrijkste les die we hebben geleerd over het vermogen van ISIS om internet te gebruiken voor werving?

ISIS beheerst vrijwel veel media, van radio tot folders. Als het op internet aankomt, hebben ze de kracht van microtargeting echt begrepen. Ze creëren inhoud in een lange lijst van talen, waaronder Arabisch en Engels, maar het gaat maar door en gaat zelfs door en komt zelfs in het Chinees en Hebreeuws. De taal die me echt verbaasde om een ​​video te zien, was gebarentaal. Ze maken dus zeer lokaal wervingsmateriaal en gebruiken de algoritmen die beschikbaar zijn via sociale media om dit materiaal te verspreiden en mensen in alle hoeken van de wereld te bereiken.

Sommige van de inhoud die terroristische netwerken online plaatsen, moet duidelijk worden verwijderd. Maar hoe gaan we om met subtielere vormen van propaganda?

Er zijn zeker inhoudscategorieën waarvan je zeker wilt zijn dat ze het daglicht niet zien, zoals onthoofdingen en tutorials over het maken van bommen. Dan is er nog een hele reeks andere inhoud die niet echt pleit voor geweld, maar die mensen kan helpen op weg ernaartoe. Ons onderzoek was gericht op het begrijpen van de wervingsthema's die mensen ertoe brachten zich aan te melden bij ISIS. Het blijkt dat ze over het algemeen niet aangetrokken waren tot onthoofdingen; in plaats daarvan waren ze ervan overtuigd dat deze groep religieus legitiem was en dat de oorzaak van de jihad hun religieuze plicht was. ISIS gaf vorm aan het gesprek en stelde vragen waarop [het] schijnbaar overtuigende antwoorden had.

Ik denk niet dat iemand zich had voorgesteld dat we het niveau van intimidatie en haatspraak online zouden hebben dat we momenteel doen, en we moeten heel hard proberen om ervoor te zorgen dat we het voor zijn.

Hoe heeft u geprobeerd deze online radicalisering tegen te gaan?

Een van de afhaalpunten voor ons was dat timing cruciaal is. Tegen de tijd dat potentiële rekruten verkocht zijn aan de ideologie, is het te laat om ze te beïnvloeden; je moet ze bereiken als ze sympathiek zijn maar nog niet verkocht. Dus gingen we over op gerichte online advertenties. We hebben iets ontworpen dat de omleidingsmethode wordt genoemd, die gerichte advertenties gebruikt om mensen te bereiken die sympathie hebben voor ISIS maar nog niet toegewijd zijn, en ze doorverwijst naar online video's van gematigde geestelijken, overlopers en burgerjournalisten die hun radicalisering zouden kunnen afwenden.

Welke resultaten heeft deze methode opgeleverd?

De pilot, die acht weken duurde en in het Arabisch en Engels liep, bereikte 320.000 mensen. Het had een uitzonderlijk hoge klikfrequentie op de advertenties en zorgde voor een half miljoen minuten aan video-kijktijd. Gezien mensen niet meer dan een paar seconden besteden aan een video waarin ze niet geïnteresseerd zijn, is dat bemoedigend. Na onze pilot heeft YouTube de methode geïntegreerd in de zoekresultaten. De open-sourcemethodologie is ook overgenomen door anderen, zoals de Gen Next Foundation, en we blijven enkele nieuwe implementaties ondersteunen.

Jigsaw probeert ook online censuur aan te pakken. Hoe erg is dit probleem?

Als je de index van Freedom House hierover bekijkt, zeggen ze dat de situatie elk jaar erger wordt. Dat is echt ontmoedigend, omdat het in tegenspraak is met wat mensen die internet aan het ontwikkelen zijn ervoor willen. De situatie is zo volatiel. Als je burgerlijke onrust hebt, zoals onlangs in Iran, zie je het dilemma van repressieve regeringen over het al dan niet afsluiten van internet omdat [censurering] de bevolking ophitst en publieke aandacht en verontwaardiging trekt. Maar als de machthebbers zich bedreigd voelen, zullen ze censureren.

Wat kunnen bedrijven als Alphabet doen om dit tegen te gaan?

We voelen een heel grote verantwoordelijkheid om mensen te helpen toegang te krijgen tot informatie, vooral als er conflicten en repressie zijn. Een van onze producten is gericht op het beschermen van onafhankelijke media over de hele wereld tegen een soort censuuraanval genaamd distributed denial of service, of DDoS, die websites offline haalt door ze te overspoelen met verkeer. Het heet Project Shield. Het idee hiervoor kwam uit ons veldwerk. Ons team sprak met de Keniaanse verkiezingswaarnemingsgroep en hun site was uitgevallen op de dag van een belangrijke verkiezing. Google heeft een enorme infrastructuur en DDoS-beperkingsmogelijkheden van wereldklasse, waarvan Project Shield profiteert. Zonder dat websites hoeven te worden gehost met Google of Jigsaw, biedt het aan om verkeer te controleren voordat het op een server aankomt, zodat we het schadelijke verkeer kunnen opsporen en eruit filteren.

Laten we overschakelen naar het probleem van nepnieuws. Hoe kunnen we door de staat gesteunde desinformatie-inspanningen beter identificeren?

Verwant verhaal

Gerelateerd verhaal Yasmin Green, hoofd R&D voor Alphabet's Jigsaw, gebruikt technologie in de hoop de wereld een betere plek te maken. Het is niet makkelijk.

Het doel van deze campagnes is om ideeën en verhalen te planten via neppersonages en nieuwssites, en deze zaden vervolgens door de massa te laten bevruchten, zodat de gesprekken eruitzien alsof ze organisch zijn. De onderzoeksvraag die we onszelf hebben gesteld, is of er technische kenmerken zijn van gecoördineerde, geheime activiteit versus de meer organische activiteit die we online verwachten te zien. Als die er zijn, kunnen we deze gebruiken bij geautomatiseerde detectie.

We kijken hier naar verschillende dimensies. Gecoördineerde campagnes gaan meestal langer mee dan organische, en de betrokken mensen hebben de neiging om te wachten op instructies van hun meesters, dus er is soms een kleine vertraging voordat ze plotseling samen optreden. Die actoren zijn ook vaak verbonden in extreem hechte netwerken of clusters die er abnormaal uitzien. Er is ook een semantische dimensie. Deze campagnes gebruiken vaak vergelijkbare woorden en woordgroepen die een signaal kunnen zijn van gecentraliseerde controle.

Webbedrijven zijn bekritiseerd omdat ze niet genoeg doen om online haatzaaiende uitlatingen en intimidatie aan te pakken. Is die kritiek terecht?

Ik denk niet dat iemand zich had voorgesteld dat we het niveau van intimidatie en haatspraak online zouden hebben dat we momenteel doen, en we moeten heel hard proberen om ervoor te zorgen dat we het voor zijn.

Wat doet Jigsaw om online trollen te frustreren?

We hebben een team dat zich toelegt op hoe natuurlijke taalverwerking en machine learning kunnen worden gebruikt om online toxiciteit te identificeren en moderators en gemeenschappen te helpen deze aan te pakken. Er is een model dat we hebben ontwikkeld dat openbaar beschikbaar is, genaamd Perspective, en je kunt het vinden op www.perspectiveapi.com . Dit helpt u om opmerkingen te scoren op hun toxiciteitsniveau. Het onderzoeksteam zoekt naar manieren om een ​​ander niveau van granulariteit te bereiken, zodat we beter kunnen identificeren wat er gebeurt en hoe moderators dit kunnen controleren.

Er is veel bezorgdheid geweest dat vooringenomenheid in algoritmen bepaalde groepen in de samenleving zou kunnen schaden. Is dit iets waar jij ook op gefocust bent?

Ja. We besteden veel tijd aan het nadenken over hoe we ervoor kunnen zorgen dat we geen vooroordelen in onze AI in Perspective hebben die schadelijk kunnen zijn voor de doelen van dat project, namelijk het creëren van inclusieve en empathische gesprekken.

Je besteedt een groot deel van je leven aan de donkere kant van het internet. Bent u nog steeds optimistisch over het potentieel ervan?

Dat ben ik, maar we moeten innovatieve technologieën blijven ontwikkelen die kunnen helpen bij het aanpakken van deze echt moeilijke uitdagingen.

zich verstoppen