Hoe Facebook en Google wereldwijde desinformatie financieren

De techreuzen betalen miljoenen dollars aan de exploitanten van clickbait-pagina's, waarmee ze de verslechtering van informatie-ecosystemen over de hele wereld financieren.





licht en schaduw op de vloer

Getty

  • Karen Hao archiefpagina
20 november 2021

Birma, maart 2021.

Een maand na de val van de democratische regering.



Uw browser ondersteunt de videotag niet. Uw browser ondersteunt de videotag niet.

Een Facebook Live-video toonde honderden mensen die protesteerden tegen de militaire staatsgreep in de straten van Myanmar.

Het had bijna 50.000 aandelen en meer dan 1,5 miljoen views, in een land met iets meer dan 54 miljoen mensen.

Waarnemers, die de gebeurtenissen op de grond niet konden zien, gebruikten de beelden, samen met honderden andere live-feeds, om de zich ontvouwende situatie te volgen en te documenteren. (MIT Technology Review vervaagde de namen en afbeeldingen van de posters om hun veiligheid niet in gevaar te brengen.)



Maar minder dan een dag later zou dezelfde video meerdere keren opnieuw worden uitgezonden, elk met de claim live te zijn.

Midden in een enorme politieke crisis was er niet langer een manier om te onderscheiden wat echt was en wat niet.

In 2015 waren zes van de tien websites in Myanmar die de meeste betrokkenheid op Facebook kregen, afkomstig van legitieme media, volgens gegevens van CrowdTangle, een door Facebook beheerd hulpmiddel. Een jaar later bood Facebook (dat onlangs werd omgedoopt tot Meta) wereldwijde toegang tot Instant Articles, een programma dat uitgevers konden gebruiken om inkomsten te genereren met hun inhoud.



Een jaar na die uitrol waren legitieme uitgevers goed voor slechts twee van de top 10 uitgevers op Facebook in Myanmar. In 2018 waren ze goed voor nul. Alle betrokkenheid was in plaats daarvan naar nepnieuws- en clickbait-websites gegaan. In een land waar Facebook synoniem is met internet, overspoelde de laagwaardige inhoud andere informatiebronnen.

Het was tijdens deze snelle achteruitgang van de digitale omgeving van Myanmar dat een militante groep Rohingya – een overwegend islamitische etnische minderheid – in augustus 2017 een dozijn leden van de veiligheidstroepen aanviel en doodde. en het verspreiden van anti-moslimpropaganda, nepnieuwsartikelen die inspeelden op het sentiment gingen viraal. Ze beweerden dat moslims gewapend waren, dat ze zich verzamelden in menigten van 1.000 man sterk, dat ze om de hoek kwamen om je te vermoorden.

Het is vandaag de dag nog steeds niet duidelijk of het nepnieuws voornamelijk afkomstig was van politieke actoren of van financieel gemotiveerde. Maar hoe dan ook, de enorme hoeveelheid nepnieuws en clickbait werkte als brandstof voor de toch al gevaarlijk hoge etnische en religieuze spanningen. Het veranderde de publieke opinie en escaleerde het conflict, dat uiteindelijk leidde tot de dood van 10.000 Rohingya, volgens conservatieve schattingen, en de ontheemding van nog eens 700.000.



In 2018 heeft een onderzoek van de Verenigde Naties vastgesteld dat het geweld tegen de Rohingya een genocide vormde en dat Facebook een bepalende rol had gespeeld bij de wreedheden. Maanden later gaf Facebook toe dat het niet genoeg had gedaan om te voorkomen dat ons platform werd gebruikt om verdeeldheid aan te wakkeren en offline geweld aan te wakkeren.

De afgelopen weken hebben de onthullingen van de Facebook Papers, een verzameling interne documenten die door klokkenluider Frances Haugen aan het Congres en een consortium van nieuwsorganisaties is verstrekt, opnieuw bevestigd wat maatschappelijke groeperingen al jaren zeggen: Facebook's algoritmische versterking van opruiende inhoud , in combinatie met het feit dat het geen prioriteit geeft aan contentmoderatie buiten de VS en Europa, heeft de verspreiding van haatzaaiende uitlatingen en verkeerde informatie aangewakkerd, waardoor landen over de hele wereld gevaarlijk zijn gedestabiliseerd.

Maar er ontbreekt een cruciaal stuk in het verhaal. Facebook versterkt niet alleen desinformatie.

Het bedrijf financiert het ook.

Een MIT Technology Review onderzoek, gebaseerd op interviews met experts, data-analyses en documenten die niet zijn opgenomen in de Facebook Papers, heeft uitgewezen dat Facebook en Google miljoenen advertentiedollars betalen om clickbait-actoren te financieren, waardoor de verslechtering van informatie-ecosystemen over de hele wereld wordt aangewakkerd.

De anatomie van een clickbait-farm

Facebook lanceerde zijn Instant Articles-programma in 2015 met een handvol Amerikaanse en Europese uitgevers. Het bedrijf noemde het programma een manier om de laadtijden van artikelen te verbeteren en een geliktere gebruikerservaring te creëren.

Verwant verhaal

Hoe Facebook verslaafd raakte aan het verspreiden van verkeerde informatie

De AI-algoritmen van het bedrijf gaven het een onverzadigbare gewoonte voor leugens en haatzaaien. Nu kan de man die ze heeft gebouwd het probleem niet oplossen.

Dat was de openbare verkoop. Maar de verhuizing haalde ook gemakkelijk advertentiedollars van Google binnen. Vóór Instant Articles werden artikelen die op Facebook werden gepost, omgeleid naar een browser, waar ze werden geopend op de eigen website van de uitgever. De advertentieprovider, meestal Google, zou dan profiteren van advertentieweergaven of klikken. Met het nieuwe schema zouden artikelen rechtstreeks in de Facebook-app worden geopend en zou Facebook eigenaar worden van de advertentieruimte. Als een deelnemende uitgever er ook voor had gekozen om inkomsten te genereren met het advertentienetwerk van Facebook, Audience Network genaamd, zou Facebook advertenties in de verhalen van de uitgever kunnen invoegen en 30% op de inkomsten kunnen besparen.

Instant-artikelen vielen al snel uit de gratie bij de oorspronkelijke groep grote mainstream-uitgevers. Voor hen waren de uitbetalingen niet hoog genoeg in vergelijking met andere beschikbare vormen van inkomsten. Maar dat gold niet voor uitgevers in het Zuiden, waar Facebook mee begon accepteren in het programma in 2016 . In 2018 meldde het bedrijf uitbetalingen $1,5 miljard aan uitgevers en app-ontwikkelaars (die ook kunnen deelnemen aan Audience Network). In 2019 was dat cijfer bereikt meerdere miljarden .

In het begin voerde Facebook weinig kwaliteitscontrole uit op de soorten uitgevers die aan het programma deelnamen. Het ontwerp van het platform bestrafte gebruikers ook niet voldoende voor het plaatsen van identieke inhoud op Facebook-pagina's - sterker nog, het beloonde het gedrag. Het plaatsen van hetzelfde artikel op meerdere pagina's kan het aantal gebruikers dat erop heeft geklikt wel verdubbelen en advertentie-inkomsten genereren.

Clickbait-farms over de hele wereld grepen deze fout aan als een strategie - een die ze vandaag nog steeds gebruiken.

Een boerderij maakt een website of meerdere websites...

...voor het publiceren van voornamelijk geplagieerde inhoud.

Het registreert ze met Directe artikelen en Publiek netwerk ,

die advertenties in hun artikelen invoegt.

Vervolgens plaatst het die artikelen op een cluster van maar liefst tientallen Facebook-pagina's tegelijk.

Clickbait-acteurs doken van de ene op de andere dag op in Myanmar. Met het juiste recept voor het produceren van boeiende en suggestieve inhoud, zouden ze duizenden Amerikaanse dollars per maand aan advertentie-inkomsten kunnen genereren, of tien keer het gemiddelde maandsalaris, rechtstreeks door Facebook aan hen betaald.

Eerst een intern bedrijfsdocument gerapporteerd door MIT Technology Review in oktober , laat zien dat Facebook al in 2019 op de hoogte was van het probleem. De auteur, voormalig Facebook-datawetenschapper Jeff Allen, ontdekte dat deze exacte tactieken ervoor hadden gezorgd dat clickbait-boerderijen in Macedonië en Kosovo een jaar voor de verkiezingen van 2020 bijna een half miljoen Amerikanen bereikten . De boerderijen hadden ook hun weg gevonden naar Instant Articles en Ad Breaks, een soortgelijk programma voor het genereren van inkomsten voor het invoegen van advertenties in Facebook-video's. Op een gegeven moment gebruikte maar liefst 60% van de domeinen die deelnamen aan Instant Articles de spammy-schrijftactieken die worden gebruikt door clickbait-farms, aldus het rapport. Allen, gebonden aan een geheimhoudingsovereenkomst met Facebook, gaf geen commentaar op het rapport.

Ondanks druk van zowel interne als externe onderzoekers had Facebook moeite om het misbruik een halt toe te roepen. Ondertussen rolde het bedrijf meer programma's voor het genereren van inkomsten uit om nieuwe inkomstenstromen te ontsluiten. Naast Ad Breaks voor video's was er IGTV Monetization voor Instagram en InStream Ads voor Live video's. Die roekeloze push voor gebruikersgroei die we zagen - nu zien we een roekeloze push voor de groei van uitgevers, zegt Victoire Rio, een onderzoeker op het gebied van digitale rechten die de door platforms veroorzaakte schade bestrijdt in Myanmar en andere landen in het Zuiden.

MIT Technology Review heeft geconstateerd dat het probleem zich nu op wereldwijde schaal voordoet. Duizenden clickbait-operaties zijn ontstaan, voornamelijk in landen waar de uitbetalingen van Facebook een grotere en stabielere bron van inkomsten vormen dan andere vormen van beschikbaar werk. Sommige zijn teams van mensen, terwijl andere individuen zijn, bijgestaan ​​door goedkope geautomatiseerde tools die hen helpen bij het maken en verspreiden van artikelen op grote schaal. Ze zijn ook niet langer beperkt tot het publiceren van artikelen. Ze pushen Live-video's en voeren Instagram-accounts uit, waarmee ze rechtstreeks inkomsten genereren of gebruiken om meer verkeer naar hun sites te leiden.

Ook Google is schuldig. Het AdSense-programma voedde de boerderijen in Macedonië en Kosovo die zich richtten op het Amerikaanse publiek in de aanloop naar de presidentsverkiezingen van 2016. En het is AdSense dat nieuwe clickbait-acteurs op YouTube stimuleert om buitensporige inhoud en virale verkeerde informatie te plaatsen.

Veel clickbait-farms verdienen nu geld met zowel Instant Articles als AdSense en ontvangen uitbetalingen van beide bedrijven. En omdat de algoritmen van Facebook en YouTube boost wat gebruikers aanspreekt , hebben ze een informatie-ecosysteem gecreëerd waar inhoud die op het ene platform viraal gaat, vaak op het andere wordt gerecycled om de distributie en inkomsten te maximaliseren.

Deze acteurs zouden niet bestaan ​​zonder de platforms, zegt Rio.

Verwant verhaal

Trollenboerderijen bereikten voor de verkiezingen van 2020 140 miljoen Amerikanen per maand op Facebook, zo blijkt uit een intern rapport

Dit is niet normaal. Dit is niet gezond.

Als reactie op het gedetailleerde bewijs dat we aan elk bedrijf hebben geleverd van dit gedrag, betwistte Meta-woordvoerder Joe Osborne onze kernbevindingen en zei dat we het probleem verkeerd begrepen hadden. Hoe dan ook, we hebben jarenlang geïnvesteerd in het bouwen van nieuwe, door experts aangestuurde en schaalbare oplossingen voor deze complexe problemen, en zullen dat blijven doen, zei hij.

Google bevestigde dat het gedrag in strijd was met zijn beleid en beëindigde alle YouTube-kanalen die MIT Technology Review had geïdentificeerd als het verspreiden van verkeerde informatie. We werken er hard aan om kijkers te beschermen tegen clickbait of misleidende inhoud op onze platforms en hebben zwaar geïnvesteerd in systemen die zijn ontworpen om gezaghebbende informatie te verheffen, zei YouTube-woordvoerder Ivy Choi.

Clickbait-farms richten zich niet alleen op hun thuisland. In navolging van actoren uit Macedonië en Kosovo hebben de nieuwste operators zich gerealiseerd dat ze noch de lokale context, noch de taal van een land hoeven te begrijpen om politieke verontwaardiging om te zetten in inkomsten.

MIT Technology Review werkte samen met Allen, die nu een non-profitorganisatie leidt die de Integriteitsinstituut dat onderzoek doet naar platformmisbruik, om mogelijke clickbait-actoren op Facebook te identificeren. We hebben ons gericht op pagina's die opraken in Cambodja en Vietnam, twee van de landen waar clickbait-operaties nu inspelen op de situatie in Myanmar.

We hebben gegevens verkregen van CrowdTangle, wiens ontwikkelingsteam het bedrijf ging eerder dit jaar uit elkaar , en van Uitgeverslijsten van Facebook , die registreren welke uitgevers zijn geregistreerd in programma's voor het genereren van inkomsten. Allen schreef een aangepast clusteralgoritme om pagina's te vinden die inhoud op een zeer gecoördineerde manier plaatsen en zich richten op sprekers van talen die voornamelijk worden gebruikt buiten de landen waar de activiteiten zijn gevestigd. Vervolgens hebben we geanalyseerd welke clusters ten minste één pagina hadden geregistreerd in een programma voor het genereren van inkomsten of sterk reclame maakten voor inhoud van een pagina die bij een programma was geregistreerd.

We hebben in beide landen meer dan 2.000 pagina's gevonden die zich bezighouden met dit clickbait-achtige gedrag. (Dat kan een ondertelling zijn, omdat niet alle Facebook-pagina's worden gevolgd door CrowdTangle.) Velen hebben miljoenen volgers en bereiken waarschijnlijk nog meer gebruikers. In zijn rapport van 2019 ontdekte Allen dat: 75% van de gebruikers die werden blootgesteld aan clickbait-inhoud van boerderijen in Macedonië en Kosovo, hadden nog nooit een van de pagina's gevolgd. Het inhoudsaanbevelingssysteem van Facebook had het in plaats daarvan in hun nieuwsfeeds geduwd.

Toen MIT Technology Review Facebook een lijst van deze pagina's en een gedetailleerde uitleg van onze methodologie stuurde, noemde Osborne de analyse gebrekkig. Hoewel sommige pagina's hier misschien op onze uitgeverslijsten stonden, verdienden veel van hen niet echt inkomsten op Facebook, zei hij.

Deze cijfers geven inderdaad niet aan dat al deze pagina's advertentie-inkomsten hebben gegenereerd. In plaats daarvan is het een schatting, op basis van gegevens die Facebook openbaar heeft gemaakt, van het aantal pagina's dat is gekoppeld aan clickbait-actoren in Cambodja en Vietnam dat Facebook in aanmerking heeft genomen om inkomsten te genereren op het platform.

Osborne bevestigde ook dat meer van de door Cambodja beheerde clickbait-achtige pagina's die we vonden, rechtstreeks waren geregistreerd bij een van Facebook's programma's voor het genereren van inkomsten dan we eerder dachten. In onze analyse ontdekten we dat 35% van de pagina's in onze clusters dit in de afgelopen twee jaar had gedaan. De andere 65% zou hebben indirect genereerde advertentie-inkomsten door inhoud van de geregistreerde pagina sterk te promoten bij een breder publiek. Osborne zei dat in feite over: half van de pagina's die we vonden, of ongeveer 150 pagina's meer, was op een gegeven moment rechtstreeks geregistreerd bij een programma voor het genereren van inkomsten, voornamelijk Instant-artikelen.

Kort nadat we Facebook hadden benaderd, begonnen exploitanten van clickbait-pagina's in Myanmar op online forums te klagen dat hun pagina's waren opgestart vanuit Instant Articles. Osborne weigerde te reageren op onze vragen over de laatste handhavingsmaatregelen die het bedrijf heeft genomen.

Facebook heeft voortdurend geprobeerd deze acteurs uit zijn programma's te verwijderen. Slechts 30 van de door Cambodja beheerde pagina's genereren bijvoorbeeld nog steeds inkomsten, zei Osborne. Maar onze gegevens van de uitgeverslijsten van Facebook laten zien dat de handhaving vaak vertraagd en onvolledig is - clickbait-pagina's kunnen honderden dagen in programma's voor het genereren van inkomsten blijven voordat ze worden verwijderd. Dezelfde acteurs zullen ook nieuwe pagina's draaien zodra hun oude zijn gedemonetiseerd.

Allen is nu de code open sourcen vroeger moedigden we andere onafhankelijke onderzoekers aan om ons werk te verfijnen en erop voort te bouwen.

Overweeg om abonnee te worden om de journalistiek van MIT Technology Review te ondersteunen.

Met dezelfde methode hebben we de afgelopen twee jaar ook meer dan 400 in het buitenland gerunde pagina's gevonden die zich richten op voornamelijk Amerikaanse doelgroepen in clusters die in de uitgeverslijsten van Facebook verschenen. (We hebben geen pagina's opgenomen uit landen waar Engels de voertaal is.) De set bevat een cluster dat inkomsten genereert, deels vanuit Macedonië, gericht op vrouwen en de LGBTQ-gemeenschap. Het heeft acht Facebook-pagina's, waaronder twee geverifieerde pagina's met respectievelijk meer dan 1,7 miljoen en 1,5 miljoen volgers, en plaatst inhoud van vijf websites, elk geregistreerd bij Google AdSense en Audience Network. Het heeft ook drie Instagram-accounts, die inkomsten genereren via cadeauwinkels en samenwerkingen en door gebruikers naar dezelfde grotendeels geplagieerde websites te leiden. Beheerders van de Facebook-pagina's en Instagram-accounts hebben niet gereageerd op onze verzoeken om commentaar.

De LGBT News- en Women's Rights News-pagina's op Facebook posten identieke inhoud van vijf van haar eigen gelieerde sites die inkomsten genereren met Instant Articles en Google AdSense, evenals van andere nieuwskanalen waarmee het een betaalde samenwerking lijkt te hebben gehad.

Osborne zei dat Facebook de accounts nu onderzoekt nadat we ze onder de aandacht van het bedrijf hadden gebracht. Choi zei dat Google in het verleden AdSense-advertenties van honderden pagina's op deze sites heeft verwijderd vanwege beleidsschendingen, maar dat de sites zelf nog steeds inkomsten mogen genereren op basis van de regelmatige beoordelingen van het bedrijf.

Hoewel het mogelijk is dat de Macedoniërs die de pagina's beheren inderdaad geven om de Amerikaanse politiek en om vrouwen- en LGBTQ-rechten, genereert de inhoud onmiskenbaar inkomsten. Dit betekent dat wat ze promoten hoogstwaarschijnlijk wordt bepaald door wat wint en verliest met het nieuwsfeed-algoritme van Facebook.

De activiteit van een enkele pagina of een cluster van pagina's voelt misschien niet significant aan, zegt Camille François, een onderzoeker aan de Columbia University die georganiseerde desinformatiecampagnes op sociale media bestudeert. Maar wanneer honderden of duizenden acteurs hetzelfde doen, dezelfde inhoud versterken en miljoenen toeschouwers bereiken, kan dit de openbare conversatie beïnvloeden. Wat mensen zien als het huiselijke gesprek over een onderwerp, kan iets heel anders zijn, zegt François. Het is een stel betaalde mensen die doen alsof ze geen relatie met elkaar hebben, en optimaliseren wat ze moeten posten.

Osborne zei dat Facebook de afgelopen twee jaar verschillende nieuwe beleidsregels en handhavingsprotocollen heeft gemaakt om dit probleem aan te pakken, waaronder het bestraffen van pagina's die het ene land verlaten en zich gedragen alsof ze lokaal zijn voor een ander, evenals het bestraffen van pagina's die een publiek opbouwen op de basis van het ene onderwerp en vervolgens naar het andere. Maar zowel Allen als Rio zeggen dat de acties van het bedrijf er niet in zijn geslaagd de fundamentele mazen in het beleid en de ontwerpen van het platform te dichten - kwetsbaarheden die een wereldwijde informatiecrisis aanwakkeren.

Het treft in de eerste plaats landen buiten de VS, maar vormt ook op lange termijn een enorm risico voor de VS, zegt Rio. Het zal vrijwel overal ter wereld gevolgen hebben als er verhoogde gebeurtenissen zijn, zoals een verkiezing.

Desinformatie te huur

In reactie op de eerste rapportage van MIT Technology Review over het interne rapport van 2019 van Allen, dat we volledig gepubliceerd , David Agranovich, de directeur van wereldwijde dreigingsverstoring bij Facebook, getweet , De pagina's waarnaar hier wordt verwezen, zijn gebaseerd op ons eigen onderzoek uit 2019, zijn financieel gemotiveerde spammers, geen openlijke beïnvloedingsoperaties. Beide zijn serieuze uitdagingen, maar ze zijn anders. Ze samenvoegen helpt niemand. Osborne herhaalde dat we de twee groepen door elkaar haalden als reactie op onze bevindingen.

Maar desinformatie-experts zeggen dat het misleidend is om een ​​harde grens te trekken tussen financieel gemotiveerde spammers en politieke beïnvloedingsoperaties.

Er is een onderscheid in intentie: financieel gemotiveerde spammers zijn agnostisch over de inhoud die ze publiceren. Ze gaan waar de klikken en het geld zijn, waardoor het nieuwsfeed-algoritme van Facebook bepaalt welke onderwerpen ze hierna zullen behandelen. Politieke operaties zijn in plaats daarvan gericht op het pushen van een specifieke agenda.

Maar in de praktijk het maakt niet uit : in hun tactiek en impact zien ze er vaak hetzelfde uit. Op een gemiddelde dag kan een financieel gemotiveerde clickbait-site worden bevolkt met nieuws over beroemdheden, schattige dieren of zeer emotionele verhalen - allemaal betrouwbare drijfveren voor verkeer. Dan, wanneer politieke onrust toeslaat, drijven ze af naar hyperpartijdig nieuws, verkeerde informatie en verontwaardiging lokaas omdat het meer betrokkenheid krijgt.

De Macedonische paginacluster is een goed voorbeeld. Meestal promoot de inhoud vrouwen- en LGTBQ-rechten. Maar rond de tijd van gebeurtenissen zoals de verkiezingen van 2020, de opstand van 6 januari en de goedkeuring van de anti-abortuswet in Texas, versterkte de cluster de bijzonder scherpe politieke inhoud. Veel van zijn artikelen zijn op grote schaal verspreid door legitieme pagina's met enorme aanhang, waaronder die van Occupy Democrats, de Union of Concerned Scientists en Women's March Global.

Een voorbeeld van een zeer politiek artikel dat uiteindelijk is verwijderd van een van de vijf aangesloten sites van het cluster. Clickbait-sites verwijderen vaak oude artikelen van hun pagina's.

Politieke beïnvloedingsoperaties kunnen ondertussen content van beroemdheden en dieren posten om Facebook-pagina's met grote volgers op te bouwen. Vervolgens richten ze zich ook op de politiek tijdens gevoelige politieke evenementen, waarbij ze profiteren van het enorme publiek dat al tot hun beschikking staat.

Politieke agenten betalen soms ook financieel gemotiveerde spammers om propaganda op hun Facebook-pagina's uit te zenden, of kopen pagina's om ze opnieuw te gebruiken voor beïnvloedingscampagnes. Rio heeft al bewijs gezien van een zwarte markt waar clickbait-acteurs hun grote Facebook-publiek kunnen verkopen.

Met andere woorden, pagina's zien er onschuldig uit totdat ze dat niet zijn. We hebben niet-authentieke actoren in staat gesteld enorme aanhang te verzamelen voor grotendeels onbekende doeleinden, schreef Allen in het rapport.

Deze verschuiving heeft in Myanmar vele malen plaatsgevonden sinds de opkomst van clickbait-farms, met name tijdens de Rohingya-crisis en opnieuw in de aanloop naar en na de militaire staatsgreep van dit jaar. (Dit laatste werd versneld door gebeurtenissen die veel leken op die welke leidden tot de opstand van 6 januari in de VS, waaronder: wijdverbreide valse claims van een gestolen verkiezing .)

In oktober 2020 heeft Facebook een aantal pagina's en groepen verwijderd die zich bezighielden met gecoördineerd clickbait-gedrag in Myanmar. In een analyse van die activa, ontdekte Graphika, een onderzoeksbureau dat de verspreiding van informatie online bestudeert, dat de pagina’s voornamelijk gericht waren op nieuws en roddels over beroemdheden, maar politieke propaganda, gevaarlijke anti-moslimretoriek en covid-19-desinformatie tijdens belangrijke crisismomenten naar buiten duwden . Tientallen pagina's hadden elk meer dan 1 miljoen volgers, waarvan de grootste meer dan 5 miljoen bereikte.

Hetzelfde fenomeen deed zich voor in de Filippijnen in de aanloop naar de verkiezing van president Rodrigo Duterte in 2016. Duterte is vergeleken met Donald Trump vanwege zijn populistische politiek, bombastische retoriek en autoritaire neigingen. Tijdens zijn campagne verschoof een clickbait-farm, formeel geregistreerd als het bedrijf Twinmark Media, van het verslaan van beroemdheden en entertainment naar het promoten van hem en zijn ideologie.

Destijds werd algemeen aangenomen dat politici Twinmark hadden ingehuurd om een ​​invloedscampagne te voeren. Maar in interviews met journalisten en onderzoekers , gaven voormalige Twinmark-medewerkers toe dat ze gewoon op winst uit waren. Door te experimenteren ontdekten de medewerkers dat pro-Duterte content uitblonk tijdens een verhitte verkiezing. Ze betaalden zelfs andere beroemdheden en influencers om hun artikelen te delen om meer klikken te krijgen en meer advertentie-inkomsten te genereren, volgens onderzoek van media- en communicatiewetenschappers Jonathan Ong en Jason Vincent A. Cabañes.

In de laatste maanden van de campagne domineerde Duterte het politieke discours op sociale media. Facebook noemde hem zelf de onbetwiste koning van Facebook-gesprekken toen het ontdekte dat hij het onderwerp was van 68% van alle verkiezingsgerelateerde discussies , vergeleken met 46% voor zijn volgende naaste rivaal.

Drie maanden na de verkiezingen, Maria Ressa, CEO van het mediabedrijf Rappler, die dit jaar de Nobelprijs voor de Vrede won voor haar werk in de strijd tegen desinformatie, een stuk gepubliceerd beschrijft hoe een concert van gecoördineerde clickbait en propaganda op Facebook de publieke opinie over belangrijke kwesties verschuift.

Het is een strategie van 'dood door duizend bezuinigingen' - een afbrokkeling van feiten, met behulp van halve waarheden die een alternatieve realiteit fabriceren door de kracht van bots en nepaccounts op sociale media samen te voegen om echte mensen te manipuleren, schreef ze.

In 2019, Facebook eindelijk neergehaald 220 Facebook-pagina's, 73 Facebook-accounts en 29 Instagram-accounts gekoppeld aan Twinmark Media. Tegen die tijd hadden Facebook en Google de boerderij al $ 8 miljoen betaald ( 400 miljoen Filippijnse pesos ).

Noch Facebook noch Google bevestigden dit bedrag. Meta's Osborne betwistte de karakterisering dat Facebook de verkiezingen had beïnvloed.

Een evoluerende bedreiging

Facebook heeft in de eerste helft van 2019 een grote inspanning geleverd om clickbait-farms uit Instant Articles en Ad Breaks te verwijderen, volgens het interne rapport van Allen. Het begon met het controleren van uitgevers op originaliteit van de inhoud en het demoniseren van degenen die grotendeels niet-originele inhoud plaatsten.

Maar deze geautomatiseerde controles zijn beperkt. Ze richten zich primair op het beoordelen van de originaliteit van video's, en niet op bijvoorbeeld of een artikel is geplagieerd. Zelfs als ze dat zouden doen, zouden dergelijke systemen slechts zo goed zijn als de kunstmatige intelligentie van het bedrijf in een bepaalde taal. Landen met talen die niet worden geprioriteerd door de AI-onderzoeksgemeenschap krijgen veel minder of helemaal geen aandacht. In het geval van Ethiopië zijn er 100 miljoen mensen en zes talen. Facebook ondersteunt slechts twee van die talen voor integriteitssystemen, zei Haugen tijdens haar getuigenis voor het Congres.

Rio zegt dat er ook mazen zijn in de handhaving. Overtreders worden uit het programma gehaald, maar niet van het platform, en ze kunnen in beroep gaan om te worden hersteld. De beroepen worden behandeld door een ander team dan het team dat de handhaving uitvoert en voert alleen elementaire actuele controles uit voordat de acteur wordt hersteld. (Facebook heeft niet gereageerd op vragen over waar deze controles eigenlijk naar zoeken.) Als gevolg hiervan kan het enkele uren duren voordat een clickbait-operator keer op keer weer deelneemt na verwijdering. Op de een of andere manier praten niet alle teams met elkaar, zegt ze.

Zo raakte Rio in maart van dit jaar in paniek. Een maand nadat het leger de voormalige democratische leider Aung San Suu Kyi had gearresteerd en de controle over de regering had overgenomen, kwamen demonstranten nog steeds gewelddadig in botsing met het nieuwe regime. Het leger sneed sporadisch de toegang tot internet en omroepnetwerken af, en Rio was doodsbang voor de veiligheid van haar vrienden in het land.

Ze begon ernaar te zoeken in Facebook Live-video's. Mensen keken echt actief naar deze video's, omdat je zo je dierbaren in de gaten houdt, zegt ze. Ze was niet bezorgd om te zien dat de video's afkomstig waren van pagina's met geloofwaardigheidsproblemen; ze geloofde dat de streamers valse pagina's gebruikten om hun anonimiteit te beschermen.

Toen gebeurde het onmogelijke: ze zag dezelfde Live-video twee keer. Ze herinnerde het zich omdat het huiveringwekkend was: honderden kinderen, die er net 10 uitzagen, in een rij met hun handen op hun hoofd, in militaire vrachtwagens geladen.

Toen ze zich erin verdiepte, ontdekte ze dat de video's helemaal niet live waren. Live video's zijn bedoeld om een ​​realtime uitzending aan te geven en bevatten belangrijke metadata over de tijd en plaats van de activiteit. Deze video's waren van elders gedownload en opnieuw uitgezonden op Facebook met behulp van tools van derden om ze op livestreams te laten lijken.

Verwant verhaal

Ze riskeerde alles om Facebook te ontmaskeren. Nu vertelt ze haar verhaal.

Sophie Zhang, een voormalig datawetenschapper bij Facebook, onthulde dat het wereldwijde politieke manipulatie mogelijk maakt en weinig heeft gedaan om het te stoppen.

Het waren er honderden, met tienduizenden opdrachten en honderdduizenden views. Begin november vond MIT Technology Review tientallen dubbele nep Live-video's van dit tijdsbestek dat nog steeds actueel is. Een dubbel paar met respectievelijk meer dan 200.000 en 160.000 views, uitgeroepen in het Birmaans, ik ben de enige die live vanuit het hele land in realtime uitzendt. Facebook heeft er een aantal verwijderd nadat we ze onder zijn aandacht hadden gebracht, maar er zijn er nog tientallen, evenals de pagina's die ze hebben gepost. Osborne zei dat het bedrijf op de hoogte is van het probleem en het afgelopen jaar deze nep-Levens en hun verspreiding aanzienlijk heeft verminderd.

Ironisch genoeg, meent Rio, zijn de video's waarschijnlijk geript van beelden van de crisis die naar YouTube zijn geüpload als bewijs van mensenrechten. Met andere woorden, de scènes komen inderdaad uit Myanmar, maar ze werden allemaal gepost vanuit Vietnam en Cambodja.

In het afgelopen halfjaar heeft Rio verschillende paginaclusters gevolgd en geïdentificeerd die uit Vietnam en Cambodja zijn opgelopen. Velen gebruikten nep-livevideo's om snel hun volgersaantal op te bouwen en kijkers ertoe aan te zetten zich aan te sluiten bij Facebook-groepen die zich vermomd als pro-democratische gemeenschappen. Rio maakt zich nu zorgen dat Facebook's nieuwste uitrol van in-stream advertenties in livevideo's clickbait-acteurs zal aanzetten om ze te vervalsen. Een Cambodjaanse cluster met 18 pagina's begon zeer schadelijke politieke verkeerde informatie te posten en bereikte in vier maanden een totaal van 16 miljoen engagementen en een publiek van 1,6 miljoen. Facebook heeft in maart alle 18 pagina's offline gehaald, maar er blijven nieuwe clusters verschijnen, terwijl andere blijven bestaan.

Voor zover Rio weet, spreken deze Vietnamese en Cambodjaanse acteurs geen Birmaans. Ze begrijpen waarschijnlijk de Birmese cultuur of de politiek van het land niet. Het komt erop neer dat ze dat niet nodig hebben. Niet wanneer ze hun inhoud stelen.

Sindsdien heeft Rio verschillende privé-Facebook- en Telegram-groepen van de Cambodjanen gevonden (een met meer dan 3.000 personen), waar ze tools en tips uitwisselen over de beste strategieën om geld te verdienen. MIT Technology Review beoordeelde de documenten, afbeeldingen en video's die ze had verzameld en huurde een Khmer-vertaler in om een ​​instructievideo te interpreteren die kijkers stap voor stap door een clickbait-workflow leidt.

Het materiaal laat zien hoe de Cambodjaanse operators onderzoek doen naar de best presterende inhoud in elk land en deze plagiaat plegen voor hun clickbait-websites. Eén Google Drive-map die binnen de community wordt gedeeld, bevat twee dozijn spreadsheets met links naar de populairste Facebook-groepen in 20 landen, waaronder de VS, het VK, Australië, India, Frankrijk, Duitsland, Mexico en Brazilië.

De instructievideo laat ook zien hoe ze de meest virale YouTube-video's in verschillende talen vinden en een geautomatiseerde tool gebruiken om ze allemaal om te zetten in een artikel voor hun site. We vonden 29 YouTube-kanalen die politieke verkeerde informatie verspreidden over de huidige politieke situatie in Myanmar, bijvoorbeeld die werden omgezet in clickbait-artikelen en opnieuw werden verspreid onder een nieuw publiek op Facebook.

Een van de YouTube-kanalen die politieke verkeerde informatie verspreidt in Myanmar. Google heeft het uiteindelijk verwijderd.

Nadat we de kanalen onder zijn aandacht hadden gebracht, beëindigde YouTube ze allemaal wegens schending van de communityrichtlijnen, waaronder zeven waarvan het vaststelde dat ze deel uitmaakten van gecoördineerde beïnvloedingsoperaties in verband met Myanmar. Choi merkte op dat YouTube eerder ook was gestopt met het weergeven van advertenties op bijna 2.000 video's op deze kanalen. We blijven onze platforms actief volgen om te voorkomen dat kwaadwillenden ons netwerk willen misbruiken voor winst, zei ze.

Dan zijn er nog andere tools, waaronder een waarmee vooraf opgenomen video's kunnen worden weergegeven als nep-Facebook Live-video's. Een ander genereert willekeurig profieldetails voor Amerikaanse mannen , inclusief afbeelding, naam, verjaardag, burgerservicenummer, telefoonnummer en adres, dus nog een andere tool kan nep-Facebook-accounts massaal produceren met behulp van een deel van die informatie.

Het is nu zo eenvoudig om te doen dat veel Cambodjaanse acteurs solo opereren. Rio noemt ze micro-ondernemers. In het meest extreme scenario heeft ze gezien dat individuen maar liefst 11.000 Facebook-accounts zelf beheren.

Succesvolle micro-ondernemers leiden ook anderen op om dit werk in hun gemeenschap te doen. Het wordt nog erger, zegt ze. 'Iedere Joe ter wereld zou je informatieomgeving kunnen beïnvloeden zonder dat je het doorhebt.

Winst boven veiligheid

Tijdens haar Senaatsverklaring in oktober van dit jaar benadrukte Haugen de fundamentele tekortkomingen van Facebook's op inhoud gebaseerde benadering van platformmisbruik. De huidige strategie, gericht op wat wel en niet op het platform kan verschijnen, kan alleen reactief en nooit alomvattend zijn, zei ze. Het vereist niet alleen dat Facebook elke mogelijke vorm van misbruik opsomt, maar het vereist ook dat het bedrijf bekwaam is in het modereren in elke taal. Facebook heeft in beide opzichten gefaald - en de meest kwetsbare mensen ter wereld hebben de hoogste prijs betaald, zei ze.

De belangrijkste boosdoener, zei Haugen, is de wens van Facebook om de betrokkenheid te maximaliseren, waardoor het algoritme en het platformontwerp een gigantische megafoon zijn geworden voor haatzaaiende uitlatingen en verkeerde informatie. Een MIT Technology Review-onderzoek van eerder dit jaar, op basis van tientallen interviews met Facebook-managers, huidige en voormalige werknemers, branchegenoten en externe experts, bevestigt deze karakterisering.

Haar getuigenis weergalmde ook wat Allen in zijn rapport schreef - en wat Rio en andere desinformatie-experts herhaaldelijk hebben gezien tijdens hun onderzoek. Voor clickbait-farms is deelname aan de programma's voor het genereren van inkomsten de eerste stap, maar hoeveel ze verzilveren, hangt af van in hoeverre de inhoudaanbevelingssystemen van Facebook hun artikelen stimuleren. Ze zouden niet gedijen, noch zouden ze dergelijke schadelijke inhoud plagiaat plegen, als hun duistere tactieken het niet zo goed deden op het platform.

Als gevolg hiervan is het verwijderen van de boerderijen zelf niet de oplossing: zeer gemotiveerde acteurs zullen altijd nieuwe websites en nieuwe pagina's kunnen opzetten om meer geld te verdienen. In plaats daarvan zijn het de algoritmen en beloningsmechanismen voor inhoud die moeten worden aangepakt.

In zijn rapport stelde Allen voor: een mogelijke manier Facebook zou dit kunnen doen: door gebruik te maken van wat bekend staat als een op grafieken gebaseerde autoriteitsmaatstaf om inhoud te rangschikken. Dit zou pagina's van hogere kwaliteit, zoals nieuws en media, versterken en pagina's van lagere kwaliteit, zoals clickbait, verminderen, waardoor de huidige trend wordt omgekeerd.

Haugen benadrukte dat het falen van Facebook om zijn platform te repareren niet te wijten was aan gebrek aan oplossingen, tools of capaciteit. Facebook kan veranderen, maar gaat dat duidelijk niet alleen doen, zei ze. Mijn angst is dat zonder actie het verdeeldheid zaaiende en extremistische gedrag dat we vandaag zien slechts het begin is. Wat we in Myanmar zagen en nu in Ethiopië zien, zijn slechts de eerste hoofdstukken van een verhaal dat zo angstaanjagend is dat niemand het einde ervan wil lezen.

(Osborne zei dat Facebook tegenwoordig een fundamenteel andere benadering heeft van Myanmar met meer expertise in de mensenrechtenkwesties van het land en een toegewijd team en technologie om inbreukmakende inhoud, zoals haatzaaiende uitlatingen, in het Birmaans op te sporen.)

In oktober zei de vertrekkende speciale VN-gezant voor Myanmar dat het land... verworden tot burgeroorlog . Sindsdien zijn duizenden mensen gevlucht naar buurlanden als Thailand en India. Vanaf half november bleven clickbait-acteurs elk uur nepnieuws posten. In één post was de democratische leider, Moeder Suu, vermoord. In een andere was ze eindelijk bevrijd.

Speciale dank aan ons team. Ontwerp en ontwikkeling door Rachel Stein en Andre Vitorio. Art direction en productie door Emily Luong en Stephanie Arnett. Bewerking door Niall Firth en Mat Honan. Feitencontrole door Matt Mahoney. Kopieerbewerking door Linda Lowenthal.

Correctie: In een eerdere versie van het artikel stond ten onrechte dat clickbait-acteurs in Cambodja, nadat we contact hadden opgenomen met Facebook, op online forums begonnen te klagen dat ze uit Instant Articles waren geboot. De acteurs waren eigenlijk in Myanmar.