Trollenboerderijen bereikten voor de verkiezingen van 2020 140 miljoen Amerikanen per maand op Facebook, zo blijkt uit een intern rapport

MIT Technology Review | Envato-elementen

Bijwerken: Nadat dit verhaal was gepubliceerd, heeft Facebook twee van de vijf trollenboerderijpagina's verwijderd die we hebben geïdentificeerd.

In de aanloop naar de verkiezingen van 2020, de meest omstreden in de geschiedenis van de VS, werden de populairste pagina's van Facebook voor christelijke en zwart-Amerikaanse inhoud beheerd door Oost-Europese trollenboerderijen. Deze pagina's maakten deel uit van een groter netwerk dat samen bijna de helft van alle Amerikanen bereikte, volgens een intern bedrijfsrapport, en bereikten dat bereik niet door de keuze van de gebruiker, maar voornamelijk als resultaat van Facebook's eigen platformontwerp en engagement-hongerige algoritme.

Verwant verhaal

Hoe Facebook verslaafd raakte aan het verspreiden van verkeerde informatie

De AI-algoritmen van het bedrijf gaven het een onverzadigbare gewoonte voor leugens en haatzaaien. Nu kan de man die ze heeft gebouwd het probleem niet oplossen.

Uit het rapport, geschreven in oktober 2019 en verkregen door MIT Technology Review van een voormalige Facebook-medewerker die niet betrokken was bij het onderzoek, bleek dat Facebook na de verkiezingen van 2016 geen prioriteit had gegeven aan fundamentele veranderingen in de manier waarop zijn platform informatie promoot en verspreidt. Het bedrijf volgde in plaats daarvan een whack-a-mol-strategie die inhield dat de activiteiten van slechte actoren werden gecontroleerd en vernietigd wanneer ze zich met politiek discours bezighielden, en een aantal vangrails toevoegt die het ergste van het ergste voorkomen.

Maar deze aanpak deed weinig om het onderliggende probleem op te lossen, merkte het rapport op. Trollenboerderijen - geprofessionaliseerde groepen die op een gecoördineerde manier werken om provocerende inhoud, vaak propaganda, op sociale netwerken te plaatsen - bouwden nog steeds een enorm publiek op door netwerken van Facebook-pagina's te beheren. Hun inhoud bereikte 140 miljoen Amerikaanse gebruikers per maand, van wie 75% nog nooit een van de pagina's had gevolgd. Ze zagen de inhoud omdat het inhoudsaanbevelingssysteem van Facebook het in hun nieuwsfeeds had gepusht.

In plaats van dat gebruikers ervoor kiezen inhoud van deze actoren te ontvangen, is het ons platform dat ervoor kiest [deze trollenboerderijen] een enorm bereik te geven, schreef de auteur van het rapport, Jeff Allen, een voormalig senior datawetenschapper bij Facebook.

Joe Osborne, een Facebook-woordvoerder, zei in een verklaring dat het bedrijf deze onderwerpen al had onderzocht ten tijde van het rapport van Allen, en voegde eraan toe: Sinds die tijd hebben we teams opgericht, nieuw beleid ontwikkeld en samengewerkt met branchegenoten om deze netwerken. We hebben agressieve handhavingsmaatregelen genomen tegen dit soort buitenlandse en binnenlandse niet-authentieke groepen en hebben de resultaten elk kwartaal openbaar gedeeld.

Tijdens het factchecken van dit verhaal kort voor publicatie, ontdekte MIT Technology Review dat vijf van de in het rapport genoemde trollenboerderijen nog steeds actief waren.

Dit is de grootste trollenboerderijpagina die zich in oktober 2019 richtte op Afro-Amerikanen. Hij blijft nog steeds actief op Facebook.

Uit het rapport bleek dat trollenboerderijen dezelfde demografische groepen bereikten die werden uitgekozen door het door het Kremlin gesteunde Internet Research Agency (IRA) tijdens de verkiezingen van 2016, die zich hadden gericht op christenen, zwarte Amerikanen en inheemse Amerikanen. een 2018 BuzzFeed News-onderzoek ontdekte dat ten minste één lid van de Russische IRA, aangeklaagd wegens vermeende inmenging in de Amerikaanse verkiezingen van 2016, ook Macedonië had bezocht rond de opkomst van zijn eerste trollenboerderijen, hoewel het geen concreet bewijs van een verband vond. (Facebook zei dat zijn onderzoeken ook geen verband hadden gevonden tussen de IRA en Macedonische trollenboerderijen.)

Dit is niet normaal. Dit is niet gezond, schreef Allen. We hebben niet-authentieke acteurs in staat gesteld om enorme aanhang te verzamelen voor grotendeels onbekende doeleinden ... Het feit dat acteurs met mogelijke banden met de IRA toegang hebben tot enorme publieksaantallen in dezelfde demografische groepen waarop de IRA zich richt, vormt een enorm risico voor de Amerikaanse verkiezingen van 2020 .

Zolang trollenboerderijen succes vonden in het gebruik van deze tactieken, zou elke andere slechte acteur dat ook kunnen, vervolgde hij: als de trollenboerderijen 30 miljoen Amerikaanse gebruikers bereiken met inhoud gericht op Afro-Amerikanen, zouden we helemaal niet verbaasd moeten zijn als we de IRA ontdekken. heeft daar momenteel ook een groot publiek.

Allen schreef het rapport als de vierde en laatste aflevering van een anderhalf jaar durende poging om trollenboerderijen te begrijpen. Hij verliet het bedrijf diezelfde maand, deels uit frustratie dat de leiding zijn onderzoek effectief had genegeerd, aldus de voormalige Facebook-medewerker die het rapport aanleverde. Allen weigerde commentaar te geven.

Het rapport onthult de alarmerende stand van zaken waarin Facebook-leiders jarenlang het platform verlieten, ondanks herhaalde publieke beloften om buitenlandse verkiezingsinmenging agressief aan te pakken. MIT Technology Review stelt het volledige rapport beschikbaar, waarbij de namen van de werknemers zijn geredigeerd, omdat dit in het algemeen belang is.

De onthullingen zijn onder meer:

• Vanaf oktober 2019 werden ongeveer 15.000 Facebook-pagina's met een meerderheidspubliek in de VS weggestuurd uit Kosovo en Macedonië, bekende slechte acteurs tijdens de verkiezingen van 2016.
• Gezamenlijk bereikten die trollenboerderij-pagina's - die het rapport voor vergelijkingsdoeleinden als één enkele pagina behandelt - maandelijks 140 miljoen Amerikaanse gebruikers en wekelijks 360 miljoen wereldwijde gebruikers. Walmart's pagina bereikte het op een na grootste Amerikaanse publiek met 100 miljoen.
• De trollenboerderijpagina's zijn ook gecombineerd om het volgende te vormen:
  • de grootste christelijk-Amerikaanse pagina op Facebook, 20 keer groter dan de op één na grootste - met maandelijks 75 miljoen Amerikaanse gebruikers, van wie 95% nog nooit een van de pagina's had gevolgd.
  • de grootste Afro-Amerikaanse pagina op Facebook, drie keer groter dan de op één na grootste, met maandelijks 30 miljoen Amerikaanse gebruikers, van wie 85% nog nooit een van de pagina's had gevolgd.
  • de op een na grootste Native American-pagina op Facebook, met maandelijks 400.000 gebruikers, van wie 90% nog nooit een van de pagina's had gevolgd.
  • de op vier na grootste vrouwenpagina op Facebook, met maandelijks 60 miljoen Amerikaanse gebruikers, van wie 90% nog nooit een van de pagina's had gevolgd.
• Trollenboerderijen treffen voornamelijk de VS, maar richten zich ook op het VK, Australië, India en Midden- en Zuid-Amerikaanse landen.
• Facebook heeft meerdere onderzoeken uitgevoerd die bevestigen dat content die meer kans maakt op gebruikersbetrokkenheid (vind-ik-leuks, reacties en shares) waarschijnlijker is van een type waarvan bekend is dat het slecht is. Toch is het bedrijf doorgegaan met het rangschikken van inhoud in de nieuwsfeeds van gebruikers op basis van wat de hoogste betrokkenheid zal krijgen.
• Facebook verbiedt pagina's om inhoud te plaatsen die alleen is gekopieerd en geplakt van andere delen van het platform, maar handhaaft het beleid niet tegen bekende kwaadwillenden. Dit maakt het gemakkelijk voor buitenlandse acteurs die de lokale taal niet spreken om volledig gekopieerde inhoud te plaatsen en toch een enorm publiek te bereiken. Op een gegeven moment ging maar liefst 40% van de paginaweergaven op Amerikaanse pagina's naar pagina's met voornamelijk niet-originele inhoud of materiaal van beperkte originaliteit.
• Trollfarms maakten eerder hun weg naar Facebook's Instant Articles en Ad Breaks-partnerprogramma's, die zijn ontworpen om nieuwsorganisaties en andere uitgevers te helpen inkomsten te genereren met hun artikelen en video's. Op een gegeven moment, dankzij een gebrek aan elementaire kwaliteitscontroles, ging maar liefst 60% van de Instant Article-lezingen naar inhoud die van elders was geplagieerd. Dit maakte het gemakkelijk voor trollenboerderijen om zich onopgemerkt te mengen en zelfs betalingen van Facebook te ontvangen.

Hoe Facebook trollenboerderijen mogelijk maakt en hun publiek laat groeien

Het rapport kijkt specifiek naar trollenboerderijen in Kosovo en Macedonië, die worden gerund door mensen die de Amerikaanse politiek niet noodzakelijkerwijs begrijpen. Maar vanwege de manier waarop de beloningssystemen voor nieuwsfeeds van Facebook zijn ontworpen, kunnen ze nog steeds een aanzienlijke impact hebben op het politieke discours.

Verwant verhaal

Ze riskeerde alles om Facebook te ontmaskeren. Nu vertelt ze haar verhaal.

Sophie Zhang, een voormalig datawetenschapper bij Facebook, onthulde dat het wereldwijde politieke manipulatie mogelijk maakt en weinig heeft gedaan om het te stoppen.

In het rapport identificeert Allen drie redenen waarom deze pagina's zo'n groot publiek kunnen bereiken. Ten eerste bestraft Facebook pagina's niet voor het plaatsen van volledig onoriginele inhoud. Als iets eerder viraal is gegaan, zal het waarschijnlijk weer viraal gaan wanneer het een tweede keer wordt gepost. Dit maakt het voor iedereen heel gemakkelijk om een ​​enorme aanhang op te bouwen onder bijvoorbeeld zwarte Amerikanen. Slechte acteurs kunnen eenvoudig virale inhoud kopiëren van pagina's van zwarte Amerikanen, of zelfs Reddit en Twitter, en deze op hun eigen pagina plakken - of soms tientallen pagina's.

Ten tweede pusht Facebook boeiende inhoud op pagina's naar mensen die ze niet volgen. Wanneer vrienden van gebruikers reageren op berichten op een van deze pagina's of deze opnieuw delen, zien die gebruikers dit ook in hun nieuwsfeeds. Hoe meer de inhoud van een pagina wordt becommentarieerd of gedeeld, hoe meer deze verder gaat dan zijn volgers. Dit betekent dat trollenboerderijen, waarvan de strategie gericht is op het opnieuw plaatsen van de meest boeiende inhoud, een enorm vermogen hebben om nieuwe doelgroepen te bereiken.

Ten derde duwt het rankingsysteem van Facebook boeiendere inhoud hoger in de nieuwsfeeds van gebruikers. Voor het grootste deel hebben de mensen die trollenboerderijen runnen eerder financiële dan politieke motieven; ze posten wat de meeste betrokkenheid oplevert, met weinig aandacht voor de daadwerkelijke inhoud. Maar omdat verkeerde informatie, clickbait en politiek verdeeldheid zaaiende inhoud een grotere kans heeft om een ​​hoge mate van betrokkenheid te krijgen (zoals Facebook's eigen interne analyses erkennen), worden trollenboerderijen aangetrokken om er in de loop van de tijd meer van te posten, aldus het rapport.

Als gevolg hiervan werden in oktober 2019 alle 15 van de toppagina's die gericht waren op christen-Amerikanen, 10 van de top 15 Facebook-pagina's die gericht waren op zwarte Amerikanen en vier van de top 12 op Facebook-pagina's gericht op inheemse Amerikanen beheerd door trollenboerderijen.

Ons platform heeft de grootste stem in de christelijk-Amerikaanse gemeenschap gegeven aan een handvol slechte acteurs, die, op basis van hun mediaproductiepraktijken, nog nooit naar de kerk zijn geweest, schreef Allen. Ons platform heeft de grootste stem in de Afro-Amerikaanse gemeenschap gegeven aan een handvol slechte acteurs, die op basis van hun mediaproductiepraktijken nog nooit interactie hebben gehad met een Afro-Amerikaan.

Verwant verhaal

Review: waarom Facebook zichzelf nooit kan repareren

In An Ugly Truth onthullen verslaggevers Sheera Frenkel en Cecilia Kang de fundamentele tekortkomingen van Facebook door middel van een gedetailleerd verslag van de jaren tussen twee Amerikaanse verkiezingen.

Het zal me altijd als diep raar overkomen ... en echt huiveringwekkend, schreef hij. Het lijkt vrij duidelijk dat totdat die situatie kan worden verholpen, we altijd ernstige tegenwind zullen voelen bij het proberen onze missie te volbrengen.

Het rapport suggereerde ook een mogelijke oplossing. Dit is verre van de eerste keer dat de mensheid heeft gevochten tegen slechte actoren in onze media-ecosystemen, schreef hij, verwijzend naar Google's gebruik van wat bekend staat als een op grafieken gebaseerde autoriteitsmaatstaf - die de kwaliteit van een webpagina beoordeelt op basis van hoe vaak deze citeert en wordt geciteerd door andere kwaliteitswebpagina's - om slechte acteurs in de zoekresultaten te degraderen.

We hebben onze eigen implementatie van een op grafieken gebaseerde autoriteitsmaatregel, vervolgde hij. Als het platform meer aandacht zou besteden aan deze bestaande statistiek bij het rangschikken van pagina's, zou het kunnen helpen de verontrustende trend om te buigen waarin pagina's het breedste publiek bereiken.

Wanneer de ranglijst van Facebook prioriteit geeft aan betrokkenheid, verslaan trollenboerderijpagina's authentieke pagina's, schreef Allen. Maar 90% van de Troll Farm-pagina's hebben precies 0 Graph Authority ... [Authentieke pagina's] winnen duidelijk.

Systemische problemen

Een zoektocht naar alle pagina's met trollenboerderijen die in het rapport worden vermeld, onthult dat er bijna twee jaar later nog steeds vijf actief zijn:

• Een pagina genaamd My Baby Daddy Ain't Shit, de grootste Facebook-pagina gericht op Afro-Amerikanen in oktober 2019.
• Een pagina genaamd Savage Hood, gericht op Afro-Amerikanen.
• Een pagina genaamd Hood Videos, gericht op Afro-Amerikanen.
• Een pagina met de naam Doel van het leven, gericht op christenen.
• Een pagina genaamd Eagle Spirit, gericht op indianen.

Een trollenboerderijpagina gericht op christelijke Amerikanen.

Facebook's recente controversiële Rapport Veelbekeken inhoud suggereert dat enkele van de kernkwetsbaarheden die de trollenboerderijen exploiteerden, ook blijven bestaan. Vijftien van de 19 meest bekeken berichten in het rapport werden geplagieerd van andere berichten die eerder viraal waren gegaan op Facebook of een ander platform, volgens een analyse van Casey Newton van The Verge.

Samantha Bradshaw, een postdoctoraal onderzoeker aan de Stanford University die de kruising van desinformatie, sociale media en democratie bestudeert, zegt dat het rapport veel van de diepere systemische problemen met het platform en hun algoritme aan de orde stelt in de manier waarop ze bepaalde soorten van inhoud aan bepaalde gebruikers, allemaal alleen gebaseerd op deze onderliggende waarde van groei. Als die niet worden opgelost, zullen ze vervormde, economische prikkels blijven creëren voor slechte actoren, voegt ze eraan toe: dat is het probleem.

Lees hier het volledige rapport:

zich verstoppen