211service.com
De klokkenluider van Facebook zegt dat zijn algoritmen gevaarlijk zijn. Dit is waarom.
Facebook-klokkenluider Frances Haugen getuigt tijdens een Senaatscommissie op 5 oktober. Drew Angerer/Getty Images
Op zondagavond, de primaire bron voor de Facebook-bestanden van Wall Street Journal , een onderzoeksserie gebaseerd op interne Facebook-documenten, onthulde haar identiteit in een aflevering van 60 minuten .
Frances Haugen, een voormalig productmanager bij het bedrijf, zegt dat ze naar voren kwam nadat ze zag dat het leiderschap van Facebook herhaaldelijk prioriteit gaf aan winst boven veiligheid.
Voordat ze in mei van dit jaar stopte, kamde ze Facebook Workplace door, het interne sociale-medianetwerk van het bedrijf, en verzamelde een breed scala aan interne rapporten en onderzoeken in een poging om overtuigend aan te tonen dat Facebook er bewust voor had gekozen de problemen op zijn website niet op te lossen. platform.
Vandaag getuigde ze voor de Senaat over de impact van Facebook op de samenleving. Ze herhaalde veel van de bevindingen van het interne onderzoek en smeekte het Congres om actie te ondernemen.
Verwant verhaal
Hoe Facebook verslaafd raakte aan het verspreiden van verkeerde informatie De AI-algoritmen van het bedrijf gaven het een onverzadigbare gewoonte voor leugens en haatzaaien. Nu kan de man die ze heeft gebouwd het probleem niet oplossen.
Ik ben hier vandaag omdat ik geloof dat de producten van Facebook kinderen schaden, verdeeldheid zaaien en onze democratie verzwakken, zei ze in haar openingsverklaring aan wetgevers. Deze problemen zijn oplosbaar. Een veiligere, vrije meningsuiting respecterende, aangenamere sociale media is mogelijk. Maar er is één ding waarvan ik hoop dat iedereen deze onthullingen wegneemt, en dat is dat Facebook kan veranderen, maar dat duidelijk niet alleen zal doen.
Tijdens haar getuigenis gaf Haugen met name Facebooks algoritme en platformontwerpbeslissingen de schuld van veel van zijn problemen. Dit is een opmerkelijke verschuiving van de bestaande focus van beleidsmakers op het inhoudsbeleid en de censuur van Facebook - wat wel en niet thuishoort op Facebook. Veel experts zijn van mening dat deze beperkte kijk leidt tot een whack-a-mole-strategie die het grotere geheel mist.
Ik ben een groot voorstander van niet op inhoud gebaseerde oplossingen, omdat die oplossingen de meest kwetsbare mensen ter wereld zullen beschermen, zei Haugen, wijzend op het ongelijke vermogen van Facebook om zijn inhoudsbeleid in andere talen dan het Engels af te dwingen.
De getuigenis van Haugen weerspiegelt veel van de bevindingen van een MIT Technology Review-onderzoek eerder dit jaar gepubliceerd, die gebaseerd was op tientallen interviews met Facebook-managers, huidige en voormalige werknemers, branchegenoten en externe experts. We hebben de meest relevante delen van ons onderzoek en andere rapportages samengevoegd om meer context te geven aan de getuigenis van Haugen.
Hoe werkt het algoritme van Facebook?
In de volksmond gebruiken we de term Facebook's algoritme alsof er maar één is. Facebook beslist zelfs hoe advertenties worden getarget en inhoud wordt gerangschikt op basis van honderden, misschien duizenden algoritmen. Sommige van die algoritmen plagen de voorkeuren van een gebruiker en stimuleren dat soort inhoud in de nieuwsfeed van de gebruiker. Anderen zijn voor het detecteren van specifieke soorten slechte inhoud, zoals naaktheid, spam of clickbait-koppen, en deze te verwijderen of naar beneden te duwen in de feed.
Al deze algoritmen staan bekend als machine learning-algoritmen. zoals ik schreef eerder dit jaar :
In tegenstelling tot traditionele algoritmen, die hard gecodeerd zijn door ingenieurs, trainen algoritmen voor machine learning op invoergegevens om de correlaties erin te leren. Het getrainde algoritme, ook wel een machine learning-model genoemd, kan vervolgens toekomstige beslissingen automatiseren. Een algoritme dat is getraind op advertentieklikgegevens, zou bijvoorbeeld kunnen ontdekken dat vrouwen vaker op advertenties voor yogaleggings klikken dan mannen. Het resulterende model zal dan meer van die advertenties aan vrouwen tonen.
En vanwege de enorme hoeveelheden gebruikersgegevens van Facebook kan het
modellen te ontwikkelen die leerden het bestaan af te leiden van niet alleen brede categorieën zoals vrouwen en mannen, maar van zeer fijnmazige categorieën zoals vrouwen tussen 25 en 34 die Facebook-pagina's met betrekking tot yoga leuk vonden, en [target] advertenties op hen. Hoe nauwkeuriger de targeting, hoe groter de kans op een klik, waardoor adverteerders meer waar voor hun geld krijgen.
Dezelfde principes zijn van toepassing op het rangschikken van inhoud in nieuwsfeed:
Net zoals algoritmen [kunnen] worden getraind om te voorspellen wie op welke advertentie zou klikken, kunnen ze ook worden getraind om te voorspellen wie welke post leuk zou vinden of delen, en die berichten dan meer bekendheid te geven. Als het model bijvoorbeeld vaststelde dat een persoon echt van honden hield, zouden berichten van vrienden over honden hoger in de nieuwsfeed van die gebruiker verschijnen.
Voordat Facebook machine learning-algoritmen begon te gebruiken, gebruikten teams ontwerptactieken om de betrokkenheid te vergroten. Ze experimenteerden met zaken als de kleur van een knop of de frequentie van meldingen om ervoor te zorgen dat gebruikers terug blijven komen naar het platform. Maar algoritmen voor machine learning creëren een veel krachtigere feedbacklus. Ze kunnen niet alleen personaliseren wat elke gebruiker ziet, ze zullen ook blijven evolueren met de veranderende voorkeuren van een gebruiker, waardoor elke persoon voortdurend wordt getoond wat hen het meest betrokken zal houden.
Wie beheert het algoritme van Facebook?
Binnen Facebook heeft geen enkel team de leiding over dit content-rankingsysteem in zijn geheel. Ingenieurs ontwikkelen en voegen hun eigen machine-learningmodellen toe aan de mix, op basis van de doelstellingen van hun team. Zo zullen teams die zich richten op het verwijderen of degraderen van slechte inhoud, ook wel de integriteitsteams genoemd, alleen modellen trainen voor het detecteren van verschillende soorten slechte inhoud.
Dit was een beslissing die Facebook al vroeg nam als onderdeel van zijn snelle en doorbrekende cultuur. Het ontwikkelde een interne tool die bekend staat als: FBLearner Flow dat maakte het gemakkelijk voor technici zonder ervaring met machine learning om alle modellen te ontwikkelen die ze nodig hadden. Op één datapunt was het al in gebruik door meer dan een kwart van het technische team van Facebook in 2016.
Verwant verhaal
Ze riskeerde alles om Facebook te ontmaskeren. Nu vertelt ze haar verhaal. Sophie Zhang, een voormalig datawetenschapper bij Facebook, onthulde dat het wereldwijde politieke manipulatie mogelijk maakt en weinig heeft gedaan om het te stoppen.
Veel van de huidige en voormalige Facebook-medewerkers die ik heb gesproken, zeggen dat dit een van de redenen is waarom Facebook geen greep lijkt te krijgen op wat het gebruikers in de nieuwsfeed dient. Verschillende teams kunnen concurrerende doelstellingen hebben en het systeem is zo complex en onpraktisch geworden dat niemand al zijn verschillende componenten meer kan bijhouden.
Als gevolg hiervan is het belangrijkste proces voor kwaliteitscontrole van het bedrijf door middel van experimenten en metingen. Zoals ik schreef:
Teams trainen een nieuw machine learning-model op FBLearner, of ze nu de rangorde van berichten willen wijzigen of inhoud die in strijd is met de gemeenschapsnormen van Facebook (de regels over wat wel en niet is toegestaan op het platform) beter kunnen opvangen. Vervolgens testen ze het nieuwe model op een kleine subset van Facebook-gebruikers om te meten hoe het de betrokkenheidsstatistieken verandert, zoals het aantal vind-ik-leuks, reacties en shares, zegt Krishna Gade, die van 2016 tot 2018 de technische manager was voor de nieuwsfeed. .
Als een model de betrokkenheid te veel vermindert, wordt het weggegooid. Anders wordt het geïmplementeerd en voortdurend gecontroleerd. Op Twitter, Gade uitgelegd dat zijn technici om de paar dagen meldingen zouden krijgen als statistieken zoals vind-ik-leuks of opmerkingen niet beschikbaar waren. Daarna zouden ze ontcijferen wat het probleem had veroorzaakt en of modellen moesten worden bijgeschoold.
Hoe heeft de inhoudsrangschikking van Facebook geleid tot de verspreiding van verkeerde informatie en aanzetten tot haat?
Tijdens haar getuigenis kwam Haugen herhaaldelijk terug op het idee dat het algoritme van Facebook aanzet tot verkeerde informatie, haatzaaiende uitlatingen en zelfs etnisch geweld.
Facebook … weet – ze hebben in het openbaar toegegeven – dat rangschikking op basis van betrokkenheid gevaarlijk is zonder integriteits- en beveiligingssystemen, maar die integriteits- en beveiligingssystemen vervolgens niet in de meeste talen van de wereld heeft uitgerold, vertelde ze vandaag aan de Senaat. Het trekt gezinnen uit elkaar. En in plaatsen als Ethiopië wakkert het etnisch geweld letterlijk aan.
Dit is wat ik hier eerder over heb geschreven:
De machinale leermodellen die de betrokkenheid maximaliseren, zijn ook voorstander van controverse, verkeerde informatie en extremisme: simpel gezegd, mensen houden van buitensporige dingen.
Soms wakkert dit bestaande politieke spanningen aan. Het meest verwoestende voorbeeld tot nu toe is het geval van Myanmar, waar viraal nepnieuws en haatzaaiende uitlatingen over de Rohingya-moslimminderheid het religieuze conflict in het land escaleerden tot een volledige genocide. Facebook gaf in 2018 toe, na jarenlang zijn rol te hebben gebagatelliseerd, dat het niet genoeg had gedaan om te voorkomen dat ons platform werd gebruikt om verdeeldheid te zaaien en aan te zetten tot offline geweld.
Zoals Haugen al zei, weet Facebook dit ook al een tijdje. Uit eerdere rapporten is gebleken dat het het fenomeen sinds ten minste 2016 bestudeert.
In een interne presentatie uit dat jaar, beoordeeld door de Wall Street Journal , ontdekte een bedrijfsonderzoeker, Monica Lee, dat Facebook niet alleen een groot aantal extremistische groepen host, maar deze ook promootte bij zijn gebruikers: 64% van alle lidmaatschap van extremistische groepen is te danken aan onze aanbevelingstools, aldus de presentatie, voornamelijk dankzij de modellen achter de functies Groups You Should Join en Discover.
In 2017 vormde Chris Cox, de oude Chief Product Officer van Facebook, een nieuwe taskforce om te begrijpen of het maximaliseren van de gebruikersbetrokkenheid op Facebook bijdroeg aan politieke polarisatie. Het ontdekte dat er inderdaad een correlatie was, en dat het verminderen van polarisatie zou betekenen dat de betrokkenheid wordt geraakt. In een document dat medio 2018 door het Journal werd beoordeeld, stelde de taskforce verschillende mogelijke oplossingen voor, zoals het aanpassen van de aanbevelingsalgoritmen om een meer diverse reeks groepen voor te stellen waar mensen zich bij kunnen aansluiten. Maar het erkende dat sommige ideeën antigroei waren. De meeste voorstellen kwamen niet verder en de taskforce werd ontbonden.
In mijn eigen gesprekken bevestigden Facebook-medewerkers deze bevindingen ook.
Een voormalige Facebook AI-onderzoeker die in 2018 lid werd, zegt dat hij en zijn team studie na studie hebben uitgevoerd en hetzelfde basisidee bevestigen: modellen die de betrokkenheid maximaliseren, vergroten de polarisatie. Ze konden gemakkelijk bijhouden hoe sterk gebruikers het eens of oneens waren met verschillende kwesties, met welke inhoud ze zich bezighielden en hoe hun standpunten daardoor veranderden. Ongeacht het probleem leerden de modellen gebruikers steeds extremere gezichtspunten te geven. Na verloop van tijd worden ze meetbaar meer gepolariseerd, zegt hij.
Verwant verhaal
De race om de opwindende, gevaarlijke wereld van taal AI te begrijpen Honderden wetenschappers over de hele wereld werken samen om een van de krachtigste opkomende technologieën te begrijpen voordat het te laat is.
In haar getuigenis benadrukte Haugen ook herhaaldelijk hoe deze verschijnselen veel erger zijn in regio's die geen Engels spreken vanwege de ongelijke dekking van verschillende talen door Facebook.
In het geval van Ethiopië zijn er 100 miljoen mensen en zes talen. Facebook ondersteunt slechts twee van die talen voor integriteitssystemen, zei ze. Deze strategie om ons te concentreren op taalspecifieke, inhoudspecifieke systemen voor AI om ons te redden, is gedoemd te mislukken.
Ze vervolgde: Dus investeren in niet-content-gebaseerde manieren om het platform te vertragen, beschermt niet alleen onze vrijheid van meningsuiting, het beschermt ook het leven van mensen.
Ik onderzoek dit meer in een ander artikel van eerder dit jaar over de beperkingen van grote taalmodellen , of LLM's:
Ondanks dat LLM's deze taalkundige tekortkomingen hebben, vertrouwt Facebook er sterk op om de inhoudsmoderatie wereldwijd te automatiseren. Toen de oorlog in Tigray [, Ethiopië] voor het eerst uitbrak in november, zag [AI-ethiekonderzoeker Timnit] Gebru het platform ploeteren om vat te krijgen op de vlaag van verkeerde informatie. Dit is kenmerkend voor een hardnekkig patroon dat onderzoekers hebben waargenomen bij contentmoderatie. Gemeenschappen die talen spreken die niet door Silicon Valley zijn geprioriteerd, lijden onder de meest vijandige digitale omgevingen.
Gebru merkte op dat dit ook niet is waar de schade eindigt. Wanneer nepnieuws, haatzaaiende uitlatingen en zelfs doodsbedreigingen niet worden gemodereerd, worden ze vervolgens geschraapt als trainingsgegevens om de volgende generatie LLM's te bouwen. En die modellen, die napraten waar ze op getraind zijn, braken deze giftige taalpatronen op het internet uit.
Hoe verhoudt de inhoudsrangschikking van Facebook zich tot de geestelijke gezondheid van tieners?
Een van de meest schokkende onthullingen uit de Facebook-bestanden van de Journal was het interne onderzoek van Instagram, waaruit bleek dat het platform de geestelijke gezondheid van tienermeisjes verslechtert. Tweeëndertig procent van de tienermeisjes zei dat wanneer ze zich slecht voelden over hun lichaam, Instagram hen een slechter gevoel gaf, schreven onderzoekers in een diapresentatie van maart 2020.
Haugen verbindt dit fenomeen ook met op engagement gebaseerde rangschikkingssystemen, waarvan ze de Senaat vandaag vertelde dat tieners worden blootgesteld aan meer anorexia-inhoud.
Als Instagram zo'n positieve kracht is, hebben we dan de afgelopen 10 jaar een gouden eeuw gezien van de geestelijke gezondheid van tieners? Nee, we hebben het aantal zelfmoorden en depressies onder tieners zien stijgen, vervolgde ze. Er is een breed scala aan onderzoek dat het idee ondersteunt dat het gebruik van sociale media het risico op deze psychische schade vergroot.
In mijn eigen rapportage hoorde ik van een voormalig AI-onderzoeker die dit effect ook zag doortrekken naar Facebook.
Het team van de onderzoeker ontdekte dat gebruikers met de neiging om melancholische inhoud te posten of ermee bezig te zijn - een mogelijk teken van depressie - gemakkelijk in toenemende mate negatief materiaal zouden kunnen consumeren dat het risico liep hun geestelijke gezondheid verder te verslechteren.
Maar net als bij Haugen ontdekte de onderzoeker dat leiderschap niet geïnteresseerd was in fundamentele algoritmische veranderingen.
Het team stelde voor om de modellen voor het rangschikken van inhoud voor deze gebruikers aan te passen om te stoppen met het maximaliseren van de betrokkenheid alleen, zodat ze minder deprimerende dingen te zien zouden krijgen. De vraag voor leiderschap was: Moeten we optimaliseren voor betrokkenheid als je merkt dat iemand in een kwetsbare gemoedstoestand verkeert? hij herinnert zich.
Maar alles wat de betrokkenheid verminderde, zelfs om redenen zoals het niet verergeren van iemands depressie, leidde tot veel gejammer en gekibbel onder het leiderschap. Met hun prestatiebeoordelingen en salarissen gekoppeld aan de succesvolle afronding van projecten, leerden werknemers snel om degenen die pushback kregen te laten vallen en door te gaan met werken aan degenen die van bovenaf werden gedicteerd....
Die oud-medewerker laat zijn dochter ondertussen niet meer op Facebook zitten.
Hoe lossen we dit op?
Haugen is tegen het opbreken van Facebook of het intrekken van sectie 230 van de US Communications Decency Act, die technische platforms beschermt tegen het nemen van verantwoordelijkheid voor de inhoud die het distribueert.
In plaats daarvan beveelt ze aan om een meer gerichte uitzondering te maken in Sectie 230 voor algoritmische rangschikking, die volgens haar de op engagement gebaseerde rangorde zou wegnemen. Ze pleit ook voor een terugkeer naar de chronologische nieuwsfeed van Facebook.
Verwant verhaal
Review: waarom Facebook zichzelf nooit kan repareren In An Ugly Truth onthullen verslaggevers Sheera Frenkel en Cecilia Kang de fundamentele tekortkomingen van Facebook door middel van een gedetailleerd verslag van de jaren tussen twee Amerikaanse verkiezingen.
Ellery Roberts Biddle, projectdirecteur bij Ranking Digital Rights, een non-profitorganisatie die rangschikkingssystemen voor sociale media en hun impact op mensenrechten bestudeert, zegt dat een afsplitsing van Section 230 zorgvuldig moet worden doorgelicht: ik denk dat het een beperkte implicatie zou hebben. Ik denk niet dat het zou bereiken wat we zouden hopen.
Om een dergelijke uitsluiting uitvoerbaar te maken, zegt ze, zouden beleidsmakers en het publiek een veel grotere mate van transparantie moeten hebben over hoe de advertentietargeting- en content-rankingsystemen van Facebook zelfs werken. Ik begrijp de bedoeling van Haugen - het is logisch, zegt ze. Maar het is moeilijk. We hebben de vraag over transparantie rond algoritmen nog niet echt beantwoord. Er is nog veel meer te doen.
Desalniettemin hebben de onthullingen en getuigenissen van Haugen hernieuwde aandacht gevestigd op wat veel experts en Facebook-medewerkers al jaren zeggen: dat tenzij Facebook het fundamentele ontwerp van zijn algoritmen verandert, het geen betekenisvolle deuk in de problemen van het platform zal veroorzaken.
Haar interventie roept ook het vooruitzicht op dat als Facebook zijn eigen huis niet op orde kan krijgen, beleidsmakers de kwestie kunnen forceren.
Het congres kan de regels veranderen waar Facebook zich aan houdt en de vele schade die het nu veroorzaakt stoppen, vertelde Haugen aan de Senaat. Ik kwam naar voren met groot persoonlijk risico omdat ik geloof dat we nog tijd hebben om te handelen, maar we moeten nu handelen.