211service.com
Hoe Facebook verslaafd raakte aan het verspreiden van verkeerde informatie
De AI-algoritmen van het bedrijf gaven het een onverzadigbare gewoonte voor leugens en haatzaaien. Nu kan de man die ze heeft gebouwd het probleem niet oplossen.
De schuldigen zijn Wintermeyer
11 maart 2021Joaquin Quiñonero Candela, een directeur van AI bij Facebook, verontschuldigde zich bij zijn publiek.
Het was 23 maart 2018, slechts enkele dagen na de onthulling dat Cambridge Analytica, een adviesbureau dat werkte aan de campagne voor de presidentsverkiezingen van 2016 van Donald Trump, op slinkse wijze de persoonlijke gegevens van tientallen miljoenen Amerikanen van hun Facebook-accounts had gehaald in een poging invloed uit te oefenen op de manier waarop ze hebben gestemd. Het was de grootste privacyschending in de geschiedenis van Facebook, en Quiñonero zou eerder spreken op een conferentie over onder meer het snijvlak van AI, ethiek en privacy bij het bedrijf. Hij overwoog om te annuleren, maar nadat hij erover had gepraat met zijn communicatiedirecteur, had hij zijn toegewezen tijd behouden.
Toen hij naar de kamer stapte, begon hij met een bekentenis. Ik heb net de moeilijkste vijf dagen gehad in mijn ambtstermijn bij Facebook, herinnert hij zich dat hij zei. Als er kritiek is, accepteer ik die.
Het Cambridge Analytica-schandaal zou de grootste publiciteitscrisis ooit op Facebook zijn. Het verergerde de angst dat de algoritmen die bepalen wat mensen op het platform zien, nepnieuws en haatzaaiende uitlatingen versterkten, en dat Russische hackers hen hadden bewapend om te proberen de verkiezingen in het voordeel van Trump te beïnvloeden. miljoenen begon de app te verwijderen ; werknemers vertrokken uit protest; de marktkapitalisatie van het bedrijf daalde met meer dan $ 100 miljard na de winstoproep van juli.
In de daaropvolgende maanden begon Mark Zuckerberg zijn eigen excuses aan te bieden. Hij verontschuldigde zich voor het niet nemen een breed genoeg zicht van de verantwoordelijkheden van Facebook en voor zijn fouten als CEO. Intern begon Sheryl Sandberg, de chief operating officer, een tweejarige burgerrechten audit om aanbevelingen te doen voor manieren waarop het bedrijf kan voorkomen dat zijn platform wordt gebruikt om de democratie te ondermijnen.
Ten slotte vroeg Mike Schroepfer, chief technology officer van Facebook, Quiñonero om een team te starten met een richtlijn die een beetje vaag was: om de maatschappelijke impact van de algoritmen van het bedrijf te onderzoeken. De groep noemde zichzelf de Society and AI Lab (SAIL); vorig jaar combineerde het met een ander team dat werkte aan kwesties van gegevensprivacy om Responsible AI te vormen.
Quiñonero was een natuurlijke keuze voor de baan. Hij was, net als iedereen, degene die verantwoordelijk was voor de positie van Facebook als een AI-krachtpatser. In zijn zes jaar bij Facebook had hij enkele van de eerste algoritmen gemaakt om gebruikers te targeten met inhoud die precies was afgestemd op hun interesses, en vervolgens had hij die algoritmen over het hele bedrijf verspreid. Nu zou zijn mandaat zijn om ze minder schadelijk te maken.
Facebook heeft consequent gewezen op de inspanningen van Quiñonero en anderen om zijn reputatie te herstellen. Het draaft regelmatig verschillende leiders uit om de media te woord te staan over de lopende hervormingen. In mei 2019, het verleende een reeks interviews met Schroepfer aan de New York Times, die het bedrijf beloonde met een humaniserend profiel van een gevoelige, goedbedoelende executive die ernaar streeft de technische uitdagingen te overwinnen van het filteren van verkeerde informatie en haatzaaiende uitlatingen uit een stroom van inhoud die miljarden stukjes per dag bedroeg. Deze uitdagingen zijn zo zwaar dat Schroepfer er emotioneel van wordt, schreef de Times: Soms brengt dat hem tot tranen.
In het voorjaar van 2020 was het blijkbaar mijn beurt. Ari Entin, de AI-communicatiedirecteur van Facebook, vroeg in een e-mail of ik dieper wilde ingaan op het AI-werk van het bedrijf. Na met verschillende van zijn AI-leiders te hebben gesproken, besloot ik me op Quiñonero te concentreren. Entin deed het graag. Als niet alleen de leider van het Responsible AI-team, maar ook de man die van Facebook een AI-gedreven bedrijf had gemaakt, was Quiñonero een solide keuze om als posterboy te gebruiken.
Hij leek mij ook een natuurlijke keuze van onderwerp. In de jaren sinds hij zijn team had gevormd na het Cambridge Analytica-schandaal, was de bezorgdheid over de verspreiding van leugens en haatzaaiende uitlatingen op Facebook alleen maar groter geworden. Eind 2018 gaf het bedrijf toe dat deze activiteit had hielp een genocidale anti-moslimcampagne aan te wakkeren in Myanmar voor meerdere jaren. In 2020 is Facebook pas laat in actie gekomen tegen Holocaust-ontkenners, anti-vaxxers en de samenzweringsbeweging QAnon. Al deze gevaarlijke onwaarheden werden uitgezaaid dankzij de AI-mogelijkheden die Quiñonero had helpen opbouwen. De algoritmen die ten grondslag liggen aan de activiteiten van Facebook zijn niet gemaakt om uit te filteren wat vals of opruiend was; ze zijn ontworpen om mensen zoveel mogelijk inhoud te laten delen en ermee bezig te houden door hen dingen te laten zien waar ze waarschijnlijk woedend of opgewonden door zouden zijn. Het oplossen van dit probleem leek mij het kerngebied van Verantwoordelijk AI.
Ik begon Quiñonero regelmatig te videobellen. Ik sprak ook met leidinggevenden van Facebook, huidige en voormalige werknemers, branchegenoten en externe experts. Velen spraken op voorwaarde van anonimiteit omdat ze geheimhoudingsovereenkomsten hadden ondertekend of bang waren voor represailles. Ik wilde weten: wat deed het team van Quiñonero om de haat en leugens op zijn platform te beteugelen?
Joaquin Quiñonero Candela buiten zijn huis in de Bay Area, waar hij woont met zijn vrouw en drie kinderen.
WINNI WINTERMEYERMaar Entin en Quiñonero hadden een andere agenda. Elke keer dat ik deze onderwerpen naar voren probeerde te brengen, werden mijn verzoeken om erover te praten ingetrokken of omgeleid. Ze wilden alleen het plan van het Responsible AI-team bespreken om één specifiek soort probleem aan te pakken: AI-bias, waarbij algoritmen bepaalde gebruikersgroepen discrimineren. Een voorbeeld is een algoritme voor advertentietargeting dat bepaalde banen of huisvestingsmogelijkheden laat zien aan blanke mensen, maar niet aan minderheden.
Tegen de tijd dat duizenden relschoppers in januari het Capitool van de Verenigde Staten bestormden, deels georganiseerd op Facebook en aangewakkerd door de leugens over een gestolen verkiezing die zich over het platform had verspreid, bleek uit mijn gesprekken dat het Responsible AI-team er niet in was geslaagd om vooruitgang tegen verkeerde informatie en haatzaaiende uitlatingen, omdat het die problemen nooit tot haar belangrijkste focus had gemaakt. Belangrijker, realiseerde ik me, als het het zou proberen, zou het falen.
De reden is simpel. Alles wat het bedrijf wel en niet doet, vloeit voort uit één enkele motivatie: Zuckerbergs niet aflatende verlangen naar groei. De AI-expertise van Quiñonero heeft die groei gestimuleerd. Zijn team raakte verstrikt in het aanpakken van AI-bias, zoals ik heb geleerd in mijn rapportage, omdat het voorkomen van dergelijke bias het bedrijf helpt te voorkomen voorgestelde verordening dat zou, als het wordt aangenomen, die groei kunnen belemmeren. Facebook-leiderschap heeft ook herhaaldelijk veel initiatieven afgezwakt of stopgezet die bedoeld waren om verkeerde informatie op het platform op te ruimen, omdat dit die groei zou ondermijnen.
Met andere woorden, het werk van het Responsible AI-team - wat de verdiensten ook zijn met betrekking tot het specifieke probleem van het aanpakken van AI-bias - is in wezen niet relevant voor het oplossen van de grotere problemen van verkeerde informatie, extremisme en politieke polarisatie. En wij zijn het allemaal die de prijs betalen.
Als je bezig bent met het maximaliseren van betrokkenheid, ben je niet geïnteresseerd in de waarheid. Je bent niet geïnteresseerd in schade, verdeeldheid, samenzwering. In feite zijn dat je vrienden, zegt Hany Farid, een professor aan de University of California, Berkeley, die samenwerkt met Facebook om op afbeeldingen en video gebaseerde desinformatie op het platform te begrijpen.
Ze doen altijd net genoeg om het persbericht naar buiten te kunnen brengen. Maar op een paar uitzonderingen na, denk ik niet dat het daadwerkelijk wordt vertaald in beter beleid. Ze hebben nooit echt te maken met de fundamentele problemen.
In maart 2012 Quiñonero bezocht een vriend in de Bay Area. Destijds was hij een manager in het Britse kantoor van Microsoft Research en leidde hij een team dat machine learning gebruikte om meer bezoekers te laten klikken op advertenties die werden weergegeven door de zoekmachine van het bedrijf, Bing. Zijn expertise was zeldzaam en het team was nog geen jaar oud. Machine learning, een onderdeel van AI, moest zichzelf nog bewijzen als oplossing voor grootschalige industriële problemen. Er waren maar weinig techreuzen die in de technologie hadden geïnvesteerd.
De vriend van Quiñonero wilde pronken met zijn nieuwe werkgever, een van de populairste startups in Silicon Valley: Facebook, toen acht jaar oud en al met bijna een miljard maandelijks actieve gebruikers (d.w.z. degenen die zich in de afgelopen 30 dagen minstens één keer hebben aangemeld). Terwijl Quiñonero door het hoofdkantoor van Menlo Park liep, zag hij een eenzame ingenieur een grote update van de website maken, iets wat bij Microsoft aanzienlijke administratieve rompslomp met zich mee zou brengen. Het was een gedenkwaardige introductie tot Zuckerbergs 'Move fast and break things'-ethos. Quiñonero was onder de indruk van de mogelijkheden. Binnen een week had hij sollicitatiegesprekken gehad en een aanbod getekend om bij het bedrijf te komen werken.
Zijn komst had niet beter getimed kunnen zijn. De advertentieservice van Facebook bevond zich midden in een snelle expansie terwijl het bedrijf zich voorbereidde op zijn beursgang in mei. Het doel was om de omzet te verhogen en het op te nemen tegen Google, dat het leeuwendeel van de online advertentiemarkt had. Machine learning, dat kan voorspellen welke advertenties het beste bij welke gebruikers passen en ze dus effectiever maken, zou de perfecte tool kunnen zijn. Kort na zijn start werd Quiñonero gepromoveerd tot het managen van een team dat vergelijkbaar was met het team dat hij bij Microsoft had geleid.
Quiñonero begon eind 2019 met het fokken van kippen als een manier om te ontspannen van de intensiteit van zijn werk.
WINNI WINTERMEYERIn tegenstelling tot traditionele algoritmen, die hard gecodeerd zijn door ingenieurs, trainen algoritmen voor machine learning op invoergegevens om de correlaties erin te leren. Het getrainde algoritme, ook wel een machine learning-model genoemd, kan vervolgens toekomstige beslissingen automatiseren. Een algoritme dat is getraind op advertentieklikgegevens, zou bijvoorbeeld kunnen ontdekken dat vrouwen vaker op advertenties voor yogaleggings klikken dan mannen. Het resulterende model zal dan meer van die advertenties aan vrouwen tonen. Tegenwoordig genereren ingenieurs bij een op AI gebaseerd bedrijf als Facebook talloze modellen met kleine variaties om te zien welke het beste presteert op een bepaald probleem.
De enorme hoeveelheden gebruikersgegevens van Facebook gaven Quiñonero een groot voordeel. Zijn team kon modellen ontwikkelen die leerden het bestaan af te leiden van niet alleen brede categorieën zoals vrouwen en mannen, maar ook van zeer fijnmazige categorieën zoals vrouwen tussen de 25 en 34 die Facebook-pagina's leuk vonden die verband hielden met yoga, en gerichte advertenties daarop. Hoe nauwkeuriger de targeting, hoe groter de kans op een klik, waardoor adverteerders meer waar voor hun geld krijgen.
Binnen een jaar had zijn team deze modellen ontwikkeld, evenals de tools om sneller nieuwe te ontwerpen en in te zetten. Voorheen hadden de ingenieurs van Quiñonero zes tot acht weken nodig om een nieuw model te bouwen, te trainen en te testen. Nu was er maar één nodig.
Het nieuws van het succes verspreidde zich snel. Het team dat aan het bepalen was welke berichten individuele Facebook-gebruikers in hun persoonlijke nieuwsfeeds zouden zien, wilde dezelfde technieken toepassen. Net zoals algoritmen kunnen worden getraind om te voorspellen wie op welke advertentie zou klikken, zouden ze ook kunnen worden getraind om te voorspellen wie welke post leuk zou vinden of delen, en die berichten vervolgens meer bekendheid te geven. Als het model bijvoorbeeld vaststelde dat een persoon echt van honden hield, zouden berichten van vrienden over honden hoger in de nieuwsfeed van die gebruiker verschijnen.
Het succes van Quiñonero met de nieuwsfeed - in combinatie met indrukwekkend nieuw AI-onderzoek dat buiten het bedrijf wordt uitgevoerd - trok de aandacht van Zuckerberg en Schroepfer. Facebook had nu iets meer dan 1 miljard gebruikers, waarmee het meer dan acht keer groter was dan enig ander sociaal netwerk, maar ze wilden weten hoe ze die groei konden voortzetten. De executives besloten fors te investeren in AI, internetconnectiviteit en virtual reality.
Ze creëerden twee AI-teams. Een daarvan was FAIR, een fundamenteel onderzoekslaboratorium dat de geavanceerde mogelijkheden van de technologie zou verbeteren. De andere, Applied Machine Learning (AML), zou die mogelijkheden integreren in de producten en diensten van Facebook. In december 2013 rekruteerden de executives, na maanden van hofmakerij en overredingskracht, Yann LeCun, een van de grootste namen in het veld, om FAIR te leiden. Drie maanden later promoveerde Quiñonero opnieuw, dit keer om AML te leiden. (Het werd later omgedoopt tot FAIAR, uitgesproken als vuur.)
Zo weet je wat er in zijn hoofd omgaat. Ik was een paar jaar altijd op een steenworp afstand van Marks bureau.
Joaquin Quinonero Candela
In zijn nieuwe rol bouwde Quiñonero een nieuw platform voor modelontwikkeling waartoe iedereen bij Facebook toegang had. Genaamd FBLearner Flow , konden ingenieurs met weinig AI-ervaring binnen enkele dagen machine learning-modellen trainen en implementeren. Medio 2016 was het in gebruik door meer dan een kwart van het technische team van Facebook en was het al gebruikt om meer dan een miljoen modellen te trainen, waaronder modellen voor beeldherkenning, advertentietargeting en inhoudsmoderatie.
Zuckerbergs obsessie om de hele wereld Facebook te laten gebruiken, had een krachtig nieuw wapen gevonden. Teams hadden eerder ontwerptactieken gebruikt, zoals experimenteren met de inhoud en frequentie van meldingen, om te proberen gebruikers effectiever te haken. Hun doel was onder meer om een statistiek genaamd L6/7 te verhogen, het percentage mensen dat zes van de voorgaande zeven dagen op Facebook inlogde. L6/7 is slechts een van de talloze manieren waarop Facebook de betrokkenheid heeft gemeten: de neiging van mensen om zijn platform op welke manier dan ook te gebruiken, of het nu is door dingen te posten, erop te reageren, ze leuk te vinden of te delen, of gewoon door ernaar te kijken. Nu werd elke gebruikersinteractie die ooit door ingenieurs werd geanalyseerd, geanalyseerd door algoritmen. Die algoritmen creëerden veel snellere, meer gepersonaliseerde feedbackloops voor het tweaken en afstemmen van de nieuwsfeed van elke gebruiker om de betrokkenheidscijfers te blijven verhogen.
Zuckerberg, die in het midden van gebouw 20, het hoofdkantoor op het hoofdkantoor van Menlo Park, zat, plaatste de nieuwe FAIR- en AML-teams naast hem. Veel van de oorspronkelijke AI-medewerkers waren zo dichtbij dat zijn bureau en dat van hen elkaar bijna raakten. Het was het innerlijke heiligdom, zegt een voormalig leider van de AI-organisatie (de tak van Facebook die al zijn AI-teams bevat), die zich herinnert dat de CEO mensen in en uit zijn omgeving schuifelde toen ze zijn gunst wonnen of verloren. Zo weet je wat hem bezighoudt, zegt Quiñonero. Ik was een paar jaar altijd op een steenworp afstand van Marks bureau.
Met nieuwe modellen voor machine learning dat dagelijks online komt, creëerde het bedrijf een nieuw systeem om hun impact te volgen en de betrokkenheid van gebruikers te maximaliseren. Het proces is vandaag nog steeds hetzelfde. Teams trainen een nieuw machine learning-model op FBLearner, of ze nu de rangorde van berichten willen wijzigen of inhoud die in strijd is met de gemeenschapsnormen van Facebook (de regels over wat wel en niet is toegestaan op het platform) beter kunnen opvangen. Vervolgens testen ze het nieuwe model op een kleine subset van Facebook-gebruikers om te meten hoe het de betrokkenheidsstatistieken verandert, zoals het aantal vind-ik-leuks, reacties en shares, zegt Krishna Gade, die van 2016 tot 2018 de technische manager was voor de nieuwsfeed. .
Als een model de betrokkenheid te veel vermindert, wordt het weggegooid. Anders wordt het geïmplementeerd en voortdurend gecontroleerd. Op Twitter, Gade uitgelegd dat zijn technici om de paar dagen meldingen zouden krijgen als statistieken zoals vind-ik-leuks of opmerkingen niet beschikbaar waren. Daarna zouden ze ontcijferen wat het probleem had veroorzaakt en of modellen moesten worden bijgeschoold.
Maar deze aanpak zorgde al snel voor problemen. De modellen die betrokkenheid maximaliseren, zijn ook voorstander van controverse, verkeerde informatie en extremisme: simpel gezegd, mensen houden van buitensporige dingen. Soms wakkert dit bestaande politieke spanningen aan. Het meest verwoestende voorbeeld tot nu toe is het geval van Myanmar, waar viraal nepnieuws en haatzaaiende uitlatingen over de Rohingya-moslimminderheid het religieuze conflict in het land escaleerden tot een volledige genocide. Facebook toegelaten in 2018 , na jarenlang zijn rol te bagatelliseren, dat het niet genoeg had gedaan om te voorkomen dat ons platform werd gebruikt om verdeeldheid aan te wakkeren en aan te zetten tot offline geweld.
Hoewel Facebook zich in het begin misschien niet bewust was van deze gevolgen, bestudeerde het ze in 2016. In een interne presentatie uit dat jaar, beoordeeld door de Wall Street Journal , ontdekte een bedrijfsonderzoeker, Monica Lee, dat Facebook niet alleen een groot aantal extremistische groepen host, maar deze ook promootte bij zijn gebruikers: 64% van alle lidmaatschap van extremistische groepen is te danken aan onze aanbevelingstools, aldus de presentatie, voornamelijk dankzij de modellen achter de functies Groups You Should Join en Discover.
De vraag voor leiderschap was: Moeten we optimaliseren voor betrokkenheid als je merkt dat iemand in een kwetsbare gemoedstoestand verkeert?
Een voormalig AI-onderzoeker die in 2018 toetrad
In 2017 vormde Chris Cox, de oude Chief Product Officer van Facebook, een nieuwe taskforce om te begrijpen of het maximaliseren van de gebruikersbetrokkenheid op Facebook bijdroeg aan politieke polarisatie. Het ontdekte dat er inderdaad een correlatie was, en dat het verminderen van polarisatie zou betekenen dat de betrokkenheid wordt geraakt. In een document dat medio 2018 door het Journal werd beoordeeld, stelde de taskforce verschillende mogelijke oplossingen voor, zoals het aanpassen van de aanbevelingsalgoritmen om een meer diverse reeks groepen voor te stellen waar mensen zich bij kunnen aansluiten. Maar het erkende dat sommige ideeën antigroei waren. De meeste voorstellen kwamen niet verder en de taskforce werd ontbonden.
Sindsdien hebben andere medewerkers deze bevindingen bevestigd. Een voormalige Facebook AI-onderzoeker die in 2018 lid werd, zegt dat hij en zijn team studie na studie hebben uitgevoerd en hetzelfde basisidee bevestigen: modellen die de betrokkenheid maximaliseren, vergroten de polarisatie. Ze konden gemakkelijk bijhouden hoe sterk gebruikers het eens of oneens waren met verschillende kwesties, met welke inhoud ze zich bezighielden en hoe hun standpunten daardoor veranderden. Ongeacht het probleem leerden de modellen gebruikers steeds extremere gezichtspunten te geven. Na verloop van tijd hebben ze meetbaar meer gepolariseerd, zegt hij.
Het team van de onderzoeker ontdekte ook dat gebruikers met de neiging om melancholische inhoud te posten of ermee bezig te zijn - een mogelijk teken van depressie - gemakkelijk zouden kunnen leiden tot het consumeren van steeds negatiever materiaal dat het risico liep hun geestelijke gezondheid verder te verslechteren. Het team stelde voor om de modellen voor het rangschikken van inhoud voor deze gebruikers aan te passen om te stoppen met het maximaliseren van de betrokkenheid alleen, zodat ze minder deprimerende dingen te zien zouden krijgen. De vraag voor leiderschap was: Moeten we optimaliseren voor betrokkenheid als je merkt dat iemand in een kwetsbare gemoedstoestand verkeert? hij herinnert zich. (Een woordvoerder van Facebook zei dat ze geen documentatie voor dit voorstel kon vinden.)
Verwant verhaal
De rommelige, geheime realiteit achter OpenAI's poging om de wereld te redden De AI moonshot is opgericht in de geest van transparantie. Dit is het inside-verhaal van hoe concurrentiedruk dat idealisme heeft uitgehold.Maar alles wat de betrokkenheid verminderde, zelfs om redenen zoals het niet verergeren van iemands depressie, leidde tot veel gejammer en gekibbel onder het leiderschap. Met hun prestatiebeoordelingen en salarissen gekoppeld aan de succesvolle afronding van projecten, leerden werknemers snel om degenen die pushback kregen te laten vallen en door te gaan met werken aan degenen die van bovenaf werden gedicteerd.
Een voorbeeld van zo'n project dat zwaar werd gepusht door bedrijfsleiders, betrof het voorspellen of een gebruiker risico zou kunnen lopen voor iets dat verschillende mensen al hadden gedaan: hun eigen zelfmoord livestreamen op Facebook Live. De taak omvatte het bouwen van een model om de opmerkingen te analyseren dat andere gebruikers een video postten nadat deze live was gegaan, en risicogebruikers onder de aandacht brachten van getrainde Facebook-communityrecensenten die lokale hulpverleners konden bellen om een gezondheidscheck uit te voeren. Het vereiste geen wijzigingen in de modellen voor het rangschikken van inhoud, had een verwaarloosbare impact op de betrokkenheid en weerde effectief negatieve pers. Het was ook bijna onmogelijk, zegt de onderzoeker: het is meer een pr-stunt. De doeltreffendheid van proberen te bepalen of iemand zelfmoord gaat plegen in de komende 30 seconden, gebaseerd op de eerste 10 seconden van video-analyse, zal niet erg effectief zijn.
Facebook betwist deze karakterisering en zegt dat het team dat aan deze inspanning heeft gewerkt sindsdien met succes heeft voorspeld welke gebruikers risico liepen en het aantal uitgevoerde welzijnscontroles heeft verhoogd. Maar het bedrijf geeft geen gegevens vrij over de nauwkeurigheid van zijn voorspellingen of over hoeveel welzijnscontroles echte noodsituaties bleken te zijn.
Die oud-medewerker laat zijn dochter ondertussen niet meer op Facebook zitten.
Quiñonero had moeten zijn perfect geplaatst om deze problemen aan te pakken toen hij in april 2018 het SAIL-team (later Responsible AI) oprichtte. Zijn tijd als directeur van Applied Machine Learning had hem zeer vertrouwd gemaakt met de algoritmen van het bedrijf, met name de algoritmen die worden gebruikt voor het aanbevelen van berichten, advertenties, en andere inhoud aan gebruikers.
Het leek er ook op dat Facebook klaar was om deze problemen serieus te nemen. Waar eerdere inspanningen om eraan te werken waren verspreid over het bedrijf, kreeg Quiñonero nu een gecentraliseerd team met speelruimte in zijn mandaat om te werken aan alles wat hij nodig acht op het snijvlak van AI en de samenleving.
In die tijd was Quiñonero bezig met zijn eigen heropvoeding over hoe een verantwoordelijke technoloog te zijn. Het veld van AI-onderzoek besteedde steeds meer aandacht aan problemen met AI-bias en aansprakelijkheid in de nasleep van spraakmakende onderzoeken die aantoonden dat bijvoorbeeld een algoritme zwarte verdachten scoorde als meer kans om opnieuw te worden gearresteerd dan blanke beklaagden die waren gearresteerd voor hetzelfde of een ernstiger misdrijf. Quiñonero begon de wetenschappelijke literatuur over algoritmische rechtvaardigheid te bestuderen, boeken te lezen over ethische engineering en de geschiedenis van technologie, en sprak met burgerrechtenexperts en moraalfilosofen.
WINNI WINTERMEYERTijdens de vele uren die ik met hem doorbracht, kon ik zien dat hij dit serieus nam. Hij was lid geworden van Facebook tijdens de Arabische Lente, een reeks revoluties tegen onderdrukkende regimes in het Midden-Oosten. Experts hadden sociale media geprezen voor het verspreiden van de informatie die de opstanden voedde en voor het geven van hulpmiddelen aan mensen om zich te organiseren. Geboren in Spanje, maar opgegroeid in Marokko, waar hij de onderdrukking van de vrijheid van meningsuiting uit de eerste hand had gezien, voelde Quiñonero een intense verbondenheid met het potentieel van Facebook als een kracht voor het goede.
Zes jaar later had Cambridge Analytica gedreigd deze belofte teniet te doen. De controverse dwong hem zijn vertrouwen in het bedrijf onder ogen te zien en te onderzoeken wat blijven voor zijn integriteit zou betekenen. Ik denk dat wat er gebeurt met de meeste mensen die bij Facebook werken - en dat is zeker mijn verhaal geweest - is dat er geen grens is tussen Facebook en mij, zegt hij. Het is extreem persoonlijk. Maar hij koos ervoor om te blijven en SAIL te leiden, omdat hij geloofde dat hij meer voor de wereld kon doen door het bedrijf te helpen veranderen dan door het achter te laten.
Ik denk dat als je bij een bedrijf als Facebook werkt, vooral de laatste jaren, je echt beseft welke impact je producten hebben op het leven van mensen - op wat ze denken, hoe ze communiceren, hoe ze met elkaar omgaan, zegt Quiñonero's oude vriend Zoubin Ghahramani, die helpt het Google Brain-team te leiden. Ik weet dat Joaquin veel geeft om alle aspecten hiervan. Als iemand die ernaar streeft om beter te worden en dingen te verbeteren, ziet hij de belangrijke rol die hij kan spelen bij het vormgeven van zowel het denken als het beleid rond verantwoorde AI.
In het begin had SAIL slechts vijf mensen, die uit verschillende delen van het bedrijf kwamen, maar allemaal geïnteresseerd waren in de maatschappelijke impact van algoritmen. Een van de oprichters, Isabel Kloumann, een onderzoekswetenschapper die afkomstig was uit het kerngegevenswetenschapsteam van het bedrijf, bracht een eerste versie mee van een tool om de vertekening in AI-modellen te meten.
Het team brainstormde ook over tal van andere ideeën voor projecten. De voormalige leider van de AI-organisatie, die aanwezig was bij enkele van de vroege bijeenkomsten van SAIL, herinnert zich een voorstel om polarisatie tegen te gaan. Het omvatte het gebruik van sentimentanalyse, een vorm van machine learning die meningen interpreteert in stukjes tekst, om opmerkingen die extreme standpunten uitdrukken beter te identificeren. Deze opmerkingen zouden niet worden verwijderd, maar ze zouden standaard worden verborgen met een optie om ze te onthullen, waardoor het aantal mensen dat ze zag wordt beperkt.
En er waren discussies over welke rol SAIL binnen Facebook zou kunnen spelen en hoe het zich in de loop van de tijd zou moeten ontwikkelen. Het sentiment was dat het team eerst richtlijnen voor verantwoorde AI zou opstellen om de productteams te vertellen wat ze wel of niet moesten doen. Maar de hoop was dat het uiteindelijk zou dienen als de centrale hub van het bedrijf voor het evalueren van AI-projecten en het stoppen van projecten die de richtlijnen niet volgden.
Voormalige werknemers beschreven echter hoe moeilijk het kan zijn om buy-in of financiële steun te krijgen als het werk de groei van Facebook niet direct verbeterde. Van nature was het team niet denken over groei, en in sommige gevallen stelde het ideeën voor die in tegenspraak waren met groei. Als gevolg hiervan kreeg het weinig middelen en kwijnde het weg. Veel van zijn ideeën bleven grotendeels academisch.
Op 29 augustus 2018, dat veranderde ineens. In de aanloop naar de tussentijdse verkiezingen in de VS hebben president Donald Trump en andere Republikeinse leiders opgeklopte beschuldigingen dat Facebook, Twitter en Google anti-conservatieve vooroordelen hadden. Ze beweerden dat vooral de moderators van Facebook, bij het toepassen van de gemeenschapsnormen, conservatieve stemmen meer onderdrukten dan liberale. Deze aanklacht zou later ontkracht worden , maar de hashtag #StopTheBias , aangewakkerd door een tweet van Trump, verspreidde zich snel op sociale media.
Voor Trump was het de laatste poging om wantrouwen te zaaien in de reguliere informatiedistributiekanalen van het land. Voor Zuckerberg dreigde het de conservatieve Amerikaanse gebruikers van Facebook te vervreemden en het bedrijf kwetsbaarder te maken voor regelgeving van een door de Republikeinen geleide regering. Met andere woorden, het bedreigt de groei van het bedrijf.
Facebook gaf me geen interview met Zuckerberg, maar vorig verslaglegging heeft getoond hoe hij steeds meer toegeeft aan Trump en het Republikeinse leiderschap. Nadat Trump was gekozen, adviseerde Joel Kaplan, Facebook's VP van het wereldwijde openbare beleid en de hoogste Republikein, Zuckerberg om voorzichtig te zijn in de nieuwe politieke omgeving.
Op 20 september 2018, drie weken na de #StopTheBias-tweet van Trump, hield Zuckerberg voor het eerst sinds de oprichting van SAIL een ontmoeting met Quiñonero. Hij wilde alles weten wat Quiñonero had geleerd over AI-bias en hoe deze te vernietigen in de contentmoderatiemodellen van Facebook. Aan het einde van de bijeenkomst was één ding duidelijk: AI-bias was nu de topprioriteit van Quiñonero. De leiding is heel, heel opdringerig geweest om ervoor te zorgen dat we dit agressief opschalen, zegt Rachad Alao, de technisch directeur van Responsible AI die in april 2019 toetrad.
Het was een overwinning voor iedereen in de zaal. Zuckerberg heeft een manier gevonden om beschuldigingen van anti-conservatieve vooringenomenheid af te weren. En Quiñonero had nu meer geld en een groter team om de algehele Facebook-ervaring voor gebruikers te verbeteren. Ze zouden kunnen voortbouwen op de bestaande tool van Kloumann om de vermeende anti-conservatieve vooringenomenheid in modellen voor contentmoderatie te meten en te corrigeren, evenals om andere soorten vooroordelen in de overgrote meerderheid van modellen op het platform te corrigeren.
Dit kan helpen voorkomen dat het platform onbedoeld bepaalde gebruikers discrimineert. Tegen die tijd had Facebook al duizenden modellen tegelijkertijd draaien, en bijna geen ervan was gemeten op vooringenomenheid. Dat zou een paar maanden later juridische problemen opleveren met het Amerikaanse ministerie van Volkshuisvesting en Stedelijke Ontwikkeling (HUD), dat beweerde dat de algoritmen van het bedrijf beschermde attributen zoals ras afleidden uit gebruikersgegevens en hen advertenties voor huisvesting toonde op basis van die attributen — een illegale vorm van discriminatie. (De rechtszaak is nog in behandeling.) Schroepfer voorspelde ook dat het Congres binnenkort wetten zou aannemen om algoritmische discriminatie reguleren , dus Facebook moest hoe dan ook vooruitgang boeken met deze inspanningen.
(Facebook bestrijdt het idee dat het zijn werk aan AI-bias heeft voortgezet om de groei te beschermen of in afwachting van regelgeving. We hebben het Responsible AI-team opgericht omdat het de juiste keuze was om te doen, zei een woordvoerder.)
Maar het verkleinen van de focus van SAIL op algoritmische eerlijkheid zou alle andere al lang bestaande algoritmische problemen van Facebook buitenspel zetten. De modellen voor inhoudsaanbeveling zouden doorgaan met het pushen van berichten, nieuws en groepen naar gebruikers in een poging om de betrokkenheid te maximaliseren, extremistische inhoud te belonen en bij te dragen aan een steeds meer versplinterd politiek discours.
Zuckerberg gaf dit zelfs toe. Twee maanden na de ontmoeting met Quiñonero, in een openbare notitie waarin hij de plannen van Facebook voor contentmoderatie schetste, illustreerde hij de schadelijke effecten van de engagementstrategie van het bedrijf met een vereenvoudigde grafiek. Het toonde aan dat hoe groter de kans is dat een bericht de gemeenschapsnormen van Facebook schendt, hoe meer gebruikersbetrokkenheid het ontvangt, omdat de algoritmen die de betrokkenheid maximaliseren, opruiende inhoud belonen.
FACEBOOKMaar toen liet hij een andere grafiek zien met de omgekeerde relatie. In plaats van inhoud te belonen die in de buurt kwam van het schenden van de gemeenschapsnormen, schreef Zuckerberg, zou Facebook ervoor kunnen kiezen om het te bestraffen, door het minder distributie en betrokkenheid te geven in plaats van meer. Hoe zou dit worden gedaan? Met meer AI. Facebook zou betere modellen voor contentmoderatie ontwikkelen om deze borderline-inhoud te detecteren, zodat deze met terugwerkende kracht lager in de nieuwsfeed kan worden geduwd om de viraliteit ervan uit te bannen, zei hij.
FACEBOOKHet probleem is dat ondanks alle beloften van Zuckerberg, deze strategie op zijn best zwak is.
Desinformatie en haatzaaiende uitlatingen evolueren voortdurend. Nieuwe onwaarheden duiken op; nieuwe mensen en groepen worden doelwitten. Om dingen te vangen voordat ze viraal gaan, moeten modellen voor inhoudsmoderatie in staat zijn om nieuwe ongewenste inhoud met hoge nauwkeurigheid te identificeren. Maar modellen voor machinaal leren werken niet op die manier. Een algoritme dat de ontkenning van de Holocaust heeft leren herkennen, kan de ontkenning van bijvoorbeeld Rohingya-genocide niet meteen herkennen. Het moet worden getraind op duizenden, vaak zelfs miljoenen voorbeelden van een nieuw type inhoud voordat het leert het eruit te filteren. Zelfs dan kunnen gebruikers snel leren het model te slim af te zijn door dingen te doen zoals het wijzigen van de bewoordingen van een bericht of het vervangen van opruiende zinnen door eufemismen, waardoor hun bericht onleesbaar wordt voor de AI terwijl het nog steeds duidelijk is voor een mens. Dit is de reden waarom nieuwe samenzweringstheorieën snel uit de hand kunnen lopen, en deels waarom, zelfs nadat dergelijke inhoud is verboden, vormen ervan kan volharden op het platform.
In zijn profiel in de New York Times schrijft Schroepfer noemde deze beperkingen van de contentmoderatiestrategie van het bedrijf. Elke keer dat de heer Schroepfer en zijn meer dan 150 technische specialisten A.I. oplossingen die schadelijk materiaal markeren en onderdrukken, nieuwe en dubieuze berichten die de A.I. systemen zijn nog nooit eerder opgekomen - en worden dus niet gepakt, schreef de Times. Het gaat nooit naar nul, vertelde Schroepfer aan de publicatie.
Ondertussen werken de algoritmen die deze inhoud aanbevelen nog steeds om de betrokkenheid te maximaliseren. Dit betekent dat elke giftige post die aan de content-moderatiefilters ontsnapt, hoger in de nieuwsfeed zal worden gepromoot en gepromoot om een groter publiek te bereiken. inderdaad, een studie van de Universiteit van New York ontdekte onlangs dat van de Facebook-pagina's van partijdige uitgevers, degenen die regelmatig politieke verkeerde informatie plaatsten, de meeste betrokkenheid kregen in de aanloop naar de Amerikaanse presidentsverkiezingen van 2020 en de rellen in het Capitool. Dat raakte me een beetje, zegt een voormalig medewerker die van 2018 tot 2019 aan integriteitskwesties werkte. We erkenden [dit] volledig, en toch vergroten we de betrokkenheid.
Maar het SAIL-team van Quiñonero werkte niet aan dit probleem. Vanwege de zorgen van Kaplan en Zuckerberg over het vervreemden van conservatieven, bleef het team gefocust op vooringenomenheid. En zelfs nadat het opging in het grotere Responsible AI-team, kreeg het nooit de opdracht om te werken aan contentaanbevelingssystemen die de verspreiding van verkeerde informatie zouden kunnen beperken. Evenmin heeft een ander team, zoals ik bevestigde nadat Entin en een andere woordvoerder me een volledige lijst gaven van alle andere initiatieven van Facebook op het gebied van integriteitskwesties - de overkoepelende term van het bedrijf voor problemen zoals verkeerde informatie, aanzetten tot haat en polarisatie.
Verwant verhaal
Ik begon te huilen: de laatste dagen van Timnit Gebru bij Google - en wat gebeurt er daarna? .Een Facebook-woordvoerder zei: Het werk wordt niet gedaan door één specifiek team, want zo werkt het bedrijf niet. Het wordt in plaats daarvan verdeeld onder de teams die de specifieke expertise hebben om aan te pakken hoe inhoudsrangschikking desinformatie voor hun deel van het platform beïnvloedt, zei ze. Maar Schroepfer vertelde me in een eerder interview precies het tegenovergestelde. Ik had hem gevraagd waarom hij een gecentraliseerd Responsible AI-team had gecreëerd in plaats van bestaande teams aan te sturen om vooruitgang te boeken op het gebied van het probleem. Hij zei dat het de beste praktijk van het bedrijf was.
[Als] het een belangrijk gebied is, moeten we er snel op reageren, het is niet goed gedefinieerd, [we creëren] een toegewijd team en krijgen het juiste leiderschap, zei hij. Naarmate een gebied groeit en volwassen wordt, zul je zien dat de productteams meer werk op zich nemen, maar het centrale team is nog steeds nodig omdat je up-to-date moet blijven met state-of-the-art werk.
Toen ik het werk van het Responsible AI-team beschreef aan andere experts op het gebied van AI-ethiek en mensenrechten, merkten ze de incongruentie op tussen de problemen die het aanpakte en die, zoals verkeerde informatie, waarvoor Facebook het meest berucht is. Dit lijkt zo vreemd verwijderd van Facebook als product - de dingen die Facebook bouwt en de vragen over de impact op de wereld waarmee Facebook wordt geconfronteerd, zei Rumman Chowdhury, wiens startup, Pariteit , adviseert bedrijven over verantwoord gebruik van AI en werd na ons interview overgenomen door Twitter. Ik had Chowdhury de documentatie van het Quiñonero-team laten zien waarin zijn werk werd beschreven. Ik vind het verrassend dat we het gaan hebben over inclusiviteit, eerlijkheid, rechtvaardigheid en niet over de zeer reële problemen die vandaag de dag plaatsvinden, zei ze.
Het lijkt erop dat de 'verantwoordelijke AI'-framing volledig subjectief is voor wat een bedrijf besluit dat het belangrijk is. Het is zoiets als: 'We verzinnen de voorwaarden en dan volgen we ze', zegt Ellery Roberts Biddle, de hoofdredacteur van Ranking Digital Rights, een non-profitorganisatie die de impact van technologiebedrijven op mensenrechten bestudeert. Ik begrijp niet eens wat ze bedoelen als ze het over eerlijkheid hebben. Denken ze dat het eerlijk is om mensen aan te bevelen zich bij extremistische groepen aan te sluiten, zoals degenen die het Capitool hebben bestormd? Als iedereen de aanbeveling krijgt, betekent dat dan dat het eerlijk was?
We bevinden ons op een plek waar sprake is van één genocide [Myanmar] die de VN, met veel bewijs, specifiek heeft kunnen wijzen op Facebook en op de manier waarop het platform inhoud promoot, voegt Biddle toe. Hoeveel hoger kan de inzet krijgen?
In de afgelopen twee jaar, Het team van Quiñonero heeft de originele tool van Kloumann ontwikkeld, Fairness Flow genaamd. Het stelt ingenieurs in staat om de nauwkeurigheid van machine learning-modellen voor verschillende gebruikersgroepen te meten. Ze kunnen de nauwkeurigheid van een gezichtsdetectiemodel vergelijken voor verschillende leeftijden, geslachten en huidtinten, of de nauwkeurigheid van een spraakherkenningsalgoritme voor verschillende talen, dialecten en accenten.
Fairness Flow wordt ook geleverd met een reeks richtlijnen om ingenieurs te helpen begrijpen wat het betekent om een eerlijk model te trainen. Een van de neteligere problemen bij het eerlijk maken van algoritmen is dat er: verschillende definities van rechtvaardigheid , die onderling onverenigbaar kunnen zijn. Fairness Flow somt vier definities op die ingenieurs kunnen gebruiken en die het beste bij hun doel passen, zoals of een spraakherkenningsmodel alle accenten met gelijke nauwkeurigheid of met een minimale nauwkeurigheidsdrempel herkent.
Maar het testen van algoritmen op eerlijkheid is nog steeds grotendeels optioneel bij Facebook. Geen van de teams die rechtstreeks aan de nieuwsfeed, advertentieservice of andere producten van Facebook werken, is hiertoe verplicht. Loonprikkels zijn nog steeds gekoppeld aan engagement- en groeistatistieken. En hoewel er richtlijnen zijn over welke definitie van rechtvaardigheid in een bepaalde situatie moet worden gebruikt, worden ze niet afgedwongen.
Dit laatste probleem kwam naar voren toen het bedrijf te maken kreeg met beschuldigingen van anti-conservatieve vooringenomenheid.
In 2014 werd Kaplan gepromoveerd van Amerikaans beleidshoofd tot global vice-president voor beleid, en hij begon een meer hardhandige rol te spelen in inhoudsmoderatie en beslissingen over hoe berichten in de nieuwsfeeds van gebruikers moeten worden gerangschikt. Nadat Republikeinen in 2016 begonnen met het uiten van claims van anti-conservatieve vooringenomenheid, begon zijn team handmatig de impact van modellen voor het detecteren van verkeerde informatie op gebruikers te beoordelen om er onder andere voor te zorgen dat ze conservatieven niet onevenredig bestraften.
Alle Facebook-gebruikers hebben zo'n 200 kenmerken aan hun profiel gekoppeld. Deze omvatten verschillende dimensies die door gebruikers zijn ingediend of worden geschat door modellen voor machinaal leren, zoals ras, politieke en religieuze voorkeuren, sociaaleconomische klasse en opleidingsniveau. Het team van Kaplan begon de eigenschappen te gebruiken om aangepaste gebruikerssegmenten samen te stellen die grotendeels conservatieve interesses weerspiegelden: gebruikers die zich bezighielden met conservatieve inhoud, groepen en pagina's, bijvoorbeeld. Vervolgens voerden ze speciale analyses uit om te zien hoe beslissingen over inhoudsmoderatie van invloed zouden zijn op berichten uit die segmenten, volgens een voormalig onderzoeker wiens werk onderworpen was aan die beoordelingen.
De Fairness Flow-documentatie, die het Responsible AI-team later schreef, bevat een casestudy over hoe de tool in een dergelijke situatie kan worden gebruikt. Bij de beslissing of een desinformatiemodel eerlijk is met betrekking tot politieke ideologie, schreef het team: eerlijkheid wel niet betekent dat het model conservatieve en liberale gebruikers in gelijke mate moet beïnvloeden. Als conservatieven een groter deel van de verkeerde informatie posten, zoals beoordeeld door de publieke consensus, dan zou het model een groter deel van de conservatieve inhoud moeten markeren. Als liberalen meer verkeerde informatie plaatsen, zou het hun inhoud ook vaker moeten markeren.
Maar leden van Kaplans team volgden precies de tegenovergestelde benadering: ze namen eerlijkheid aan om te zeggen dat deze modellen conservatieven niet meer zouden moeten beïnvloeden dan liberalen. Als een model dat deed, stopten ze met de implementatie en eisten ze een verandering. Eens blokkeerden ze een detector voor medische verkeerde informatie die het bereik van antivaccinatiecampagnes merkbaar had verminderd, vertelde de voormalige onderzoeker me. Ze vertelden de onderzoekers dat het model niet kon worden ingezet totdat het team deze discrepantie had verholpen. Maar dat maakte het model in feite zinloos. Dan heeft het geen zin, zegt de onderzoeker. Een op die manier aangepast model zou letterlijk geen invloed hebben op het werkelijke probleem van desinformatie.
Ik begrijp niet eens wat ze bedoelen als ze het over eerlijkheid hebben. Denken ze dat het eerlijk is om mensen aan te bevelen zich bij extremistische groepen aan te sluiten, zoals degenen die het Capitool hebben bestormd? Als iedereen de aanbeveling krijgt, betekent dat dan dat het eerlijk was?
Ellery Roberts Biddle, hoofdredacteur van Ranking Digital Rights
Dit gebeurde talloze andere keren - en niet alleen voor inhoudsmoderatie. In 2020 is de Washington Post meldde dat het team van Kaplan de inspanningen om verkiezingsinterferentie en polarisatie binnen Facebook te verminderen had ondermijnd, en zei dat ze zouden kunnen bijdragen aan anti-conservatieve vooringenomenheid. In 2018 gebruikte het hetzelfde argument om een project om de aanbevelingsmodellen van Facebook te bewerken op de plank te houden, hoewel onderzoekers dachten dat het de verdeeldheid op het platform zou verminderen, volgens de Wall Street Journal . Zijn beweringen over politieke vooringenomenheid verzwakten ook een voorstel om de rangschikkingsmodellen voor de nieuwsfeed te bewerken waarvan de datawetenschappers van Facebook dachten dat ze het platform zouden versterken tegen de manipulatietactieken die Rusland had gebruikt tijdens de Amerikaanse verkiezingen van 2016.
En voorafgaand aan de verkiezingen van 2020 gebruikten beleidsmanagers van Facebook dit excuus, volgens de New York Times , om een veto uit te spreken of verschillende voorstellen af te zwakken die de verspreiding van hatelijke en schadelijke inhoud zouden hebben verminderd.
Facebook betwistte de berichtgeving van de Wall Street Journal in een vervolgblog post, en daagde de karakterisering van de New York Times uit in een interview met de publicatie. Een woordvoerder van het team van Kaplan ontkende me ook dat dit een gedragspatroon was, en zei dat de gevallen die door de Post, de Journal en de Times werden gerapporteerd allemaal individuele gevallen waren waarvan we denken dat ze vervolgens verkeerd worden gekarakteriseerd. Hij weigerde commentaar te geven op de omscholing van modellen voor verkeerde informatie.
Veel van deze incidenten vonden plaats voordat Fairness Flow werd ingevoerd. Maar ze laten zien hoe Facebook's streven naar rechtvaardigheid in dienst van groei al een hoge prijs had gekost om vooruitgang te boeken op de andere uitdagingen van het platform. En als ingenieurs de definitie van eerlijkheid gebruikten die het team van Kaplan had aangenomen, zou Fairness Flow eenvoudig gedrag kunnen systematiseren dat verkeerde informatie beloonde in plaats van te helpen het te bestrijden.
Vaak speelde de hele kwestie van eerlijkheid alleen een rol als een gemakkelijke manier om de status-quo te handhaven, zegt de voormalige onderzoeker: Het lijkt in strijd met de dingen die Mark in het openbaar zei in termen van eerlijk en billijk zijn.
De laatste keer dat ik met Quiñonero sprak was een maand na de rellen in het Capitool in de VS. Ik wilde weten hoe de bestorming van het Congres zijn denken en de richting van zijn werk had beïnvloed.
In het videogesprek was het zoals het altijd was: Quiñonero die vanuit zijn thuiskantoor inbelde in het ene raam en Entin, zijn PR-manager, in een ander. Ik vroeg Quiñonero welke rol hij vond dat Facebook had gespeeld in de rellen en of het de taak die hij zag voor Responsible AI veranderde. Na een lange pauze omzeilde hij de vraag en begon hij met een beschrijving van recent werk dat hij had gedaan om meer diversiteit en inclusie onder de AI-teams te bevorderen.
Ik stelde hem de vraag opnieuw. Zijn Facebook Portal-camera, die computervisie-algoritmen gebruikt om de spreker te volgen, begon langzaam in te zoomen op zijn gezicht terwijl hij stil werd. Ik weet niet of ik een gemakkelijk antwoord op die vraag heb, Karen, zei hij. Het is een buitengewoon moeilijke vraag om mij te stellen.
Entin, die snel met een stoïcijns pokerface aan het ijsberen was, greep een rode stressbal.
Ik vroeg Quiñonero waarom zijn team niet eerder had gekeken naar manieren om de modellen voor het rangschikken van inhoud van Facebook te bewerken om verkeerde informatie en extremisme aan te pakken. Hij vertelde me dat het de taak van andere teams was (hoewel geen enkele, zoals ik bevestigde, het mandaat had om aan die taak te werken). Het is niet haalbaar voor het Responsible AI-team om al die dingen zelf te bestuderen, zei hij. Toen ik hem vroeg of hij zou overwegen om zijn team die problemen in de toekomst te laten aanpakken, gaf hij vaag toe dat ik het met je eens ben dat dit de reikwijdte van dit soort gesprekken zal zijn.
Tegen het einde van ons interview van een uur begon hij te benadrukken dat AI vaak onterecht als de boosdoener werd afgeschilderd. Ongeacht of Facebook AI gebruikte of niet, zei hij, mensen zouden nog steeds leugens en haatzaaien uitspuwen, en die inhoud zou zich nog steeds over het platform verspreiden.
Ik drukte hem nog een keer. Hij kon zeker niet geloven dat algoritmen absoluut niets hadden gedaan om de aard van deze problemen te veranderen, zei ik.
Ik weet het niet, zei hij met een haperende stotter. Toen herhaalde hij, met meer overtuiging: Dat is mijn eerlijke antwoord. Eerlijk tegen God. Ik weet het niet.
Correcties: We hebben een regel aangepast die suggereerde dat Joel Kaplan, Facebook's vice-president van mondiaal beleid, Fairness Flow had gebruikt. Hij heeft niet. Maar leden van zijn team hebben de notie van eerlijkheid gebruikt om de herscholing van desinformatiemodellen te vragen op manieren die rechtstreeks in tegenspraak zijn met de richtlijnen van Responsible AI. We hebben ook verduidelijkt wanneer Rachad Alao, de technisch directeur van Responsible AI , toegetreden tot het bedrijf.