Ik begon te huilen: de laatste dagen van Timnit Gebru bij Google - en wat gebeurt er daarna?

.

Nhung Le

door

• Karen Hao archiefpagina

16 december 2020

Inmiddels hebben we allemaal een versie van het verhaal gehoord. Op 2 december, na een langdurige onenigheid over de publicatie van een onderzoekspaper, Google dwong zijn ethische AI ​​co-lead, Timnit Gebru . Het papier was op de risico's van grote taalmodellen , AI-modellen die zijn getraind in duizelingwekkende hoeveelheden tekstgegevens, die een kern van onderzoek vormen voor de activiteiten van Google. Gebru, een toonaangevende stem in AI-ethiek, was een van de weinige zwarte vrouwen bij Google Research.

De stap heeft sindsdien geleid tot een debat over de groeiende invloed van bedrijven op AI, het al lang bestaande gebrek aan diversiteit in technologie en wat het betekent om zinvol AI-ethisch onderzoek te doen. Op 15 december hadden meer dan 2.600 Google-medewerkers en 4.300 anderen in de academische wereld, de industrie en het maatschappelijk middenveld ondertekende een petitie het ontslag van Gebru aan de kaak stellen en het een ongekende onderzoekscensuur en een vergeldingsdaad noemen.

Verwant verhaal

We lazen de krant die Timnit Gebru uit Google dwong. Dit is wat het zegt.

De steronderzoeker op het gebied van ethiek van het bedrijf benadrukte de risico's van grote taalmodellen, die essentieel zijn voor de activiteiten van Google.

Gebru staat bekend om het fundamentele werk in het onthullen van AI-discriminatie , ontwikkelen methoden om te documenteren en AI-modellen controleren , en pleiten voor meer diversiteit in onderzoek. In 2016 was ze medeoprichter van de non-profit Black in AI , dat een centrale bron is geworden voor burgerrechtenactivisten, arbeidsorganisatoren en vooraanstaande AI-ethiekonderzoekers, die onderzoekstalent op het gebied van zwart AI cultiveren en onder de aandacht brengen.

Het verliezen van haar baan vertraagde Gebru niet. De week daarop nam ze deel aan verschillende workshops bij NeurIPS, de grootste jaarlijkse AI-onderzoeksconferentie, die dit jaar door meer dan 20.000 mensen werd bezocht. Het was therapeutisch, zegt ze, om te zien hoe de gemeenschap die ze had helpen opbouwen, opdook en elkaar steunde. Nu, weer een week later, komt ze gewoon tot rust en komt ze op adem - en probeert ze alles te begrijpen.

Op maandag 14 december heb ik Gebru ingehaald via Zoom. Ze vertelde wat er gebeurde tijdens haar tijd bij Google, dacht na over wat het betekende voor het veld en AI-ethisch onderzoek, en gaf afscheidswoorden van advies aan degenen die technologiebedrijven verantwoordelijk willen houden. Je kunt ook luisteren naar een speciale aflevering van onze podcast, In Machines We Trust, voor hoogtepunten uit het interview. (Google heeft een verzoek om commentaar op de inhoud van dit interview afgewezen.)

Het volgende is bewerkt en ingekort.

Ik wilde eerst even kijken hoe het met je gaat.

Ik heb het gevoel dat ik niet echt de tijd heb gehad om alles wat er is gebeurd en de gevolgen ervan emotioneel te verwerken. Ik ben gewoon een soort van gaan en gaan en gaan. Dus ik heb het gevoel dat ik op een gegeven moment waarschijnlijk uit elkaar zal vallen als er een beetje rust is. Maar op dit moment maak ik me alleen maar grote zorgen over mijn team en de mensen die mij ondersteunen, en de soorten risico's die ze nemen, en ervoor zorgen dat er geen represailles tegen worden genomen.

Er zijn zoveel verslagen van wat er is gebeurd. Ik wilde beginnen vanaf een veel eerder punt in dit verhaal. Waarom koos je er oorspronkelijk voor om bij Google te werken, en hoe was Google toen?

I denk Samy [Bengio, directeur bij Google AI] en Jeff [Dean, de SVP van Google Research] waren bij de Black in AI-workshop [bij NeurIPS in 2017]. Ze vroegen me wat ik deed, en ze zeiden: Oh ja, je zou bij Google moeten komen werken. Ik was het niet van plan. Ik deed destijds mijn postdoc bij Microsoft Research [MSR]. Ik had niet bedacht wat ik hierna zou gaan doen. Maar ik wist dat ik terug wilde naar de Bay Area, en ze waren een kantoor aan het opzetten in Accra, Ghana. Het leek me goed om daarbij te helpen.

Ik had veel reserveringen. Ik was in New York City bij MSR, en daar waren veel vocale vrouwen - Danah Boyd, Hannah Wallach, Jen [Wortman Vaughan], Kate Crawford, Mary Gray. Er waren niet echt gekleurde vrouwen. De enige zwarte vrouwen die ik ken van alle Microsoft Research zijn Danielle Bellgrave in het VK en Shawndra Hill in New York. Maar toch, zelfs de mannen waren erg ondersteunend. Ik aarzelde erg om naar een omgeving te gaan waar ik wist dat Google Research niet bekend stond om zijn pleidooi voor vrouwen. Er waren een aantal problemen die ik via mijn fluisternetwerken had gehoord. Toen ik zei dat ik naar Google Research ging, hebben een aantal mensen me zelfs laten zitten. Dus ik was er gewoon al bang voor, zoals Oh man, oké, waar ga ik aan beginnen?

Ik was absoluut de eerste zwarte vrouw die onderzoekswetenschapper was bij Google. Na mij hebben we nog twee zwarte vrouwen. Dat is, zoals, van zoveel onderzoekswetenschappers. Honderden en honderden. Drie van God weet hoeveel.

Ze stelden niet teleur. Het was gewoon constant vechten. Ik probeerde het te benaderen als praten met mensen, proberen ze op te voeden, proberen ze een bepaald standpunt te laten zien. Ik bleef maar denken dat ze het beter konden doen, weet je? Met Samy is hij zo'n grote pleitbezorger geworden. Mensen klaagden dat deze organisatie [Google Research] slechts 14% vrouwen in dienst had. Samy, mijn manager, nam 39% vrouwen aan. Het was niet alsof hij enige stimulans had om dat te doen. Hij was de enige reden waarom ik het gevoel had dat mij dit niet eerder was overkomen. Het is waarschijnlijk omdat hij ons beschermde. En door ons te beschermen, zou hij zelf in de problemen komen. Als andere leiders je toonaangevend zijn, en je bent te luidruchtig, ben je net een onruststoker - we weten allemaal dat dat is wat er gebeurt met mensen zoals ik - en als iemand je verdedigt, zullen ze natuurlijk ook een probleem zijn voor de andere leiders.

Dat waren dus mijn twee jaar bij Google. Ik dacht eigenlijk dat we misschien vooruitgang boekten tot het laatste incident, omdat ons team groeide. Het ging van bijna desintegreren - twee maanden na mijn tijd bij Google zou mijn co-lead, Meg Mitchell, stoppen. Maar toen hebben we ons team uitgebreid en we zijn nu met ongeveer 12 mensen. Dus ik dacht dat we vooruit gingen.

Er werd zoveel gepraat over diversiteit en inclusie, maar ook zoveel hypocrisie. Ik ben een van de 1,6% zwarte vrouwen bij Google. In [Google] Research is dat niet 1,6%, maar veel lager. Ik was absoluut de eerste zwarte vrouw die onderzoekswetenschapper was bij Google. Na mij hebben we nog twee zwarte vrouwen. Dat is, zoals, van zoveel onderzoekswetenschappers. Honderden en honderden. Drie van God weet hoeveel.

Dus op een gegeven moment had ik zoiets van, weet je wat? Ik wil het niet eens hebben over diversiteit. Het is gewoon vermoeiend. Ze willen met je afspreken, ze luisteren niet naar je, en dan willen ze weer met je afspreken. Ik heb een miljoen documenten geschreven over een miljoen diversiteitsgerelateerde dingen - over raciale geletterdheid en machine learning [ML], ML-billijkheidsinitiatieven, over het behoud van vrouwen en de problemen. Zoveel documenten en zoveel e-mails.

Dus het is gewoon van het een na het ander geweest. Er is geen enkele vakantie geweest die ik binnen Google heb genomen waar ik niet midden in een of ander probleem zat. Het is gewoon nooit gemoedsrust geweest. Stel je voor dat iemand met een pistool op je schiet en je schreeuwt. En in plaats van te proberen de persoon te stoppen die met een pistool op je schiet, proberen ze te voorkomen dat je gaat schreeuwen. Zo voelde het. Het was gewoon zo pijnlijk om steeds weer in die positie te zitten.

Je hebt met succes een van de meest diverse teams in de AI-industrie opgebouwd. Wat was er eigenlijk voor nodig om dat te doen?

We moesten tegen allerlei dingen vechten. Ik moest manager worden, en toen wilden mensen niet dat ik manager werd. Ik dacht: oké, ik ben een zeer bekende non-profitorganisatie begonnen. Waarom heb je 'zorgen' over het feit dat ik een manager ben? Samy zei dit niet tegen mij, maar hij moest deze boodschap overbrengen: weet ze dat ze voor dingen ontslagen kan worden? Weet ze dat als ze manager wordt, ze een vertegenwoordiger van Google moet worden? Toen uitten mensen hun bezorgdheid over het feit dat ik ongelukkig overkwam bij Google. Het is niet zo van: Oh, er is een giftige cultuur die mensen zoals zij ongelukkig maakt. Laten we die cultuur dus oplossen. Nee, dat was niet het gesprek. Het gesprek was dat ze ongelukkig lijkt te zijn, dus laten we geen manager van haar maken.

Ik was toen razend. Ik was zó boos. Ik vroeg elke andere persoon die manager werd op mijn niveau wat hun ervaring was. Ik heb zoiets van, deze persoon werd een manager en niemand heeft ze ooit gevraagd of ze wisten dat ze zouden worden ontslagen voor X, Y en Z. Deze andere persoon werd een manager. Niemand hoefde met hen te praten. Er was geen enkele discussie. Voor mij was het niet zo.

Stel je voor dat iemand met een pistool op je schiet en je schreeuwt. En in plaats van te proberen de persoon te stoppen die met een pistool op je schiet, proberen ze te voorkomen dat je gaat schreeuwen.

Nog iets: we wilden sociale wetenschappers inhuren. Vaak huren onderzoekers gewoon hun vrienden in, en dat wilden we niet doen. We hebben een oproep gedaan. We hebben 300 aanmeldingen. We hebben ze met de hand doorgenomen omdat we er zeker van wilden zijn dat recruiters bepaalde groepen mensen niet uitfilterden. We hadden een snel gesprek met 20-plussers, we hadden een interview op locatie met 10 mensen, en toen namen we er twee in dienst.

Waarom ik dacht dat we vooruitgang boekten, was omdat we middelen konden krijgen om deze mensen in dienst te nemen. Dus ik dacht dat Jeff misschien ons team begon te steunen en het soort dingen dat we aan het doen waren. Ik had nooit gedacht - ik weet helemaal niet precies hoe dit gebeurde - maar ik kon me gewoon niet voorstellen dat hij ermee zou instemmen [mijn ontslag]. Ik kan me niet voorstellen dat hij eraan begon, maar zelfs dat hij ermee instemde, was gewoon zo verrassend voor mij.

Kon u in de tijd dat u het team opbouwde, relaties opbouwen met andere teams bij Google? Waren bepaalde delen van de organisatie ontvankelijker voor ethische kwesties op het gebied van AI?

De meeste mensen in ons team worden overspoeld met verzoeken van andere teams of andere mensen. En een van onze uitdagingen was om niet altijd midden in een brand te staan, want we wilden vooruitzien. We wilden vormgeven aan wat er in de toekomst gebeurt en niet alleen reageren.

De grootste mismatch die ik zie, is dat er zoveel mensen zijn die ons respecteren, maar er zijn ook mensen aan de top, zoals VP's, die ons misschien niet kunnen uitstaan ​​of onze autoriteit of expertise helemaal niet respecteren. Ik heb dat een aantal keren gezien. Maar mensen in Google Cloud, of Cloud AI specifiek, sommige van de hogere leidinggevenden, waren zeer ondersteunend. Ik had het gevoel dat ze ons leiderschap echt respecteerden, dus probeerden ze ons bij veel dingen te betrekken. Aan de andere kant was dit laatste fiasco niet van hen. Ik heb mijn vermoedens van welke VP's het afkomstig was, en ze respecteerden onze expertise of ons leiderschap zeker niet.

Kun je daar iets meer over vertellen?

Nou, zelfs als je het alleen maar ziet de e-mail van Jeff -Ik neem aan dat hij deze e-mail niet heeft geschreven; Ik neem aan dat iemand het heeft geschreven en hij het heeft verzonden - het vertelt hoe ons onderzoek [paper over grote taalmodellen] hiaten had, er ontbrak wat literatuur. [De e-mail klinkt niet] klinkt alsof ze praten met mensen die experts zijn in hun gebied. Dit is geen peerreview. Dit is niet recensent #2 die je zegt: Hé, er is een ontbrekend citaat. Dit is een groep mensen, die we niet kennen, die hoog in het vaandel staan ​​omdat ze al heel lang bij Google werken, die om een ​​onbekende reden en een proces dat ik nog nooit heb gezien, de macht hebben gekregen om dit onderzoek stop te zetten.

We hadden 128 citaten [op dat papier] en we stuurden ons papier naar veel van deze mensen die we citeerden. We waren zo grondig. Ik zei, oké, ik wil de mensen aan wie we feedback gaan vragen in vier emmers plaatsen. Een daarvan zijn de mensen die zelf grote taalmodellen hebben ontwikkeld, gewoon om hun perspectief te krijgen. Een daarvan zijn mensen die werken op het gebied van het begrijpen en verminderen van de vooroordelen in deze modellen. Een daarvan zijn mensen die het misschien niet eens zijn met onze mening. Een daarvan zijn mensen die deze grote taalmodellen voor verschillende dingen gebruiken. En we hebben een heel document met al deze feedback die we zouden moeten doornemen en die ik nog wil doen voordat we dit werk vrijgeven.

Maar de manier waarop ze [Google-leiderschap] met ons spraken, was niet alsof ze spraken met wereldberoemde experts en taalkundigen. Net als Emily Bender [een professor aan de Universiteit van Washington en een co-auteur van het artikel] is niet een willekeurig persoon die haar naam zomaar op een willekeurig papier heeft gezet. Ik vond het allemaal zo respectloos.

Waren er voorafgaand aan dit specifieke artikel eerdere gevallen waarin u ooit het gevoel had dat Google het vermogen van uw team om onderzoek te doen, beperkte of beperkte?

Ik had het gevoel dat er eerdere gevallen waren waarin ze de onderzoeksresultaten veel verwaterden. Mensen hadden gesprekken met PR en beleid of wat dan ook, en ze zouden het oneens zijn met bepaalde bewoordingen of het oneens zijn met bepaalde details. Dat is wat ik dacht dat ze ook met dit papier zouden proberen te doen. Dus ik schreef een document en ik bleef ze vragen: Wat is precies je feedback? Is uw feedback om een ​​sectie toe te voegen? Verwijderen? Wat betekent dit? Wat vraag je ons?

Dit was letterlijk mijn e-mail op vrijdag na Thanksgiving [ 27 november, vijf dagen voor het ontslag van Gebru ] omdat ik op Thanksgiving-dag mijn dag had besteed aan het schrijven van dit document in plaats van me te amuseren met mijn familie. De volgende dag, op vrijdag, toen ik verondersteld werd dit document in te trekken, schreef ik: Oké, ik heb dit zes pagina's tellende document geschreven waarin ik op een hoog en laag niveau inga op alle feedback die ik kan verzamelen. En ik hoop dat er op zijn minst een openheid is voor verder gesprek in plaats van alleen verdere bevelen. Ik heb die e-mail geschreven. Zoals dat. Hoe reageert Megan [Kacholia, de VP of engineering bij Google Research] op deze e-mail? Maandag reageert ze erop en zegt: Kunt u bevestigen dat u het artikel hebt ingetrokken of de namen van de auteurs uit dit artikel hebt gehaald. Dank u. En kunt u dit alstublieft bevestigen nadat u dit heeft gedaan. Stuur me een e-mail en bevestig. Alsof ik geen instantie heb.

Dat is niet wat ze doen met mensen die zich schuldig hebben gemaakt aan grof wangedrag. Ze geven ze $ 80 miljoen, en ze geven ze een leuke kleine exit. Ze doen niet wat ze mij hebben aangedaan.

Toen schreef ik in dat document dat dit buitengewoon respectloos was voor het Ethical AI-team, en dat er een gesprek moet worden gevoerd, niet alleen met Jeff en ons team, en Megan en ons team, maar met heel Research over respect voor onderzoekers en hoe je dit soort discussies kunt voeren. Nee. Geen enkele betrokkenheid daarmee.

Ik heb trouwens gehuild. Toen ik die eerste ontmoeting had, die donderdag voor Thanksgiving was, een dag voordat ik op vakantie zou gaan, toen Megan ons vertelde dat je deze krant moet intrekken, begon ik te huilen. Ik was zo overstuur omdat ik zei: ik ben zo moe van het constant vechten hier. Ik dacht dat als ik al deze hypocrisie en andere dingen van DEI [diversiteit, gelijkheid en inclusie] negeerde, en me alleen op mijn werk concentreerde, ik mijn werk dan tenminste gedaan zou kunnen krijgen. En nu kom je voor mijn werk. Dus ik begon letterlijk te huilen.

Wat denk je dat het was over deze specifieke krant die deze gebeurtenissen raakte? Denk je dat het eigenlijk over deze paper ging, of speelden er andere factoren mee?

Ik weet het niet. Samy was geschokt door de hele zaak. Hij had zoiets van, dit is niet hoe we onderzoekers behandelen. Ik bedoel, dit is niet hoe je mensen in het algemeen behandelt. Mensen praten over hoe, als dit iemand overkomt die dit heeft bereikt, ik me kan voorstellen wat ze mensen aandoen, vooral mensen in kwetsbare groepen.

Ze dachten waarschijnlijk dat ik er superstil over zou zijn. Ik weet het niet. Ik denk niet dat het eindresultaat alleen over dit papier ging. Misschien waren ze verrast dat ik op wat voor manier dan ook terugdeinsde. Ik probeer nog steeds te achterhalen wat er is gebeurd.

Had je ooit vermoed, op basis van de eerdere gebeurtenissen en spanningen, dat het op deze manier zou eindigen? En had je de reactie van de community verwacht?

Ik dacht dat ze me misschien ellendig genoeg zouden maken om te vertrekken, of zoiets. Ik dacht dat ze slimmer zouden zijn dan het precies op deze manier te doen, omdat het een samenvloeiing is van zoveel problemen waarmee ze te maken hebben: onderzoekscensuur, ethische AI, arbeidsrechten, DEI - alle dingen waar ze onder vallen vuur voor vroeger. Dus ik had niet verwacht dat het op die manier zou zijn, zoals, mijn zakelijke account volledig afsnijden. Dat is zo meedogenloos. Dat is niet wat ze doen met mensen die zich schuldig hebben gemaakt aan grof wangedrag. Zij geef ze 80 miljoen dollar , en ze geven ze een leuke kleine exit, of misschien promoten ze ze passief-agressief, of wat dan ook. Ze doen niet met de mensen die een vijandige werkomgeving creëren, wat ze met mij hebben gedaan.

Ik kwam erachter uit mijn directe ondergeschikten, weet je? Wat zo, zo verdrietig is. Ze waren gewoon zo getraumatiseerd. Ik denk dat mijn team tot 4 of 5 uur bij elkaar bleef om te begrijpen wat er gebeurde. En om Samy heen gaan - het was gewoon allemaal zo verschrikkelijk en meedogenloos.

Ik dacht dat als ik me gewoon op mijn werk concentreerde, ik mijn werk tenminste gedaan kon krijgen. En nu kom je voor mijn werk. Dus ik begon letterlijk te huilen.

Ik verwachtte wat steun, maar ik had zeker niet de hoeveelheid uitstorting verwacht die er is. Het was ongelooflijk om te zien. Ik heb nog nooit zoiets meegemaakt. Ik bedoel, willekeurige familieleden sms'en me, ik zag dit op het nieuws. Dat is zeker niet iets wat ik had verwacht. Maar mensen nemen nu zoveel risico's. En dat baart me zorgen, want ik wil er echt zeker van zijn dat ze veilig zijn.

Je hebt gezegd dat dit niet alleen over jou gaat; het gaat niet alleen om Google. Het is een samenloop van zoveel verschillende problemen. Wat zegt deze specifieke ervaring over de invloed van technologiebedrijven op AI in het algemeen en hun vermogen om daadwerkelijk zinvol werk te doen op het gebied van AI-ethiek?

Weet je, er waren een aantal mensen Big Tech en Big Tobacco vergelijken , en hoe ze onderzoek censureerden, ook al kenden ze de problemen al een tijdje. Ik duw terug op de academia-versus-tech dichotomie, omdat ze allebei hetzelfde soort zeer racistische en seksistische paradigma hebben. Het paradigma dat u leert en naar Google of waar dan ook start in de academische wereld. En mensen bewegen. Ze gaan naar de industrie en dan gaan ze terug naar de academische wereld, of omgekeerd. Het zijn allemaal vrienden; ze gaan allemaal naar dezelfde conferenties.

Ik denk niet dat de les is dat er geen AI-ethisch onderzoek zou moeten zijn in technologiebedrijven, maar ik denk dat de les is dat a) er veel meer onafhankelijk onderzoek moet zijn. We hebben meer keuzes nodig dan alleen DARPA [het Defense Advanced Research Projects Agency] versus bedrijven. En b) er moet natuurlijk toezicht zijn op technologiebedrijven. Op dit moment begrijp ik gewoon niet hoe we kunnen blijven denken dat ze zichzelf gaan reguleren op DEI of ethiek of wat het ook is. Ze hebben niet het juiste gedaan, en ze zullen niet het juiste doen.

Ik denk dat academische instellingen en conferenties hun relaties met grote bedrijven en de hoeveelheid geld die ze van hen afnemen, moeten heroverwegen. Sommige mensen vroegen zich bijvoorbeeld zelfs af of sommige van deze conferenties een gedragscode zonder censuur of iets dergelijks zouden moeten hebben. Dus ik denk dat er veel is dat deze conferenties en academische instellingen kunnen doen. Er is op dit moment een te grote onbalans van macht.

Welke rol denk je dat ethiekonderzoekers kunnen spelen als ze bij bedrijven zijn? In het bijzonder, als uw voormalige team bij Google blijft, wat voor soort pad ziet u voor hen in termen van hun vermogen om impactvol en zinvol werk te produceren?

Ik denk dat er een soort van bescherming moet zijn voor dat soort mensen, of zulke onderzoekers. Op dit moment is het natuurlijk heel moeilijk voor te stellen hoe iemand echt onderzoek kan doen binnen deze bedrijven. Maar als je arbeidsbescherming had, als je klokkenluidersbescherming hebt, als je wat meer overzicht hebt, is het misschien makkelijker voor mensen om beschermd te worden terwijl ze dit soort werk doen. Het is heel gevaarlijk als je dit soort onderzoekers laat doen wat mijn co-lead vijgenblad-cover-up-werk noemde. Zoals, we veranderen niets, we zetten gewoon een vijgenblad op de kunst. Als je in een omgeving bent waar de mensen met macht niet geïnvesteerd zijn in het echt veranderen van iets, omdat ze geen enkele stimulans hebben, zal het natuurlijk helemaal niet helpen om dit soort onderzoekers te hebben ingebed. Maar ik denk dat als we mechanismen voor verantwoording en toezicht kunnen creëren, beschermingsmechanismen, ik hoop dat we dit soort onderzoekers kunnen laten voortbestaan ​​in bedrijven. Maar daarvoor moet er veel veranderen.

Zijn er, naast het feit dat conferenties of regelgeving de stimuleringsstructuren veranderen, andere mechanismen of dingen die u zou kunnen zien als onderdeel van dit externe toezichtskader? Zie je een rol die het publiek zou kunnen spelen bij het verantwoordelijk houden van technologiebedrijven?

Hier moet ik meer over nadenken. Ik denk dat het publiek meer moet worden opgeleid in de rol die technologiebedrijven, en ook AI, spelen in ons dagelijks leven. Veel mensen hebben daar heel goed werk van gemaakt. Mensen zijn boeken aan het schrijven - Wapens van wiskundige vernietiging was voor mij een heel goed boek om te lezen. Er is Gecodeerde bias , de documentaire. Ik ben ook blij dat ik begin te zien dat universiteiten een aantal van deze lessen in computerwetenschappen aanbieden. Ik vind dat ze verplicht zouden moeten zijn. Nicki Washington heeft les bij Duke die ik wou dat ik had kunnen nemen. Ruha [Benjamin] heeft een les [op Princeton] . Ik denk dat ons begrip van hoe wetenschap wordt ontwikkeld en hoe techniek wordt ontwikkeld, gewoon moet veranderen. Het publiek moet de politieke aard van dit werk begrijpen. Hoger onderwijssystemen lopen naar mijn mening erg achter op deze manier. Ze moeten veel werk verzetten.

Bij het publiek denk ik dat als ik terug zou gaan naar drie, vier jaar geleden, er een stuk minder bewustzijn was. Nu zijn entiteiten zoals de ACLU [American Civil Liberties Union] er nauw bij betrokken; jij hebt de Algoritmische Justice League , Gegevens voor zwarte levens , doet hier veel werk. Dus ik denk dat het publiek meer kan leren. Maar ik denk dat dit meer over de politici gaat, omdat we een mechanisme hebben om het publiek bij verschillende dingen te betrekken. Maar de politici geven het publiek geen manier om mee te doen. Bijvoorbeeld [bedrijf voor gegevensanalyse] Palantir werd gebruikt in New Orleans voor predictive policing en niemand wist het. Er werd niet gestemd. Er was geen rekening. Daar was geen discussie over. Onze overheid moet het publiek dus actief de kans geven om mee te denken over dit soort kwesties.

Wat betekent het om daadwerkelijk zinvol AI-ethisch werk te doen?

Ik denk dat het misschien betekent dat je de fundamentele premissen en fundamentele problemen van AI in twijfel kunt trekken. Je hoeft dingen niet zomaar te verdoezelen, of je hoeft niet alleen maar reactionair te zijn. U kunt een vooruitziende blik hebben op de toekomst, en u kunt er vroeg bij zijn terwijl er over producten wordt nagedacht en ontwikkeld, en niet alleen dingen achteraf doen. Dat is het belangrijkste waar ik aan denk. En dat de mensen die het meest door de technologie worden beïnvloed, vanaf het allereerste begin een heel grote inspraak moeten hebben.

Je hebt eerder vermeld hoe ethiek bij technologiebedrijven vaak van bovenaf komt, van mensen die niet noodzakelijkerwijs degenen zijn die door de technologie worden beïnvloed. Wat is de ideale balans tussen het daadwerkelijk hebben van gemarginaliseerde stemmen die het gesprek aansturen, en tegelijkertijd de buy-in van topleiders hebben?

Als mensen in de marge geen macht hebben, is er voor niemand een stimulans om naar hen te luisteren of hen de discussie te laten vormen. Dus ik denk dat mensen aan de top een omgeving moeten koesteren waarin mensen aan de rand degenen zijn die de discussies over deze dingen, over AI-ethiek, over diversiteit en inclusie vormgeven.

Ons wordt geleerd wanneer we wetenschap objectief leren, wat het uitzicht vanuit het niets wordt genoemd, alsof het niet de bedoeling is dat je je standpunt ernaar toe brengt. Ik vind dat mensen precies het tegenovergestelde moeten doen.

Dat is niet wat er nu gebeurt. Je gaat naar Google en je ziet dat alle mensen op hoog niveau AI-ethiek doen - het zijn absoluut niet eens mensen uit ondervertegenwoordigde groepen. Dat was het gesprek dat we hadden toen ik daar was, en velen van ons waren er super gefrustreerd door. We hadden deze principes genaamd Niets over ons zonder ons, en het allereerste waar we op kwamen was psychologische veiligheid. Kun je je voorstellen? Dat betekent dat je me niet moet straffen voor het uitspreken, en dat is precies wat ze deden. Dus je moet de input zoeken, maar nogmaals, doe het niet op een roofzuchtige manier. Voordat je zelfs maar nadenkt over de producten die je aan het bouwen bent of het onderzoek dat je doet, moet je je gaan voorstellen: hoe kun je samenwerken met mensen in de marge om deze technologie vorm te geven?

Zie je jezelf in zekere zin als een martelaar?

Ik probeerde er niet een te zijn, en ik denk niet dat ik nu een martelaar ben. Ik hoop dat ik meer een agent voor verandering ben. Maar ja, Google heeft me er een soort van gemaakt, meer dan ik zou zijn geweest als ze me dit niet hadden aangedaan.

Wat volgt er voor jou?

Oh man. Ik heb geen tijd gehad om daar over na te denken. Op dit moment probeer ik er letterlijk voor te zorgen dat mijn team veilig is, ervoor te zorgen dat het verhaal over wat er met mij aan de hand is accuraat is en een beetje adem te halen als ik kan. Hopelijk wat wijn drinken, wat eten, wat chocolade eten, rondhangen met familie. En misschien kom ik er later achter. Maar mijn grootste prioriteit is om niet in het soort omgeving te zijn waarin ik me bevond. Dat is mijn grootste prioriteit.

Welk advies heb je voor andere mensen die willen voortbouwen op het werk dat je hebt gedaan?

Mijn advies is om enkele van de werken die ik noemde, te lezen, vooral door Jurk [Benjamin] , Meredith [Broussard] , Safiya [Edel] , Simone Browne , en een aantal andere mensen. En breng je geleefde ervaring erin. Probeer jezelf niet uit dit werk te halen. Het heeft veel met jou te maken. Dus je invalshoek en je kracht zullen afhangen van wat je geleefde ervaring is. Ik gaf een gesprek genaamd De hiërarchie van kennis en machinaal leren , en daar ging het ongeveer over: hoe we worden onderwezen als we wetenschap objectief leren, wat het uitzicht vanuit het niets wordt genoemd, alsof het niet de bedoeling is dat je je standpunt ernaar toe brengt. Ik vind dat mensen precies het tegenovergestelde moeten doen.

Update: we hebben de functietitel van Samy Bengio verduidelijkt en een verwijzing naar een onderzoeker gecorrigeerd. Timnit verwees naar Jen Wortman Vaughan, een senior hoofdonderzoeker bij MSR, niet Jen Chayes, een voormalig directeur bij hetzelfde bedrijf.