In de strijd om AI terug te winnen van de controle van Big Tech

Op de bovenste rij van links: Raphael Gontijo Lopes, Deborah Raji, Rediet Abebe. Tweede rij: Joy Buolamwini. Derde rij van links: William Agnew, Timnit Gebru. Ricardo Santos

Timnit Gebru had nooit gedacht wetenschappelijk document, wetenschappelijke publicatie zou haar zoveel problemen bezorgen.

In 2020 had Gebru, als co-lead van het ethische AI-team van Google, contact opgenomen met: Emily Bender , een professor taalkunde aan de Universiteit van Washington, en de twee besloten samen te werken aan onderzoek naar de verontrustende richting van kunstmatige intelligentie. Gebru wilde de risico's van grote taalmodellen , een van de meest verbluffende recente doorbraken in AI-onderzoek. De modellen zijn algoritmen die zijn getraind op duizelingwekkende hoeveelheden tekst. Onder de juiste omstandigheden kunnen ze overtuigende prozapassages componeren.

Dit verhaal maakte deel uit van ons nummer van juli 2021

• Zie de rest van het nummer
• Abonneren

Al een paar jaar waren technologiebedrijven aan het racen om grotere versies te bouwen en deze in consumentenproducten te integreren. Google, de uitvinder van de techniek, gebruikte er al een om de relevantie van zoekresultaten te verbeteren. OpenAI kondigde de grootste aan, genaamd GPT-3 , in juni 2020 en een paar maanden later exclusief aan Microsoft in licentie gegeven.

Gebru maakte zich zorgen over de snelheid waarmee de technologie werd ingezet. In de krant die ze uiteindelijk met Bender en vijf anderen aan het schrijven was, beschreef ze de mogelijke gevaren. De modellen waren enorm duur om te maken - zowel ecologisch (ze vereisen enorme hoeveelheden rekenkracht) als financieel; ze waren vaak getraind in de giftige en beledigende taal van internet; en ze zouden het onderzoek naar taal-AI gaan domineren en veelbelovende alternatieven uit de weg ruimen.

Net als andere bestaande AI-technieken begrijpen de modellen de taal niet echt. Maar omdat ze het kunnen manipuleren om op tekst gebaseerde informatie voor gebruikers op te halen of natuurlijke conversaties te genereren, kunnen ze worden verpakt in producten en diensten die technologiebedrijven veel geld opleveren.

In november diende Gebru de paper in voor een conferentie. Kort daarna vroegen Google-managers haar om het in te trekken, en toen ze weigerde, ontsloegen ze haar. Twee maanden later hebben ze ook ontsloeg haar co-auteur Margaret Mitchell , de andere leider van het ethische AI-team.

De ontmanteling van dat team leidde tot een van de grootste controverses binnen de AI-wereld in de recente geschiedenis. Verdedigers van Google voerden aan dat het bedrijf het recht heeft om zijn eigen onderzoekers te begeleiden. Maar voor vele anderen versterkte het de angst over de mate van controle die techreuzen nu over het veld hebben. Big Tech is nu de belangrijkste werkgever en financier van AI-onderzoekers, waaronder, enigszins ironisch, velen van degenen die de sociale effecten ervan beoordelen.

Verwant verhaal

We lazen de krant die Timnit Gebru uit Google dwong. Dit is wat het zegt.

De steronderzoeker op het gebied van ethiek van het bedrijf benadrukte de risico's van grote taalmodellen, die essentieel zijn voor de activiteiten van Google.

Onder de rijkste en machtigste bedrijven ter wereld hebben Google, Facebook, Amazon, Microsoft en Apple AI tot kernonderdelen van hun bedrijf gemaakt. Vooruitgang in het afgelopen decennium, met name in een AI-techniek genaamd diep leren , hebben hen in staat gesteld het gedrag van gebruikers te volgen; hen nieuws, informatie en producten aanbevelen; en vooral, target ze met advertenties. Vorig jaar genereerde het advertentieapparaat van Google meer dan $ 140 miljard aan inkomsten. Facebook heeft $ 84 miljard gegenereerd.

De bedrijven hebben zwaar geïnvesteerd in de technologie die hen zo'n enorme rijkdom heeft gebracht. Het moederbedrijf van Google, Alphabet, heeft het in Londen gevestigde AI-lab overgenomen DeepMind voor $ 600 miljoen in 2014 en besteedt honderden miljoenen per jaar om zijn onderzoek te ondersteunen. Microsoft tekende in 2019 een deal van $ 1 miljard met OpenAI voor commercialiseringsrechten op zijn algoritmen.

Tegelijkertijd zijn techreuzen grote investeerders geworden in universitair AI-onderzoek, wat een grote invloed heeft op de wetenschappelijke prioriteiten. In de loop der jaren zijn steeds meer ambitieuze wetenschappers overgestapt naar fulltime werken voor technische giganten of hebben ze een dubbele affiliatie aangenomen. Van 2018 tot 2019 had 58% van de meest geciteerde papers op de twee beste AI-conferenties ten minste één auteur die gelieerd was aan een technologiegigant, vergeleken met slechts 11% een decennium eerder, volgens een onderzoek van onderzoekers in de Radicaal AI-netwerk , een groep die de machtsdynamiek in AI wil uitdagen.

Het probleem is dat de bedrijfsagenda voor AI zich heeft gericht op technieken met commercieel potentieel, en grotendeels voorbijgaat aan onderzoek dat zou kunnen helpen bij het aanpakken van uitdagingen zoals economische ongelijkheid en klimaatverandering. In feite heeft het deze uitdagingen verergerd. De drang om taken te automatiseren heeft banen gekost en heeft geleid tot de opkomst van vervelend werk, zoals het opschonen van gegevens en het modereren van inhoud. De druk om steeds grotere modellen te maken, heeft het energieverbruik van AI doen exploderen. Deep learning heeft ook een cultuur gecreëerd waarin onze gegevens voortdurend, vaak zonder toestemming, worden geschraapt om producten zoals gezichtsherkenningssystemen te trainen. En aanbevelingsalgoritmen hebben de politieke polarisatie verergerd, terwijl grote taalmodellen er niet in zijn geslaagd desinformatie op te ruimen.

Het is deze situatie die Gebru en een groeiende beweging van gelijkgestemde wetenschappers willen veranderen. In de afgelopen vijf jaar hebben ze geprobeerd de prioriteiten van het veld te verschuiven van het simpelweg verrijken van technologiebedrijven, door uit te breiden wie mag deelnemen aan de ontwikkeling van de technologie. Hun doel is niet alleen om de schade veroorzaakt door bestaande systemen te beperken, maar ook om een ​​nieuwe, meer rechtvaardige en democratische AI ​​te creëren.

Hallo uit Timnit

In december 2015 ging Gebru zitten om een ​​open brief te schrijven. Halverwege haar doctoraat aan Stanford had ze de Neural Information Processing Systems-conferentie bijgewoond, de grootste jaarlijkse AI-onderzoeksbijeenkomst. Van de ruim 3.700 onderzoekers daar telde Gebru slechts een handvol zwarten.

Eens een kleine bijeenkomst over een niche academisch onderwerp, werd NeurIPS (zoals het nu heet) snel de grootste jaarlijkse AI-baanbonanza. De rijkste bedrijven ter wereld kwamen om te pronken met demo's, extravagante feesten te geven en forse cheques uit te schrijven voor de zeldzaamste mensen in Silicon Valley: bekwame AI-onderzoekers.

Dat jaar arriveerde Elon Musk om de non-profitonderneming aan te kondigen OpenAI . Hij, de toenmalige president van Y Combinator, Sam Altman, en PayPal-medeoprichter Peter Thiel hadden $ 1 miljard gestoken in het oplossen van wat volgens hen een existentieel probleem was: het vooruitzicht dat een superintelligentie ooit de wereld zou kunnen overnemen. Hun oplossing: bouw een nog betere superintelligentie. Van de 14 adviseurs of technische teamleden die hij zalfde, waren er 11 blanke mannen.

RICARDO SANTOS | HARTELIJKE FOTO

Terwijl Musk werd verheven, had Gebru te maken met vernedering en intimidatie. Op een conferentiefeestje liep een groep dronken mannen in Google Research T-shirts om haar heen en onderwierpen haar ongewenste knuffels, een kus op de wang en een foto.

Gebru typte een vernietigende kritiek op wat ze had waargenomen: het spektakel, de cult-achtige aanbidding van AI-beroemdheden, en vooral de overweldigende homogeniteit. De clubcultuur van deze jongens, schreef ze, had getalenteerde vrouwen al uit het veld geduwd. Het leidde ook de hele gemeenschap naar een gevaarlijk enge opvatting van kunstmatige intelligentie en de impact ervan op de wereld.

Google had al een computervisie-algoritme ingezet dat zwarte mensen als gorilla's classificeerde, merkte ze op. En de toenemende verfijning van onbemande drones zette het Amerikaanse leger op weg naar dodelijke autonome wapens. Maar er werd geen melding gemaakt van deze problemen in Musks grootse plan om te voorkomen dat AI de wereld overneemt in een theoretisch toekomstscenario. We hoeven niet in de toekomst te projecteren om de mogelijke nadelige effecten van AI te zien, schreef Gebru. Het gebeurt al.

Gebru heeft haar reflectie nooit gepubliceerd. Maar ze besefte dat er iets moest veranderen. Op 28 januari 2016 stuurde ze een e-mail met de onderwerpregel Hallo van Timnit naar vijf andere Black AI-onderzoekers. Ik ben altijd verdrietig geweest door het gebrek aan kleur in AI, schreef ze. Maar nu heb ik er 5 van jullie gezien :) en dacht dat het cool zou zijn als we een zwarte in de KI-groep zouden beginnen of in ieder geval van elkaar zouden weten.

De e-mail leidde tot een discussie. Wat was het over zwart zijn dat hun onderzoek informeerde? Voor Gebru was haar werk in hoge mate een product van haar identiteit; voor anderen was het niet. Maar na hun ontmoeting waren ze het erover eens: als AI een grotere rol in de samenleving zou gaan spelen, hadden ze meer zwarte onderzoekers nodig. Anders zou het veld zwakkere wetenschap produceren - en de nadelige gevolgen ervan zouden veel erger kunnen worden.

Een op winst gerichte agenda

Als Zwart in AI begon net samen te smelten, AI bereikte zijn commerciële pas. Dat jaar, 2016, gaven techreuzen volgens het McKinsey Global Institute naar schatting $ 20 tot $ 30 miljard uit aan de ontwikkeling van de technologie.

Verhit door bedrijfsinvesteringen, vervormde het veld. Duizenden onderzoekers begonnen AI te bestuderen, maar ze wilden vooral werken aan deep learning-algoritmen, zoals die achter grote taalmodellen. Als jonge promovendus die een baan bij een technologiebedrijf wil, realiseer je je dat het bij technologiebedrijven allemaal om deep learning gaat, zegt Suresh Venkatasubramanian, een professor computerwetenschappen die nu werkzaam is bij het Witte Huis Office of Science and Technology Policy. Dus je verschuift al je onderzoek naar deep learning. Dan kijkt de volgende promovendus die binnenkomt om zich heen en zegt: ‘Iedereen doet aan deep learning. Ik zou het waarschijnlijk ook moeten doen.'

Maar deep learning is niet de enige techniek in het veld. Vóór de hausse was er een andere AI-aanpak die bekend staat als symbolisch redeneren. Terwijl deep learning enorme hoeveelheden gegevens gebruikt om algoritmen te leren over betekenisvolle relaties in informatie, richt symbolisch redeneren zich op het expliciet coderen van kennis en logica op basis van menselijke expertise.

Sommige onderzoekers zijn nu van mening dat die technieken moeten worden gecombineerd. De hybride benadering zou AI efficiënter maken in het gebruik van gegevens en energie, en het de kennis en redeneervermogens van een expert geven, evenals het vermogen om zichzelf te updaten met nieuwe informatie. Maar bedrijven hebben weinig prikkels om alternatieve benaderingen te onderzoeken wanneer de zekerste manier om hun winst te maximaliseren is door steeds grotere modellen te bouwen.

In hun paper zinspeelden Gebru en Bender op de basiskosten van deze neiging om vast te houden aan deep learning: de meer geavanceerde AI-systemen die we nodig hebben, worden niet ontwikkeld en soortgelijke problemen blijven terugkeren. Facebook vertrouwt bijvoorbeeld sterk op grote taalmodellen voor geautomatiseerde contentmoderatie. Maar zonder echt de betekenis achter tekst te begrijpen, falen die modellen vaak. Ze verwijderen regelmatig onschuldige berichten terwijl ze haatdragende taal en verkeerde informatie een pass geven.

Op AI gebaseerde gezichtsherkenningssystemen hebben hetzelfde probleem. Ze zijn getraind op enorme hoeveelheden gegevens, maar zien alleen pixelpatronen - ze hebben geen idee van visuele concepten zoals ogen, monden en neuzen. Dat kan deze systemen laten struikelen wanneer ze worden gebruikt bij personen met een andere huidskleur dan de mensen die ze tijdens de training te zien kregen. Desalniettemin hebben Amazon en andere bedrijven deze systemen verkocht aan wetshandhavers. In de VS hebben ze het afgelopen jaar drie bekende gevallen veroorzaakt waarin de politie de verkeerde persoon - allemaal zwarte mannen - opsluit.

Jarenlang stemden velen in de AI-gemeenschap grotendeels in met de rol van Big Tech bij het vormgeven van de ontwikkeling en impact van deze technologieën. Terwijl sommigen hun ongenoegen uitten over de bedrijfsovername, verwelkomden velen de diepe bron van financiering van de sector.

Maar naarmate de tekortkomingen van de huidige AI duidelijker zijn geworden - zowel het falen om sociale problemen op te lossen als de toenemende voorbeelden die het kan verergeren - is het vertrouwen in Big Tech verzwakt. Google's afzetting van Gebru en Mitchell heeft de discussie verder aangewakkerd door te onthullen hoeveel bedrijven winst zullen verkiezen boven zelfcontrole.

In de onmiddellijke nasleep ondertekenden meer dan 2.600 Google-medewerkers en 4.300 anderen een petitie waarin het ontslag van Gebru werd veroordeeld als ongekende onderzoekscensuur. Een half jaar later wijzen onderzoeksgroepen nog steeds de financiering van het bedrijf af, weigeren onderzoekers deel te nemen aan de conferentieworkshops en vertrekken werknemers uit protest.

In tegenstelling tot vijf jaar geleden, toen Gebru deze vragen begon te stellen, is er nu een gevestigde beweging die zich afvraagt ​​wat AI zou moeten zijn en voor wie het zou moeten dienen. Dit is geen toeval. Het is in hoge mate een product van Gebru's eigen initiatief, dat begon met de simpele handeling om meer zwarte onderzoekers uit te nodigen in het veld.

Er is een conferentie voor nodig

In december 2017 organiseerde de nieuwe Black in AI-groep haar eerste workshop bij NeurIPS. Tijdens het organiseren van de workshop benaderde Gebru Joy Buolamwini, een MIT Media Lab-onderzoeker die commerciële gezichtsherkenningssystemen bestudeerde op mogelijke vooringenomenheid. Buolamwini was begonnen met het testen van deze systemen nadat een ervan haar eigen gezicht niet kon detecteren, tenzij ze een wit masker opzette. Ze legde haar voorlopige resultaten voor aan de workshop.

Deborah Raji, toen een niet-gegradueerde onderzoeker, was een andere vroege deelnemer. Raji was geschokt door de cultuur die ze bij NeurIPS had gezien. De workshop werd haar verademing. Om van vier of vijf dagen te gaan naar een volledige dag met mensen die op mij lijken te praten over slagen in deze ruimte - het was zo'n belangrijke aanmoediging voor mij, zegt ze.

Buolamwini, Raji en Gebru zouden samenwerken aan een paar baanbrekende studies over discriminerende computervisiesystemen. Buolamwini en Gebru co-auteur Geslacht tinten , waaruit bleek dat de gezichtsherkenningssystemen die door Microsoft, IBM en de Chinese technologiegigant Megvii werden verkocht, opmerkelijk hoge uitvalpercentages hadden bij zwarte vrouwen, ondanks bijna perfecte prestaties bij blanke mannen. Raji en Buolamwini werkten vervolgens samen aan een vervolg genaamd Bruikbare controle , wat hetzelfde gold voor Amazon's Rekognition. In 2020 zou Amazon akkoord gaan met een een jaar moratorium op politieverkopen van zijn product, mede door dat werk.

Verwant verhaal

Ik begon te huilen: de laatste dagen van Timnit Gebru bij Google - en wat gebeurt er daarna? .

Bij de allereerste Black in AI-workshop waren deze successen echter verre mogelijkheden. Er was geen andere agenda dan het opbouwen van een gemeenschap en het produceren van onderzoek op basis van hun ernstig ontbrekende perspectieven. Veel toeschouwers begrepen niet waarom zo'n groep moest bestaan. Gebru herinnert zich minachtende opmerkingen van sommigen in de AI-gemeenschap. Maar voor anderen wees Black in AI een nieuwe weg vooruit.

Dit gold voor William Agnew en Raphael Gontijo Lopes, beide queer mannen die onderzoek deden in de informatica, die zich realiseerden dat ze een Queer in AI-groep konden vormen. (Andere groepen die vorm kregen, zijn Latinx in AI, {Dis}Ability in AI en Muslim in ML.) Vooral voor Agnew was het hebben van zo'n gemeenschap een dringende behoefte. Het was moeilijk om me zelfs maar een gelukkig leven voor te stellen, zegt hij, nadenkend over het gebrek aan queer-rolmodellen in het veld. Er is Turing, maar hij pleegde zelfmoord. Dus dat is deprimerend. En het vreemde van hem wordt gewoon genegeerd.

Niet alle leden van de affiniteitsgroep zien een verband tussen hun identiteit en hun onderzoek. Toch heeft elke groep een specifieke expertise opgebouwd. Black in AI is het intellectuele centrum geworden voor het blootleggen van algoritmische discriminatie, het bekritiseren van surveillance en het ontwikkelen van data-efficiënte AI-technieken. Queer in AI is een centrum geworden voor het betwisten van de manieren waarop algoritmen inbreuk maken op de privacy van mensen en ze standaard in begrensde categorieën classificeren.

Venkatasubramanian en Gebru hielpen ook bij het opzetten van de Fairness, Accountability, and Transparency (FAccT)-conferentie om een ​​forum te creëren voor onderzoek naar de sociale en politieke implicaties van AI. Ideeën en conceptpapers die tijdens NeurIPS-affiniteitsgroepworkshops worden besproken, vormen vaak de basis voor papers die bij FAccT worden gepubliceerd, waar dat onderzoek vervolgens aan een breder publiek wordt getoond.

Het was bijvoorbeeld nadat Buolamwini op de eerste Black in AI-workshop presenteerde dat FAccT Gender Shades publiceerde. Samen met Actionable Auditing voedde het vervolgens verschillende grote voorlichtings- en belangenbehartigingscampagnes om het gebruik van gezichtsherkenning door de overheid te beperken. Toen Amazon probeerde de legitimiteit van het onderzoek van Buolamwini en Raji te ondermijnen, bundelden tientallen AI-onderzoekers en maatschappelijke organisaties de handen ineen om hen te verdedigen, een voorbode van wat ze later voor Gebru zouden doen. Die inspanningen hebben uiteindelijk bijgedragen aan het moratorium van Amazon, dat het bedrijf in mei aankondigde dat het voor onbepaalde tijd zou worden verlengd.

Het onderzoek veroorzaakte ook een cascade van regelgeving. Meer dan een dozijn steden hebben het gebruik van gezichtsherkenning door de politie verboden, en Massachusetts vereist nu dat de politie de toestemming van een rechter krijgt om het te gebruiken. Zowel de VS als de Europese Commissie hebben aanvullende regelgeving voorgesteld.

Eerst moesten we er gewoon zijn, zegt Gebru. En op een gegeven moment begint wat Black in AI zegt belangrijk te worden. En wat al deze groepen samen zeggen, wordt belangrijk. Je moet nu naar ons luisteren.

Volg het geld

Na het ontslag van Gebru en Mitchell worstelt het veld opnieuw met een eeuwenoude vraag: is het mogelijk om de status-quo te veranderen terwijl je van binnenuit werkt? Gebru gelooft nog steeds dat het werken met techreuzen de beste manier is om de problemen te identificeren. Maar ze is ook van mening dat bedrijfsonderzoekers sterkere juridische bescherming nodig hebben. Als ze riskante praktijken zien, moeten ze hun observaties publiekelijk kunnen delen zonder hun carrière in gevaar te brengen.

Dan is er de kwestie van de financiering. Veel onderzoekers willen meer investeringen van de Amerikaanse overheid om werk te ondersteunen dat kritisch is voor de ontwikkeling van commerciële AI en het algemeen welzijn bevordert. Vorig jaar legde het een magere $ 1 miljard toe aan niet-defensiegerelateerd AI-onderzoek. De regering-Biden vraagt ​​het Congres nu om nog eens 180 miljard dollar te investeren in opkomende technologieën, met AI als topprioriteit.

Dergelijke financiering kan mensen helpen zoals Abebe zal terugkeren , een assistent-professor computerwetenschappen aan de University of California, Berkeley. Abebe, die ook mede-oprichter was van Black in AI, kwam bij AI met ideeën om het te gebruiken om sociale rechtvaardigheid te bevorderen. Maar toen ze aan haar PhD bij Cornell begon, was niemand gefocust op het doen van dergelijk onderzoek.

In het najaar van 2016 begon ze als PhD-student een kleine Cornell-leesgroep met een mede-afgestudeerde student om onderwerpen als huisvestingsinstabiliteit, toegang tot gezondheidszorg en ongelijkheid te bestuderen. Vervolgens begon ze aan een nieuw project om te zien of haar computervaardigheden de inspanningen om armoede te verlichten kunnen ondersteunen.

Uiteindelijk vond ze de Poverty Tracker-studie, een gedetailleerde dataset over de financiële schokken - onverwachte uitgaven zoals medische rekeningen of parkeerboetes - die meer dan 2000 New Yorkse gezinnen hebben meegemaakt. Tijdens vele gesprekken met de auteurs van het onderzoek, maatschappelijk werkers en non-profitorganisaties die gemarginaliseerde gemeenschappen dienen, leerde ze over hun behoeften en vertelde ze hoe ze kon helpen. Abebe ontwikkelde vervolgens een model dat liet zien hoe de frequentie en het type schokken de economische status van een gezin beïnvloedden.

Vijf jaar later loopt het project nog steeds. Ze werkt nu samen met non-profitorganisaties om haar model te verbeteren en werkt samen met beleidsmakers via het California Policy Lab om het te gebruiken als een hulpmiddel om dakloosheid te voorkomen. Haar leesgroep is sindsdien ook uitgegroeid tot een gemeenschap van 2000 personen en houdt later dit jaar haar inaugurele conferentie.

Abebe ziet het als een manier om meer onderzoekers te stimuleren de normen van AI om te draaien. Terwijl traditionele computerwetenschappelijke conferenties de nadruk leggen op voortschrijdende computationele technieken om dit te doen, zal de nieuwe conferentie werk publiceren dat eerst een sociaal probleem diepgaand probeert te begrijpen. Het werk is niet minder technisch, maar het legt de basis voor de opkomst van meer sociaal zinvolle AI.

Deze veranderingen waar we voor strijden, zijn niet alleen voor gemarginaliseerde groepen, zegt ze. Het is eigenlijk voor iedereen.

zich verstoppen