We lazen de krant die Timnit Gebru uit Google dwong. Dit is wat het zegt.

De steronderzoeker op het gebied van ethiek van het bedrijf benadrukte de risico's van grote taalmodellen, die essentieel zijn voor de activiteiten van Google.





  • Karen Hao archiefpagina
4 december 2020 Timnit Gebru

met dank aan Timnit Gebru

Op woensdagavond 2 december kondigde Timnit Gebru, de co-lead van het ethische AI-team van Google, aan via Twitter dat het bedrijf haar had gedwongen het huis uit te gaan.

Gebru, een alom gerespecteerde leider in AI-ethisch onderzoek, staat bekend om co-auteurschap een baanbrekend papier waaruit bleek dat gezichtsherkenning minder nauwkeurig is bij het identificeren van vrouwen en mensen van kleur, wat betekent dat het gebruik ervan hen uiteindelijk kan discrimineren. Ze was ook medeoprichter van de Black in AI-affiniteitsgroep, en pleit voor diversiteit in de technische industrie . Het team dat ze bij Google heeft helpen bouwen, is een van de meest diverse op het gebied van AI en omvat veel vooraanstaande experts op zich. Collega's in het veld benijdden het omdat het kritisch werk produceerde dat vaak de reguliere AI-praktijken uitdaagde.



NAAR reeks tweets , gelekte e-mails , en media artikelen toonde aan dat het vertrek van Gebru het hoogtepunt was van een conflict over een ander artikel waarvan ze co-auteur was. Jeff Dean, het hoofd van Google AI, vertelde collega's in een interne e-mail (die hij sindsdien heeft) online zetten ) dat de krant niet voldeed aan onze lat voor publicatie en dat Gebru had gezegd dat ze zou aftreden tenzij Google aan een aantal voorwaarden voldeed, waaraan ze niet wilde voldoen. Gebru twitterde dat ze had gevraagd om te onderhandelen over een laatste datum voor haar werk nadat ze terug was van vakantie. Ze werd afgesneden van haar zakelijke e-mailaccount voordat ze terugkeerde.

Online beweren veel andere leiders op het gebied van AI-ethiek dat het bedrijf haar eruit heeft geduwd vanwege de ongemakkelijke waarheden die ze ontdekte over een kernlijn van haar onderzoek - en misschien de bottom line. Meer dan 1.400 Google-medewerkers en 1.900 andere supporters hebben ook ondertekende een protestbrief .

Veel details over de exacte volgorde van gebeurtenissen die hebben geleid tot het vertrek van Gebru zijn nog niet duidelijk; zowel zij als Google hebben geweigerd commentaar te geven buiten hun berichten op sociale media. Maar MIT Technology Review verkreeg een kopie van het onderzoeksartikel van een van de co-auteurs, Emily M. Bender, een professor in computerlinguïstiek aan de Universiteit van Washington. Hoewel Bender ons heeft gevraagd de paper zelf niet te publiceren omdat de auteurs niet wilden dat zo'n vroege versie online circuleerde, geeft het enig inzicht in de vragen die Gebru en haar collega's stelden over AI die Google mogelijk zorgen baarde.



Over de gevaren van stochastische papegaaien: kunnen taalmodellen te groot zijn? legt de risico's van grote taalmodellen uit: AI's die zijn getraind in duizelingwekkende hoeveelheden tekstgegevens. Deze zijn gegroeid toenemende populariteit -en steeds groter - in de afgelopen drie jaar. Ze zijn nu buitengewoon goed, onder de juiste omstandigheden, in het produceren van wat lijkt op overtuigende, betekenisvolle nieuwe tekst - en soms in het inschatten van de betekenis van taal. Maar, zegt de inleiding van de paper, we vragen ons af of er voldoende is nagedacht over de mogelijke risico's die gepaard gaan met de ontwikkeling ervan en strategieën om deze risico's te beperken.

De krant

De paper, die voortbouwt op het werk van andere onderzoekers, presenteert de geschiedenis van de verwerking van natuurlijke taal, een overzicht van de vier belangrijkste risico's van grote taalmodellen en suggesties voor verder onderzoek. Omdat het conflict met Google over de risico's lijkt te gaan, hebben we ons erop gericht deze hier samen te vatten.

Milieu- en financiële kosten

Het trainen van grote AI-modellen kost veel computerverwerkingskracht, en dus veel elektriciteit. Gebru en haar co-auteurs verwijzen naar een paper uit 2019 van Emma Strubell en haar medewerkers op de CO2-uitstoot en financiële kosten van grote taalmodellen. Het ontdekte dat hun energieverbruik en CO2-voetafdruk sinds 2017 explosief zijn gestegen, omdat modellen steeds meer gegevens krijgen.



Uit het onderzoek van Strubell bleek dat het trainen van één taalmodel met een bepaald type neurale architectuurzoekmethode (NAS) het equivalent zou hebben opgeleverd van 284 metrische ton (284 metrische ton) koolstofdioxide - ongeveer de levensduur van vijf gemiddelde Amerikaanse auto's. Een versie trainen van het taalmodel van Google, BERT, dat ten grondslag ligt aan de zoekmachine van het bedrijf , produceerde 1.438 pond CO2-equivalent volgens de schatting van Strubell - bijna hetzelfde als een retourvlucht tussen New York City en San Francisco. Deze aantallen moeten worden gezien als minima, de kosten van een eenmalige opleiding van een model. In de praktijk worden modellen tijdens onderzoek en ontwikkeling vele malen bijgeschoold en bijgeschoold.

Het conceptdocument van Gebru wijst erop dat de enorme middelen die nodig zijn om dergelijke grote AI-modellen te bouwen en in stand te houden, ertoe leiden dat ze de neiging hebben om rijke organisaties ten goede te komen, terwijl de klimaatverandering gemarginaliseerde gemeenschappen het hardst treft. Het is tijd voor onderzoekers om prioriteit te geven aan energie-efficiëntie en kosten om de negatieve milieu-impact en ongelijke toegang tot hulpbronnen te verminderen, schrijven ze.

Enorme gegevens, ondoorgrondelijke modellen

Grote taalmodellen worden ook getraind op exponentieel toenemende hoeveelheden tekst. Dit betekent dat onderzoekers hebben geprobeerd alle gegevens van internet te verzamelen, dus het risico bestaat dat racistische, seksistische en anderszins beledigende taal in de trainingsgegevens terechtkomt.



Een AI-model dat geleerd heeft om racistische taal als normaal te beschouwen, is duidelijk slecht. De onderzoekers wijzen echter op een paar meer subtiele problemen. Een daarvan is dat verschuivingen in taal een belangrijke rol spelen bij sociale verandering; Zo hebben de MeToo- en Black Lives Matter-bewegingen geprobeerd een nieuw antiseksistisch en antiracistisch vocabulaire op te bouwen. Een AI-model dat op grote delen van het internet is getraind, is niet afgestemd op de nuances van dit vocabulaire en zal geen taal produceren of interpreteren in overeenstemming met deze nieuwe culturele normen.

Het zal ook niet voldoen aan de taal en de normen van landen en volkeren die minder toegang hebben tot internet en dus een kleinere taalkundige voetafdruk online hebben. Het resultaat is dat door AI gegenereerde taal zal worden gehomogeniseerd, een afspiegeling van de praktijken van de rijkste landen en gemeenschappen.

Bovendien, omdat de trainingsgegevenssets zo groot zijn, is het moeilijk om ze te controleren om te controleren op deze ingebedde vooroordelen. Een methodologie die vertrouwt op datasets die te groot zijn om te documenteren, is daarom inherent riskant, concluderen de onderzoekers. Hoewel documentatie mogelijke aansprakelijkheid mogelijk maakt, [...] bestendigen ongedocumenteerde trainingsgegevens schade zonder verhaal.

Onderzoek alternatieve kosten

De onderzoekers vatten de derde uitdaging samen als het risico van verkeerd gerichte onderzoeksinspanningen. Hoewel de meeste AI-onderzoekers erkennen dat grote taalmodellen eigenlijk niet begrijpen taal en zijn slechts uitstekend in manipuleren het, Big Tech kan geld verdienen met modellen die taal nauwkeuriger manipuleren, dus het blijft erin investeren. Deze onderzoeksinspanning brengt alternatieve kosten met zich mee, schrijven Gebru en haar collega's. Er wordt niet zo veel moeite gedaan om te werken aan AI-modellen die mogelijk begrip opleveren, of die goede resultaten behalen met kleinere, zorgvuldiger samengestelde datasets (en dus ook minder energie verbruiken).

Illusies van betekenis

Het laatste probleem met grote taalmodellen, zeggen de onderzoekers, is dat omdat ze zo goed zijn in het nabootsen van echte menselijke taal, het gemakkelijk is om ze te gebruiken om mensen voor de gek te houden. Er zijn een paar spraakmakende gevallen geweest, zoals de student die AI-gegenereerd zelfhulp- en productiviteitsadvies uitbracht op een blog, dat viraal ging.

De gevaren zijn duidelijk: AI-modellen kunnen worden gebruikt om bijvoorbeeld verkeerde informatie over een verkiezing of de covid-19-pandemie te genereren. Ze kunnen ook onbedoeld fout gaan wanneer ze worden gebruikt voor machinevertaling. De onderzoekers halen een voorbeeld aan: In 2017, Facebook verkeerd vertaald de post van een Palestijnse man, die in het Arabisch goedemorgen zei, terwijl hij hen in het Hebreeuws aanviel, wat leidde tot zijn arrestatie.

Waarom het uitmaakt

Het artikel van Gebru en Bender heeft zes co-auteurs, van wie vier Google-onderzoekers. Bender vroeg om hun namen niet bekend te maken uit angst voor repercussies. (Bender is daarentegen een vaste aanstelling: ik denk dat dit de waarde van academische vrijheid onderstreept, zegt ze.)

Het doel van de paper, zegt Bender, was om de balans op te maken van het huidige onderzoek naar natuurlijke taalverwerking. We werken op een schaal waar de mensen die de dingen bouwen niet echt om de gegevens heen kunnen, zei ze. En omdat de voordelen zo duidelijk zijn, is het vooral belangrijk om een ​​stap terug te doen en onszelf af te vragen, wat zijn de mogelijke nadelen? … Hoe halen we hier de voordelen uit terwijl we het risico verkleinen?

In zijn interne e-mail zei Dean, het hoofd van Google AI, dat een van de redenen waarom het artikel niet aan onze lat voldeed, was dat het te veel relevant onderzoek negeerde. In het bijzonder zei hij dat er geen recenter werk werd genoemd om grote taalmodellen energiezuiniger te maken en problemen van vooringenomenheid te verminderen.

De zes medewerkers putten echter uit een brede wetenschappelijke kennis. De citatielijst van de krant, met 128 referenties, is opmerkelijk lang. Het is het soort werk dat geen enkel individu of zelfs maar een paar auteurs kan doen, zei Bender. Die samenwerking was echt nodig.

De versie van de paper die we zagen, knipoogt ook naar verschillende onderzoeksinspanningen om de omvang en rekenkosten van grote taalmodellen te verminderen en om de ingebedde bias van modellen te meten. Zij stelt echter dat deze inspanningen niet voldoende zijn geweest. Ik sta heel open om te zien welke andere referenties we zouden moeten opnemen, zei Bender.

Nicolas Le Roux, een Google AI-onderzoeker in het kantoor in Montreal, later opgemerkt op Twitter dat de redenering in de e-mail van Dean ongebruikelijk was. Mijn inzendingen werden altijd gecontroleerd op openbaarmaking van gevoelig materiaal, nooit op de kwaliteit van het literatuuronderzoek, zei hij.

In de e-mail van Dean staat ook dat Gebru en haar collega's Google AI slechts een dag gaven voor een interne beoordeling van de paper voordat ze deze ter publicatie voor een conferentie indienden. Hij schreef dat het ons doel is om te wedijveren met peer-reviewed tijdschriften wat betreft de nauwkeurigheid en bedachtzaamheid in de manier waarop we onderzoek vóór publicatie beoordelen.

Bender merkte op dat de conferentie de paper toch nog steeds door een substantieel beoordelingsproces zou leiden: studiebeurzen zijn altijd een gesprek en altijd een werk in uitvoering, zei ze.

Anderen, waaronder William Fitzgerald, een voormalig Google PR-manager, hebben verder twijfel zaaien op de bewering van Dean.

Google was de pionier van veel van het fundamentele onderzoek dat sindsdien heeft geleid tot de recente explosie van grote taalmodellen. Google AI was de eerste die de Transformator taalmodel in 2017 dient dat als basis voor het latere model BERT van het bedrijf, en OpenAI's GPT-2 en GPT-3. BERT, zoals hierboven vermeld, drijft nu ook Google Zoeken aan, de melkkoe van het bedrijf.

Bender maakt zich zorgen dat de acties van Google een huiveringwekkend effect kunnen hebben op toekomstig AI-ethisch onderzoek. Veel van de topexperts op het gebied van AI-ethiek werken bij grote technologiebedrijven omdat daar het geld zit. Dat is in veel opzichten gunstig geweest, zegt ze. Maar we eindigen met een ecosysteem dat misschien prikkels heeft die niet de allerbeste zijn voor de vooruitgang van de wetenschap voor de wereld.

Update (7 december): Er zijn aanvullende details toegevoegd om de milieukosten van grote taalmodellen te verduidelijken.

zich verstoppen