De race om de opwindende, gevaarlijke wereld van taal AI te begrijpen

Ariel Davis

Op 18 mei kondigde Google-CEO Sundar Pichai een indrukwekkende nieuwe tool aan: een AI-systeem genaamd LaMDA dat met gebruikers over elk onderwerp kan chatten.

Om te beginnen is Google van plan om LaMDA te integreren in zijn hoofdzoekportaal, zijn stemassistent en Workplace, zijn verzameling cloudgebaseerde werksoftware die Gmail, Docs en Drive omvat. Maar het uiteindelijke doel, zei Pichai, is om een ​​conversatie-interface te maken waarmee mensen alle soorten informatie - tekst, beeld, audio - over alle producten van Google kunnen ophalen door er gewoon om te vragen.

De uitrol van LaMDA signaleert nog een andere manier waarop taaltechnologieën verstrikt raken in ons dagelijks leven. Maar de flitsende presentatie van Google logenstraft het ethische debat dat nu dergelijke geavanceerde systemen omringt. LaMDA is wat bekend staat als een groot taalmodel (LLM) - een diepgaand lerend algoritme dat is getraind op enorme hoeveelheden tekstgegevens.

Studies hebben al aangetoond hoe racistische, seksistische en beledigende ideeën in deze modellen zijn ingebed. Ze associëren categorieën als dokters met mannen en verpleegsters met vrouwen; goede woorden met witte mensen en slechte met zwarte mensen. Onderzoek ze met de juiste aanwijzingen en ze beginnen ook dingen aan te moedigen zoals: volkerenmoord , zelf pijniging , en seksueel misbruik van kinderen . Door hun grootte hebben ze een schrikbarend hoge ecologische voetafdruk . Vanwege hun vloeiendheid hebben ze mensen gemakkelijk in verwarring brengen door te denken dat een mens hun output schreef, wat volgens experts de massaproductie van verkeerde informatie mogelijk zou kunnen maken.

In december zette Google zijn ethische AI-co-lead Timnit Gebru af na ze weigerde een papier intrekken dat maakte veel van deze punten. Een paar maanden later, na een brede veroordeling van wat een open brief van Google-medewerkers de ongekende onderzoekscensuur van het bedrijf noemde, ontsloeg het ook Gebru's co-auteur en co-lead Margaret Mitchell.

Het is niet alleen Google die deze technologie implementeert. De meest opvallende taalmodellen tot nu toe zijn die van OpenAI GPT-2 en GPT-3 , die opmerkelijk overtuigende tekstpassages uitspuwen en zelfs kunnen worden hergebruikt om muziekcomposities en computercode af te werken. Microsoft nu exclusief licenties GPT-3 te verwerken in nog onaangekondigde producten. Facebook heeft zijn eigen LLM's ontwikkeld voor vertaling en contentmoderatie. En startups creëren tientallen producten en diensten op basis van de modellen van de techgiganten. Binnenkort zullen al onze digitale interacties - wanneer we e-mailen, zoeken of posten op sociale media - worden gefilterd door LLM's.

Helaas wordt er heel weinig onderzoek gedaan om te begrijpen hoe de tekortkomingen van deze technologie mensen in real-world toepassingen kunnen beïnvloeden, of om erachter te komen hoe betere LLM's kunnen worden ontworpen die deze uitdagingen verminderen. Zoals Google onderstreepte in zijn behandeling van Gebru en Mitchell, hebben de weinige bedrijven die rijk genoeg zijn om LLM's op te leiden en te onderhouden er een groot financieel belang bij om ze niet zorgvuldig te onderzoeken. Met andere woorden, LLM's worden steeds meer geïntegreerd in de taalinfrastructuur van het internet bovenop wankele wetenschappelijke fundamenten.

Meer dan 500 onderzoekers over de hele wereld racen nu om meer te weten te komen over de mogelijkheden en beperkingen van deze modellen. Samenwerken onder het BigScience-project onder leiding van Huggingface, een startup die een open wetenschappelijke benadering hanteert om natuurlijke taalverwerking (NLP) te begrijpen, proberen ze een open-source LLM te bouwen die zal dienen als een gedeelde bron voor de wetenschappelijke gemeenschap. Het doel is om binnen één gericht jaar zoveel mogelijk beurzen te genereren. Hun centrale vraag: hoe en wanneer moeten LLM's worden ontwikkeld en ingezet om hun vruchten te plukken zonder de schadelijke gevolgen ervan?

We kunnen deze gekte rond grote taalmodellen, waar iedereen ze wil trainen, niet echt stoppen, zegt Thomas Wolf, de chief science officer bij Huggingface, die het initiatief mede leidt. Maar wat we wel kunnen doen, is proberen dit in een richting te duwen die uiteindelijk voordeliger is.

Stochastische papegaaien

In dezelfde maand dat BigScience zijn activiteiten begon, kwam een ​​startup genaamd Cohere stilletjes uit stealth. Gestart door voormalige Google-onderzoekers, belooft het LLM's naar elk bedrijf te brengen dat er een wil - met een enkele regel code. Het heeft een techniek ontwikkeld om zijn eigen model te trainen en te hosten met de nutteloze restjes computerbronnen in een datacenter, waardoor de kosten van het verhuren van de benodigde cloudruimte voor onderhoud en implementatie laag blijven.

Een van de vroege klanten is de startup Er is ondersteuning , een platform voor het bouwen van chatbots voor klantenondersteuning zonder code, dat zelf klanten heeft zoals Facebook en Zoom. En de investeerderslijst van Cohere bevat enkele van de grootste namen in het veld: computer vision-pionier Fei-Fei Li, Turing Award-winnaar Geoffrey Hinton en Apple's hoofd van AI, Ian Goodfellow.

Cohere is een van de vele startups en initiatieven die nu LLM's naar verschillende industrieën willen brengen. Er is ook Aleph Alpha, een startup in Duitsland die wil bouwen een Duitse GPT-3 ; een niet nader genoemde onderneming gestart door verschillende voormalige OpenAI-onderzoekers; en het open-sourceinitiatief Eleuther, dat onlangs gelanceerd GPT-Neo , een gratis (en iets minder krachtige) reproductie van GPT-3.

Maar het is de kloof tussen wat LLM's zijn en wat ze willen zijn die een groeiend aantal onderzoekers zorgen baart. LLM's zijn in feite 's werelds krachtigste autocomplete-technologieën. Door miljoenen zinnen, alinea's en zelfs voorbeelden van dialogen op te nemen, leren ze de statistische patronen die bepalen hoe elk van deze elementen in een verstandige volgorde moet worden samengesteld. Dit betekent dat LLM's bepaalde activiteiten kunnen verbeteren: ze zijn bijvoorbeeld goed voor het maken van meer interactieve en vloeiende chatbots die een goed ingeburgerd script volgen . Maar ze begrijpen niet echt wat ze lezen of zeggen. Veel van de meest geavanceerde mogelijkheden van LLM's zijn tegenwoordig ook alleen in het Engels beschikbaar.

Verwant verhaal

We lazen de krant die Timnit Gebru uit Google dwong. Dit is wat het zegt.

De steronderzoeker op het gebied van ethiek van het bedrijf benadrukte de risico's van grote taalmodellen, die essentieel zijn voor de activiteiten van Google.

Dit is onder andere waar Gebru, Mitchell en vijf andere wetenschappers voor waarschuwden in hun artikel, dat LLM's stochastische papegaaien noemt. Taaltechnologie kan heel, heel nuttig zijn als het op de juiste manier wordt gekaderd en gesitueerd en ingekaderd, zegt Emily Bender, een professor in de taalkunde aan de Universiteit van Washington en een van de co-auteurs van het artikel. Maar het algemene karakter van LLM's - en de overtuigingskracht van hun mimiek - verleidt bedrijven om ze te gebruiken in gebieden waarvoor ze niet noodzakelijkerwijs zijn uitgerust.

In een recente keynote op een van de grootste AI-conferenties koppelde Gebru deze overhaaste inzet van LLM's aan gevolgen die ze in haar eigen leven had ervaren. Gebru is geboren en getogen in Ethiopië, waar een escalerende oorlog heeft de meest noordelijke regio van Tigray verwoest. Ethiopië is ook een land waar 86 talen worden gesproken, bijna allemaal niet opgenomen in de reguliere taaltechnologieën.

Ondanks dat LLM's deze taalkundige tekortkomingen hebben, vertrouwt Facebook er sterk op om de inhoudsmoderatie wereldwijd te automatiseren. Toen de oorlog in Tigray in november voor het eerst uitbrak, zag Gebru het platform botsen om vat te krijgen op de vlaag van verkeerde informatie. Dit is kenmerkend voor een hardnekkig patroon dat onderzoekers hebben waargenomen bij contentmoderatie. Gemeenschappen die talen spreken niet geprioriteerd door Silicon Valley lijden onder de meest vijandige digitale omgevingen.

Gebru merkte op dat dit ook niet is waar de schade eindigt. Wanneer nepnieuws, haatzaaiende uitlatingen en zelfs doodsbedreigingen niet worden gemodereerd, worden ze vervolgens geschraapt als trainingsgegevens om de volgende generatie LLM's te bouwen. En die modellen, die napraten waar ze op getraind zijn, braken deze giftige taalpatronen op het internet uit.

In veel gevallen hebben onderzoekers niet grondig genoeg onderzocht om te weten hoe deze toxiciteit zich zou kunnen manifesteren in stroomafwaartse toepassingen. Maar er bestaat wel enige wetenschap. In haar boek uit 2018 Algoritmen van onderdrukking , Safiya Noble, een universitair hoofddocent informatie en Afro-Amerikaanse studies aan de Universiteit van Californië, Los Angeles, documenteerde hoe vooroordelen die zijn ingebed in Google Zoeken, racisme bestendigen en, in extreme gevallen, misschien zelfs racistisch geweld motiveren.

De gevolgen zijn behoorlijk ernstig en aanzienlijk, zegt ze. Google is niet alleen het primaire kennisportaal voor de gemiddelde burger. Het biedt ook de informatie-infrastructuur voor instellingen, universiteiten en staats- en federale overheden.

Google gebruikt al een LLM om sommige van zijn zoekresultaten te optimaliseren. Met de laatste aankondiging van LaMDA en een recent voorstel het in een preprint-paper heeft gepubliceerd, heeft het bedrijf duidelijk gemaakt dat het alleen maar meer afhankelijk zal worden van de technologie. Noble vreest dat dit de problemen die ze ontdekte nog erger zou kunnen maken: het feit dat het ethische AI-team van Google werd ontslagen omdat het zeer belangrijke vragen had gesteld over de racistische en seksistische discriminatiepatronen die zijn ingebed in grote taalmodellen, had een wake-up call moeten zijn.

BigScience

Het BigScience-project begon als een directe reactie op de groeiende behoefte aan wetenschappelijk onderzoek van LLM's. Bij het observeren van de snelle verspreiding van de technologie en de poging tot censuur van Gebru en Mitchell door Google, realiseerden Wolf en verschillende collega's zich dat het tijd was voor de onderzoeksgemeenschap om het heft in eigen handen te nemen.

Geïnspireerd door open wetenschappelijke samenwerkingen zoals CERN op het gebied van deeltjesfysica, bedachten ze een idee voor een open-source LLM die zou kunnen worden gebruikt om kritisch onderzoek uit te voeren, onafhankelijk van welk bedrijf dan ook. In april van dit jaar ontving de groep een subsidie ​​om het te bouwen met behulp van de supercomputer van de Franse overheid.

Bij technologiebedrijven worden LLM's vaak gebouwd door slechts een half dozijn mensen die voornamelijk technische expertise hebben. BigScience wilde honderden onderzoekers uit een breed scala aan landen en disciplines binnenhalen om deel te nemen aan een echt collaboratief modelbouwproces. Wolf, die Frans is, benaderde eerst de Franse NLP-gemeenschap. Van daaruit groeide het initiatief uit tot een wereldwijde operatie met meer dan 500 mensen.

Het samenwerkingsverband is nu losjes georganiseerd in een tiental werkgroepen, die elk verschillende aspecten van modelontwikkeling en -onderzoek aanpakken. Eén groep zal de milieu-impact van het model meten, inclusief de ecologische voetafdruk van training en het runnen van de LLM en rekening houdend met de levenscycluskosten van de supercomputer. Een ander programma zal zich richten op het ontwikkelen van verantwoorde manieren om de trainingsgegevens te sourcen - het zoeken naar alternatieven voor het simpelweg schrapen van gegevens van het web, zoals het transcriberen van historische radio-archieven of podcasts. Het doel hier is om giftige taal en niet-consensuele verzameling van privé-informatie te vermijden.

Verwant verhaal

Waarom GPT-3 op dit moment de beste en slechtste van AI is

Open AI's taal AI imponeerde het publiek met zijn schijnbare beheersing van het Engels - maar is het allemaal een illusie?

Andere werkgroepen zijn gewijd aan het ontwikkelen en evalueren van de meertaligheid van het model. Om te beginnen heeft BigScience acht talen of taalfamilies geselecteerd, waaronder Engels, Chinees, Arabisch, Indisch (inclusief Hindi en Urdu) en Bantu (inclusief Swahili). Het plan is om nauw samen te werken met elke taalgemeenschap om zoveel mogelijk van haar regionale dialecten in kaart te brengen en ervoor te zorgen dat de verschillende normen voor gegevensprivacy worden gerespecteerd. We willen dat mensen inspraak hebben in hoe hun gegevens worden gebruikt, zegt Yacine Jerite, een Huggingface-onderzoeker.

Het punt is niet om een ​​commercieel levensvatbare LLM te bouwen om te concurreren met GPT-3 of LaMDA. Het model zal te groot en te traag zijn om bruikbaar te zijn voor bedrijven, zegt Karën Fort, universitair hoofddocent aan de Sorbonne. In plaats daarvan wordt de bron puur voor onderzoek ontworpen. Elk datapunt en elke modelbeslissing wordt zorgvuldig en openbaar gedocumenteerd, dus het is gemakkelijker om te analyseren hoe alle onderdelen de resultaten van het model beïnvloeden. Het gaat niet alleen om het leveren van het eindproduct, zegt Angela Fan, een Facebook-onderzoeker. We zien elk stuk ervan als een afleverpunt, als een artefact.

Het project is ongetwijfeld ambitieus: meer wereldwijd expansief en samenwerkingsgerichter dan de AI-gemeenschap ooit heeft gezien. De logistiek van het coördineren van zoveel onderzoekers is op zich al een uitdaging. (Eigenlijk is daar ook een werkgroep voor.) Bovendien draagt ​​elke onderzoeker op vrijwillige basis bij. De subsidie ​​van de Franse regering dekt alleen rekenkundige, niet menselijke, middelen.

Maar onderzoekers zeggen dat de gedeelde behoefte die de gemeenschap samenbracht, een indrukwekkend niveau van energie en momentum heeft opgeleverd. Velen zijn optimistisch dat ze tegen het einde van het project, dat tot mei volgend jaar zal lopen, niet alleen een diepere kennis van de beperkingen van LLM's hebben opgeleverd, maar ook betere tools en praktijken om ze op verantwoorde wijze te bouwen en in te zetten.

De organisatoren hopen dat dit meer mensen binnen de industrie zal inspireren om deze praktijken op te nemen in hun eigen LLM-strategie, hoewel ze de eersten zijn om toe te geven dat ze idealistisch zijn. Het grote aantal betrokken onderzoekers, waaronder veel van techreuzen, zal in ieder geval helpen bij het vaststellen van nieuwe normen binnen de NLP-gemeenschap.

In sommige opzichten zijn de normen al verschoven. In reactie op gesprekken rond het ontslag van Gebru en Mitchell hoorde Cohere van verschillende van haar klanten dat ze zich zorgen maakten over de veiligheid van de technologie. Op haar site is een pagina op haar website opgenomen met de belofte om voortdurend te investeren in technisch en niet-technisch onderzoek om de mogelijke schade van haar model te beperken. Het zegt ook een adviesraad samen te stellen die bestaat uit externe experts om het te helpen beleid te maken over het toegestane gebruik van zijn technologieën.

NLP staat op een heel belangrijk keerpunt, zegt Fort. Daarom is BigScience spannend. Het stelt de gemeenschap in staat om het onderzoek vooruit te helpen en een hoopvol alternatief te bieden voor de status-quo binnen de industrie: er staat: 'Laten we het nog een keer doen. Laten we het samen doen - om alle manieren en alle dingen te bedenken die we kunnen doen om de samenleving te helpen.'

Ik wil dat NLP mensen helpt, zegt ze, niet om ze neer te halen.

Bijwerken: De verantwoordelijkheidsinitiatieven van Cohere zijn verduidelijkt.

zich verstoppen