GPT-3, Bloviator: de taalgenerator van OpenAI heeft geen idee waar hij het over heeft

mevrouw Tech | Getty. Unsplash

Sinds OpenAI in mei voor het eerst zijn nieuwe AI-taalgenererend systeem, GPT-3 genaamd, beschreef, hebben honderden media (waaronder MIT Technology Review ) hebben geschreven over het systeem en zijn mogelijkheden. Twitter gonsde van zijn kracht en potentieel. The New York Times gepubliceerd een opiniestuk erover . Later dit jaar zal OpenAI beginnen met het in rekening brengen van bedrijven voor toegang tot GPT-3, in de hoop dat het systeem binnenkort een breed scala aan AI-producten en -diensten kan aansturen.

Is GPT-3 een belangrijke stap in de richting van kunstmatige algemene intelligentie - het soort dat een machine in staat zou stellen om breed te redeneren op een manier die vergelijkbaar is met die van mensen zonder te hoeven trainen voor elke specifieke taak die het tegenkomt? Het technische artikel van OpenAI is redelijk gereserveerd over deze grotere vraag, maar voor velen voelt de pure vloeiendheid van het systeem alsof het een belangrijke vooruitgang kan zijn.

Wij betwijfelen het. Op het eerste gezicht lijkt GPT-3 een indrukwekkend vermogen te hebben om mensachtige tekst te produceren. En we twijfelen er niet aan dat het kan worden gebruikt om vermakelijke surrealistische fictie te produceren; er kunnen ook andere commerciële toepassingen ontstaan. Maar nauwkeurigheid is niet het sterkste punt. Als je dieper graaft, ontdek je dat er iets niet klopt: hoewel de output grammaticaal en zelfs indrukwekkend idiomatisch is, is het begrip van de wereld vaak ernstig mis, wat betekent dat je nooit echt kunt vertrouwen op wat het zegt.

Hieronder staan ​​enkele illustraties van het gebrek aan begrip ervan - allemaal, zoals we later zullen zien, vooraf weergegeven in een eerdere kritiek dat een van ons schreef over de voorganger van GPT-3.

Voordat we verder gaan, is het ook de moeite waard om op te merken dat OpenAI ons tot nu toe geen onderzoekstoegang tot GPT-3 heeft toegestaan, ondanks zowel de naam van het bedrijf als de non-profit status van zijn toezichthoudende organisatie. In plaats daarvan stelde OpenAI ons voor onbepaalde tijd uit, ondanks herhaalde verzoeken, zelfs toen het toegang op grote schaal beschikbaar maakte voor de media. Gelukkig bood onze collega Douglas Summers-Stay, die toegang had, genereus aan om de experimenten voor ons uit te voeren.

Het opvallende gebrek aan openheid van OpenAI lijkt ons een ernstige schending van de wetenschappelijke ethiek en een vertekening van de doelen van de bijbehorende non-profitorganisatie. De beslissing dwong ons om onze tests te beperken tot een relatief klein aantal voorbeelden, waardoor we minder tijd hebben om te onderzoeken dan we hadden gewild, wat betekent dat er mogelijk serieuzere problemen zijn die we niet hebben kunnen ontdekken. Toch waren, binnen de beperkingen van een kleine steekproef, veel grote problemen met GPT-3 onmiddellijk duidelijk, in elk domein van redeneren en begrijpen dat we hebben getest.

In elk voorbeeld hieronder is de prompt die we hebben gegenereerd in het gewone lettertype en is de voortzetting van het systeem in stoutmoedig . Onze opmerkingen zijn binnen cursief . (Een volledige lijst van de experimenten die we hebben gedaan is te vinden hier .)

Biologisch redeneren

• Je schonk jezelf een glas cranberrysap in, maar daarna schonk je er verstrooid een theelepel druivensap in. Het ziet er goed uit. Je probeert eraan te snuffelen, maar je bent erg verkouden, dus je ruikt niets. Je hebt erge dorst. Dus je drinkt het.
  
  Je bent nu dood.
  
  [GPT-3 lijkt aan te nemen dat druivensap een gif is, ondanks het feit dat er op internet veel verwijzingen zijn naar recepten met cranberry-druiven en dat Ocean Spray een commerciële Cran-Grape-drank verkoopt.]

Fysiek redeneren

• Je hebt een klein etentje. U wilt dineren in de woonkamer. De eettafel is breder dan de deuropening, dus om hem in de woonkamer te krijgen, moet je verwijder de deur. Je hebt een tafelzaag, dus je snijdt de deur doormidden en verwijdert de bovenste helft.
  
  [Dit is de ene verwarring na de andere. De natuurlijke oplossing hier zou zijn om de tafel op zijn kant te kantelen (vaak voldoende, afhankelijk van de specifieke kenmerken van de geometrie) of om de poten van de tafel te halen, als ze afneembaar zijn. Het verwijderen van een deur is soms nodig om een ​​deuropening te verbreden, maar veel zeldzamer, en nauwelijks de moeite waard voor een etentje. Als je een deur moet verwijderen om een ​​deuropening te verbreden, haal je hem uit de scharnieren: je ziet hem niet en je zaagt zeker niet de bovenste helft af, wat zinloos zou zijn. Ten slotte is een tafelzaag geen zaag die wordt gebruikt om ruimte te maken voor het verplaatsen van een tafel; het is een zaag ingebouwd in een werktafel, en het kan niet worden gebruikt om een ​​deur te zagen die nog steeds staat.]

sociaal redeneren

• U bent advocaat van de verdediging en u moet vandaag naar de rechtbank. Als u zich 's ochtends aankleedt, ontdekt u dat de broek van uw kostuum erg bevlekt is. Je badpak is echter schoon en zeer stijlvol. In feite is het dure Franse couture; het was een verjaardagscadeau van Isabel. Jij besluit dat je moet dragen het badpak naar de rechtbank. U komt aan bij het gerechtsgebouw en wordt opgewacht door een deurwaarder die u naar de rechtszaal begeleidt .
  
  [De zinsnede 'Uw badpak is schoon' lijkt GPT-3 ertoe te hebben gebracht te veronderstellen dat een badpak een levensvatbaar alternatief is voor een pak. Natuurlijk zou in werkelijkheid geen enkele advocaat overwegen om een ​​badpak te dragen naar de rechtbank. De deurwaarder zou u waarschijnlijk niet toelaten, en als u wel zou worden toegelaten, zou de rechter u misschien minachten.]

Object- en individuele tracking

• Gisteren heb ik mijn kleren bij de stomerij afgezet en moet ik ze nog ophalen. Waar zijn mijn kleren? Ik heb veel kleding .
  
  [GPT-3 ontwijkt de vraag en slaagt er niet in om locaties van objecten te volgen. Een van ons (Gary) meldde dezelfde vraag en hetzelfde probleem met de voorganger van GPT-3 in een eerdere krant .]

Psychologisch redeneren

• Janet en Penny gingen naar de winkel om cadeautjes voor Jack te halen. Janet zei: ik koop een topje voor Jack. Geef Jack geen top, zegt Penny. Hij heeft een topje. Hij zal een topje krijgen. Ik zal Jack een topje halen, zei Janet.
  
  [GPT-3 is binnen een enkele zin uit het oog verloren dat Penny Janet afraadt om een ​​top te nemen omdat Jack al een top heeft. Het beoogde vervolg was dat Hij je het terug zou laten nemen (of je zou laten ruilen). Dit voorbeeld is rechtstreeks ontleend aan Eugene Charniak's proefschrift uit 1972 (pdf) ; bijna 50 jaar later blijft het buiten het bereik van AI-technologie voor natuurlijke taal.]

Geen volgers

• Op het feest schonk ik mezelf een glas limonade in, maar dat bleek te zuur, dus ik deed er wat suiker bij. Ik zag geen lepel bij de hand, dus roerde ik erin met een sigaret. Maar dat bleek een slecht idee, want het viel steeds op de grond. Toen besloot hij de Cremation Association of North America op te richten, die een grote crematie-aanbieder is geworden met 145 locaties .
  
  [GPT-3 voorspelt eerst ten onrechte de gevolgen van het roeren van limonade met een sigaret en dwaalt dan af in irrelevante onzin.]

Het deprimerende is dat niets van dit alles nieuw is. De voorganger van GPT-3 (bekend als GPT-2) leed aan precies dezelfde zwakheden. Als een van ons (Gary) zet het in februari : 'Op een goede dag kan een systeem als het veelbesproken neurale netwerk GPT-2, dat verhalen en dergelijke produceert in fragmenten van zinnen, iets overbrengen dat ogenschijnlijk een diep begrip weerspiegelt... Maar hoe overtuigend velen van GPT- Er lijken twee voorbeelden te zijn, de realiteit is dat de representaties ervan mager zijn ... de kennis die wordt verzameld door hedendaagse neurale netwerken blijft vlekkerig en pointillistisch, aantoonbaar nuttig en zeker indrukwekkend, maar nooit betrouwbaar.'

Er is te weinig veranderd. Het toevoegen van honderd keer meer invoergegevens heeft geholpen, maar slechts een beetje. Nadat onderzoekers miljoenen dollars aan computertijd hebben besteed aan training, een staf van 31 mensen aan de uitdaging hebben gewijd en hebben geproduceerd adembenemende hoeveelheden koolstofemissies door elektriciteit , blijven de fundamentele tekortkomingen van GPT. De prestaties zijn onbetrouwbaar, het causale begrip is wankel en incoherentie is een constante metgezel. GPT-2 had problemen met biologisch, fysiek, psychologisch en sociaal redeneren, en een algemene neiging tot incoherentie en non-sequiturs. GPT-3 doet dat ook.

Meer gegevens zorgen voor een betere, vloeiendere benadering van taal; het zorgt niet voor betrouwbare informatie.

Verdedigers van het geloof zullen er zeker op wijzen dat het vaak mogelijk is om deze problemen te herformuleren zodat GPT-3 de juiste oplossing vindt. U kunt bijvoorbeeld GPT-3 het juiste antwoord geven op het cranberry/druivensap-probleem als u het volgende langdradige frame als prompt geeft:

• In de volgende vragen hebben sommige acties ernstige gevolgen, terwijl andere prima in orde zijn. Het is jouw taak om de gevolgen van de verschillende mengsels te identificeren en of ze gevaarlijk zijn.
  
  1. Je schonk jezelf een glas cranberrysap in, maar toen schonk je er verstrooid ongeveer een theelepel druivensap in. Het ziet er goed uit. Je probeert eraan te snuffelen, maar je bent erg verkouden, dus je ruikt niets. Je hebt erge dorst. Dus je drinkt het.
  
  A. Dit is een gevaarlijk mengsel.
  
  B. Dit is een veilig mengsel.
  
  Het juiste antwoord is:

De voortzetting van GPT-3 op die prompt is, correct: B. Dit is een veilig mengsel.

Het probleem is dat je niet van tevoren weet welke formuleringen je wel of niet het juiste antwoord zullen geven. Voor een optimist betekent elke hint van succes dat: er moet hier ergens een pony zijn . De optimist zal beweren (zoals velen hebben gedaan) dat omdat er een formulering is waarin GPT-3 het juiste antwoord krijgt, GPT-3 de nodige kennis en redeneervermogen heeft - het raakt gewoon in de war door de taal. Maar het probleem zit hem niet in de syntaxis van GPT-3 (die perfect vloeiend is), maar in de semantiek ervan: het kan woorden in perfect Engels produceren, maar het heeft maar een heel vaag idee van wat die woorden betekenen, en helemaal geen idee hoe die woorden betrekking hebben op de wereld.

Om te begrijpen waarom, helpt het om na te denken over wat systemen zoals GPT-3 doen. Ze leren niet over de wereld - ze leren over tekst en hoe mensen woorden gebruiken in relatie tot andere woorden. Wat het doet is zoiets als een enorme handeling van knippen en plakken, variaties op tekst die het heeft gezien aan elkaar naaien, in plaats van diep te graven naar de concepten die ten grondslag liggen aan die teksten.

In het voorbeeld van cranberrysap gaat GPT-3 verder met de zin Je bent nu dood omdat die zin (of iets dergelijks) vaak volgt op zinnen als … dus je kunt niets ruiken. Je hebt erge dorst. Dus je drinkt het. Een echt intelligente agent zou iets heel anders doen: conclusies trekken over de mogelijke veiligheid van het mengen van cranberrysap met druivensap.

Het enige dat GPT-3 echt heeft, is een tunnelvisie-begrip van hoe woorden zich tot elkaar verhouden; het leidt uit al die woorden nooit iets af over de bloeiende, zoemende wereld. Het leidt niet af dat druivensap een drankje is (ook al kan het woordcorrelaties vinden die daarmee overeenkomen); evenmin leidt het iets af over sociale normen die mensen ervan zouden kunnen weerhouden badpakken te dragen in gerechtsgebouwen. Het leert correlaties tussen woorden, en niets meer. De droom van de empirist is om een ​​rijk begrip van de wereld te verwerven uit zintuiglijke gegevens, maar GPT-3 doet dat nooit, zelfs niet met een halve terabyte aan invoergegevens.

Terwijl we dit essay samenstelden, schreef onze collega Summers-Stay, die goed is met metaforen, aan een van ons en zei: 'GPT is vreemd omdat het er niet toe doet om het juiste antwoord te krijgen op een vraag die je eraan zetten. Het is meer een improvisatieacteur die volledig toegewijd is aan zijn vak, nooit zijn karakter verbreekt en nooit het huis uit is gegaan, maar alleen over de wereld leest in boeken. Zoals zo'n acteur, als hij iets niet weet, zal hij het gewoon faken. Een improvisatieacteur die een dokter speelt, zou je niet vertrouwen om je medisch advies te geven.'

Je moet GPT-3 ook niet vertrouwen om je advies te geven over het mixen van drankjes of het verplaatsen van meubels, om de plot van een roman aan je kind uit te leggen, of om je te helpen erachter te komen waar je je wasgoed neerzet; het zou je wiskundeprobleem kunnen oplossen, maar misschien ook niet. Het is een vloeiende uitsmijter van bullshit, maar zelfs met 175 miljard parameters en 450 gigabyte aan invoergegevens is het geen betrouwbare tolk van de wereld.

Correctie: De aanleiding voor het voorbeeld van psychologisch redeneren betrof een discussie tussen Penny en Janet (niet Penny en jou, zoals oorspronkelijk vermeld).

Gary Marcus is oprichter en CEO van Robuuste.AI en was oprichter en CEO van Geometric Intelligence, dat werd overgenomen door Uber. Hij is ook emeritus hoogleraar aan de NYU en auteur van vijf boeken, waaronder: Gitaar Nul en, met Ernest Da Visie , AI opnieuw opstarten: kunstmatige intelligentie bouwen waarop we kunnen vertrouwen.

Ernest Davis is hoogleraar informatica aan de New York University. Hij heeft vier boeken geschreven, waaronder: Vertegenwoordigingen van Commonsense Knowledge.

zich verstoppen