OpenAI's nieuwe taalgenerator GPT-3 is schrikbarend goed - en volledig hersenloos

vallende letters

Getty





Spelen met GPT-3 voelt als het zien van de toekomst, Arram Sabeti, een in San Francisco gevestigde ontwikkelaar en kunstenaar, vorige week getweet . Dat vat de reacties op sociale media van de afgelopen dagen op de nieuwste taalgenererende AI van OpenAI samen.

OpenAI eerst beschreven GPT-3 in een onderzoekspaper gepubliceerd in mei. Maar vorige week begon het de software te druppelen aan geselecteerde mensen die erom vroegen toegang tot een privé-bèta . Voor nu wil OpenAI dat externe ontwikkelaars het helpen ontdekken wat GPT-3 kan doen, maar het is van plan om de tool later dit jaar in een commercieel product te veranderen en bedrijven een betaald abonnement op de AI via de cloud aan te bieden.

GPT-3 is het krachtigste taalmodel ooit. Zijn voorganger, GPT-2, vorig jaar uitgebracht , was al in staat om overtuigende tekststromen in verschillende stijlen uit te spugen wanneer daarom werd gevraagd met een openingszin. Maar GPT-3 is een grote sprong voorwaarts. Het model heeft 175 miljard parameters (de waarden die een neuraal netwerk probeert te optimaliseren tijdens de training), vergeleken met de al enorme 1,5 miljard van GPT-2. En met taalmodellen, maat doet er echt toe .

Sabeti gekoppeld aan a blogpost waar hij korte verhalen, liedjes, persberichten, technische handleidingen en meer liet zien waarvan hij de AI had gebruikt om te genereren. GPT-3 kan ook pastiches van bepaalde schrijvers produceren. Mario Klingemann, een kunstenaar die werkt met machinaal leren, deelde een kort verhaal genaamd Het belang van zijn op Twitter, geschreven in de stijl van Jerome K. Jerome, dat begint: Het is een merkwaardig feit dat de laatst overgebleven vorm van sociaal leven in waar de Londenaren nog steeds in geïnteresseerd zijn, is Twitter. Ik werd getroffen door dit merkwaardige feit toen ik op een van mijn periodieke vakanties naar de zee ging en de hele plaats kwetterde als een spreeuwenkooi. Klingemann zegt dat hij de AI alleen de titel, de naam van de auteur en de initiaal It gaf. Er is zelfs een redelijk informatief artikel over GPT-3 volledig geschreven door GPT-3 .

Anderen hebben ontdekt dat GPT-3 elk soort tekst kan genereren, inclusief gitaartabs of computercode. Door bijvoorbeeld GPT-3 aan te passen zodat het HTML produceerde in plaats van natuurlijke taal, liet webontwikkelaar Sharif Shameem zien dat hij het kon maken webpaginalay-outs maken door het prompts te geven zoals een knop die eruitziet als een watermeloen of grote rode tekst met de tekst WELKOM BIJ MIJN NIEUWSBRIEF en een blauwe knop met de tekst Abonneren. Zelfs de legendarische coder John Carmack, die pionier was in 3D-computergraphics in vroege videogames zoals Doom en nu CTO raadpleegt bij Oculus VR, was zenuwachtig : De recente, bijna toevallige ontdekking dat GPT-3 een soort van code kan schrijven, veroorzaakt wel een lichte rilling.

Maar ondanks zijn nieuwe trucs, is GPT-3 nog steeds vatbaar voor het spuwen van haatdragende seksistische en racistische taal. Door het model nauwkeurig af te stemmen, werd dit soort uitvoer in GPT-2 beperkt.



Het is ook geen verrassing dat velen snel begonnen te praten over intelligentie. Maar de mensachtige output en opvallende veelzijdigheid van de GPT-3 zijn het resultaat van uitstekende techniek, niet van echte slimheid. Om te beginnen maakt de AI nog steeds belachelijke brullen die een totaal gebrek aan gezond verstand onthullen. Maar zelfs de successen hebben een gebrek aan diepgang en lezen meer als knip-en-plakwerk dan als originele composities.



Wat er precies aan de hand is in GPT-3 is niet duidelijk. Maar waar het goed in lijkt te zijn, is het synthetiseren van tekst die het elders op internet heeft gevonden, waardoor het een soort enorm, eclectisch plakboek wordt dat is gemaakt van miljoenen en miljoenen tekstfragmenten die het vervolgens op verzoek op vreemde en prachtige manieren aan elkaar plakt.

Dat is niet om de prestatie van OpenAI te bagatelliseren. En een tool als deze heeft veel nieuwe toepassingen, zowel goed (van het aansturen van betere chatbots tot het helpen van mensen met coderen) als slecht (van het aansturen van betere bots voor verkeerde informatie tot het helpen van kinderen bij het spieken van hun huiswerk).

Maar wanneer er een nieuwe AI-mijlpaal komt, wordt deze te vaak begraven in een hype. Zelfs Sam Altman, die samen met Elon Musk OpenAI oprichtte, probeerde dingen afzwakken : De GPT-3 hype is veel te veel. Het is indrukwekkend (bedankt voor de mooie complimenten!) maar het heeft nog steeds ernstige zwakheden en maakt soms hele domme fouten. AI gaat de wereld veranderen, maar GPT-3 is slechts een zeer vroege glimp. We moeten nog veel uitzoeken.

We hebben een lage lat als het gaat om het spotten van intelligentie . Als iets er slim uitziet, is het gemakkelijk om onszelf voor de gek te houden dat het dat is. De grootste truc die AI ooit uithaalde, was de wereld ervan overtuigen dat het bestaat. GPT-3 is een enorme sprong voorwaarts, maar het is nog steeds een hulpmiddel dat door mensen is gemaakt, met alle gebreken en beperkingen van dien.

zich verstoppen