211service.com
Waarom GPT-3 op dit moment de beste en slechtste van AI is
Open AI's taal AI imponeerde het publiek met zijn schijnbare beheersing van het Engels - maar is het allemaal een illusie?
Sierra & Lenny
24 februari 2021
Waarom het uitmaakt:Grote computermodellen die natuurlijke taal leren, zijn een grote stap in de richting van AI die de menselijke wereld kan begrijpen en ermee kan communiceren.
Hoofdrolspelers:• OpenAI
• Google
• Facebook
Beschikbaarheid:nutsvoorzieningen
GPT-3 heeft tot de verbeelding van het publiek geleid, in tegenstelling tot alle andere AI sinds DeepMind's AlphaGo of IBM's schaakspel DeepBlue.
Gebouwd door OpenAI , een onderzoekslaboratorium gevestigd in San Francisco, het is een groot taalmodel — een algoritme dat gebruikmaakt van deep learning, getraind op de tekst van duizenden boeken en het grootste deel van het internet, om woorden en zinsdelen aan elkaar te rijgen. Toen het in 2020 werd gelanceerd, leek het vermogen om door mensen geschreven tekst met griezelig realisme na te bootsen voor velen een mijlpaal op weg naar echte machine-intelligentie.
Dit verhaal maakte deel uit van ons nummer van maart 2021
- Zie de rest van het nummer
- Abonneren
Hier is een voorbeeld van wat het kan doen . Het cursief gedrukte gedeelte was de prompt die door een mens werd gegeven.
—
I n een schokkende bevinding ontdekten wetenschappers een kudde eenhoorns die leefde in een afgelegen, voorheen onontgonnen vallei in het Andesgebergte. Nog verrassender voor de onderzoekers was het feit dat de eenhoorns perfect Engels spraken. Ze bleken ook perfect gekapt haar te hebben en droegen wat leek op Dior-make-up.
We waren geschokt toen we de eenhoorns ontdekten, zei antropoloog Daniel St. Maurice. Ze waren als niets dat we ooit eerder hadden gezien. We hadden legendes over de eenhoorns gehoord, maar hadden nooit gedacht dat ze echt bestonden.
Toen de wetenschappers voor het eerst in de vallei aankwamen, waren de eenhoorns verrast en opgeschrikt door de aanwezigheid van mensen, maar ook opgewonden. De eenhoorns verwelkomden de onderzoekers en legden uit dat ze al heel lang op hen wachtten.
202110 baanbrekende technologieën
Zoals u kunt zien, is GPT-3 in staat om complexe zinnen te produceren die lezen alsof ze door een mens zijn geproduceerd. De voorbeeldzinnen bevatten culturele verwijzingen en een geloofwaardig verslag van hoe de wetenschappers zouden reageren. Machines die taal op deze manier kunnen gebruiken, zijn om verschillende redenen belangrijk. Taal is cruciaal om de wereld van alledag te begrijpen: mensen gebruiken het om te communiceren, ideeën uit te wisselen en concepten te beschrijven. Een AI die taal onder de knie zou krijgen, zou gaandeweg een beter begrip van de wereld krijgen.
Grote taalmodellen hebben ook veel praktische toepassingen . Ze sturen betere chatbots aan die vlottere gesprekken voeren; ze kunnen artikelen en verhalen over alles genereren, als ze een prompt krijgen; ze kunnen stukjes tekst samenvatten of er vragen over beantwoorden. Toegang tot GPT-3 is alleen op uitnodiging, maar mensen hebben het al gebruikt om van stroom te voorzien tientallen apps , van een tool die startup-ideeën genereert tot een AI-scripted adventure game die zich afspeelt in een kerker.
GPT-3 is niet het enige grote taalmodel dat in 2020 verschijnt. Microsoft, Google en Facebook hebben allemaal hun eigen model aangekondigd. Maar GPT-3 was verreweg de beste generalist. En het geeft de indruk dat het alles kan schrijven: fanfictie, filosofische polemiek en zelfs code. Toen mensen afgelopen zomer GPT-3 voor zichzelf begonnen uit te proberen, stroomden duizenden voorbeelden van zijn veelzijdigheid de sociale media over. discussies werden zelfs aangewakkerd over de vraag of GPT-3 de eerste kunstmatige algemene intelligentie was.
Het is niet. Ondanks de ongelooflijk overtuigende tekstpassages die het kan opleveren, doet GPT-3 niets echt nieuws. Wat het in plaats daarvan laat zien, is dat grootte alles kan zijn. Om GPT-3 te bouwen, gebruikte OpenAI min of meer dezelfde aanpak en algoritmen die het gebruikte voor zijn oudere broer of zus, GPT-2 , maar het overtrof zowel het neurale netwerk als de trainingsset. GPT-3 heeft 175 miljard parameters - de waarden in een netwerk die tijdens de training worden aangepast - vergeleken met de 1,5 miljard van GPT-2. Het was ook getraind op veel meer gegevens.
Vóór GPT-2 duurde het trainen van een taalmodel met behulp van deep learning meestal twee stappen: het werd getraind op een dataset voor algemene doeleinden om het een basiskennis van de taal te geven en vervolgens getraind op een kleinere set gericht op een specifieke taak, zoals begrip of vertaling. GPT-2 toonde aan dat je over de hele linie goede resultaten kon behalen met slechts één doorgang als je meer voorbeelden naar een groter model gooide. Dus met GPT-3 verdubbelde OpenAI en maakte het het grootste taalmodel ooit.
De resultaten die ieders aandacht trokken, waren echter vaak uitgezocht. GPT-3 herhaalt of spreekt zichzelf vaak tegen in tekstgedeelten van meer dan een paar honderd woorden. Het komt uit met huilers. GPT-3 verbergt zijn domheid achter een zilveren tong, maar het duurt meestal een paar keer voordat het iets genereert dat de scheuren niet vertoont.
Verwant verhaal
OpenAI's nieuwe taalgenerator GPT-3 is schrikbarend goed - en volledig hersenloos De AI is het grootste taalmodel dat ooit is gemaakt en kan op verzoek verbazingwekkende mensachtige tekst genereren, maar zal ons niet dichter bij echte intelligentie brengen.
De mogelijkheden van GPT-3 maken het ook moeilijk om de groeiende problemen van AI te negeren. Het enorme stroomverbruik is slecht nieuws voor het klimaat: onderzoekers van de Universiteit van Kopenhagen in Denemarken schatting dat het trainen van GPT-3 ongeveer dezelfde ecologische voetafdruk zou hebben gehad als het rijden met een auto over de afstand naar de maan en terug, als het was getraind in een datacenter dat volledig werd aangedreven door fossiele brandstoffen. En de kosten van een dergelijke training - door sommige experts geschat op ten minste $ 10 miljoen in het geval van GPT-3 - zetten het laatste onderzoek buiten het bereik van iedereen behalve de rijkste laboratoria .
OpenAI meldt dat het trainen van GPT-3 enkele duizenden petaflop/s-dagen aan rekenkracht kostte. Een petaflop/s-dag is een eenheid van stroomverbruik die bestaat uit het uitvoeren van 1015 - dat is duizend biljoen, of een quadriljoen - neurale netwerkberekeningen per seconde voor een dag. Ter vergelijking: GPT-2 verbruikte slechts tientallen petaflop/s-dagen.
Nog een ander probleem is dat GPT-3 veel van de desinformatie en vooroordelen die het online vindt opzuigt en op verzoek reproduceert. Zoals het team dat het heeft gebouwd zei in de paper waarin de technologie wordt beschreven : op internet getrainde modellen hebben vooroordelen op internetschaal.
Het vernis van menselijkheid dat GPT-3 geeft aan door machines gegenereerde tekst, maakt het gemakkelijk te vertrouwen. Dit heeft sommigen ertoe gebracht te beweren dat GPT-3 en alle mensachtige taalmodellen moeten worden geleverd met een veiligheidswaarschuwing, een sticker voor het oppassen voor de gebruiker, die mensen waarschuwt dat ze chatten met software en niet met een mens.
Een paar maanden geleden bracht iemand een GPT-3-aangedreven bot op Reddit , waar het honderden reacties plaatste en meerdere dagen contact had met tientallen gebruikers voordat het werd ontmaskerd. Een groot deel van zijn activiteit was ongevaarlijk. Maar de bot reageerde ook op opmerkingen over zelfmoordgedachten en gaf persoonlijk advies waarin de steun van zijn ouders werd genoemd.
Ondanks al deze problemen is GPT-3 een overwinning voor degenen die geloven dat groter beter is. Dergelijke modellen laten zien dat je met rekenkracht en data een heel eind komt, en van beide kunnen we in de toekomst meer verwachten. Hoe zou een GPT-4 eruit kunnen zien? We kunnen verwachten dat chatbots gelikter worden, beter in het aaneenrijgen van langere stukken coherente tekst, met een nog grotere beheersing van gespreksonderwerpen.
Maar taal is slechts één manier om de wereld te begrijpen en ermee om te gaan. Taalmodellen van de volgende generatie zullen andere vaardigheden integreren, zoals beeldherkenning. OpenAI neemt GPT-3 al in deze richting met AI's die taal gebruiken om afbeeldingen te begrijpen en afbeeldingen om taal te begrijpen.
Als je de huidige staat van diep leren wilt weten, kijk dan naar GPT-3. Het is een microkosmos van het beste en het slechtste in AI.