De technologie achter OpenAI's fictie-schrijvende, nepnieuws-spuwende AI, uitgelegd

Woordbellen met het begin van een sciencefictionverhaal en een computer die het verhaal voortzet mevrouw Tech

Afgelopen donderdag (14 februari) heeft het non-profit onderzoeksbureau OpenAI een nieuw taalmodel in staat om overtuigende passages van proza ​​te genereren. Dus overtuigend , in feite, dat de onderzoekers hebben afgezien van het open sourcen van de code, in de hoop de potentiële bewapening ervan te vertragen als middel om nepnieuws massaal te produceren.

Een medewerker van OpenAI heeft dit door AI geschreven voorbeeld uitgeprint en bij de prullenbak geplaatst: https://t.co/PT8CMSU2AR pic.twitter.com/PuXEzxL7Xd

— Greg Brockman (@gdb) 14 februari 2019

Hoewel de indrukwekkende resultaten een opmerkelijke sprong zijn verder dan wat bestaande taalmodellen hebben bereikt, is de betrokken techniek niet bepaald nieuw. In plaats daarvan werd de doorbraak voornamelijk aangedreven door het algoritme steeds meer trainingsgegevens te geven - een truc die ook verantwoordelijk is geweest voor de meeste andere recente ontwikkelingen in het leren lezen en schrijven van AI. Het is nogal verrassend wat mensen kunnen doen met [...] meer gegevens en grotere modellen, zegt Percy Liang, hoogleraar computerwetenschappen aan Stanford.

De tekstpassages die het model produceert, zijn goed genoeg om zich voor te doen als iets dat door mensen is geschreven. Maar dit vermogen moet niet worden verward met een echt begrip van taal - het uiteindelijke doel van het subveld van AI dat bekend staat als natuurlijke taalverwerking (NLP). (Er is een analogie in computervisie: een algoritme kan zeer realistische beelden synthetiseren zonder enig echt visueel begrip.) In feite is het een taak die NLP-onderzoekers grotendeels ontgaan zijn om machines op dat niveau van begrip te krijgen. Dat doel kan jaren, zelfs tientallen jaren duren om te bereiken, vermoedt Liang, en er zijn waarschijnlijk technieken bij betrokken die nog niet bestaan.

Vier verschillende taalfilosofieën momenteel de drijvende kracht achter de ontwikkeling van NLP-technieken. Laten we beginnen met degene die door OpenAI wordt gebruikt.

#1. Distributionele semantiek

Taalfilosofie. Woorden ontlenen betekenis aan hoe ze worden gebruikt. De woorden kat en hond zijn bijvoorbeeld verwant in betekenis omdat ze min of meer op dezelfde manier worden gebruikt. Je kunt een kat voeren en aaien, en je kunt een hond voeren en aaien. Je kunt een sinaasappel echter niet voeren en aaien.

Verwant verhaal

Verwant verhaal Dit algoritme, gevoed met miljarden woorden, creëert overtuigende artikelen en laat zien hoe AI kan worden gebruikt om mensen op grote schaal voor de gek te houden.

Hoe het zich vertaalt naar NLP. Algoritmen op basis van distributiesemantiek zijn grotendeels verantwoordelijk geweest voor: de recente doorbraken in NLP . Ze gebruiken machine learning om tekst te verwerken en patronen te vinden door in wezen te tellen hoe vaak en hoe nauw woorden in relatie tot elkaar worden gebruikt. De resulterende modellen kunnen die patronen vervolgens gebruiken om volledige zinnen of alinea's te construeren, en dingen als autocomplete of andere voorspellende tekstsystemen te versterken. In de afgelopen jaren zijn sommige onderzoekers ook begonnen te experimenteren met het kijken naar de distributie van willekeurige tekenreeksen in plaats van woorden, zodat modellen flexibeler kunnen omgaan met acroniemen, interpunctie, jargon en andere dingen die niet in het woordenboek voorkomen, evenals talen die geen duidelijke scheidingen tussen woorden hebben.

Pluspunten Deze algoritmen zijn flexibel en schaalbaar, omdat ze binnen elke context kunnen worden toegepast en leren van ongelabelde data.

nadelen De modellen die ze produceren, begrijpen de zinnen die ze construeren niet echt. Aan het eind van de dag schrijven ze proza ​​met behulp van woordassociaties.

#2. Framesemantiek

Taalfilosofie. Taal wordt gebruikt om acties en gebeurtenissen te beschrijven, dus zinnen kunnen worden onderverdeeld in onderwerpen, werkwoorden en modifiers: wie , wat , waar , en wanneer .

Hoe het zich vertaalt naar NLP. Algoritmen op basis van frame-semantiek gebruiken een reeks regels of veel gelabelde trainingsgegevens om zinnen te leren deconstrueren. Dit maakt ze bijzonder goed in het ontleden van eenvoudige commando's - en dus handig voor chatbots of stemassistenten. Als je Alexa zou vragen om bijvoorbeeld een restaurant met vier sterren voor morgen te zoeken, zou zo'n algoritme uitzoeken hoe de zin moet worden uitgevoerd door deze op te splitsen in de actie (vinden), de wat (restaurant met vier sterren), en de wanneer (morgen).

Pluspunten In tegenstelling tot distributie-semantische algoritmen, die de tekst waarvan ze leren niet begrijpen, kunnen frame-semantische algoritmen de verschillende stukjes informatie in een zin onderscheiden. Deze kunnen worden gebruikt om vragen te beantwoorden als Wanneer vindt dit evenement plaats?

nadelen Deze algoritmen kunnen alleen zeer eenvoudige zinnen aan en slagen er daarom niet in om nuance vast te leggen. Omdat ze veel contextspecifieke training vergen, zijn ze ook niet flexibel.

#3. Modeltheoretische semantiek

Taalfilosofie. Taal wordt gebruikt om menselijke kennis over te brengen.

Hoe het zich vertaalt naar NLP. Modeltheoretische semantiek is gebaseerd op een oud idee in AI dat alle menselijke kennis kan worden gecodeerd, of gemodelleerd , in een reeks logische regels. Dus als je weet dat vogels kunnen vliegen en adelaars vogels zijn, dan kun je afleiden dat adelaars kunnen vliegen. Deze aanpak is niet langer in zwang omdat onderzoekers al snel beseften dat er te veel uitzonderingen waren op elke regel (pinguïns zijn bijvoorbeeld vogels maar kunnen niet vliegen). Maar algoritmen op basis van modeltheoretische semantiek zijn nog steeds nuttig om informatie te extraheren uit kennismodellen, zoals databases. Net als frame-semantische algoritmen ontleden ze zinnen door ze in delen te deconstrueren. Maar terwijl framesemantiek die delen definieert als de wie , wat , waar , en wanneer , definieert modeltheoretische semantiek ze als de logische regels die kennis coderen. Beschouw bijvoorbeeld de vraag Wat is de grootste stad van Europa qua inwonersaantal? Een modeltheoretisch algoritme zou het opsplitsen in een reeks op zichzelf staande vragen: wat zijn alle steden in de wereld? Welke zijn er in Europa? Wat zijn de inwoners van de steden? Welke populatie is het grootst? Het zou dan in staat zijn om het kennismodel te doorkruisen om u uw definitieve antwoord te geven.

Pluspunten Deze algoritmen geven machines de mogelijkheid om complexe en genuanceerde vragen te beantwoorden.

nadelen Ze vereisen een kennismodel, dat tijdrovend is om te bouwen en niet flexibel is in verschillende contexten.

#4. Geaarde semantiek

Taalfilosofie. Taal ontleent betekenis aan geleefde ervaring. Met andere woorden, mensen hebben taal gecreëerd om hun doelen te bereiken, dus het moet worden begrepen binnen de context van onze doelgerichte wereld.

Hoe het zich vertaalt naar NLP. Dit is de nieuwste aanpak en degene die volgens Liang de meeste belofte inhoudt. Het probeert na te bootsen hoe mensen taal in de loop van hun leven oppikken: de machine begint met een lege toestand en leert woorden te associëren met de juiste betekenissen door middel van conversatie en interactie. In een eenvoudig voorbeeld, als je een computer zou willen leren hoe objecten in een virtuele wereld te bewegen, zou je hem een ​​commando geven zoals Verplaats het rode blok naar links en laat hem dan zien wat je bedoelde. Na verloop van tijd zou de machine de opdrachten zonder hulp leren begrijpen en uitvoeren.

Pluspunten In theorie zouden deze algoritmen zeer flexibel moeten zijn en het dichtst bij een echt begrip van taal komen.

nadelen Lesgeven is erg tijdrovend - en niet alle woorden en zinnen zijn zo gemakkelijk te illustreren als Verplaats het rode blok.

Op de korte termijn, denkt Liang, zal het gebied van NLP veel meer vooruitgang zien door het exploiteren van bestaande technieken, met name die welke gebaseerd zijn op distributiesemantiek. Maar op de langere termijn hebben ze allemaal grenzen, meent hij. Er is waarschijnlijk een kwalitatieve kloof tussen de manier waarop mensen taal begrijpen en de wereld waarnemen en onze huidige modellen, zegt hij. Om die kloof te dichten zou waarschijnlijk een nieuwe manier van denken nodig zijn, voegt hij eraan toe, evenals veel meer tijd.

Dit verscheen oorspronkelijk in onze AI-nieuwsbrief The Algorithm. Om het direct in je inbox te krijgen, kun je je hier gratis aanmelden.

zich verstoppen