Dit zou kunnen leiden tot de volgende grote doorbraak in gezond verstand AI

mevrouw Tech | Pexels

Je hebt ons dit waarschijnlijk ontelbare keren horen zeggen: GPT-3, de gigantische AI ​​die griezelig mensachtige taal spuwt, is een wonder. Het is ook grotendeels Kijken . Je kunt het zien met een simpele truc: Vraag het maar de kleur van schapen , en het zal stel voor zwart zo vaak als wit - een weerspiegeling van de uitdrukking zwart schaap in onze volkstaal.

Dat is het probleem met taalmodellen: omdat ze alleen op tekst zijn getraind, missen ze gezond verstand. Nu hebben onderzoekers van de University of North Carolina, Chapel Hill, een nieuwe techniek ontworpen om dat te veranderen. Ze noemen het vokenization, en het geeft taalmodellen zoals GPT-3 de mogelijkheid om te zien.

Het is niet de eerste keer dat mensen hebben geprobeerd taalmodellen te combineren met computervisie. Dit is eigenlijk een snel groeiend gebied van AI-onderzoek. Het idee is dat beide soorten AI verschillende sterke punten hebben. Taalmodellen zoals GPT-3 worden getraind door middel van leren zonder toezicht, waarvoor geen handmatige gegevenslabels nodig zijn, waardoor ze gemakkelijk kunnen worden geschaald. Beeldmodellen zoals objectherkenningssystemen leren daarentegen directer van de werkelijkheid. Met andere woorden, hun begrip is niet afhankelijk van het soort abstractie van de wereld dat tekst biedt. Ze kunnen aan foto's van schapen zien dat ze in feite wit zijn.

Verwant verhaal

Deze rare, verontrustende foto's laten zien dat AI slimmer wordt Modellen leren hoe ze afbeeldingen kunnen genereren uit bijschriften, een teken dat ze onze wereld beter begrijpen.

AI-modellen die zowel taal als visuele input kunnen ontleden, hebben ook zeer praktische toepassingen. Als we bijvoorbeeld robotassistenten willen bouwen, hebben ze computervisie nodig om door de wereld te navigeren en taal om erover met mensen te communiceren.

Maar het combineren van beide soorten AI is makkelijker gezegd dan gedaan. Het is niet zo eenvoudig als het aan elkaar nieten van een bestaand taalmodel met een bestaand objectherkenningssysteem. Het vereist het trainen van een nieuw model vanaf het begin met een dataset die tekst en afbeeldingen bevat, ook wel bekend als een visuele taal dataset.

De meest gebruikelijke benadering voor het samenstellen van een dergelijke dataset is het samenstellen van een verzameling afbeeldingen met beschrijvende bijschriften. Een foto zoals die hieronder zou bijvoorbeeld een onderschrift hebben Een oranje kat zit in de koffer, klaar om ingepakt te worden. Dit verschilt van typische beeldgegevenssets, die dezelfde afbeelding zouden labelen met slechts één zelfstandig naamwoord, zoals kat. Een dataset in beeldtaal kan een AI-model daarom niet alleen leren hoe objecten te herkennen, maar ook hoe ze zich tot elkaar verhouden en op elkaar reageren, met behulp van werkwoorden en voorzetsels.

Maar u begrijpt waarom dit proces voor gegevensbeheer een eeuwigheid zou duren. Dit is de reden waarom de bestaande datasets in beeldtaal zo nietig zijn. Een populaire dataset met alleen tekst zoals de Engelse Wikipedia (die inderdaad bijna alle Engelstalige Wikipedia-vermeldingen bevat) zou bijna 3 miljard woorden kunnen bevatten. Een dataset in beeldtaal zoals Microsoft Common Objects in Context of MS COCO bevat slechts 7 miljoen. Er zijn gewoon niet genoeg gegevens om een ​​AI-model te trainen voor iets nuttigs.

Vokenization omzeilt dit probleem door gebruik te maken van niet-gecontroleerde leermethoden om de kleine hoeveelheid gegevens in MS COCO te schalen naar de grootte van de Engelse Wikipedia. Het resulterende beeldtaalmodel presteert beter dan state-of-the-art modellen in enkele van de moeilijkste tests die tegenwoordig worden gebruikt om AI-taalbegrip te evalueren.

Je verslaat de stand van de techniek bij deze tests niet door een klein beetje te proberen, zegt Thomas Wolf, de medeoprichter en chief science officer van de startup voor natuurlijke taalverwerking Hugging Face, die geen deel uitmaakte van het onderzoek. Dit is geen speelgoedtest. Daarom is dit super spannend.

Van tokens tot vokens

Laten we eerst wat terminologie uitzoeken. Wat is in hemelsnaam een ​​voken?

In AI speak staan ​​de woorden die worden gebruikt om taalmodellen te trainen bekend als tokens. Dus besloten de UNC-onderzoekers om de afbeelding die bij elk token in hun beeldtaalmodel hoort, een voken te noemen. Vokenizer is wat ze het algoritme noemen dat vokens vindt voor elk token, en vocalisatie noemen ze het hele proces.

Het punt hiervan is niet alleen om te laten zien hoeveel AI-onderzoekers ervan houden om woorden te verzinnen. (Dat doen ze echt.) Het helpt ook om het basisidee achter vocenization te doorbreken. In plaats van te beginnen met een afbeeldingsdataset en handmatig zinnen te schrijven om als bijschriften te dienen - een zeer langzaam proces - begonnen de UNC-onderzoekers met een taaldataset en gebruikten onbewaakt leren om elk woord te koppelen aan een relevante afbeelding (hierover later meer). Dit is een zeer schaalbaar proces.

De ongecontroleerde leertechniek is hier uiteindelijk de bijdrage van het papier. Hoe vind je eigenlijk bij elk woord een relevante afbeelding?

Vokenisatie

Laten we even teruggaan naar GPT-3. GPT-3 maakt deel uit van een familie van taalmodellen die bekend staat als transformatoren, die een grote doorbraak betekenden in het toepassen van leren zonder toezicht op natuurlijke taalverwerking toen de eerste in 2017 werd geïntroduceerd. Transformers leren de patronen van menselijke taal door te observeren hoe woorden worden gebruikt in context en maakt vervolgens een wiskundige weergave van elk woord, ook wel woordinsluiting genoemd, op basis van die context. De inbedding van het woord kat kan bijvoorbeeld laten zien dat het vaak wordt gebruikt rond de woorden miauw en oranje, maar minder vaak rond de woorden blaf of blauw.

Dit is hoe transformatoren de betekenis van woorden benaderen en hoe GPT-3 zulke mensachtige zinnen kan schrijven. Het vertrouwt gedeeltelijk op deze inbeddingen om het te vertellen hoe woorden in zinnen en zinnen in alinea's moeten worden samengevoegd.

Er is een parallelle techniek die ook voor afbeeldingen kan worden gebruikt. In plaats van tekst te scannen op patronen voor woordgebruik, worden afbeeldingen gescand op visuele patronen. Het geeft een tabel aan hoe vaak een kat bijvoorbeeld op een bed verschijnt versus in een boom, en creëert een inbedding van een kat met deze contextuele informatie.

Het inzicht van de UNC-onderzoekers was dat ze beide inbeddingstechnieken moesten gebruiken op MS COCO. Ze zetten de afbeeldingen om in visuele inbeddingen en de bijschriften in woordinbeddingen. Het leuke aan deze inbeddingen is dat ze vervolgens in een driedimensionale ruimte kunnen worden weergegeven en dat je letterlijk kunt zien hoe ze aan elkaar gerelateerd zijn. Visuele inbeddingen die nauw verwant zijn aan woordinbeddingen, worden dichterbij in de grafiek weergegeven. Met andere woorden, de visuele katteninbedding zou (in theorie) moeten overlappen met de op tekst gebaseerde katteninbedding. Best wel gaaf.

Je kunt zien waar dit naartoe gaat. Zodra de inbeddingen allemaal in een grafiek zijn weergegeven en vergeleken en aan elkaar zijn gerelateerd, is het gemakkelijk om afbeeldingen (vokens) te matchen met woorden (tokens). En onthoud, omdat de afbeeldingen en woorden zijn gekoppeld op basis van hun inbedding, zijn ze ook gekoppeld op basis van context. Dit is handig wanneer een woord totaal verschillende betekenissen kan hebben. De techniek verwerkt dat met succes door verschillende vokens te vinden voor elke instantie van het woord.

Bijvoorbeeld:

Hier is haar contact.

Sommige katten houden van mensen contact .

Het token is in beide voorbeelden het woord contact. Maar in de eerste zin suggereert de context dat het woord verwijst naar contactgegevens, dus de voken is het contactpictogram. In de tweede zin suggereert de context dat het woord verwijst naar aanraking, dus de voken laat een kat zien die wordt geaaid.

De onderzoekers gebruikten de visuele en woordinbeddingen die ze met MS COCO maakten om hun vokenizer-algoritme te trainen. Eenmaal getraind, kon de vokenizer vervolgens vokens voor de tokens vinden in de Engelse Wikipedia. Het is niet perfect. Het algoritme vond slechts vokens voor ongeveer 40% van de tokens. Maar dat is nog steeds 40% van een dataset met bijna 3 miljard woorden.

Met deze nieuwe dataset hebben de onderzoekers een taalmodel omgeschoold dat bekend staat als BERT, een open-source transformator ontwikkeld door Google die ouder is dan GPT-3. Vervolgens testten ze de nieuwe en verbeterde BERT op zes verschillende taalbegripstests, waaronder SQuAD, de Stanford Question Answering Dataset, die modellen vraagt ​​om begrijpend lezen vragen te beantwoorden over een reeks artikelen, en SWAG, die modellen probeert te laten struikelen met subtiliteiten van de Engelse taal om te onderzoeken of het alleen maar nabootsen en onthouden is. De verbeterde BERT presteerde beter op allemaal, wat volgens Wolf niets is om naar te niezen.

De onderzoekers, Hao Tan, een promovendus, en Mohit Bansal, zijn adviseur, zullen over twee weken hun nieuwe vokenisatietechniek presenteren op de Conference on Empirical Methods in Natural Language Processing. Hoewel het werk nog vroeg is, ziet Wolf hun werk als een belangrijke conceptuele doorbraak om leren zonder toezicht te laten werken voor beeldtaalmodellen. Het was een soortgelijke vonk die destijds de verwerking van natuurlijke taal drastisch heeft verbeterd.

In NLP hadden we meer dan twee jaar geleden deze enorme doorbraak, en toen was NLP plotseling een veld waar veel dingen aan de hand waren en het liep een beetje voor op alle andere AI-velden, zegt hij. Maar we hebben het probleem om tekst met andere dingen te verbinden. Dus het is net als deze robot die alleen kan praten, maar niet kan zien, niet kan horen.

Dit artikel is een voorbeeld waarin ze het met een andere modaliteit hebben kunnen verbinden en het werkt beter , hij zegt. Je zou je kunnen voorstellen dat sommige van deze technieken misschien opnieuw kunnen worden gebruikt als je dit echt krachtige taalmodel in een robot wilt gebruiken. Misschien gebruik je hetzelfde om de zintuigen van de robot met tekst te verbinden.

zich verstoppen