Deze rare, verontrustende foto's laten zien dat AI slimmer wordt

Allen Instituut voor AI

Van alle AI-modellen ter wereld, OpenAI's GPT-3 heeft het meest tot de verbeelding van het publiek gegrepen. Het kan gedichten, korte verhalen en liedjes uitspugen met weinig aansporing, en is aangetoond mensen voor de gek houden door te denken dat de outputs door een mens zijn geschreven. Maar zijn welsprekendheid is meer een salontruc, niet te verwarren met echte intelligentie.

Desalniettemin zijn onderzoekers van mening dat de technieken die worden gebruikt om GPT-3 te maken, het geheim van meer geavanceerde AI kunnen bevatten. GPT-3 trainde op een enorme hoeveelheid tekstgegevens. Wat als dezelfde methoden werden getraind op zowel tekst als afbeeldingen?

Nieuw onderzoek van het Allen Institute for Artificial Intelligence, AI2, heeft dit idee nu naar een hoger niveau getild. De onderzoekers hebben een nieuw tekst-en-beeldmodel ontwikkeld, ook wel bekend als een beeldtaalmodel, dat afbeeldingen kan genereren met een bijschrift. De beelden zien er verontrustend en grillig uit - er gaat niets boven de hyperrealistische deepfakes gegenereerd door GAN's - maar ze zouden een veelbelovende nieuwe richting kunnen aantonen voor het bereiken van meer generaliseerbare intelligentie, en misschien ook slimmere robots.

Vul de blanco in

GPT-3 maakt deel uit van een groep modellen die bekend staat als transformatoren, die voor het eerst populair werden door het succes van Google's BERT. Vóór BERT waren taalmodellen behoorlijk slecht. Ze hadden genoeg voorspellende kracht om bruikbaar te zijn voor toepassingen zoals automatisch aanvullen, maar niet genoeg om een ​​lange zin te genereren die de grammaticaregels en gezond verstand volgde.

BERT bracht daar verandering in door een nieuwe techniek te introduceren genaamd maskeren . Het houdt in dat je verschillende woorden in een zin verbergt en het model vraagt ​​om de lege plek in te vullen. Bijvoorbeeld:

• De vrouw ging naar de ___ om te trainen.
• Ze kochten een ___ brood om sandwiches te maken.

Het idee is dat als het model gedwongen wordt om deze oefeningen te doen, vaak miljoenen keren, het patronen begint te ontdekken in hoe woorden worden samengevoegd tot zinnen en zinnen tot alinea's. Als gevolg hiervan kan het tekst beter genereren en interpreteren, waardoor het dichter bij de betekenis van taal komt. (Google gebruikt nu BERT om relevantere zoekresultaten weer te geven in zijn zoekmachine .) Nadat maskering zeer effectief bleek te zijn, probeerden onderzoekers het toe te passen op beeldtaalmodellen door woorden in bijschriften te verbergen, zoals:

Een ____ staat op een aarde bij een boom.

AI2

Deze keer kon het model zowel naar de omringende woorden kijken en de inhoud van de afbeelding om de lege ruimte in te vullen. Door miljoenen herhalingen kon het dan niet alleen de patronen tussen de woorden ontdekken, maar ook de relaties tussen de woorden en de elementen in elk beeld.

Het resultaat zijn modellen die tekstbeschrijvingen kunnen relateren aan visuele referenties - net zoals baby's verbanden kunnen leggen tussen de woorden die ze leren en de dingen die ze zien. De modellen kunnen bijvoorbeeld naar de onderstaande foto kijken en een zinnig bijschrift schrijven zoals Vrouwen die hockey spelen. Of ze kunnen er vragen over beantwoorden, zoals Wat is de kleur van de bal? door het woord bal te verbinden met het ronde object in de afbeelding.

Een beeldtaalmodel zou deze foto verstandig kunnen onderschrijven: 'Vrouwen die hockey spelen.'

JOHN TORCASIO / UNSPLASH

Een foto zegt meer dan duizend woorden

Maar de AI2-onderzoekers wilden weten of deze modellen daadwerkelijk een conceptueel begrip van de visuele wereld hadden ontwikkeld. Een kind dat het woord voor een object heeft geleerd, kan niet alleen het woord toveren om het object te identificeren, maar ook het object tekenen wanneer daarom wordt gevraagd met het woord, zelfs als het object zelf niet aanwezig is. Dus vroegen de onderzoekers de modellen hetzelfde te doen: afbeeldingen genereren uit bijschriften. In plaats daarvan spugen ze allemaal onzinnige pixelpatronen uit.

Het is een vogel! Het is een vliegtuig! Nee, het is gewoon gobbledygook gegenereerd door AI.

AI2

Het is logisch: tekst omzetten in afbeeldingen is veel moeilijker dan andersom. Een bijschrift specificeert niet alles in een afbeelding, zegt Ani Kembhavi, die leiding geeft aan het computervisieteam bij AI2. Een model moet dus veel gezond verstand over de wereld gebruiken om de details in te vullen.

Als hem wordt gevraagd om bijvoorbeeld een giraf te tekenen die over een weg loopt, moet hij ook concluderen dat de weg eerder grijs dan roze is en eerder naast een grasveld dan naast de oceaan - hoewel geen van deze informatie expliciet wordt gemaakt.

Dus besloten Kembhavi en zijn collega's Jaemin Cho, Jiasen Lu en Hannaneh Hajishirzi om te kijken of ze een model al deze impliciete visuele kennis konden leren door hun benadering van maskeren aan te passen. In plaats van het model alleen te trainen om gemaskeerde woorden in de bijschriften van de bijbehorende foto's te voorspellen, hebben ze het ook getraind om gemaskeerde pixels in de foto's te voorspellen op basis van hun bijbehorende bijschriften.

De uiteindelijke afbeeldingen die door het model worden gegenereerd, zijn niet bepaald realistisch. Maar dat is niet het punt. Ze bevatten de juiste visuele concepten op hoog niveau: het AI-equivalent van een kind dat een stokfiguur tekent om een ​​mens te vertegenwoordigen. (Je kunt het model zelf uitproberen hier .)

Voorbeelden van afbeeldingen die zijn gegenereerd door het model van AI2 uit de bijschriften eronder.

AI2

Het vermogen van beeldtaalmodellen om dit soort beeldgeneratie te doen, is een belangrijke stap voorwaarts in AI-onderzoek. Het suggereert dat het model in staat is tot een bepaald abstractieniveau, een fundamentele vaardigheid om de wereld te begrijpen.

Op de lange termijn kan dit gevolgen hebben voor robotica. Hoe beter een robot zijn visuele omgeving begrijpt en taal gebruikt om erover te communiceren, hoe complexer de taken die hij kan uitvoeren. Op korte termijn kan dit type visualisatie onderzoekers ook helpen beter te begrijpen wat Black Box AI-modellen precies leren, zegt Hajishirzi.

In de toekomst is het team van plan meer te experimenteren om de kwaliteit van het genereren van afbeeldingen te verbeteren en de visuele en taalkundige woordenschat van het model uit te breiden met meer onderwerpen, objecten en bijvoeglijke naamwoorden.

Het genereren van afbeeldingen is echt een ontbrekend puzzelstukje geweest, zegt Lu. Door dit mogelijk te maken, kunnen we ervoor zorgen dat het model betere representaties leert om de wereld weer te geven.

zich verstoppen