Deze avocado-fauteuil zou de toekomst van AI kunnen zijn

AI openen

Met GPT-3 , toonde OpenAI aan dat een enkel deep-learningmodel kan worden getraind om taal op verschillende manieren te gebruiken, simpelweg door er grote hoeveelheden tekst mee weg te gooien. Toen bleek dat door tekst te verwisselen voor pixels , zou dezelfde aanpak kunnen worden gebruikt om een ​​AI te trainen om halfafgewerkte afbeeldingen te voltooien. GPT-3 bootst na hoe mensen woorden gebruiken; Afbeelding GPT-3 voorspelt wat we zien.

Nu heeft OpenAI deze ideeën samengevoegd en twee nieuwe modellen gebouwd, genaamd GEEF HAAR en KLEM , die taal en afbeeldingen combineren op een manier die AI's beter zal maken in het begrijpen van zowel woorden als waarnaar ze verwijzen.

We leven in een visuele wereld, zegt Ilya Sutskever, hoofdwetenschapper bij OpenAI. Op de lange termijn zul je modellen hebben die zowel tekst als afbeeldingen begrijpen. AI zal taal beter kunnen begrijpen omdat het kan zien wat woorden en zinnen betekenen.

Verwant verhaal

OpenAI's nieuwe taalgenerator GPT-3 is schrikbarend goed - en volledig hersenloos

De AI is het grootste taalmodel dat ooit is gemaakt en kan op verzoek verbazingwekkende mensachtige tekst genereren, maar zal ons niet dichter bij echte intelligentie brengen.

Ondanks alle flair van de GPT-3, kan de uitvoer ervan losstaan ​​van de realiteit, alsof hij niet weet waar hij het over heeft. Dat komt omdat het niet zo is. Door tekst in afbeeldingen te verankeren, proberen onderzoekers van OpenAI en elders taalmodellen een een beter begrip van de alledaagse concepten die mensen gebruiken om dingen te begrijpen.

DALL·E en CLIP komen vanuit verschillende richtingen op dit probleem af. Op het eerste gezicht is CLIP (Contrastive Language-Image Pre-training) nog een ander beeldherkenningssysteem. Alleen heeft het geleerd om afbeeldingen te herkennen, niet van gelabelde voorbeelden in samengestelde datasets, zoals de meeste bestaande modellen doen, maar van afbeeldingen en hun bijschriften die van internet zijn gehaald. Het leert wat er in een afbeelding staat uit een beschrijving in plaats van een label van één woord, zoals kat of banaan.

CLIP wordt getraind door het te laten voorspellen welk bijschrift uit een willekeurige selectie van 32.768 de juiste is voor een bepaalde afbeelding. Om dit uit te werken leert CLIP een grote verscheidenheid aan objecten te verbinden met hun naam en de woorden die ze beschrijven. Hierdoor kan het objecten in afbeeldingen buiten zijn trainingsset identificeren. De meeste beeldherkenningssystemen zijn getraind om bepaalde soorten objecten te identificeren, zoals gezichten in bewakingsvideo's of gebouwen in satellietbeelden. Net als GPT-3 kan CLIP generaliseren over taken zonder aanvullende training. Het is ook minder waarschijnlijk dan andere state-of-the-art beeldherkenningsmodellen om op een dwaalspoor te worden gebracht door vijandige voorbeelden, die subtiel zijn gewijzigd op manieren die typisch algoritmen verwarren, ook al merken mensen misschien geen verschil.

In plaats van afbeeldingen te herkennen, tekent DALL·E (waarvan ik vermoed dat het een WALL·E/Dali-woordspeling is) ze. Dit model is een kleinere versie van GPT-3 die ook is getraind op tekst-beeldparen die van internet zijn gehaald. Gegeven een kort onderschrift in natuurlijke taal, zoals een schilderij van een capibara zittend in een veld bij zonsopgang of een dwarsdoorsnede van een walnoot, genereert DALL·E veel afbeeldingen die daarbij passen: tientallen capibara's in alle soorten en maten voor oranje en gele achtergronden; rij na rij walnoten (hoewel niet allemaal in doorsnede).

Word surrealistisch

De resultaten zijn opvallend, hoewel nog steeds een allegaartje. Het bijschrift een glas-in-loodraam met een afbeelding van een blauwe aardbei levert veel correcte resultaten op, maar ook enkele met blauwe ramen en rode aardbeien. Anderen bevatten niets dat lijkt op een raam of een aardbei. De resultaten tentoongesteld door het OpenAI-team in een blogpost zijn niet met de hand geselecteerd, maar gerangschikt door CLIP, dat de 32 DALL·E-afbeeldingen heeft geselecteerd voor elk bijschrift dat volgens haar het beste bij de beschrijving past.

Tekst-naar-beeld is een onderzoeksuitdaging die al een tijdje bestaat, zegt Mark Riedl, die werkt aan NLP en computationele creativiteit aan het Georgia Institute of Technology in Atlanta. Maar dit is een indrukwekkende reeks voorbeelden.

Afbeeldingen getekend door DALL·E voor het bijschrift Een baby daikon-radijs in een tutu die een hond uitlaat

Om het vermogen van DALL·E om met nieuwe concepten te werken te testen, gaven de onderzoekers er onderschriften bij die objecten beschreven die ze nooit eerder zouden hebben gezien, zoals een avocado-fauteuil en een illustratie van een baby daikon-radijs in een tutu die een hond uitliet. In beide gevallen genereerde de AI afbeeldingen die deze concepten op plausibele manieren combineerden.

Vooral de fauteuils zien er allemaal uit als stoelen en avocado's. Wat me het meest verbaasde, is dat het model twee niet-gerelateerde concepten kan combineren op een manier die resulteert in iets functioneels, zegt Aditya Ramesh, die aan DALL·E werkte. Dit komt waarschijnlijk omdat een gehalveerde avocado een beetje lijkt op een fauteuil met hoge rugleuning, met de pit als kussen. Voor andere bijschriften, zoals een slak gemaakt van harp, zijn de resultaten minder goed, met afbeeldingen die slakken en harpen op vreemde manieren combineren.

DALL·E is het soort systeem dat Riedl zich voorstelde te onderwerpen aan de Lovelace 2.0-test , een gedachte-experiment dat hij in 2014 bedacht. De test moet de Turing-test vervangen als benchmark voor het meten van kunstmatige intelligentie. Het gaat ervan uit dat een kenmerk van intelligentie het vermogen is om concepten op creatieve manieren te combineren. Riedl suggereert dat het vragen van een computer om een ​​foto te maken van een man die een pinguïn vasthoudt, een betere test van slimheid is dan een chatbot vragen om een ​​mens in een gesprek te bedriegen, omdat het meer open is en minder gemakkelijk om vals te spelen.

De echte test is kijken hoe ver de AI buiten zijn comfortzone kan worden geduwd, zegt Riedl.

Afbeeldingen getekend door DALL·E voor het bijschrift slak gemaakt van harp

Het vermogen van het model om synthetische afbeeldingen te genereren uit nogal grillige tekst lijkt me erg interessant, zegt Ani Kembhavi van het Allen Institute for Artificial Intelligence (AI2), die ook een systeem dat afbeeldingen uit tekst genereert . De resultaten lijken te voldoen aan de gewenste semantiek, wat volgens mij behoorlijk indrukwekkend is. Jaemin Cho, een collega van Kembhavi, is ook onder de indruk: bestaande tekst-naar-beeldgeneratoren hebben dit niveau van controle niet laten zien door meerdere objecten te tekenen of het ruimtelijk redeneervermogen van DALL·E, zegt hij.

Toch vertoont DALL·E al tekenen van overbelasting. Het opnemen van te veel objecten in een bijschrift vergroot het vermogen om bij te houden wat er moet worden getekend. En het herformuleren van een bijschrift met woorden die hetzelfde betekenen, levert soms andere resultaten op. Er zijn ook tekenen dat DALL·E afbeeldingen nabootst die het online is tegengekomen in plaats van nieuwe te genereren.

Ik sta een beetje wantrouwend tegenover het daikon-voorbeeld, dat stilistisch suggereert dat het misschien wat kunst van internet heeft onthouden, zegt Riedl. Hij merkt op dat een snelle zoektocht veel cartoonafbeeldingen van antropomorfe daikons oplevert. GPT-3, waarop DALL·E is gebaseerd, staat bekend om zijn memorisatie, zegt hij.

Toch zijn de meeste AI-onderzoekers het erover eens dat het gronden van taal in visueel begrip een goede manier is om AI's slimmer te maken.

De toekomst zal uit dit soort systemen bestaan, zegt Sutskever. En beide modellen zijn een stap in de richting van dat systeem.

zich verstoppen