211service.com
Er is een nieuwe manier om taal-AI te temmen, zodat je niet in verlegenheid wordt gebracht
Een afbeelding van tekstuitvoer door AI-model GPT-2. mevrouw Tech
In de afgelopen twee jaar heeft het AI-subveld van natuurlijke taalverwerking een enorme vooruitgang geboekt. Er is bijvoorbeeld gebruik gemaakt van een taalmodel dat is ontwikkeld door het in San Francisco gevestigde onderzoekslab OpenAI, GPT-2 genaamd fictie genereren , nepnieuwsartikelen , en een praktisch oneindige Kies je eigen tekstspel in Avontuur-stijl .
Maar dit soort modellen zijn in wezen enorme tekstvoorspellingssystemen die geen rekening houden met zin, dus de zinnen die ze produceren, zijn eerder oppervlakkig vloeiend dan dat ze echt zinvol zijn. Het is moeilijk om een model te vertellen dat het zich aan een bepaald onderwerp moet houden, zoals bijvoorbeeld gezondheidszorg. Maar modellen zoals GPT-2 kan nog steeds worden gespeeld om racistische en giftige output te produceren, waardoor ze nog minder nuttig worden.
Nu hebben onderzoekers van Uber AI ontwikkeld een manier om deze taalmodellen te sturen, waardoor het voor gebruikers gemakkelijker wordt om het onderwerp of zelfs het sentiment van de zinnen die ze genereren te specificeren. Gezien de prompt De kwestie die zich bijvoorbeeld richt op een model dat wordt verteld om zich op het leger te concentreren, kan een output als deze opleveren: De kwestie concentreerde zich op het feit dat de regering miljarden aan het leger had uitgegeven en dat ze de troepen niet in tijd. Als het in plaats daarvan zou worden verteld om zich op politiek te concentreren, zou de output meer als volgt kunnen zijn: de kwestie concentreerde zich op een enkel onderdeel van de wetgeving. Het is onduidelijk of de commissie zal stemmen om de wet te verlengen.
Hoewel het model de betekenis nog steeds niet begrijpt, zorgt de techniek voor meer controle. Het brengt ons een stap dichter bij het brengen van de sprongen in AI-gegenereerde taal naar meer domeinspecifieke toepassingen, zoals chatbots voor de gezondheidszorg of financiële diensten. Het kan ook worden gebruikt om modellen weg te leiden van het produceren van aanstootgevende resultaten.
De techniek maakt gebruik van twee afzonderlijke statistische modellen. De eerste is gewoon het originele taalmodel, zoals GPT-2, dat zinnen construeert op basis van de waarschijnlijkheid dat bepaalde woorden naast andere verschijnen. Het tweede model beoordeelt hoe goed de uitvoer van het eerste model een gewenst attribuut weergeeft, of het bijvoorbeeld vasthoudt aan een voorgeschreven onderwerp of een bepaald sentiment. Als het gewenste attribuut een onderwerp als ruimte is, kan het model de uitvoer van het eerste model beoordelen op het aantal relevante woorden dat het bevat, zoals planeet, melkwegstelsel en baan. Als het attribuut een sentiment is zoals positiviteit, kan het evaluatiemodel worden getraind om de emotionele inhoud van zijn woorden te scoren.
Wanneer een eerste prompt in het eerste model wordt ingevoerd, begint het proces van het voorspellen van volgende woorden. Maar na elk woord checkt het zijn score met het evaluatiemodel en stelt het bij op basis van de feedback. De laatste zin eindigt met het gewenste attribuut, terwijl ook de vloeiendheid van het gigantische taalmodel behouden blijft.
De nieuwe methode is zeer flexibel en kan meerdere doelen combineren. Het zou erop kunnen gericht zijn om bijvoorbeeld met een negatieve toon over koken te schrijven. Het heeft ook het voordeel dat het rekenkundig efficiënt is. Andere methoden kunnen de output van een taalmodel richten op specifieke onderwerpen of emoties, maar ze kunnen een aanzienlijke omscholing vergen. Op de schaal van GPT-2 is dit zowel ecologisch als financieel duur. Een afgestudeerde student zoals ik heeft die middelen niet, zegt Sumanth Dathathri, die aan Caltech studeert en co-auteur van het artikel was tijdens een stage bij Uber. De nieuwe methode vermijdt omscholing volledig door meer controle te geven over welk model dan ook al bestaat.
Het team voorziet dat deze techniek in veel verschillende toepassingen zal worden gebruikt, of het nu gaat om dialoogsystemen, vertaalsystemen of zelfs kunst. In 2016 ontwikkelde het lab een vergelijkbare methode: voor het regelen van het genereren van afbeeldingen in plaats van taal. Er waren veel artiesten die het gebruikten om mooie dingen te produceren, herinnert Jason Yosinski zich, een van de oprichters van Uber AI die toezicht hield op de krant. Ik zag veel andere artiesten hier hetzelfde doen.
Meld u aan voor onze Webby-genomineerde AI-nieuwsbrief The Algorithm om meer van dit soort verhalen rechtstreeks in uw inbox te ontvangen. Het is gratis.