Het veld van natuurlijke taalverwerking jaagt het verkeerde doel na

mevrouw Tech | Unsplash

Op een typische jaarvergadering van de Vereniging voor Computerlinguïstiek (ACL), het programma is een parade van titels zoals Een gestructureerde variabele auto-encoder voor contextuele morfologische verbuiging. Dezelfde technische smaak doordringt de kranten, de onderzoeksgesprekken en veel gangchats.

Bij dit jaar conferentie in juli voelde er echter iets anders - en het was niet alleen het virtuele formaat. De gesprekken van de aanwezigen waren ongewoon introspectief over de kernmethoden en doelstellingen van natuurlijke taalverwerking (NLP), de tak van AI die zich richt op het creëren van systemen die menselijke taal analyseren of genereren. Kranten in de nieuwe van dit jaar Thematrack gestelde vragen als: Zijn huidige methoden? echt genoeg om de uiteindelijke doelen van het veld te bereiken? Wat zijn dat ook doelen?

Mijn collega's en ik bij Elementaire cognitie , een AI-onderzoeksbureau gevestigd in Connecticut en New York, ziet de angst als gerechtvaardigd. We zijn zelfs van mening dat het veld een transformatie nodig heeft, niet alleen in systeemontwerp, maar op een minder glamoureus gebied: evaluatie.

De huidige NLP-tijdgeest is ontstaan ​​uit een half decennium van gestage verbeteringen onder het standaardevaluatieparadigma. Het begripsvermogen van systemen is over het algemeen gemeten op: benchmarkgegevenssets bestaande uit duizenden vragen, elk vergezeld van passages met het antwoord. Toen diepe neurale netwerken halverwege de jaren 2010 het veld veroverden, zorgden ze voor een enorme sprong voorwaarts in prestaties. Daaropvolgende werkrondes zorgden ervoor dat de scores steeds dichter bij 100% kwamen (of in ieder geval gelijk aan die van mensen).

Dus onderzoekers zouden nieuwe datasets publiceren van ook al lastiger vragen , alleen om te zien dat nog grotere neurale netwerken snel indrukwekkende scores neerzetten. Veel van het huidige onderzoek naar begrijpend lezen omvat het zorgvuldig aanpassen van modellen om een ​​paar procentpunten meer te verdienen met de nieuwste datasets. State of the art is praktisch een eigennaam geworden: We verslaan SOTA on SQuAD met 2,4 punten!

Maar veel mensen in de veld worden moe van dergelijke leaderboard-jagen. Wat heeft de wereld echt gewonnen als een enorm neuraal netwerk SOTA op een of andere benchmark met een of twee punten bereikt? Het is niet zo dat iemand deze vragen voor zichzelf wil beantwoorden; het winnen van het leaderboard is een academische oefening die real-world tools misschien niet beter maakt. Veel schijnbare verbeteringen komen inderdaad niet voort uit algemene bevattingsvermogens, maar uit de buitengewone vaardigheid van modellen om uitbuiten onecht patronen in de gegevens. Worden recente ontwikkelingen echt vertaald in het helpen van mensen bij het oplossen van problemen?

Zulke twijfels zijn meer dan abstracte piekeren; of systemen echt bekwaam zijn in het begrijpen van taal, heeft echt belang voor de samenleving. Begrijpen brengt natuurlijk een brede verzameling vaardigheden met zich mee. Voor eenvoudigere toepassingen, zoals het ophalen van Wikipedia-feiten of het beoordelen van het sentiment in productrecensies, moderne methoden redelijk goed doen . Maar wanneer mensen zich computers voorstellen die taal begrijpen, stellen ze zich veel geavanceerder gedrag voor: juridische hulpmiddelen die mensen helpen hun hachelijke situatie te analyseren; onderzoeksassistenten die informatie van internet synthetiseren; robots of gamekarakters die gedetailleerde instructies uitvoeren.

De modellen van vandaag zijn lang niet in de buurt van dat niveau van begrip - en het is niet duidelijk dat nog een SOTA-paper het veld dichterbij zal brengen.

Hoe kwam het dat de NLP-gemeenschap zo'n kloof kreeg tussen evaluaties op papier en vaardigheden in de echte wereld? In een ACL position paper , stellen mijn collega's en ik dat in de zoektocht naar moeilijke benchmarks, evaluaties de echte doelen uit het oog hebben verloren: die geavanceerde downstream-applicaties. Om een ​​regel uit de krant te lenen, hebben de NLP-onderzoekers getraind om professionele sprinters te worden door rond te kijken in de sportschool en oefeningen te doen die er moeilijk uitzien.

Om evaluaties meer in lijn te brengen met de doelstellingen, helpt het om na te gaan wat de systemen van vandaag tegenhouden.

Een mens die een passage leest, bouwt een gedetailleerde weergave van entiteiten, locaties, gebeurtenissen en hun relaties op - een mentaal model van de wereld die in de tekst wordt beschreven. De lezer kan dan ontbrekende details in het model invullen, een scène naar voren of naar achteren extrapoleren, of zelfs hypothesen opstellen over contrafeitelijke alternatieven.

Dit soort modelleren en redeneren is precies wat geautomatiseerde onderzoeksassistenten of gamekarakters moeten doen - en het ontbreekt opvallend in de systemen van vandaag. Een NLP-onderzoeker kan meestal binnen een paar pogingen een state-of-the-art begrijpend lezen systeem stompen. Een betrouwbare techniek is om het systeemmodel van de wereld te onderzoeken, dat zelfs de veelbesproken GPT-3 . kan achterlaten brabbelen over cycloptische grassprieten.

Het doordrenken van geautomatiseerde lezers met wereldmodellen vereist grote innovaties in systeemontwerp, zoals besproken in meerdere Thema-track inzendingen . Maar ons argument is fundamenteler: hoe systemen ook worden geïmplementeerd, als ze getrouwe wereldmodellen nodig hebben, dan moeten evaluaties systematisch testen of ze getrouwe wereldmodellen hebben.

Zo kaal gezegd, dat klinkt misschien voor de hand liggend, maar het wordt zelden gedaan. Onderzoeksgroepen zoals de Allen Instituut voor AI hebben voorgesteld andere manieren om de evaluaties te versterken, zoals het richten op verschillende taalstructuren, het stellen van vragen die gebaseerd zijn op meerdere redeneerstappen, of zelfs gewoon aggregeren veel benchmarks . Andere onderzoekers, zoals Yejin Choi ’s groep aan de Universiteit van Washington, hebben zich gericht op testen gemeenschappelijk gevoel , die aspecten van een wereldmodel naar voren haalt. Dergelijke inspanningen zijn nuttig, maar ze zijn over het algemeen nog steeds gericht op het verzamelen van vragen die de huidige systemen moeilijk kunnen beantwoorden.

We stellen een meer fundamentele verschuiving voor: om zinvollere evaluaties te maken, moeten NLP-onderzoekers beginnen met grondig te specificeren wat het wereldmodel van een systeem moet bevatten om bruikbaar te zijn voor downstream-toepassingen. We noemen zo'n account een sjabloon van begrip.

Een bijzonder veelbelovende proeftuin voor deze benadering zijn fictieve verhalen. Originele verhalen bevatten veel informatie, zijn niet te Googlen en staan ​​centraal in veel toepassingen, waardoor ze een ideale test zijn voor begrijpend lezen. Gebaseerd op cognitief-wetenschappelijke literatuur over menselijke lezers, onze CEO David Ferrucci heeft een vierdelige sjabloon voorgesteld voor het testen van het vermogen van een AI-systeem om verhalen te begrijpen.

• Ruimtelijk: Waar bevindt alles zich en hoe wordt het in het verhaal gepositioneerd?
• Tijdelijk: Welke gebeurtenissen vinden plaats en wanneer?
• Oorzakelijk: Hoe leiden gebeurtenissen mechanisch tot andere gebeurtenissen?
• motiverend: Waarom besluiten de personages om de acties te ondernemen die ze ondernemen?

Door deze vragen systematisch te stellen over alle entiteiten en gebeurtenissen in een verhaal, kunnen NLP-onderzoekers het begrip van systemen op een principiële manier beoordelen, waarbij ze op zoek gaan naar de wereldmodellen die systemen eigenlijk nodig hebben.

Het is hartverwarmend om te zien hoe de NLP-gemeenschap nadenkt over wat er ontbreekt in de huidige technologieën. We hopen dat dit denken zal leiden tot substantiële investeringen, niet alleen in nieuwe algoritmen, maar ook in nieuwe en meer rigoureuze manieren om het begrip van machines te meten. Dergelijk werk haalt misschien niet zoveel krantenkoppen, maar we vermoeden dat investeringen op dit gebied het veld minstens zo veel vooruit zullen helpen als het volgende gigantische model.

Jesse Dunietz is onderzoeker bij Elementaire cognitie , waar hij werkt aan het ontwikkelen van strenge evaluaties voor begrijpend lezen systemen. Hij is ook een educatief ontwerper voor MIT's Communicatie Lab en een wetenschap schrijver .

zich verstoppen