Door elkaar gegooide zinnen laten zien dat AI's taal nog steeds niet echt begrijpen

mevrouw Tech | Unsplash / Brett Jordan

Veel AI's die taal lijken te begrijpen en die beter scoren dan mensen op een gemeenschappelijke reeks begripstaken, merken niet wanneer de woorden in een zin door elkaar worden gegooid, wat aantoont dat ze begrijp de taal helemaal niet . Het probleem ligt in de manier waarop systemen voor natuurlijke taalverwerking (NLP) worden getraind; het wijst ook op een manier om ze beter te maken.

Verwant verhaal

De manier waarop we AI trainen is fundamenteel gebrekkig Het proces dat wordt gebruikt om de meeste machine learning-modellen te bouwen die we tegenwoordig gebruiken, kan niet zeggen of ze in de echte wereld zullen werken of niet - en dat is een probleem.

Onderzoekers aan de Auburn University in Alabama en Adobe Research ontdekte de fout toen ze probeerden een NLP-systeem verklaringen voor zijn gedrag te laten genereren, zoals waarom het beweerde dat verschillende zinnen hetzelfde betekenden. Toen ze hun aanpak testten, realiseerden ze zich dat het schudden van woorden in een zin geen verschil maakte voor de uitleg. Dit is een algemeen probleem voor alle NLP-modellen, zegt Anh Nguyen van de Auburn University, die het werk leidde.

Het team heeft gekeken naar verschillende state-of-the-art NLP-systemen op basis van BERT (een taalmodel ontwikkeld door Google dat ten grondslag ligt aan veel van de nieuwste systemen, waaronder GPT-3). Al deze systemen scoren beter dan mensen op LIJM (General Language Understanding Evaluation), een standaardreeks taken die is ontworpen om het taalbegrip te testen, zoals parafrasen herkennen, beoordelen of een zin positieve of negatieve gevoelens uitdrukt, en verbaal redeneren.

Man bijt hond: Ze ontdekten dat deze systemen niet konden zien wanneer woorden in een zin door elkaar werden gegooid, zelfs niet wanneer de nieuwe volgorde de betekenis veranderde. De systemen hebben bijvoorbeeld correct opgemerkt dat de zinnen Veroorzaakt marihuana kanker? en Hoe kan het roken van marihuana je longkanker geven? waren parafrasen. Maar ze waren er nog zekerder van dat je kanker rookt, hoe longkanker je kan geven? en Lung kan marihuana roken geven hoe je kanker krijgt? bedoelde ook hetzelfde. De systemen besloten ook dat zinnen met tegengestelde betekenissen, zoals Veroorzaakt marihuana kanker? en Veroorzaakt kanker marihuana? - stelden dezelfde vraag.

De enige taak waarbij de woordvolgorde van belang was, was een taak waarbij de modellen de grammaticale structuur van een zin moesten controleren. Anders veranderde tussen 75% en 90% van de antwoorden van de geteste systemen niet wanneer de woorden werden geschud.

Wat is er aan de hand? De modellen lijken een paar sleutelwoorden in een zin op te pikken, in welke volgorde ze ook binnenkomen. Ze begrijpen taal niet zoals wij, en GLUE, een erg populaire maatstaf, meet het ware taalgebruik niet. In veel gevallen dwingt de taak waarop een model is getraind, het zich niet druk om woordvolgorde of syntaxis in het algemeen. Met andere woorden, GLUE leert NLP-modellen om door hoepels te springen.

Veel onderzoekers zijn begonnen met het gebruik van een hardere reeks tests genaamd SuperGLUE, maar Nguyen vermoedt dat het vergelijkbare problemen zal hebben.

Dit probleem is ook vastgesteld door Yoshua Bengio en collega's, die ontdekten dat: woorden in een gesprek opnieuw ordenen veranderde soms de reacties van chatbots niet. En een team van Facebook AI Research gevonden voorbeelden van dit gebeuren met Chinees . Het team van Nguyen laat zien dat het probleem wijdverbreid is.

Maakt het uit? Het hangt af van de toepassing. Aan de ene kant zou een AI die nog steeds begrijpt wanneer je een typfout maakt of iets onleesbaars zegt, zoals een ander mens zou kunnen, nuttig zijn. Maar over het algemeen is de woordvolgorde cruciaal bij het ontrafelen van de betekenis van een zin.

repareren Hoe? Het goede nieuws is dat het misschien niet zo moeilijk te repareren is. De onderzoekers ontdekten dat door een model te dwingen zich te concentreren op de woordvolgorde, door het te trainen om een ​​taak uit te voeren waarbij de woordvolgorde van belang was (zoals het opsporen van grammaticale fouten), het model ook beter presteerde bij andere taken. Dit suggereert dat het aanpassen van de taken waarvoor modellen zijn opgeleid, ze over het algemeen beter zal maken.

De resultaten van Nguyen zijn nog een ander voorbeeld van hoe modellen schieten vaak te kort van waartoe mensen denken in staat te zijn. Hij denkt dat het laat zien hoe moeilijk het is om te maken AI's die begrijpen en redeneren zoals mensen . Niemand heeft een idee, zegt hij.

zich verstoppen