AI heeft nog steeds niet het gezond verstand om menselijke taal te begrijpen

Wazig schrijven op de muur Pexels / Jimmy Chan

Tot voor kort waren computers hopeloos in het produceren van zinnen die echt zinnig waren. Maar het veld van natuurlijke taalverwerking (NLP) heeft enorme vooruitgang geboekt en machines kunnen nu met een druk op de knop overtuigende passages genereren.

Deze vooruitgang is mogelijk gemaakt door diepgaande leertechnieken, die statistische patronen in woordgebruik en argumentstructuur uit enorme hoeveelheden tekst halen. Maar een nieuw papier van het Allen Institute of Artificial Intelligence vestigt de aandacht op iets dat nog steeds ontbreekt: machines begrijpen niet echt wat ze schrijven (of lezen).

Dit is een fundamentele uitdaging in het grote streven naar generaliseerbare AI, maar buiten de academische wereld is het ook relevant voor consumenten. Chatbots en stemassistenten die zijn gebouwd op ultramoderne natuurlijke-taalmodellen, zijn bijvoorbeeld de interface geworden voor velen financiële instellingen , zorgverleners , en overheidsinstellingen . Zonder een echt begrip van taal zijn deze systemen vatbaarder voor storingen, waardoor de toegang tot belangrijke services wordt vertraagd.

De onderzoekers bouwden voort op het werk van de Winograd Schema-uitdaging , een test die in 2011 is gemaakt om het gezond verstand van NLP-systemen te evalueren. De uitdaging maakt gebruik van een set van 273 vragen met paren van zinnen die identiek zijn op één woord na. Dat woord, ook wel een trigger genoemd, verandert de betekenis van het voornaamwoord van elke zin, zoals te zien is in het onderstaande voorbeeld:

• De trofee past niet in de bruine koffer omdat zijn te groot .
• De trofee past niet in de bruine koffer omdat zijn te klein .

Om te slagen, moet een NLP-systeem uitzoeken naar welke van de twee opties het voornaamwoord verwijst. In dit geval zou het een trofee moeten selecteren voor de eerste en een koffer voor de tweede om het probleem correct op te lossen.

De test was oorspronkelijk ontworpen met het idee dat dergelijke problemen niet konden worden beantwoord zonder een dieper begrip van de semantiek. State-of-the-art deep-learning modellen kunnen nu een nauwkeurigheid van ongeveer 90% bereiken, dus het lijkt erop dat NLP dichter bij zijn doel is gekomen. Maar in hun paper, die de Outstanding Paper Award op de AAAI-conferentie van volgende maand zal ontvangen, betwisten de onderzoekers de effectiviteit van de benchmark en daarmee het niveau van vooruitgang dat het veld daadwerkelijk heeft geboekt.

Ze creëerden een aanzienlijk grotere dataset, genaamd WinoGrande, met 44.000 van dezelfde soorten problemen. Om dit te doen, ontwierpen ze een crowdsourcing-schema om snel nieuwe zinparen te creëren en te valideren. (Een deel van de reden waarom de Winograd-gegevensset zo klein is, is dat deze met de hand is gemaakt door experts.) Werknemers van Amazon Mechanical Turk creëerden nieuwe zinnen met vereiste woorden die werden geselecteerd via een randomisatieprocedure. Elk zinspaar werd vervolgens aan drie extra werkers gegeven en alleen bewaard als het aan drie criteria voldeed: ten minste twee werkers selecteerden de juiste antwoorden, alle drie vonden de opties ondubbelzinnig en de verwijzingen naar het voornaamwoord konden niet worden afgeleid door eenvoudige woordassociaties.

Als laatste stap hebben de onderzoekers de dataset ook door een algoritme geleid om zoveel mogelijk artefacten te verwijderen - onbedoelde datapatronen of correlaties die een taalmodel zouden kunnen helpen om om de verkeerde redenen tot de juiste antwoorden te komen. Dit verkleinde de kans dat een model de dataset zou kunnen leren spelen.

Toen ze state-of-the-art modellen testten op deze nieuwe problemen, daalden de prestaties tot 59,4% tot 79,1%. Daarentegen bereikten mensen nog steeds een nauwkeurigheid van 94%. Dit betekent dat een hoge score op de originele Winograd-test waarschijnlijk opgeblazen is. Het is gewoon een prestatie die specifiek is voor een dataset, geen prestatie voor een algemene taak, zegt Yejin Choi, een universitair hoofddocent aan de Universiteit van Washington en een senior onderzoeksmanager bij AI2, die het onderzoek leidde.

Choi hoopt dat de dataset als nieuwe benchmark zal dienen. Maar ze hoopt ook dat het meer onderzoekers zal inspireren om verder te kijken dan deep learning. De resultaten benadrukten haar dat echte gezond verstand NLP-systemen andere technieken moeten bevatten, zoals gestructureerde kennismodellen. Haar vorig werk heeft een belangrijke belofte in deze richting getoond. We moeten op de een of andere manier een ander spelplan vinden, zegt ze.

De krant heeft kritiek gekregen. Ernest Davis, een van de onderzoekers die aan de oorspronkelijke Winograd-uitdaging heeft gewerkt, zegt dat veel van de voorbeeldzinparen die in het artikel worden vermeld, ernstige gebreken vertonen, met verwarrende grammatica. Ze komen niet overeen met de manier waarop mensen die Engels spreken, voornaamwoorden gebruiken, schreef hij in een e-mail.

Maar Choi merkt op dat echt robuuste modellen geen perfecte grammatica nodig hebben om een ​​zin te begrijpen. Mensen die Engels als tweede taal spreken, halen soms hun grammatica door elkaar, maar brengen toch hun betekenis over.

Mensen kunnen gemakkelijk begrijpen waar onze vragen over gaan en het juiste antwoord kiezen, zegt ze, verwijzend naar de prestatienauwkeurigheid van 94%. Als mensen dat zouden moeten kunnen, dan is mijn stelling dat machines dat ook moeten kunnen.

Meld u aan voor onze Webby-genomineerde AI-nieuwsbrief The Algorithm om meer van dit soort verhalen rechtstreeks in uw inbox te ontvangen. Het is gratis.

zich verstoppen