211service.com
AI-assistenten zeggen domme dingen, en we staan op het punt te ontdekken waarom
Broeder VK | Flickr
Siri en Alexa zijn duidelijk verre van perfect, maar er is hoop dat de gestage vooruitgang in machine learning hen spoedig zal veranderen in gearticuleerde helpers. Een nieuwe test kan echter helpen aantonen dat er een fundamenteel andere aanpak nodig is om AI-systemen daadwerkelijk de taal te laten beheersen.
Ontwikkeld door onderzoekers van de Allen Instituut voor AI (AI2), een non-profitorganisatie gevestigd in Seattle, the AI2 Redeneren Uitdaging (ARC) zal meerkeuzevragen stellen op basisschoolniveau. Elke vraag vereist enig begrip van hoe de wereld werkt. Het project wordt beschreven in een verwante onderzoekspaper (pdf).
Hier is een vraag: Welk item hieronder is niet gemaakt van een in de natuur gekweekt materiaal? (A) een katoenen hemd (B) een houten stoel (C) een plastic lepel (D) een grasmand
Zo'n vraag is gemakkelijk voor iedereen die weet dat plastic niet iets is dat groeit. Het antwoord sluit aan op een gezond verstandsbeeld van de wereld dat zelfs jonge kinderen bezitten.
Het is dit gezond verstand dat de AI achter stemassistenten, chatbots en vertaalsoftware mist. En het is een van de redenen waarom ze zo gemakkelijk in de war zijn.
Taalsystemen die afhankelijk zijn van machinaal leren, kunnen vaak overtuigende antwoorden op vragen geven als ze al veel vergelijkbare voorbeelden hebben gezien. Een programma dat bijvoorbeeld is getraind in vele duizenden chats voor IT-ondersteuning, kan zich in beperkte situaties voordoen als een technische ondersteuningshelper. Maar zo'n systeem zou mislukken als er iets gevraagd zou worden waarvoor bredere kennis nodig was.
We moeten ons gezond verstand gebruiken om de hiaten rond de taal die we zien op te vullen om een coherent beeld te krijgen van wat er wordt gezegd, zegt Peter Clark, de hoofdonderzoeker van het ARC-project. Machines hebben dit gezond verstand niet, en zien dus alleen wat expliciet is geschreven, en missen de vele implicaties en aannames die aan een stuk tekst ten grondslag liggen.
De nieuwe test maakt deel uit van een initiatief van AI2 om AI-systemen zo'n begrip van de wereld te geven. En het is belangrijk omdat bepalen hoe goed een taalsysteem begrijpt wat het zegt, lastig kan zijn.
In januari ontwikkelden onderzoekers van Microsoft en een andere groep bij Alibaba bijvoorbeeld vraag-en-antwoordprogramma's die beter presteerden dan mensen in een eenvoudige test, de Stanford Question Answering Dataset. Deze vooruitgang ging gepaard met krantenkoppen die beweerden dat AI-programma's nu beter kunnen lezen dan mensen. Maar de programma's konden geen complexere vragen beantwoorden of putten uit andere bronnen van kennis.
Techbedrijven zullen op deze manier de mogelijkheden van AI-systemen blijven aanprijzen. Microsoft kondigt vandaag aan dat het software heeft ontwikkeld die Engelse nieuwsberichten kan vertalen naar het Chinees en vice versa, met resultaten die onafhankelijke vrijwilligers als gelijkwaardig beschouwen aan het werk van professionele vertalers. De onderzoekers van het bedrijf gebruikten geavanceerde deep-learningtechnieken om een nieuw niveau van nauwkeurigheid te bereiken. Hoewel dit potentieel zeer nuttig is, zou het systeem moeite hebben als het zou worden gevraagd om losse gesprekken of tekst uit een onbekend domein, zoals medische notities, te vertalen.
Gary Marcus , een professor aan de NYU die heeft gepleit voor het belang van gezond verstand in AI, wordt aangemoedigd door de AI2-uitdaging. Ik denk dat dit een geweldig tegengif is voor het soort oppervlakkige benchmarks dat zo gewoon is geworden op het gebied van machine learning, zegt hij. Het zou AI-onderzoekers echt moeten dwingen hun spel te verbeteren.