211service.com
Zwaardere Turing-test legt de domheid van chatbots bloot
Gebruiker: Siri, bel een ambulance.
Siri: Oké, vanaf nu bel ik je een ambulance.
Apple loste deze fout op kort nadat zijn virtuele assistent voor het eerst werd uitgebracht in 2011. Maar een nieuwe wedstrijd toont aan dat computers nog steeds niet het gezond verstand hebben dat nodig is om dergelijke gênante verwisselingen te voorkomen.
De resultaten van de wedstrijd werden deze week gepresenteerd op een academische conferentie in New York, en ze geven een idee van hoeveel werk er moet worden verzet om computers echt intelligent te maken.
Illustratie door Max Bode
De Winograd Schema-uitdaging vraagt computers om zinnen te begrijpen die dubbelzinnig zijn maar meestal eenvoudig voor mensen om te ontleden. Het ondubbelzinnig maken van Winograd Schema-zinnen vereist enig begrip van gezond verstand. In de zin De gemeenteraadsleden weigerden de demonstranten een vergunning uit angst voor geweld, het is logischerwijs onduidelijk naar wie het woord ze verwijzen, hoewel de mens het wel begrijpt vanwege de bredere context.
De programma's die de uitdaging aangingen, waren iets beter dan willekeurig in het kiezen van de juiste betekenis van zinnen. De beste twee deelnemers hadden 48 procent van de tijd gelijk, vergeleken met 45 procent als de antwoorden willekeurig werden gekozen. Om in aanmerking te komen voor de hoofdprijs van $ 25.000, moeten deelnemers een nauwkeurigheid van ten minste 90 procent behalen. De gezamenlijke beste inzendingen kwamen van Quan Liu, een onderzoeker aan de Universiteit van Wetenschap en Technologie van China, en Nicos Issak, een onderzoeker van de Open Universiteit van Cyprus.
Het is niet verwonderlijk dat machines nauwelijks beter waren dan toeval, zegt Gary Marcus , een onderzoekspsycholoog aan de New York University en een adviseur van de wedstrijd. Dat komt omdat het notoir moeilijk is om computers met gezond verstand kennis te geven. Kennis van handcodering is onmogelijk tijdrovend en het is niet eenvoudig voor computers om de echte wereld te leren kennen door statistische analyse van tekst uit te voeren. De meeste deelnemers aan de Winograd Schema Challenge proberen een combinatie van handgecodeerde grammaticale kennis en een kennisbasis van feiten te gebruiken.
Marcus, die ook de mede-oprichter is van een nieuwe AI-startup, Geometric Intelligence, zegt dat het opmerkelijk is dat Google en Facebook niet hebben deelgenomen aan het evenement, hoewel onderzoekers van deze bedrijven hebben gesuggereerd dat ze grote vooruitgang boeken op het gebied van het begrijpen van natuurlijke taal. Het kan zijn dat die jongens deze kamer binnenkwamen en honderd procent kregen en 'hah!' zeiden, zegt hij. Maar dat zou me verbaasd hebben.
De wedstrijd dient niet alleen als een maatstaf voor de vooruitgang in AI. Het laat ook zien hoe moeilijk het zal zijn om meer intuïtieve en sierlijke chatbots te bouwen, en om computers te trainen om meer informatie uit geschreven tekst te halen.
Onderzoekers van Google, Facebook, Amazon en Microsoft richten hun aandacht op taal. Ze gebruiken de nieuwste machine learning-technieken, met name deep learning neurale netwerken, om slimmere, intuïtievere chatbots en persoonlijke assistenten te ontwikkelen (zie Machines aanleren om ons te begrijpen). Nu chatbots en stemassistenten steeds gebruikelijker worden, en met de dramatische vooruitgang op gebieden als beeld- en spraakherkenning, zou je kunnen denken dat machines behoorlijk goed begonnen te worden in het begrijpen van taal.
Een van de twee inzendingen op de eerste plaats gebruikte in feite een geavanceerde machine learning-aanpak. Liu's groep, waaronder onderzoekers van de York University in Toronto en de National Research Council of Canada, gebruikte deep learning om een computer te trainen in het herkennen van de relatie tussen verschillende gebeurtenissen, zoals basketballen en winnen of geblesseerd raken, uit duizenden teksten.
Ik was verheugd om te zien dat deep learning werd gebruikt, zegt Leora Morgenstern , een senior wetenschapper bij Leidos Corporation, een technologieadviesbureau, en een van de organisatoren van de uitdaging.
Liu's team beweert dat na het oplossen van een probleem met de manier waarop het systeem de vragen van de wedstrijd ontleedt, het bijna 60 procent nauwkeurig is. Morgenstern waarschuwt echter dat zelfs als deze beweringen zouden worden bevestigd, de nauwkeurigheid nog steeds veel slechter zou zijn dan die van een mens.
Winograd Schema-zinnen werden voor het eerst benadrukt als een manier om machinebegrip te meten door Hector Levesque, een onderzoeker op het gebied van kunstmatige intelligentie aan de Universiteit van Toronto. Ze zijn vernoemd naar Terry Winograd, een pionier in het veld en een professor aan de Stanford University die een van de eerste conversatiecomputerprogramma's bouwde.
De uitdaging werd in 2014 voorgesteld als een verbetering van de Turing-test. Alan Turing, een voorvader van computers en kunstmatige intelligentie die zich in de jaren vijftig afvroeg of machines ooit zouden kunnen denken zoals mensen, stelde een eenvoudige manier voor om de intelligentie van een machine te testen. Zijn idee was dat een machine probeerde een persoon voor de gek te houden door te denken dat hij in een tekstgesprek met een echt persoon aan het praten was.
Het probleem met de Turing-test is dat het voor een programma vaak gemakkelijk is om iemand voor de gek te houden met behulp van eenvoudige trucs en ontwijkingen. Maar een programma kan het Winograd-schema of andere dubbelzinnige zinnen niet ontleden zonder enige vorm van algemene kennis.
De wedstrijd kan belangrijke praktische gevolgen hebben. Het komt naar voren als je dialogen gaat ondersteunen, zegt Charlie Ortiz , een senior hoofdonderzoeker bij Nuance, een bedrijf dat spraakherkenning en spraakinterfacesoftware maakt, dat de Winograd Schema Challenge sponsorde. Ortiz zegt dat gezond verstand redeneren vereist is voor zelfs eenvoudige gesprekken met computers. Als ik tijdens het winkelen zeg: 'Ik wil een koffer voor mijn gitaar; het zou sterk moeten zijn.’ Dus verwijst ‘het’ naar de koffer of de gitaar?
Marcus voegt eraan toe dat gezond verstand redeneren belangrijker zal worden naarmate apparaten zoals slimme apparaten of draagbare gadgets vaker voorkomen. Als je een vraag over je horloge wilt stellen, hoef je niet door 50 keuzes te scrollen, zegt hij. Wanneer je tegen je auto of je horloge begint te praten en je de typmodaliteit kwijtraakt en een samenhangende reeks zinnen wilt hebben - dit conversatiediscours - verwijzen mensen gewoon terug naar dingen, en je moet deze problemen oplossen om ervoor te zorgen dat het werk.