211service.com
AI-software neemt het op tegen vierdeklassers op wetenschappelijke tests
In welk seizoen van het jaar zou de vacht van een konijn het dikst zijn? Een computerprogramma met de naam Aristo kan het je vertellen omdat het in een studiegids van het vierde leerjaar las over beren die dikker worden in de winter, en het weet dat konijnen ook zoogdieren zijn. Het studeert voor de standaard wetenschappelijke examens van de staat New York.
Aristo wordt ontwikkeld door onderzoekers van de Allen Instituut voor Kunstmatige Intelligentie in Seattle, die machines een beetje gezond verstand over de wereld willen geven. De CEO van het instituut, Oren Etzioni , zegt dat de beste manier om de ontwikkeling van hun digitale nakomelingen te benchmarken, is om tests te gebruiken die zijn ontworpen voor schoolkinderen. Hij probeert andere AI-onderzoekers te overtuigen om gestandaardiseerde schooltests te gebruiken als een manier om de voortgang in het veld te meten.
We kunnen ons begrip van vooruitgang in AI en in natuurlijke taal objectief stellen, zegt Etzioni. Het kunnen vergelijken van de verdiensten van verschillende benaderingen zou het gemakkelijker moeten maken om veelbelovende benaderingen te identificeren en zou de vooruitgang kunnen versnellen, zegt hij.
Begin oktober lanceert het Allen Institute een wedstrijd waarin onderzoekers worden uitgedaagd om software te maken voor wetenschappelijke vragen van de achtste klas. De wedstrijd wordt gehost op de data science-website Kaggle , waar deelnemers toegang hebben tot duizenden oefenvragen om hun software te trainen. Een prijs van $ 50.000 wordt toegekend aan de maker van de software die het beste kan scoren op vragen die hij nog niet eerder heeft gezien.
Op dit moment is Aristo niet in de buurt van het behalen van de wetenschappelijke test van de vierde klas. Daarvoor is een score van 65 procent nodig. Aristo kan alleen de meerkeuzevragen aannemen, die ongeveer tweederde van de test uitmaken. Het scoort ongeveer 75 procent op degenen die geen diagrammen gebruiken en 45 procent op degenen die dat wel doen, zegt Etzioni. Aristo scoort 63 procent op meerkeuzevragen van de achtste klas die diagrammen uitsluiten.
Je kunt Aristo zien beantwoord geselecteerde vragen van het vierde leerjaar op de website van het Allen Instituut. De software gebruikt redeneringsalgoritmen om vragen te beantwoorden met behulp van kennis die is verzameld uit studiegidsen en internet.
Een manier vinden om zelfs maar een vleugje gezond verstand in software te stoppen, is een grote uitdaging in AI, en een die ertoe kan leiden dat computers ons op veel nieuwe manieren helpen. Als we systemen willen bouwen die robuust en natuurlijker zijn voor mensen om mee te werken, zullen ze deze vaardigheden nodig hebben, zegt Etzioni.
Het is een mening die wordt gedeeld door andere vooraanstaande onderzoekers, waaronder het groeiende AI-lab van Facebook, dat virtuele assistenten in staat wil stellen om basisgesprekken te voeren (zie Teaching Machines to Understand Us). Een van de redenen waarom bestaande virtuele assistenten zoals Apple's Siri of Microsoft's Cortana zeer beperkt zijn, is dat ze zonder gezond verstand moeten rondkomen. Ze gebruiken wat je zegt om te kiezen uit een portfolio van voorgeprogrammeerde regels.
Ernest Davis , een professor aan de New York University, is het ermee eens dat een manier om het gezond verstand van een machine te benchmarken, het veld zou kunnen helpen. Maar hij vindt het geen goede keuze om schooltoetsen te gebruiken.
Het gebruik van tests die voor kinderen zijn gemaakt, heeft als voordeel dat onderzoekers de benchmark voor hun vakgebied niet per ongeluk of opzettelijk te gemakkelijk maken, zegt hij. Maar omdat kinderen de wereld zo veel beter begrijpen dan machines, kunnen tests die voor hen zijn geschreven niet worden gebruikt om de vaardigheden te onderzoeken die het belangrijkst zijn om vooruitgang te boeken met intelligente software, zegt hij.
Wat moeilijk is voor mensen is heel anders dan wat moeilijk is voor machines, zegt Davis, die er ook aan werkt om software gezond verstand te geven. Gestandaardiseerde tests voor mensen geven geen goede dekking van het soort problemen dat moeilijk is voor computers.
Davis zegt dat een beter alternatief zou zijn om vragen in examenstijl te maken die specifiek voor machines zijn. Een voorbeeldvraag die hij heeft gemaakt, suggereert dat een wetenschappelijk examen dat voor machines is gemaakt, er voor een vierdeklasser heel eenvoudig uit kan zien: Sally's favoriete koe stierf gisteren. De koe leeft waarschijnlijk weer a) morgen; b) binnen een week; c) binnen een jaar; d) binnen enkele jaren; e) de koe zal nooit meer leven.
Etzioni brengt hiertegen in dat, hoewel schooltestvragen niet direct het zeer elementaire gezond verstand testen, ze het impliciet nodig hebben, omdat het nodig is om de vragen te interpreteren. Alleen door vragen te gebruiken die voor mensen zijn gemaakt, kunnen we echt zeggen dat we machines meten volgens onze eigen normen, zegt hij. Mensen en machines op gelijke voet stellen is logisch.