211service.com
Het beste AI-programma zakt nog steeds voor een wetenschappelijke test van de achtste graad
Ondanks alle opmerkelijke vooruitgang die wordt geboekt op het gebied van kunstmatige intelligentie en waarschuwingen over de omwenteling die dit zou kunnen veroorzaken, zou de slimste computer nog steeds moeite hebben om de achtste klas te halen.
Een wedstrijd georganiseerd door onderzoekers van de Allen Instituut voor Kunstmatige Intelligentie (AI2) , nodigde programmeurs uit om een programma te maken dat een aangepaste versie van een conventionele wetenschappelijke test van de achtste klas kan afleggen. De resultaten van de wedstrijd werden dinsdag bekendgemaakt op de jaarlijkse bijeenkomst van de Vereniging voor de Bevordering van Kunstmatige Intelligentie (AAAI).
De winnaar, een in Israël gevestigde deelnemer genaamd Chaim Linhart, combineerde verschillende gevestigde machine learning-technieken met grote databases met wetenschappelijke informatie om 59 procent van de vragen correct te beantwoorden. Net als andere deelnemers voedde Linhart zijn computersysteem honderdduizenden vragen met de juiste antwoorden, zodat het kon leren het juiste antwoord te bedenken.
Een score van bijna 60 procent stelt de meeste ouders misschien teleur, maar is opmerkelijk voor een computer. De test die voor de wedstrijd werd gebruikt, was echter enigszins vereenvoudigd om het voor computers praktisch te maken om te proberen. Zo zijn diagrammen verwijderd en zijn alleen vragen met meerkeuzevragen gebruikt.
Oren Etzioni , een AI-onderzoeker die AI2 leidt, zegt dat de testuitdaging van de achtste klas bedoeld was om onderzoekers ertoe aan te zetten software te ontwikkelen die niet alleen oppervlakkig intelligent is.
In de afgelopen jaren zijn programma's die zijn ontworpen om specifieke taken uit te voeren, vooral die met een soort visuele of audioverwerking, snel vooruitgegaan dankzij uiterst efficiënte algoritmen voor machine learning, vooral die op basis van grote neurale netwerken. Een indrukwekkend recent voorbeeld is een Google-programma dat is ontworpen om het subtiele en rekenkundig complexe bordspel Go te spelen (zie Google's AI Masters the Game of Go een decennium eerder dan verwacht).
Deze vooruitgang heeft de hoop en de angst gewekt dat echt intelligente machines misschien niet zo ver weg zijn. Maar Etzioni gelooft dat er nieuwe technieken nodig zullen zijn om zelfs basiscompetentie te bereiken bij complexere taken, iets wat de laatste resultaten lijken te bevestigen. Evenzo is het beste middel om vooruitgang in kunstmatige intelligentie te meten, de Turing-test, maar al te gemakkelijk te manipuleren met behulp van eenvoudige trucs.
Thomas Dietterich , een professor aan de Oregon State University en voorzitter van AAAI, zegt dat de AI2-wedstrijd een nuttige oefening is. Dietterich zegt ook dat het combineren van verschillende AI-technieken waarschijnlijk nodig zal zijn om in de toekomst een veel hogere testscore te behalen. Intelligentie is één woord, maar het verwijst naar veel dingen, zegt hij. Een van de dingen die ik hier leuk aan vind, is dat het de breedte benadrukt op een manier die andere tests niet hebben.
Gary Marcus, een cognitief wetenschapper aan de New York University en de oprichter van een AI-startup genaamd Geometrische Intelligentie , werkt aan een AI-competitie die verschillende componenten zal hebben. Intelligentie is een multidimensionale variabele, zegt Marcus. Er zal niet één test zijn die een goddelijke mate van intelligentie is.
Marcus voegt eraan toe dat de AI2-competitie juist de omvang van de uitdaging voor AI-onderzoekers benadrukt. Je kunt veel beter dan alleen maar raden met een paar vrij primitieve technieken, maar tegelijkertijd is 60 procent nog ver verwijderd van het echt begrijpen van de wetenschap, voegt hij eraan toe. Het beste dat hieruit voortkomt, is dat mensen zich misschien realiseren hoe moeilijk de vragen echt zijn.
De wedstrijd werd georganiseerd via Kaggle, een populair platform voor het coördineren van wedstrijden waarin datawetenschappers strijden om het meest efficiënte algoritme voor een bepaalde taak te creëren, zoals voorspellen welke producten het meest zullen verkopen op basis van eerdere verkopen of de uitkomst van het March Madness-toernooi. Vorig jaar bracht AI2 een enorme dataset met vragen en antwoorden uit waarmee deelnemers algoritmen konden ontwerpen om de test af te leggen (zie AI-software gaat de strijd aan met vierdeklassers op wetenschapstest).
Tijdens een lezing op de AAAI-conferentie suggereerde Etzioni dat het opzetten van een moeilijkere test, over een langere tijdspanne, met een grotere prijs, meer AI-onderzoekers zou kunnen inspireren om mee te doen. Ik denk wel dat er een langere wedstrijd en 'diepere' AI nodig zal zijn om van 60 procent naar 80 procent of meer te komen, zegt Etzioni. Het is onze hypothese dat je dit niet kunt doen met goedkope trucs - dat je iets slimmer moet doen.