211service.com
Nieuwsgierigheid kan essentieel zijn voor echt slimme AI
Dhr. technisch
Een computeralgoritme uitgerust met een vorm van kunstmatige nieuwsgierigheid kan lastige problemen leren oplossen, zelfs als het niet meteen duidelijk is welke acties het kunnen helpen om dit doel te bereiken.
Onderzoekers van de University of California, Berkeley, ontwikkelden een intrinsiek nieuwsgierigheidsmodel om hun leeralgoritme te laten werken, zelfs als er geen sterk feedbacksignaal is. Het nieuwsgierigheidsmodel dat door dit team is ontwikkeld, houdt in dat de AI-software die een virtuele agent in een videogame bestuurt, probeert zijn begrip van zijn omgeving en met name aspecten van die omgeving die daarop van invloed zijn, te maximaliseren. Er zijn eerdere pogingen gedaan om AI-agenten nieuwsgierig te maken, maar deze hebben de neiging om op een meer simplistische manier te werken.
De truc kan helpen een tekortkoming van de krachtigste machine-learningtechnieken van vandaag de dag aan te pakken, en het zou kunnen wijzen op manieren om machines beter te maken in het oplossen van problemen in de echte wereld.
Beloningen in de echte wereld zijn erg schaars, zegt Pulkit Agrawal , een promovendus aan UC Berkeley die het onderzoek samen met collega's uitvoerde. Baby's doen al deze willekeurige experimenten, en dat kun je zien als een soort nieuwsgierigheid. Ze leren een soort van vaardigheden.
Verschillende krachtige machine learning-technieken hebben machines de afgelopen jaren slimmer gemaakt. Hiervan heeft een methode die bekend staat als versterkingsleren het mogelijk gemaakt voor machines om dingen te bereiken die moeilijk in code te definiëren zouden zijn. Reinforcement learning omvat het gebruik van positieve beloningen om het gedrag van een algoritme naar een bepaald doel te leiden (zie 10 Breakthrough Technologies 2017: Reinforcement Learning).
Reinforcement learning was een fundamenteel onderdeel van AlphaGo , een programma ontwikkeld door DeepMind , om het abstracte en complexe bordspel Go met ongelooflijke vaardigheid te spelen . De techniek wordt nu onderzocht als een manier om machines te doordrenken met andere vaardigheden die misschien niet handmatig kunnen worden gecodeerd. Het kan bijvoorbeeld een manier bieden voor een robotarm om voor zichzelf uit te werken hoe een gewenst karwei uit te voeren.
Reinforcement learning heeft echter zijn beperkingen. Agrawal merkt op dat er vaak een enorme hoeveelheid training voor nodig is om een taak te leren, en het proces kan moeilijk zijn als de vereiste feedback niet onmiddellijk beschikbaar is. De methode werkt bijvoorbeeld niet voor computerspellen waarin de voordelen van bepaald gedrag niet meteen duidelijk zijn. Dat is waar nieuwsgierigheid kan helpen.
De onderzoekers probeerden de aanpak, in combinatie met versterkend leren, in twee eenvoudige videogames: Mario Bros., een klassiek platformspel, en VizDoom, een standaard 3D-shootertitel.
In beide games maakte het gebruik van kunstmatige nieuwsgierigheid het leerproces efficiënter. In het 3D-spel bijvoorbeeld, bewoog de agent zich in zijn omgeving, in plaats van buitensporig veel tijd tegen muren te lopen, en leerde hij sneller te navigeren. Zelfs zonder enige andere beloning kon de agent verrassend goed door beide games navigeren. In Mario Bros. leerde het te voorkomen dat het werd gedood, omdat dit zijn vermogen om zijn omgeving te verkennen en te leren kennen, verminderde.
NAAR papier waarin het onderzoek wordt beschreven, wordt gepubliceerd op een major AI-conferentie later dit jaar.
Kunstmatige nieuwsgierigheid is al geruime tijd een actief onderzoeksgebied. Pierre-Yves Oudeyer , een onderzoeksdirecteur bij de Frans Instituut voor Onderzoek in Computerwetenschappen en Automatisering , heeft de afgelopen jaren een pioniersrol vervuld bij de ontwikkeling van computerprogramma's en robots die eenvoudige vormen van nieuwsgierigheid vertonen.
Wat op dit moment heel opwindend is, is dat deze ideeën, die door zowel reguliere AI- als neurowetenschappelijke onderzoekers als 'exotisch' werden beschouwd, nu een belangrijk onderwerp worden in zowel AI als neurowetenschappen, zegt Oudeyer.
Het werk kan echte praktische voordelen hebben. Het UC Berkeley-team wil het graag testen op robots die versterkingsleren gebruiken om uit te zoeken hoe ze dingen kunnen doen, zoals het grijpen van lastige voorwerpen. Agrawal zegt dat robots enorm veel tijd kunnen verspillen aan het uitvoeren van willekeurige gebaren. Als hij is uitgerust met aangeboren nieuwsgierigheid, zou zo'n robot sneller zijn omgeving moeten verkennen en met objecten in de buurt moeten experimenteren, zegt hij.
Brendenmeer , een onderzoekswetenschapper aan de New York University die computationele modellen van menselijke cognitieve vermogens bouwt, zegt dat het werk veelbelovend lijkt. Het ontwikkelen van machines met vergelijkbare kwaliteiten is een belangrijke stap in de richting van het bouwen van machines die leren en denken als mensen, zei hij in een e-mail. Het is zeer indrukwekkend dat de agent door alleen door nieuwsgierigheid gedreven leren te gebruiken, kan leren navigeren door een niveau in Mario. De agent kijkt niet eens naar de wedstrijdscore.
Tegelijkertijd, zegt Lake, is de nieuwsgierigheid van het nieuwe programma eigenlijk heel anders dan bijvoorbeeld die van een kind. Mensen hebben de neiging om een veel diepere interesse in hun wereld te tonen, zegt hij.
Het is een erg egocentrische vorm van nieuwsgierigheid, zegt Lake. De agent is alleen nieuwsgierig naar kenmerken van zijn omgeving die verband houden met zijn eigen acties. Mensen zijn in het algemeen nieuwsgieriger. Mensen willen de wereld leren kennen op manieren die minder direct verband houden met hun eigen acties.