211service.com
Een algoritme dat leert door middel van beloningen kan laten zien hoe onze hersenen dat ook doen
Neurale paden Wikimedia Commons
In 1951 leende Marvin Minsky, toen een student aan Harvard, observaties van dierlijk gedrag om te proberen een intelligente machine te ontwerpen. Gebaseerd op ideeën uit het werk van fysioloog Ivan Pavlov, die op beroemde wijze honden gebruikte om te laten zien hoe dieren leren door middel van straffen en beloningen, Minsky een computer gemaakt die continu zou kunnen leren door soortgelijke versterking om een virtueel doolhof op te lossen.
Destijds moesten neurowetenschappers de mechanismen in de hersenen nog ontdekken waardoor dieren op deze manier kunnen leren. Maar Minsky was nog steeds in staat om het gedrag losjes na te bootsen, waardoor kunstmatige intelligentie werd bevorderd. Enkele decennia later, toen versterkend leren verder volwassen werd, hielp het op zijn beurt de neurowetenschappen Ontdek die mechanismen, die bijdragen aan een heilzame cyclus van vooruitgang tussen de twee velden.
In een paper gepubliceerd in Nature heeft DeepMind, de AI-dochteronderneming van Alphabet, opnieuw lessen uit versterkend leren gebruikt om een nieuwe theorie voor te stellen over de beloningsmechanismen in onze hersenen. De hypothese, ondersteund door de eerste experimentele bevindingen, zou niet alleen ons begrip van geestelijke gezondheid en motivatie kunnen verbeteren. Het zou ook de huidige richting van AI-onderzoek naar het bouwen van meer mensachtige algemene intelligentie kunnen valideren.
Op een hoog niveau volgt versterkingsleren het inzicht dat is afgeleid van de honden van Pavlov: het is mogelijk om een agent complexe, nieuwe taken te leren beheersen door alleen positieve en negatieve feedback. Een algoritme begint een toegewezen taak te leren door willekeurig te voorspellen voor welke actie het een beloning kan opleveren. Het voert vervolgens de actie uit, observeert de echte beloning en past zijn voorspelling aan op basis van de foutenmarge. Na miljoenen of zelfs miljarden proeven convergeren de voorspellingsfouten van het algoritme naar nul, waarna het precies weet welke acties moeten worden ondernomen om zijn beloning te maximaliseren en zo zijn taak te voltooien.
Het blijkt dat het beloningssysteem van de hersenen op vrijwel dezelfde manier werkt: een ontdekking die in de jaren negentig werd gedaan, geïnspireerd door algoritmen voor het leren van versterking. Wanneer een mens of dier op het punt staat een actie uit te voeren, maken zijn dopamine-neuronen een voorspelling over de verwachte beloning. Zodra de daadwerkelijke beloning is ontvangen, vuren ze een hoeveelheid dopamine af die overeenkomt met de voorspellingsfout. Een betere beloning dan verwacht leidt tot een sterke afgifte van dopamine, terwijl een slechtere beloning dan verwacht de productie van de chemische stof onderdrukt. Met andere woorden, de dopamine dient als een correctiesignaal en vertelt de neuronen dat ze hun voorspellingen moeten aanpassen totdat ze convergeren naar de realiteit. Het fenomeen, dat bekend staat als beloningsvoorspellingsfout, werkt net als een algoritme voor het leren van versterking.
Het nieuwe artikel van DeepMind bouwt voort op het nauwe verband tussen deze natuurlijke en kunstmatige leermechanismen. In 2017 introduceerden de onderzoekers een verbeterd algoritme voor het leren van versterking dat sindsdien steeds indrukwekkendere prestaties bij verschillende taken heeft ontgrendeld. Ze geloven nu dat deze nieuwe methode een nog preciezere verklaring kan bieden van hoe dopamine-neuronen in de hersenen werken.
In het bijzonder verandert het verbeterde algoritme de manier waarop het beloningen voorspelt. Terwijl de oude benadering beloningen schatte als een enkel getal - bedoeld om gelijk te zijn aan de gemiddelde verwachte uitkomst - geeft de nieuwe benadering ze nauwkeuriger weer als een verdeling. (Denk even aan een gokautomaat: je kunt winnen of verliezen na een bepaalde distributie. Maar in geen geval zou je ooit de gemiddelde verwachte uitkomst krijgen.)
De wijziging leent zich voor een nieuwe hypothese: voorspellen dopamine-neuronen ook beloningen op dezelfde distributieve manier?
Om deze theorie te testen, werkte DeepMind samen met een groep op Harvard om het gedrag van dopamine-neuronen bij muizen te observeren. Ze gaven de muizen een taak en beloonden ze op basis van de dobbelsteenworp, waarbij ze de schietpatronen van hun dopamine-neuronen overal meten. Ze ontdekten dat elk neuron verschillende hoeveelheden dopamine afgeeft, wat betekent dat ze allemaal verschillende uitkomsten hadden voorspeld. Terwijl sommigen te optimistisch waren en hogere beloningen voorspelden dan ze daadwerkelijk ontvingen, waren anderen pessimistischer en bagatelliseerden ze de realiteit. Toen de onderzoekers de verdeling van die voorspellingen in kaart brachten, volgde ze de verdeling van de daadwerkelijke beloningen op de voet. Deze gegevens bieden overtuigend bewijs dat de hersenen inderdaad distributie-beloningsvoorspellingen gebruiken om hun leeralgoritme te versterken.
Door het gedrag van dopamine-neuronen bij muizen te meten, ontdekten de onderzoekers dat de verdeling van de voorspellingen van de neuronen (gedecodeerd) de verdeling van de werkelijke beloningen (grondwaarheid) nauw volgde. DeepMind
Dit is een mooie uitbreiding op het idee van dopamine-codering van beloningsvoorspellingsfouten, schreef Wolfram Schultz, een pionier in het gedrag van dopamine-neuronen die niet bij het onderzoek betrokken was, in een e-mail. Het is verbazingwekkend hoe deze zeer eenvoudige dopamine-respons voorspelbaar intuïtieve patronen volgt van fundamentele biologische leerprocessen die nu een onderdeel van AI worden.
De studie heeft implicaties voor zowel AI als neurowetenschappen. Ten eerste valideert het het leren van distributieversterking als een veelbelovend pad naar meer geavanceerde AI-mogelijkheden. Als de hersenen het gebruiken, is het waarschijnlijk een goed idee, zei Matt Botvinick, directeur neurowetenschappelijk onderzoek van DeepMind en een van de hoofdauteurs van de krant, tijdens een persconferentie. Het vertelt ons dat dit een computationele techniek is die kan worden geschaald in echte situaties. Het gaat goed passen bij andere rekenprocessen.
Ten tweede zou het een belangrijke update kunnen bieden van een van de canonieke theorieën in de neurowetenschappen over beloningssystemen in de hersenen, wat op zijn beurt ons begrip van alles, van motivatie tot geestelijke gezondheid, zou kunnen verbeteren. Wat kan het bijvoorbeeld betekenen om pessimistische en optimistische dopamine-neuronen te hebben? Als de hersenen selectief naar het een of het ander zouden luisteren, zou dit dan kunnen leiden tot chemische onevenwichtigheden en depressie veroorzaken?
Fundamenteel, door verdere decoderingsprocessen in de hersenen, werpen de resultaten ook licht op wat menselijke intelligentie creëert. Het geeft ons een nieuw perspectief op wat er in het dagelijks leven in onze hersenen gebeurt, zei Botvinick.