211service.com
Hoe de Memory Trick van DeepMind AI helpt om sneller te leren
Intelligente machines hebben de mens in het vizier. Machines voor diep leren hebben al bovenmenselijke vaardigheden als het gaat om taken zoals gezichtsherkenning, het spelen van videogames en zelfs het oude Chinese spel Go. Dus het is gemakkelijk om te denken dat mensen al kansloos zijn.
Maar niet zo snel. Intelligente machines lopen nog steeds achter op mensen op één cruciaal prestatiegebied: de snelheid waarmee ze leren. Als het bijvoorbeeld gaat om het beheersen van klassieke videogames, hebben de beste deep-learningmachines zo'n 200 uur speeltijd nodig om dezelfde vaardigheidsniveaus te bereiken die mensen in slechts twee uur bereiken.
Dus computerwetenschappers zouden dolgraag een manier willen hebben om de snelheid waarmee machines leren te versnellen.
Tegenwoordig beweren Alexander Pritzel en vrienden van Google's DeepMind-dochteronderneming in Londen precies dat te hebben gedaan. Deze jongens hebben een diepgaand lerende machine gebouwd die in staat is om snel nieuwe ervaringen op te nemen en er vervolgens naar te handelen. Het resultaat is een machine die aanzienlijk sneller leert dan andere en het potentieel heeft om in de niet al te verre toekomst mensen te evenaren.
Eerst wat achtergrond. Deep learning gebruikt lagen van neurale netwerken om patronen in gegevens te zoeken. Wanneer een enkele laag een patroon ziet dat het herkent, stuurt het deze informatie naar de volgende laag, die patronen in dit signaal zoekt, enzovoort.
Dus bij gezichtsherkenning kan de ene laag naar randen in een afbeelding zoeken, de volgende laag naar cirkelvormige patronen van randen (het soort dat ogen en monden maken), en de volgende naar driehoekige patronen zoals die gemaakt door twee ogen en een mond. Wanneer dit allemaal gebeurt, is de uiteindelijke output een indicatie dat er een gezicht is gezien.
Natuurlijk zit de duivel in de details. Er zijn verschillende feedbacksystemen om het systeem te laten leren door verschillende interne parameters aan te passen, zoals de sterkte van verbindingen tussen lagen. Deze parameters moeten langzaam veranderen, aangezien een grote verandering in de ene laag catastrofale gevolgen kan hebben voor het leren in de volgende lagen. Daarom hebben diepe neurale netwerken zoveel training nodig en duurt het zo lang.
Pritzel en co hebben dit probleem aangepakt met een techniek die ze neurale episodische controle noemen. Neurale episodische controle demonstreert dramatische verbeteringen in de leersnelheid voor een breed scala aan omgevingen, zeggen ze. Van cruciaal belang is dat onze agent in staat is om snel zeer succesvolle strategieën toe te passen zodra ze worden ervaren, in plaats van te wachten op vele optimalisatiestappen.
Het basisidee achter de aanpak van DeepMind is het kopiëren van de manier waarop mensen en dieren snel leren. De algemene consensus is dat mensen situaties op twee verschillende manieren kunnen aanpakken. Als de situatie bekend is, hebben onze hersenen er al een model van gevormd, waarmee ze bepalen hoe ze zich het beste kunnen gedragen. Dit maakt gebruik van een deel van de hersenen dat de prefrontale cortex wordt genoemd.
Maar als de situatie niet vertrouwd is, moeten onze hersenen terugvallen op een andere strategie. Men denkt dat dit een veel eenvoudigere test-en-onthoud-benadering omvat waarbij de hippocampus betrokken is. Dus we proberen iets en onthouden de uitkomst van deze aflevering. Als het lukt, proberen we het opnieuw, enzovoort. Maar als het geen succesvolle aflevering is, proberen we het in de toekomst te vermijden.
Deze episodische aanpak volstaat op korte termijn terwijl ons prefrontale brein leert. Maar het wordt al snel overtroffen door de prefrontale cortex en zijn modelgebaseerde benadering.
Pritzel en co hebben deze aanpak als inspiratie gebruikt. Hun nieuwe systeem heeft twee benaderingen. De eerste is een conventioneel systeem voor diep leren dat het gedrag van de prefrontale cortex nabootst. De tweede lijkt meer op de hippocampus. Wanneer het systeem iets nieuws probeert, onthoudt het de uitkomst.
Maar cruciaal is dat het niet probeert te leren wat het moet onthouden. In plaats daarvan onthoudt het alles. Onze architectuur probeert niet te leren wanneer naar het geheugen moet worden geschreven, omdat dit traag kan zijn om te leren en veel tijd in beslag kan nemen, zeggen Pritzel en co. In plaats daarvan kiezen we ervoor om alle ervaringen naar het geheugen te schrijven en het erg groot te laten worden in vergelijking met bestaande geheugenarchitecturen.
Vervolgens gebruiken ze een reeks strategieën om snel uit dit grote geheugen te lezen. Het resultaat is dat het systeem veel sneller kan inhaken op succesvolle strategieën dan conventionele deep-learningsystemen.
Ze demonstreren vervolgens hoe goed dit allemaal werkt door hun machine te trainen om klassieke Atari-videogames te spelen, zoals Breakout, Pong en Space Invaders. (Dit is een speeltuin die DeepMind heeft gebruikt om veel machines voor diep leren te trainen.)
Het team, waaronder medeoprichter van DeepMind Demis Hassibis, laat zien dat neurale episodische controle veel beter presteert dan andere deep-learning benaderingen in de snelheid waarmee het leert. Onze experimenten laten zien dat neurale episodische controle een orde van grootte minder interacties met de omgeving vereist, zeggen ze.
Dat is indrukwekkend werk met een aanzienlijk potentieel. De onderzoekers zeggen dat een voor de hand liggende uitbreiding van dit werk is om hun nieuwe aanpak te testen op complexere 3D-omgevingen.
Het zal interessant zijn om te zien welke omgevingen het team kiest en welke impact dit zal hebben op de echte wereld. We zijn benieuwd hoe dat uitpakt.
Ref: Neurale episodische controle: arxiv.org/abs/1703.01988