De AI van DeepMind kan nu alle 57 Atari-games spelen, maar het is nog steeds niet veelzijdig genoeg

Categorie: Kunstmatige intelligentie Geplaatst 01 april

Het nieuws: Een kunstmatige intelligentie genaamd Agent57 heeft alle 57 Atari-videogames leren spelen in de Arcade Learning-omgeving, een verzameling klassieke games die onderzoekers gebruiken om de grenzen van hun deep-learningmodellen te testen. Agent57 is ontwikkeld door DeepMind en gebruikt hetzelfde leeralgoritme voor diepgaande versterking om bovenmenselijke spelniveaus te bereiken, zelfs in games waar eerdere AI's mee worstelden. Door 57 verschillende taken te kunnen leren, is Agent57 veelzijdiger dan eerdere AI's voor het spelen van games.

Wat zit er in een spel? Games zijn een geweldige manier om AI's te testen. Ze bieden een verscheidenheid aan uitdagingen die een AI dwingen een reeks strategieën te bedenken en toch een duidelijke maatstaf voor succes hebben - een score - om tegen te trainen. Maar met name vier Atari-games zijn moeilijk te verslaan. In Montezuma's Revenge and Pitfall moet een AI veel verschillende strategieën uitproberen voordat ze een winnende strategie kunnen gebruiken. En in Solaris en Skiing kunnen er lange wachttijden zijn tussen actie en beloning, waardoor het moeilijk is voor een AI om te leren welke bewegingen de beste uitbetaling opleveren.

Meta-geest: Om deze uitdagingen aan te gaan, brengt Agent57 meerdere verbeteringen samen die DeepMind heeft aangebracht in zijn Deep-Q-netwerk, de AI die in 2012 voor het eerst een handvol Atari-games versloeg, inclusief een vorm van geheugen waarmee het beslissingen kan baseren op dingen die het eerder heeft gedaan. gezien in het spel en beloningssystemen die de AI aanmoedigen om zijn opties vollediger te verkennen voordat hij een strategie kiest. Deze verschillende technieken worden vervolgens beheerd door een meta-controller, die de afwegingen maakt tussen doorgaan met een bepaalde strategie en meer onderzoek doen.

Waarom het uitmaakt: Ondanks al hun succes zijn de beste deep-learningmodellen die we vandaag hebben niet erg veelzijdig. De meesten zijn meestal goed in één ding en maar in één ding. Een AI trainen om uit te blinken in meer dan één taak is een van de grootste open uitdagingen in deep learning. De mogelijkheid om 57 verschillende taken te leren maakt Agent57 veelzijdiger dan eerdere AI's voor het spelen van games, maar - en dit wordt vaak gemist - kan nog steeds niet leren om meer dan één game tegelijk te spelen. Agent57 kan 57 spellen leren spelen, maar niet 57 spellen tegelijk. Het moet voor elke nieuwe game opnieuw worden getraind, ook al kan het daarvoor hetzelfde algoritme gebruiken. Op deze manier is Agent57 vergelijkbaar met AlphaZero, DeepMind's leeralgoritme voor diepe versterking, dat kan leren schaken, Go en shogi, maar nogmaals, niet allemaal tegelijk. Echte veelzijdigheid, die zo gemakkelijk is voor een menselijke baby, ligt nog steeds ver buiten het bereik van AI's.