De Goofy Sumo-worstelbots van OpenAI zijn slimmer dan ze eruitzien

Categorie: Geen categorie Geplaatst 12 okt

Het zou een virtuele bloedsport kunnen zijn in een absurdistische techno-toekomst.

OpenAI, een onderzoeksinstituut dat wordt ondersteund door Elon Musk en verschillende andere grote namen uit Silicon Valley, heeft zijn nieuwste onderzoek naar de ontwikkeling van krachtigere vormen van machine learning onthuld. En het demonstreert de technologie met behulp van virtueel sumoworstelen.

De virtuele worstelaars zien er misschien een beetje belachelijk uit, maar ze gebruiken een zeer slimme benadering om te leren in een snel veranderende omgeving terwijl ze met een tegenstander omgaan.

De agenten gebruiken een vorm van versterkend leren, een techniek die is geïnspireerd op de manier waarop dieren leren door middel van feedback. Het is nuttig gebleken voor het trainen van computers om games te spelen en om robots te besturen (zie 10 Breakthrough Technologies 2017: Reinforcement Learning).

Een grote uitdaging bij het gebruik van versterkend leren is dat het niet zo goed werkt in meer realistische situaties, waar dingen constant in beweging zijn. OpenAI heeft al een eigen versterkingsalgoritme ontwikkeld, genaamd proximale beleidsoptimalisatie (PPO) , die bijzonder goed geschikt is voor veranderende omgevingen.

Het nieuwste werk, gedaan in samenwerking met onderzoekers van de Carnegie Mellon University en UC Berkeley, demonstreert een manier voor AI-agenten om wat de onderzoekers een meta-leerraamwerk noemen, toe te passen. Dit betekent dat de agenten kunnen nemen wat ze al hebben geleerd en toepassen op een nieuwe situatie.

In de RoboSumo-omgeving (zie video hierboven) begonnen de agenten zich willekeurig te gedragen. Door duizenden keren vallen en opstaan, ontwikkelden ze geleidelijk het vermogen om te bewegen - en uiteindelijk om te vechten. Door verdere iteraties ontwikkelden de worstelaars het vermogen om elkaar te vermijden en zelfs om hun eigen acties in twijfel te trekken. Dit leren gebeurde on the fly, waarbij de agenten zich aanpasten, zelfs als ze met elkaar worstelden.

Flexibel leren is een zeer belangrijk onderdeel van menselijke intelligentie, en het zal van cruciaal belang zijn als machines in staat zullen zijn om in de echte wereld iets anders uit te voeren dan zeer beperkte taken. Dit soort leren is erg moeilijk te implementeren in machines, en het nieuwste werk is een kleine maar belangrijke stap in die richting.

De onderzoekers ontdekten dat hun sumobots door het gebruik van meta-learning sneller effectieve strategieën konden leren. Dus zelfs als ze er een beetje ongelukkig uitzien, onderschat ze niet.