Na het beheersen van Space Invaders, schaken en Go, pakt AI videovoetbal aan

Voetbalveld Wenen Reyes | Unsplash

Google is wereldleider in onderzoek naar machine-intelligentie. Vooral haar DeepMind-dochteronderneming heeft een indrukwekkende lijst van prestaties op zak. De neurale netwerken van DeepMind hebben bovenmenselijke prestaties geleverd in een breed scala aan games. Deze omvatten Atari-videogames zoals Pong, Breakout en Space Invaders en meer complexe uitdagingen zoals de online multiplayer-game Starcraft.

DeepMind heeft ook opmerkelijk succes gehad met meer traditionele spellen. In 2016 versloeg zijn AlphaGo-machine een van 's werelds sterkste professionele Go-spelers, de eerste keer dat een machine op deze manier zegevierde. In het proces vond AlphaGo geheel nieuwe manieren van spelen die een revolutie teweeg hebben gebracht in de manier waarop mensen over het spel denken.

Google is niet tevreden om op zijn lauweren te gaan zitten, maar richt zijn aandacht nu op meer open games waar onvoorspelbaarheid een belangrijkere rol speelt. En het volgende doelwit is videovoetbal.

Karol Kurach en collega's van het Brain Team van Google Research hebben een voetbalvideogame gemaakt, de Google Research Football Environment genaamd, waarmee onderzoekers hun algoritmen kunnen testen in een wereld die gebaseerd is op fysica, aanpasbaar, gebruiksvriendelijk en eindeloos reproduceerbaar. Ze hebben deze wereld beschikbaar gemaakt met een open-sourcelicentie, zodat onderzoekers deze overal kunnen gebruiken om betere voetbalalgoritmen te ontwikkelen.

Eerst wat achtergrond. Een van de uitdagingen voor AI-onderzoekers is om taken te vinden die nieuwe problemen opleveren voor machine learning-algoritmen. Eenvoudige videogames zoals Pong of Breakout zijn soms gewoon te gemakkelijk voor deze algoritmen, die al na een paar uur training bovenmenselijke prestaties kunnen bereiken.

Maar sommige van de meer complexe videogames, zoals Starcraft, zijn te uitdagend. Starcraft is een realtime strategiespel voor meerdere spelers en speelt zich af in een groot online universum. AI-onderzoekers zijn erin geïnteresseerd geraakt omdat ze hierdoor in complexe omgevingen kunnen spelen tegen andere mensen en tegen op games gebaseerde AI-systemen.

Het spel is echter zo omvangrijk en ingewikkeld dat het enorme rekenkracht vereist om relevante gegevens te verzamelen en een machine-learningsysteem te trainen. En deze bronnen zijn niet beschikbaar voor de meeste onderzoekers.

Een ander probleem is dat veel veelbelovende online omgevingen draaien op propriëtaire code die onderzoekers niet kunnen veranderen of zelfs maar zien. Dat maakt het onmogelijk om te weten hoe de game belangrijke beslissingen neemt of om te experimenteren met verschillende besluitvormingsprocessen.

Ten slotte zijn veel games volledig deterministisch: ze zullen op precies dezelfde manier spelen met dezelfde invoer. Dat maakt ze eenvoudig te leren algoritmen te verslaan.

Maar zo werken de dingen niet in de echte wereld, waar het vermogen om met onverwachte acties om te gaan een belangrijke vaardigheid is. De enige manier waarop machines deze vaardigheid kunnen leren, is door te trainen in onvoorspelbare omgevingen. Maar de onvoorspelbaarheid moet beheersbaar zijn - te weinig en het spel is te gemakkelijk, terwijl te veel leren te moeilijk maakt. Het creëren van zo'n omgeving is lastig.

Dat is waar voetbalsimulators binnenkomen. Deze hebben bepaalde niveaus van voorspelbaarheid op basis van de fysica van het spel. Maar er is ook veel onvoorspelbaarheid die voortkomt uit de tactiek van tegenstanders, de mismatch tussen spelers in situaties zoals tackelen, enzovoort.

Dus hebben Kurach en collega's hun eigen simulator gebouwd. Als basis gebruikten ze een openbaar beschikbaar spel genaamd Gameplay Football, dat volledige voetbalwedstrijden mogelijk maakt, compleet met goals, overtredingen, corners, penalty's, buitenspel, enzovoort. De voetbalomgeving biedt een op fysica gebaseerde 3D-voetbalsimulatie waarin agenten hun spelers moeten besturen, leren hoe ze tussen hen moeten passen en hoe ze de verdediging van hun tegenstander moeten overwinnen om doelpunten te maken, zegt het Google-team.

De onderzoekers hebben dit aangepast om een ​​mate van succes voor machines te bieden, gebaseerd op hoe dicht de machine de bal op een gecontroleerde manier naar het doel van de tegenstander kan manoeuvreren. Dit is nodig omdat de standaardmaatstaf voor succes - doelen - een relatief zeldzame gebeurtenis weerspiegelt en machines geen manier biedt om hun voortgang van moment tot moment te volgen.

Het team heeft ook verschillende standaardomgevingen van verschillende complexiteit gecreëerd om AI-machines te trainen en te testen. De taken waarmee de machine wordt geconfronteerd, zijn onder meer scoren in een leeg doel, rennen en scoren tegen een keeper, navigeren in een 3 vs. 1-scenario om te scoren terwijl het passen aanmoedigt, enzovoort. De algemene test is een standaardspel met alle gebruikelijke regels, gespeeld tegen een op een machine gebaseerde tegenstander.

Het leeralgoritme kan tegen andere machines of tegen mensen spelen. Hierdoor heeft het ervaring met een breed scala aan strategieën. En het vermijdt het scenario waarin de machine eenvoudig de zwakke punten van een op een machine gebaseerde tegenstander leert, wat misschien niet van toepassing is op games in het algemeen. Dit levert een uitdagend leerprobleem op, aangezien voetbal een natuurlijk evenwicht vereist tussen controle op korte termijn, aangeleerde concepten zoals passen en strategie op hoog niveau, zeggen Kurach en collega's.

Dat is interessant werk dat de potentie heeft om machine learning te helpen werken in meer realistische omgevingen. Maar het verhoogt ook de mogelijkheid dat machines nieuwe voetbalstrategieën leren die mensen nooit hebben overwogen, net zoals ze deden voor Go.

Dit zijn tactieken die zelfs in robo-voetbaltoernooien of zelfs in games tussen mensen kunnen voorkomen.

Of deze strategieën net zo goed werken voor echt voetbal als voor de gesimuleerde variant, zal een interessante vraag zijn om te bekijken. Dat zal fascinerend zijn voor zowel AI-onderzoekers als voetbalfans.

Referentie: arxiv.org/abs/1907.11180 : Google Research Football: een nieuwe, versterkende leeromgeving

zich verstoppen