Wat AI moet leren om buitenaardse oorlogvoering onder de knie te krijgen

Gamers spelen StarCraft op Gamescom in Keulen, Duitsland, in 2015.

Om te leren hoe mensen en AI-systemen het beste kunnen samenleven, moeten we misschien een heleboel Zerg doden.

DeepMind, de AI-gerichte eenheid van Alphabet, en het gamesbedrijf Blizzard Entertainment brengen een set tools uit waarmee programmeurs allerlei AI-algoritmen kunnen ontketenen in de game StarCraft met een ruimtethema.

De game is uitdagender dan de meeste die tot nu toe door AI-programma's zijn aangepakt. StarCraft is niet alleen extreem complex, het vereist ook ver vooruit plannen en proberen te raden wat je tegenstander van plan is. Dit betekent dat het ontwikkelen van AI-programma's die in staat zijn om mensen te matchen, onderzoekers zou moeten helpen om nieuwe facetten van menselijke intelligentie met machines te verkennen. Een ander potentieel voordeel, volgens de betrokkenen, is het verkennen van manieren waarop mensen en kunstmatige agenten samen kunnen spelen.

StarCraft is om vele redenen interessant, zegt Oriol Vinyls , de DeepMind-onderzoeker die het project leidt. Het feit dat spelers vaak slechts een glimp opvangen van de activiteiten van hun tegenstanders, betekent bijvoorbeeld dat algoritmen betere manieren moeten ontwikkelen om informatie in het geheugen op te slaan. Geheugen is van cruciaal belang, zegt Vinylals. Wat je nu ziet, is niet wat je een tijdje geleden zag, en iets specifieks dat een minuut geleden zou kunnen zijn gebeurd, kan ervoor zorgen dat je [anders wilt] handelen.

DeepMind heeft een indrukwekkende reputatie opgebouwd door het bouwen van AI-programma's die verschillende soorten games kunnen spelen met bovenmenselijke vaardigheden. Het bedrijf begon met het veroveren van verschillende Atari-spellen en meer recentelijk nam het het extreem complexe en abstracte bordspel Go op (zie DeepMind's AI Masters the Game of Go een decennium eerder dan verwacht).

Om deze spellen onder de knie te krijgen, gebruikten de onderzoekers van DeepMind een machine learning-techniek die wapeningsleren wordt genoemd. Met machine learning kan een computer erachter komen hoe hij iets voor zichzelf kan doen, zonder dat er expliciete instructies voor nodig zijn. Reinforcement learning, geïnspireerd op de manier waarop dieren lijken te leren, maakt leren mogelijk door middel van experimenten met positieve feedback (zie 10 Breakthrough Technologies 2017: Reinforcement Learning). Vinyals zegt echter dat het toepassen van versterkend leren op StarCraft moeilijker zal zijn omdat het zo lang duurt voordat elk spel zich ontvouwt. Een actie die ik nu onderneem, heeft pas veel later gevolgen, zegt hij.

Binnen StarCraft strijden spelers als een van de drie rassen: de mensachtige Terrans, de cyborg Protoss of de insectoïde Zerg. Gevechten omvatten complexe strategische acties zoals het delven van hulpbronnen en het bouwen van bases, evenals langdurige gevechtssequenties. StarCraft is ook de meest populaire e-sport voor toeschouwers, en vooral in Zuid-Korea worden toernooien vaak gespeeld in enorme stadions en live op televisie getoond. Prominente spelers hebben het vooruitzicht verwelkomd om te matchen met AI-programma's, maar DeepMind heeft nog niet gezegd wanneer dit zou kunnen gebeuren (zie StarCraft Pros Are Ready to Battle AI).

De tools die zijn ontwikkeld door DeepMind en Blizzard zullen het voor AI-onderzoekers veel gemakkelijker maken om algoritmen voor machine learning in StarCraft te implementeren en te testen. De tools bieden AI-agenten dezelfde kijk op het spel en de interface die menselijke spelers hebben. Ze maken het ook mogelijk om de snelheid te beperken waarmee een programma zijn acties kan uitvoeren. Dit kan ervoor zorgen dat een programma moet vertrouwen op dezelfde intellectuele hulpmiddelen als een persoon.

StarCraft wordt al enige tijd als onderzoeksplatform gebruikt, maar het was relatief uitdagend om het te exploiteren. Vinyals, zelf een deskundige StarCraft-speler, deed baanbrekend werk bij het bouwen van bots voor StarCraft als student aan de University of California, Berkeley (zie 35 Innovators Under 35, 2016: Oriol Vinyals). teams bij Facebook en het Chinese bedrijf Alibaba hebben ook StarCraft-onderzoek gepubliceerd. DeepMind publiceert deze week een paper op een grote machine learning-conferentie die laat zien hoe bestaande algoritmen presteren met het spel.

Het is echter mogelijk dat er heel andere benaderingen nodig zijn om een ​​game als StarCraft onder de knie te krijgen. Sommige andere onderzoekers hebben succes gevonden door benaderingen uit de speltheorie te gebruiken om vooruitgang te boeken in andere spellen met onvolmaakte informatie en waar bluffen belangrijk is. Eerder dit jaar bouwden Tuomas Sandholm, een professor aan de Carnegie Mellon University, en een van zijn studenten, Noam Brown, een programma, genaamd Libratus, dat verschillende professionele spelers versloeg bij heads-up, of two-player, no-limit Texas hold' em. Libratus gebruikte een zeer geavanceerd algoritme om de optimale strategie tijdens een spel te berekenen (zie Waarom poker zo belangrijk is voor kunstmatige intelligentie). En toevallig liep Brown deze zomer stage bij DeepMind.

Verwant verhaal

Verwant verhaal Poker spelen omvat het omgaan met onvolmaakte informatie, wat het spel erg complex maakt en meer op veel situaties in de echte wereld lijkt.

Jacob Repp, een hoofdingenieur bij Blizzard, zegt dat zijn bedrijf geïnteresseerd is om te zien of geavanceerde AI-agenten het spel interessanter kunnen maken, door tegen mensen te spelen of met hen samen te werken. Het is al mogelijk om agenten in de game te maken die scriptopdrachten volgen. Repp zegt dat het interessant zou zijn om die agenten tot op zekere hoogte ook machine learning te laten gebruiken. En hij zegt dat het bedrijf dit soort ideeën onderzoekt. We merken dat deze tools erg handig zijn voor het maken van games en het ontwerpen van functies in games, zegt hij.

zich verstoppen