211service.com
De AI van DeepMind heeft nu bijna alle menselijke spelers bij StarCraft II overtroffen
AlphaStar (Zerg, in rood) verdedigt een vroege agressie waarbij de tegenstander een deel van de basis nabij AlphaStar's basis heeft gebouwd. met dank aan DeepMind
In januari van dit jaar kondigde DeepMind aan dat het een mijlpaal had bereikt in zijn zoektocht naar kunstmatige algemene intelligentie. Het had een AI-systeem ontworpen, AlphaStar genaamd, dat twee professionele spelers versloeg bij StarCraft II, een populair videospel over galactische oorlogsvoering. Dit was een hele prestatie. StarCaft II is zeer complex, met 1026 keuzes voor elke beweging. Het is ook een spel met onvolmaakte informatie - en er zijn geen definitieve strategieën om te winnen. De prestatie markeerde een nieuw niveau van machine-intelligentie.
Nu brengt DeepMind, een dochteronderneming van Alphabet, een update uit. AlphaStar overtreft nu de overgrote meerderheid van actieve StarCraft-spelers, en toont een veel robuuster en herhaalbaarder vermogen om on-the-fly strategieën te bedenken dan voorheen. De resultaten, gepubliceerd in Nature vandaag de dag belangrijke implicaties kunnen hebben voor toepassingen variërend van machinevertaling tot digitale assistenten of zelfs militaire planning.
StarCraft II is een realtime strategiespel dat meestal één op één wordt gespeeld. Een speler moet een van de drie menselijke of buitenaardse rassen kiezen - Protoss, Terran of Zerg - en afwisselend middelen verzamelen, infrastructuur en wapens bouwen en de tegenstander aanvallen om het spel te winnen. Elke race heeft unieke vaardigheden en beperkingen die van invloed zijn op de winnende strategie, dus spelers kiezen en beheersen het spelen met één.
AlphaStar gebruikte wapeningsleren, waarbij een algoritme leert met vallen en opstaan, om het spelen met alle rassen onder de knie te krijgen. Dit is echt belangrijk omdat het betekent dat hetzelfde type methoden in principe ook op andere domeinen kan worden toegepast, zei David Silver, hoofdonderzoeker van DeepMind, tijdens een persgesprek. De AI bereikte ook een rangorde van meer dan 99,8% van de actieve spelers in de officiële online competitie.
AlphaStar, spelend als Protoss (in het groen), die een aanval van een Zerg-speler tegengaat. met dank aan DeepMind
Om zo'n flexibiliteit te bereiken, heeft het DeepMind-team een veelgebruikte techniek aangepast die bekend staat als self-play, waarbij een algoritme voor versterkend leren tegen zichzelf speelt om sneller te leren. DeepMind gebruikte deze techniek om beroemd te worden om AlphaGo Zero te trainen, het programma dat zichzelf zonder enige menselijke inbreng leerde om de beste spelers in het oude spel Go te verslaan. Het lab gebruikte het ook in de voorlopige versie van AlphaStar.
Conventioneel in self-play, zijn beide versies van het algoritme geprogrammeerd om hun winkansen te maximaliseren. Maar de onderzoekers ontdekten dat dat niet per se resulteerde in de meest robuuste algoritmen. Voor zo'n spel met een open einde, riskeerde het het algoritme in een hokje te stoppen in specifieke strategieën die alleen onder bepaalde voorwaarden zouden werken.
Geïnspireerd door de manier waarop professionele StarCraft II-spelers met elkaar trainen, programmeerden de onderzoekers in plaats daarvan een van de algoritmen om de gebreken van de ander bloot te leggen in plaats van zijn eigen kans om te winnen te maximaliseren. Dat is een beetje [zoals] een vriend vragen om tegen je te spelen, zei Oriol Vinyals, de hoofdonderzoeker van het project, tijdens de oproep. Deze vrienden zouden je moeten laten zien wat je zwakke punten zijn, zodat je uiteindelijk sterker kunt worden. De methode produceerde veel meer generaliseerbare algoritmen die zich konden aanpassen aan een breder scala aan spelscenario's.
De onderzoekers zijn van mening dat AlphaStars vaardigheden op het gebied van strategieontwikkeling en coördinatie op veel andere problemen kunnen worden toegepast. We kozen voor StarCraft [...] omdat we vonden dat het een weerspiegeling was van veel uitdagingen die zich in echte toepassingen voordoen, zei Silver. Deze toepassingen kunnen digitale assistenten, zelfrijdende auto's of andere machines zijn die met mensen moeten communiceren, zei hij.
De complexiteit [van StarCraft] doet veel meer denken aan de schalen die we in de echte wereld zien, zei Silver.
Maar AlphaStar toont ook de significante beperkingen van AI aan. Het heeft bijvoorbeeld nog steeds orden van grootte meer trainingsgegevens nodig dan een menselijke speler om hetzelfde vaardigheidsniveau te bereiken. Dergelijke leersoftware is ook nog ver verwijderd van de vertaling naar geavanceerde robotica of real-world toepassingen.
Meld u aan voor onze Webby-genomineerde AI-nieuwsbrief The Algorithm om meer van dit soort verhalen rechtstreeks in uw inbox te ontvangen. Het is gratis.