211service.com
Poker is het nieuwste spel tegen kunstmatige intelligentie
In een mijlpaal voor kunstmatige intelligentie heeft een pokerbot, ontwikkeld door onderzoekers in Canada en de Tsjechische Republiek, verschillende professionele spelers verslagen in één-op-één spellen van no-limit Texas hold'em poker.
Misschien wel het meest interessante is dat de academici achter het werk zeggen dat hun programma zijn menselijke tegenstanders overwon door een benadering te gebruiken die ze vergelijken met onderbuikgevoel.
Als het correct is, is dit inderdaad een aanzienlijke vooruitgang in het spelen van AI, zegt Michael Wellman , een professor aan de Universiteit van Michigan die gespecialiseerd is in speltheorie en AI. Ten eerste bereikt het een belangrijke mijlpaal (het verslaan van pokerprofessionals) in een spel van prominent belang. Ten tweede brengt het verschillende nieuwe ideeën samen, die samen een opwindende benadering voor imperfecte-informatiespellen ondersteunen.
Later deze week zullen tijdens een toernooi in een casino in Pittsburgh verschillende pokerspelers van wereldklasse dezelfde versie van poker spelen tegen een programma dat is ontwikkeld door CMU. Tuomas Sandholm , een professor in computerwetenschappen aan de CMU die de inspanning leidt, zegt dat de betrokken menselijke spelers aanzienlijk sterker zijn dan de spelers die zijn getest door de onderzoekers van Alberta, en dat 120.000 handen over 20 dagen zullen worden gespeeld, wat een grotere statistische significantie aan de resultaten geeft. Het toernooi zou kunnen bevestigen dat AI inderdaad een spel onder de knie heeft dat lange tijd veel te complex en te subtiel leek voor computers.
DeepStack, de pokersoftware die al een aantal professionele spelers heeft verslagen, is ontwikkeld door een team onder leiding van Michael Bowling , een professor in computerwetenschappen aan de Universiteit van Alberta, waartoe ook onderzoekers van de Charles University en de Tsjechische Technische Universiteit in Tsjechië behoorden. in een onderzoek papier online geplaatst maar nog niet door vakgenoten beoordeeld, zeggen de onderzoekers dat DeepStack bijna 45.000 pokerhanden speelde tegen verschillende spelers en ze handig versloeg.
Poker is complexer dan veel andere spellen waarin mensen het opnemen tegen AI. En het is veelzeggend dat het niveaus van onzekerheid bevat, zoals wanneer een tegenstander bluft, die in veel situaties in de echte wereld voorkomen die AI nog niet onder de knie heeft. Pokerspelers kunnen de handen van hun tegenstanders niet zien, wat betekent dat, in tegenstelling tot dammen, schaken of Go, niet alle informatie in het spel voor hen beschikbaar is. Onderzoekers van DeepMind, een in het Verenigd Koninkrijk gevestigde dochteronderneming van Alphabet, haalden vorig jaar de krantenkoppen na het maken van een programma dat in staat was om een van 's werelds beste Go-spelers te verslaan (zie Google's AI Masters the Game of Go een decennium eerder dan verwacht).
Heads-up no-limit Texas Hold'em is een versie van het spel dat gespeeld wordt tussen twee mensen die zoveel chips kunnen inzetten als ze bezitten. Deze variant bleek lange tijd te moeilijk voor machines om vakkundig te spelen. Er zijn 10160 (10 gevolgd door 160 nullen) mogelijke speelpaden voor elke hand in heads-up no-limit Texas hold'em.
DeepStack leerde poker spelen door handen tegen zichzelf te spelen. Na elk spel herbekijkt en verfijnt het zijn strategie, wat resulteert in een meer geoptimaliseerde aanpak. Vanwege de complexiteit van no-limit poker, omvat deze aanpak normaal gesproken het oefenen met een meer beperkte versie van het spel. Het DeepStack-team loste deze complexiteit op door een snelle benaderingstechniek toe te passen die ze verfijnden door eerdere pokersituaties in een diepgaand algoritme te verwerken.
Wat echt nieuw is voor zo'n complexe game, is dat je in staat bent om effectief te berekenen welke actie moet worden ondernomen in elke situatie die zich voordoet, in plaats van dat je offline een vereenvoudigde vorm van de hele boom met spelmogelijkheden moet doorlopen, zegt Wellman van de Universiteit van Michigan.
De onderzoekers vergelijken de benaderingstechniek van DeepStack met het instinct van een menselijke speler wanneer een tegenstander bluft of een winnende hand heeft, hoewel de machine zijn beoordeling moet baseren op de inzetpatronen van de tegenstander in plaats van op zijn of haar lichaamstaal. Deze schatting kan worden gezien als de intuïtie van DeepStack, schrijven ze. Een onderbuikgevoel van de waarde van het houden van eventuele privékaarten in elke mogelijke pokersituatie.
Het is mogelijk om de prestaties van een pokerspeler te meten door te kijken naar het gewonnen bedrag, in verhouding tot het bedrag dat aan zijn of haar tafel is ingezet, over veel spellen. DeepStack had een winstpercentage dat ongeveer negen keer beter was dan wat als goed zou worden beschouwd voor een professionele speler.
In 2015 losten Bowling en collega's van de Universiteit van Alberta de meer beperkte versie van Heats Up Hold'em op door een pokerbot ontwikkelen in staat om het spel perfect te spelen.
De pokerbot die betrokken was bij het Pittsburgh-toernooi, Libratus genaamd, is ontwikkeld door Sandholm en een van zijn afgestudeerde studenten, Noam Brown . Het paar heeft nog geen details bekendgemaakt over hoe hun programma het spel benadert, maar Brown zegt dat het in wezen probeert het spel te 'oplossen' - of elk mogelijk scenario te bedenken - eerder tijdens het spel dan voorheen mogelijk was. Libratus draait op extreem krachtige hardware aan de Pittsburgh Supercomputing Center , een faciliteit die gezamenlijk wordt beheerd door CMU en de Universiteit van Pittsburgh.