211service.com
Waarom poker belangrijk is voor kunstmatige intelligentie
Zoals de grote Kenny Rogers ooit zei, moet een goede gokker weten wanneer hij ze moet vasthouden en weten wanneer ze moeten folden. In het Rivers Casino in Pittsburgh deze week kan een computerprogramma genaamd Libratus eindelijk bewijzen dat computers dit beter kunnen dan welke menselijke kaartspeler dan ook.
Libratus speelt duizenden heads-up, of two-player, no-limit Texas hold'em tegen verschillende deskundige professionele pokerspelers. Nu, iets meer dan halverwege de 20-daagse wedstrijd, staat Libratus bijna $ 800.000 voor ten opzichte van zijn menselijke tegenstanders. Dus de overwinning, hoewel verre van gegarandeerd, zou wel eens in de kaarten kunnen liggen.
Een overwinning voor Libratus zou een enorme prestatie zijn op het gebied van kunstmatige intelligentie. Poker vereist redenering en intelligentie die voor machines moeilijk te imiteren is gebleken. Het is fundamenteel anders dan dammen, schaken of Go, omdat de hand van een tegenstander tijdens het spelen aan het zicht blijft onttrokken. In spellen met onvolmaakte informatie is het enorm ingewikkeld om de ideale strategie te bepalen, gegeven elke mogelijke benadering van je tegenstander. En no-limit Texas Hold'em is vooral uitdagend omdat een tegenstander in wezen elk bedrag kan inzetten.
Poker is een van de moeilijkste spellen voor AI om te kraken, zegt Andrew Ng , hoofdwetenschapper bij Baidu. Er is niet één optimale zet, maar in plaats daarvan moet een AI-speler zijn acties willekeurig verdelen om tegenstanders onzeker te maken wanneer hij bluft.
Libratus is gemaakt door Tuomas Sandholm , een professor op de afdeling computerwetenschappen van CMU, en zijn afgestudeerde student Noam Brown . Sandholm, een expert op het gebied van speltheorie en AI die voor zijn PhD uit Finland emigreerde, zegt dat het verbazingwekkend is dat mensen zo lang computers hebben kunnen verslaan. Ik sta er versteld van hoe goed deze topprofessionals zijn', zegt hij. 'Van al deze games die AI heeft aangepakt, is [poker] de enige waarbij AI geen bovenmenselijke prestaties heeft bereikt.
AI-onderzoekers gebruiken speltheorie, of de wiskunde van strategische besluitvorming, om de beste strategie te vinden, gegeven verschillende onzekerheden, ook wel een evenwicht genoemd. Omdat de mogelijkheden zo groot zijn, gaat het meestal om een of andere vorm van benadering.
Of een zet goed is of niet, hangt af van dingen die je niet kunt waarnemen, zegt Vincent Conitzer , een professor aan de Duke University die AI en speltheorie doceert. Dit leidt ook tot een behoefte om onvoorspelbaar te zijn. Als je nooit bluft, ben je geen goede speler. Als je altijd bluft, ben je geen goede speler. Speltheorie vertelt je hoe je je spel willekeurig kunt verdelen op een manier die in zekere zin optimaal is.
Vorig jaar leidde Sandholm de ontwikkeling van een eerder pokerprogramma, Claudico genaamd, dat behoorlijk werd verslagen in een wedstrijd tegen verschillende professionele pokerspelers. Hij legt uit dat Libratus verschillende nieuwe ontwikkelingen gebruikt om zo'n hoog spelniveau te bereiken. Dit omvat een nieuwe techniek voor evenwichtsbenadering, zegt Sandholm, evenals verschillende nieuwe methoden voor het analyseren van mogelijke uitkomsten wanneer kaarten in latere stadia van een spel worden onthuld. Deze analyse van het eindspel is rekenkundig zeer uitdagend en wordt tijdens elk spel uitgevoerd in het Pittsburgh Supercomputing Center, een faciliteit die wordt beheerd door CMU en de Universiteit van Pittsburgh.
Door vooruitgang op het gebied van machine learning en AI zijn recentelijk een aantal bovenmenselijke spelprogramma's opgekomen. Vorig jaar ontwikkelden onderzoekers van DeepMind, een dochteronderneming van Alphabet, een programma dat in staat is een van 's werelds beste Go-spelers te verslaan. Deze prestatie was zo spectaculair omdat Go extreem complex is en omdat het moeilijk is om de voortgang binnen het spel te meten (zie Google's AI Masters Go een decennium eerder dan verwacht).
Een paar verschillende onderzoeksgroepen zijn gericht op het aanpakken van poker. Een ander academisch team, van de Universiteit van Alberta in Canada, en Charles University en Czech Technical University in Tsjechië, heeft onlangs een programma ontwikkeld, genaamd DeepStack , dat al verschillende professionele spelers heeft verslagen in heads-up no limit Texas hold'em (zie Poker is het nieuwste spel om te folden tegen AI). Maar, zegt Sandholm, de spelers die betrokken zijn bij de wedstrijd tegen Libratus zijn veel sterker en spelen veel meer handen tegen de machine, wat een grotere statistische significantie voor het resultaat zou moeten opleveren.
De technieken die worden gebruikt om een slimmere pokerbot te bouwen, kunnen veel toepassingen in de echte wereld hebben. Speltheorie is al toegepast op onderzoek naar jamming-aanvallen en cyberbeveiliging, geautomatiseerde begeleiding voor taxidiensten en robotplanning, zegt Sam Ganzfried , die betrokken was bij de ontwikkeling van Claudico en nu een assistent-professor is aan de Florida International University in Miami.
Maar zelfs als Libratus deze week triomfeert, betekent dat niet dat mensen geen plek meer verdienen aan de kaarttafel. De multiplayer-versie van no-limit Texas hold'em kan niet worden beheerst met de technieken die door Libratus worden gebruikt.