Uber heeft twee klassieke videogames uit de jaren 80 gekraakt door een AI-algoritme een nieuw type geheugen te geven

Squakenet

Een nieuw soort algoritme voor machine learning heeft zojuist een paar throwback-videogames onder de knie die een grote hoofdpijn voor AI zijn gebleken.

Degenen die ons volgen, weten dat AI-algoritmen de beste menselijke spelers ter wereld hebben verslagen in het eeuwenoude, elegante strategiespel Go, een van de moeilijkste spellen die je je kunt voorstellen. Maar twee gepixelde klassiekers uit het tijdperk van 8-bit computerspellen - Montezuma's Revenge and Pitfall! - hebben AI-onderzoekers belemmerd.

Er is een reden voor deze schijnbare tegenstrijdigheid. Hoewel bedrieglijk eenvoudig, zijn zowel Montezuma's Revenge als Pitfall! zijn immuun voor beheersing via versterkingsleren, een techniek die anders bedreven is in het leren overwinnen van videogames. DeepMind, een dochteronderneming van Alphabet gericht op kunstmatige intelligentie, gebruikte het om algoritmen te ontwikkelen die in staat zijn om verschillende klassieke videogames op expertniveau te leren spelen. Reinforcement-learning-algoritmen passen goed bij de meeste games, omdat ze hun gedrag aanpassen als reactie op positieve feedback - de score gaat omhoog. Het succes van de aanpak heeft de hoop gewekt dat AI-algoritmen zichzelf zouden kunnen leren allerlei nuttige dingen te doen die momenteel onmogelijk zijn voor machines.

Het probleem met zowel Montezuma's Revenge als Pitfall! is dat er weinig betrouwbare beloningssignalen zijn. Beide titels bevatten typische scenario's: hoofdrolspelers verkennen blokkerige werelden vol dodelijke wezens en vallen. Maar in elk geval helpen veel gedragingen die nodig zijn om vooruit te komen in het spel, pas veel later om de score te verhogen. Gewone algoritmen voor het leren van versterking komen meestal niet uit de eerste kamer in Montezuma's Revenge en in Pitfall! ze scoren precies nul.

De nieuwe algoritmen zijn afkomstig van het AI-onderzoeksteam van Uber in San Francisco, onder leiding van Jeff Clune , die ook een universitair hoofddocent is aan de Universiteit van Wyoming. Het team demonstreerde een fundamenteel andere benadering van machine learning in een omgeving die weinig aanwijzingen biedt om een ​​algoritme te laten zien hoe het werkt.

De aanpak leidt tot een aantal interessante praktische toepassingen, schrijven Clune en zijn team in een blog die vandaag is gepubliceerd, bijvoorbeeld in het leren van robots. Dat komt omdat toekomstige robots moeten uitzoeken wat ze moeten doen in omgevingen die complex zijn en slechts een paar schaarse beloningen bieden.

Uber lanceerde zijn AI-lab in december 2016, met als doel fundamentele doorbraken te realiseren die nuttig kunnen zijn voor zijn bedrijf. Betere algoritmen voor het leren van versterking kunnen uiteindelijk nuttig zijn voor zaken als autonoom rijden en het optimaliseren van voertuigroutes.

AI-onderzoekers hebben doorgaans geprobeerd de problemen van Montezuma's Revenge and Pitfall! door versterkings-leeralgoritmen te instrueren om soms willekeurig te verkennen, terwijl beloningen voor verkenning worden toegevoegd - wat bekend staat als intrinsieke motivatie.

Maar de Uber-onderzoekers geloven dat dit een belangrijk aspect van menselijke nieuwsgierigheid niet vat. We veronderstellen dat een grote zwakte van de huidige intrinsieke motivatie-algoritmen onthechting is, schrijven ze. Waarbij de algoritmen vergeten kansrijke gebieden die ze hebben bezocht, wat betekent dat ze er niet naar terugkeren om te zien of ze leiden tot nieuwe staten.

De nieuwe familie van algoritmen voor het leren van versterking, genaamd Go-Explore, onthoudt waar ze eerder zijn geweest en zal later terugkeren naar een bepaald gebied of een bepaalde taak om te zien of dit kan helpen om betere algemene resultaten te geven. De onderzoekers ontdekten ook dat het toevoegen van een beetje domeinkennis, door menselijke spelers interessante of belangrijke gebieden te laten markeren, het leren en de voortgang van de algoritmen aanzienlijk versnelde. Dit is belangrijk omdat er in de echte wereld veel situaties kunnen zijn waarin u zou willen dat een algoritme en een persoon samenwerken om een ​​moeilijke taak op te lossen.

Hun code scoort gemiddeld 400.000 punten in Montezuma's Revenge - een orde van grootte hoger dan het gemiddelde voor menselijke experts. In de valkuil! het haalt gemiddeld 21.000 op, veel beter dan de meeste menselijke spelers.

Deze resultaten zijn zeer indrukwekkend, zegt Emma Brunskill, een assistent-professor aan de Stanford University die gespecialiseerd is in versterkend leren. Ze zegt dat het verrassend en opwindend is dat de technieken zulke grote voordelen opleverden.

Andere AI-onderzoekers hebben deze notoir harde videogames afgebroken. In oktober demonstreerde een team van OpenAI, een non-profitorganisatie in San Francisco, een algoritme dat in staat is om: aanzienlijke vooruitgang boeken in Montezuma's Wraak.

Brunskill's groep op Stanford onlangs meer bescheiden vooruitgang geboekt op Valkuil! met een benadering die vergelijkbaar is met die van het Uber-team.

Nu AI-algoritmen deze videogames kunnen oplossen, is de uitdaging om uit de speelhal te komen en echte problemen op te lossen.

Brunskill is het ermee eens dat dit soort werk een grote impact kan hebben in de robotica. Maar ze zegt dat andere situaties in de echte wereld, vooral die waarbij menselijk gedrag wordt gemodelleerd, veel moeilijker zijn. Het zal heel interessant zijn om te zien hoe goed deze aanpak werkt voor meer gecompliceerde instellingen, zegt ze.

Niet iedereen is echter geboeid door het Uber-onderzoek.

Alex Irpan, een software-engineer die werkt aan machine learning en robotica bij Google, schreef: een blogbericht waarin hij zich afvraagt ​​waarom het Uber AI-team geen technisch document naast een persbericht had verstrekt om meer details over hun werk te geven.

Irpan wijst er ook op dat door de staat van het spel te veranderen, om hun aanpak te vergemakkelijken, de Uber AI-onderzoekers het speelveld mogelijk aanzienlijk hebben veranderd. Gezien dit feit vraagt ​​hij zich af hoe praktisch de aanpak zou kunnen zijn.

De blogpost zegt dat deze aanpak kan worden gebruikt voor gesimuleerde robottaken en vervolgens kan worden gecombineerd met sim-naar-real-overdracht om real-world beleid te krijgen. Wat dat betreft ben ik redelijk pessimistisch, schrijft hij.

Bijgewerkt 11.28 met commentaar van Alex Irpan.

zich verstoppen