Podcast: hoe games AI leren om voor zichzelf te leren

AI-gamegeschiedenis

mevrouw Tech | Unsplash





Van schaken tot Jeopardy tot e-sports, AI verslaat steeds meer mensen in hun eigen games. Maar dat was nooit het uiteindelijke doel. In deze eerste aflevering van seizoen drie van In Machines We Trust duiken we in de symbiotische relatie tussen games en AI. We ontmoeten de grote spelers in de ruimte en maken een uitstapje naar een speelhal.

In deze aflevering ontmoeten we:

  • Julian Togelius, Associate Professor, Department of Computer Science and Engineering, New York University
  • Will Douglas-Heaven, Senior Editor voor AI, MIT Technology Review
  • David Silver, hoofdonderzoeker bij DeepMind, professor aan University College London.
  • David Fahri, hoofdonderzoeker, Open AI

Om deze aflevering te maken, spraken we ook met Natasha Regan, Actuaris bij RPC Tyche, Chess WIM en co-auteur van 'Game Changer'.

Geluiden van:

Credits:

Deze aflevering werd gerapporteerd door Jennifer Strong en Will Douglas Heaven en geproduceerd door Anthony Green, Emma Cillekens en Karen Hao. We worden geredigeerd door Niall Firth, Michael Reilly en Mat Honan. Onze mix-engineer is Garret Lang. Geluidsontwerp en muziek door Jacob Gorski.



Volledig transcript:

[TR-ID]

[SOT: Jeopardy kondigt Watson Challenge aan]

Trebeck: Vandaag kondigen we een Jeopardy-competitie aan zoals we nog nooit eerder hebben gepresenteerd.



Jennifer: Tien jaar geleden onthulde de tv-quizshow Jeopardy een nieuwe speler...

Trebeck: Het is een oefenwedstrijd met twee van de grootste gevaarspelers in de geschiedenis... hun uitdager? Nou, zijn naam is Watson.

Documentaire Omroeper: [muziek] Watson is een IBM-computer die is ontworpen om Jeopardy te spelen. Watson begrijpt natuurlijke taal met al zijn ambiguïteit en complexiteit.



Jennifer: En misschien niet verrassend... gezien het feit dat het spelen van Jeopardy is het ding het was ontworpen om te doen ... Watson was goed. Heel goed.

[SOT: Montage van Watson Jeopardy antwoorden.]

Trebek: Watson.



Watson: Wat is Istanboel.

Trebek: Je hebt gelijk.

Trebek: Watson.

Watson: Wat is parlement.

Trebek: Rechts.

Trebek: Watson.

Watson: Wat is oud grieks.

Trebek: Watson, terug naar jou.

Jennifer: Na drie nachten hiervan won Watson... de twee beste spelers in de geschiedenis van de spelshow verslaan... Van schaken tot Jeopardy tot e-sports... AI verslaat mensen in hun eigen games... (om zo te zeggen)... maar dat was nooit het ultieme doel. Onderzoekers proberen intelligente systemen te bouwen die nuttiger en algemener zijn dan alles wat we hebben.

David Zilver: Als het menselijk brein allerlei verschillende taken kan oplossen, kunnen we dan programma's bouwen die hetzelfde kunnen doen?

Jennifer: Ik ben Jennifer Strong en in deze aflevering duiken we in de symbiotische relatie tussen games en AI. Want zolang er AI-onderzoek is, maken games er deel van uit. We ontmoeten de grote spelers in de ruimte... en we gaan naar een speelhal.

{Spel klinkt}

Karen Hao: In zekere zin hebben games een beetje overdreven AI-mogelijkheden, omdat...

Jennifer: Dat is mijn collega Karen Hao...

Karen Hao: Veel mensen geloven nu dat AI veel meer in staat is dan het in werkelijkheid is, maar games zijn eigenlijk een demonstratie van ongelooflijk beperkte intelligentie. En we zitten nu een beetje vast in deze cyclus waarin AI-onderzoek specifiek dit pad bewandelt van steeds geavanceerdere games zonder daadwerkelijk naar meer en meer geavanceerde, complexe situaties in de echte wereld te gaan, omgevingen ... dat is wat we eigenlijk nodig hebben.

{Spel klinkt}

[Toon ID]

OC:...je hebt je bestemming bereikt.

Julian Togelius: Games maken al deel uit van AI sinds AI begon, of sinds het idee van AI begon.

Jennifer: Julian Togelius is een professor en computerwetenschapper die in New York City woont...

Julian Togelius: Ik werk aan AI om games beter te maken en ook aan games om AI beter te maken.

Jennifer: Hij geeft me een geschiedenisles over deze relatie tussen games en AI... en op de een of andere manier slaagt hij erin om het te doen terwijl hij ook een paar videogames speelt waarmee hij heeft gewerkt.

Julian Togelius: Ik werk vooral met de videospelletjes en een soort van moderne videospelletjes, want echt schaken en Go en zo... Ik bedoel, daar zijn we een beetje klaar mee. Het is zoiets als, ik bedoel, [gelach] om mensen die graag schaken en Go of poker spelen voor de mentale uitdaging niet te ontmoedigen. Dat is prima. Maar weet je, er zijn zoveel meer mogelijkheden, zoveel meer interessante uitdagingen in de andere spellen.

Jennifer: Hoe ben je in dit vak terechtgekomen?

Julian Togelius: Ja. Dus toen mijn moeder mijn katten weggaf, [gelach] Het is waar! Ik bedoel, zij, ze werd allergisch en wat ga je doen? Dus gaf ze me een computer voor een Commodore 64, en ik begon al deze spellen te spelen en ik raakte echt gefascineerd door deze kleine, kleine werelden. En toen groeide ik op... nou ja, min of meer. [gelach] Uh, ik ben opgegroeid, ik heb de middelbare school afgemaakt. Ik ben filosofie en psychologie gaan studeren. Ik was geïnteresseerd in, hoe werkt de geest? Wat is de relatie tussen bewustzijn en intelligentie en hoe komt het allemaal tot stand?

Jennifer: Deze vragen brachten hem tot een vroege paper van de baanbrekende computerwetenschapper Alan Turing... Hij was de eerste die bewees dat het bouwen van een computer zelfs wiskundig mogelijk was.

Julian Togelius: Die krant gaat grotendeels over games. Het gaat over het imitatiespel, wat nu een Turing-test wordt genoemd, waarbij je probeert te bepalen of iemand met wie je in wezen aan het chatten bent - in de jaren vijftig heette het nog niet chatten - of iemand met wie je via sms praat een computer is of een mens. Het gaat ook over schaken. Omdat schaken al heel vroeg een kernfocus werd van onderzoek naar kunstmatige intelligentie.

Jennifer: We denken dat mensen die schaken een bepaald niveau van intelligentie hebben … en zo werd het spel een manier om te meten hoe intelligent machines zijn.

En... leuk weetje? Het allereerste schaakprogramma werd geschreven voordat er bestond zelfs een computer om het uit te voeren. Turing speelde het in 1950... met behulp van een algoritme op papier uitgewerkt.

(Het werkte niet erg goed.)

Maar mensen bleven dit onderzoek decennialang bevorderen.

En toen, in 1997, versloeg I-B-M's Deep Blue-computer Garry Kasparov... de regerend wereldkampioen schaken.

[SOT] - Deep Blue verslaat Garry Kasparov in Game Six via YouTube

Commentator 2: Missen we iets op het schaakbord nu Kasparov het ziet? Hij ziet er niet uit.. hij ziet er zelfs verontwaardigd uit.

Commentator 1: Wauw!

Commentator 2: Diepblauw! Kasparov heeft na de verhuizing C4 ontslag genomen!

[Applaus]

Julian Togelius: En dit was een enorme intellectuele gebeurtenis waar mensen aan dachten, oké, wat nu? Hebben we zojuist kunstmatige intelligentie opgelost? En het blijkt dat nee, dat deed je niet, want dit schaakprogramma kon niet eens dammen spelen zonder ingrijpende herprogrammering. Het kon Go niet spelen. Het kon niet veel dingen afspelen. En meer nog, hij kon zijn schoenveters niet strikken. Het kon geen macaroni koken. Het kon geen liefdesgedicht schrijven. Het kon niet naar buiten om een ​​krant te kopen. Het kon geen van deze dingen doen die mensen altijd doen. Het kan echt letterlijk maar één ding doen. Het zou kunnen schaken. Hij was er verdomd goed in, maar hij kon eigenlijk alleen maar schaken.

Jennifer: Dus de mens had een oplossing gevonden voor wat werd beschouwd als de grootste uitdaging van het creëren van intelligentie... maar toen je onder de motorkap van het programma keek... zei hij dat het in wezen gewoon een soort zoektocht was.

Julian Togelius: Wat als ik deze stap neem? En dan, wat als mijn tegenstander deze zet doet, wat als ik dan deze zet doe? Dus we hadden een boom van mogelijkheden en tegenmogelijkheden gebouwd en daaruit berekend. Het was eigenlijk veel ingewikkelder dan dat, maar dat was de kern van wat het deed. En mensen keken er zo naar, dit lijkt helemaal niet op hoe onze hersenen werken. Ik bedoel, we weten niet echt hoe onze hersenen werken, maar wat ze ook doen, dit is het niet. [lachen]

Jennifer: Maar het wordt niet ALLEEN gebruikt om games tegen mensen te spelen... AI verschijnt op allerlei manieren in games. Vooral om ze interessanter en uitdagender te maken.

Bijvoorbeeld…. AI verandert delen van videogames... zodat ze elke keer dat we ze spelen anders zijn, en dat is al het geval sinds de jaren 19-80.

Julian Togelius: En dit principe van, altijd iets nieuws maken... en elke keer dat je het spel speelt is het nieuw... is in veel verschillende spellen bewaard gebleven. Daar is bijvoorbeeld de Diablo-serie games op gebaseerd, of de Civilization-serie strategiegames. Elke keer dat je het speelt, heb je een compleet nieuwe wereld en dat is de kern van het spel. Het zou gewoon niet hetzelfde zijn als je dat niet deed.

Jennifer: Een andere reden om dit te doen is vanwege de opslag... en hij zegt dat een spel genaamd Elite een belangrijke mijlpaal werd... toen het beschikbaar werd gemaakt voor personal computers, waaronder de Commodore 64.

Julian Togelius: Het past onmogelijk in het geheugen van deze computer. Dus één versie had 4.096 verschillende sterrenstelsels. Nu, als je maar 64.000 bytes geheugen had en stel je eens voor hoe weinig dat is, dat is een miljoenste van een computer die je vandaag kunt kopen. Dus moesten ze het sterrenstelsel elke keer dat je daar aankwam opnieuw creëren. Bouw het in principe vanaf nul op.

Jennifer: En dat is nu nog steeds het geval. Natuurlijk hebben we veel meer opslagruimte. Maar games zijn ook veel, veel groter en complexer.

Julian Togelius: Het spel No Man's Sky, dat in 2016 uitkwam, maar ze blijven het updaten - het wordt steeds indrukwekkender. Het heeft meer planeten dan je ooit in je leven zou kunnen bezoeken, maar op de een of andere manier past het allemaal in je computer omdat ze elke keer dat je ze ziet opnieuw worden gemaakt.

Jennifer: Ondertussen zijn onderzoekers ook doorgegaan met het bouwen van AI's voor het spelen van games ... en Togelius zegt dat een van de volgende uitdagingen in die ruimte voor hen zal zijn om veel games tegelijk te spelen ... omdat multitasken iets is dat mensen goed kunnen ... maar dat is nog niet het geval voor deze systemen.

Dus, hoe komen we van deze zeer gestructureerde omgevingen met veel voorspelbaarheid... naar iets dat dichter bij het echte leven staat, dat rommelig en chaotisch is en helemaal niet voorspelbaar.

Aan hem en andere onderzoekers…? We spelen meer spelletjes.

Julian Togelius: Als we een systeem hadden dat op betrouwbare wijze, met enige vaardigheid, de top honderd games op een toplijst van computergames zou kunnen spelen, zoals Steam of de AppStore of zoiets, dan zouden we iets hebben dat lijkt op algemene intelligentie.

Jennifer: Dus in sommige opzichten ... zijn we nog steeds een beetje waar we een halve eeuw geleden waren ... denkend dat we misschien wel de sleutel tot algemene intelligentie zouden kunnen vinden met AI-systemen die mensen in hun eigen spel kunnen verslaan.

[beat / muziek]

Maar we mixen ook games en AI op allerlei andere manieren…helpen ons graag met trainingsgegevens.

Een paar jaar geleden ontmoette ik een team in Princeton dat probeerde stopborden herkenbaarder te maken voor zelfrijdende auto's... met behulp van het spel Grand Theft Auto.

Hoe vreemd dat ook mag klinken... het is eigenlijk best praktisch als je bedenkt op hoeveel verschillende manieren een bestuurder een stopbord kan tegenkomen in de echte wereld... of het nu op een stok in de grond is... in de lucht hangt... of erop geschilderd is het trottoir... en we komen ze tegen bij alle soorten licht en weer... soms gedeeltelijk verborgen door boomtakken... of de duisternis van de nacht.

Onderzoekers kunnen op zoek gaan naar voorbeelden van al deze stopborden ... of videogames kunnen gewoon eindeloze voorbeelden genereren.

We gebruiken ook games om beter te begrijpen hoe algoritmen beslissingen nemen.

[Begin met het binnenhalen van geluiden uit Arcade. *Frogger-themamuziek en gameplay begint, wissel bewegingen*]

Jennifer: We zijn in een klassieke speelhal in Boston... omdat er verschillende van deze oudere videogames zijn die worden gebruikt om AI-systemen te trainen.

Will Douglas-Heaven: Hallo, ik ben Will Douglas-Heaven. Ik ben senior editor voor AI bij Technology Review... En ik kan Frogger niet spelen.

Will Douglas-Heaven: Frogger kwam vrij recent naar voren in een ander AI-onderzoek waar ze probeerden een AI te krijgen die zichzelf uitlegde en uitlegde wat het deed. Um, en ze leerden... ze trainden een AI om dit spel te spelen en je kent Frogger... Je kunt aan het geluid horen, ik blijf falen.

Dus Frogger is dit spel waarin je een kleine kikker bent en je moet een weg oversteken waar auto's een soort van links en rechts over het scherm bewegen, en je moet er tussenin ontwijken. En dan kom je bij een rivier en spring je op de rug van schildpadden en boomstammen om aan de andere kant te komen zonder erin te vallen zoals ik daar deed. Eh, hoe dan ook, dus het is een spel met een heleboel duidelijke acties die je bij elke stap onderneemt. En dus toen ze de AI trainden om het te doen, kregen ze elke keer dat het een actie ondernam, het in, eh, soort, je weet wel, menselijke begrijpelijke bewoordingen uit te leggen waarom het dat deed.

[*Spelgeluiden gaan verder*]

Jennifer: Kortom, AI speelt het spel ... en na verloop van tijd werkt het uit hoe je kunt slagen. Willekeurige bewegingen evolueren naar complexe strategieën... zelfs van sommige wisten we niets.

[Ga door met spelgeluiden onder de VO hierboven en ook in dit stukje audio]

Will Douglas-Heaven: Ze gooiden de AI's naar deze oude spellen en lieten ze gewoon de schermen zien waarvan ze geen idee hadden hoe ze moesten spelen. Het waren gewoon pixels op een scherm, er gebeurde van alles. Ze probeerden dingen en soms ontploften ze. Soms schoten ze de buitenaardse schepen neer. En met alleen een soort beloning van je weet wanneer ze iets deden, oké, de score ging omhoog, ze kwamen er langzaam achter hoe ze het spel moesten spelen. En ze gingen van begrip, niets naar, in veel gevallen, het verslaan van de hoogste scores van de beste menselijke spelers. En zelfs enkele echt coole voorbeelden waarin ze manieren vonden om het spel te verslaan die mensen nog niet hadden ontdekt.

Jennifer: Een voorbeeld hiervan komt van een spel genaamd Q*Bert, dat spelers op een piramide van vierkanten plaatst.

Will Douglas-Heaven: Ik bedoel, het basisidee is dat je een kleine man hebt die van de piramide naar beneden springt vanaf de bovenste landing op de pleinen. En als je de vierkanten allemaal in dezelfde kleur hebt veranderd, kun je naar het volgende niveau gaan. Maar de AI, denk ik op het eerste niveau, veranderde alle kleuren van de vierkanten en bleef vervolgens op en neer springen over de vierkanten in plaats van naar het volgende niveau te gaan. En het vond een bug in het spel waardoor het in een zeer korte tijd een soort oneindige score kon behalen. En zelfs de ontwerpers van het spel waren alsof ik die bug nog niet eerder had gezien.

Jennifer: Na de pauze… We ontmoeten enkele pioniers achter grote doorbraken op dit gebied. Maar eerst wil ik je vertellen over een evenement genaamd CyberSecure in november. Het is de cyberbeveiligingsconferentie van Tech Review en ik zal daar zijn met mijn collega's. U kunt meer leren op Cyber ​​Secure M-I-T dot com.

We zijn zo terug... hierna.

[MIDROLL]

David Zilver: Mijn naam is David Silver. Ik werk aan kunstmatige intelligentie en pas dat toe op games. Ik werk voor een bedrijf genaamd DeepMind en ons doel is om te proberen kunstmatige intelligentie te gebruiken om te proberen een systeem te bouwen met een deel van de intelligentie die in het menselijk brein zit.

Jennifer: DeepMind staat centraal in dit werk met games. Het is een onderzoekslab dat deel uitmaakt van Google's Alphabet.

David Zilver: Als het menselijk brein allerlei verschillende taken kan oplossen, kunnen we dan programma's bouwen die hetzelfde kunnen doen?

Jennifer: Hij is de hoofdonderzoeker achter enkele van de bekendste AI-systemen die het spelen van games onder de knie hebben... te beginnen met bordspellen (inclusief het oude Chinese strategiespel Go.)

David Zilver: We ontwikkelden een systeem genaamd AlphaGo, dat het eerste programma was dat het spel Go op het niveau van menselijke topspelers kon spelen. En inderdaad, het was in staat om de wereldkampioen Lee Sedol te verslaan.

David Zilver: En er is een enorme hoeveelheid games, waarvan vele deze prachtige eigenschappen hebben die ons in staat stellen om er gewoon in te duiken en een stukje van de wereld op zichzelf te begrijpen zonder te hoeven omgaan met alle immense complexiteit van de echte wereld alles in een keer.

Jennifer: AlphaGo leerde bordspellen spelen op basis van hoe mensen spelen.

Het volgende systeem van Silver, AlphaZero, leerde bordspellen en videogames op een andere manier spelen... door de regels van een spel te leren en zichzelf dan steeds opnieuw te spelen.

David Zilver: Na AlphaGo probeerden we de volgende stap te zetten en iets nog algemener te maken, namelijk om niet slechts één spel te kunnen spelen, maar veel spellen met dezelfde technologie. En dit is een grote opstap, want het probeert echt een van de dingen te doen die wij, als mensen, kunnen doen, namelijk veel problemen oplossen, met behulp van dezelfde soort machines binnenin.

Jennifer: Het is een mijlpaal in het algemener maken van AI... Maar met een belangrijk voorbehoud. Het algoritme kan deze spellen niet allemaal tegelijk leren spelen. Het is alsof het voor elk spel aparte hersenen bouwt. Dus het moet zijn schaakbrein verwisselen voordat hij Go speelt.

Het is veilig om te zeggen dat onderzoekers nog steeds proberen erachter te komen hoe games een test voor het echte leven kunnen worden. Omdat games regels hebben die kunnen worden gedefinieerd ... en niemand echt de regels kent waarmee de wereld werkt.

David Zilver: De wereld is echt een rommelige plek. Weet je, het heeft een ongelooflijk rijke dynamiek, allerlei details in de manier waarop objecten bewegen. De manier waarop de dingen die we zien zich verhouden tot de dingen die we aanraken. Er is gewoon deze ongelooflijke rijkdom en complexiteit in de echte wereld. En we kunnen onmogelijk hopen dat aan te pakken op de manier waarop mensen historisch gezien games hebben benaderd. Dus wat we nodig hebben is iets dat de wereld voor zichzelf kan begrijpen op een manier die de patronen begrijpt op een manier die nuttig is om beslissingen te nemen die echt zinvol zijn om zijn doelen te helpen bereiken.

Jennifer: Zijn nieuwste project heet MuZero. Het blinkt uit in net zoveel games als AlphaZero... (evenals een hele reeks videogames).

...maar dit systeem komt erachter hoe te spelen zonder dat er regels worden gegeven.

David Zilver: Het werd dus echt losgelaten. Het was in staat om tegen zichzelf te spelen. En aan het einde van het spel kreeg hij alleen maar een signaal om te zeggen: Hé, je hebt gewonnen of Hé, je hebt verloren. En op basis van dat signaal was het in staat om de regels van het spel voor zichzelf voldoende te begrijpen, zodat het zich een beetje kon voorstellen wat er in de toekomst zou gebeuren. En toen het eenmaal dit vermogen had om zich in de toekomst voor te stellen, was het in staat om te zoeken en vooruit te kijken en in de toekomst te denken en te zeggen, aha, nu begrijp ik hoe deze wereld werkt. Ik kan me voorstellen wat er zou gebeuren als ik deze zet zou spelen of deze actie zou ondernemen. En dat is dus echt een belangrijke stap die we nodig hebben en iets dat volgens ons heel belangrijk is voor de toekomst van AI.

Jennifer: Hij zegt dat het lijkt op een baby die vat krijgt op de wereld eromheen... in de loop van de tijd probleemoplossend en creatieve vaardigheden ontwikkelt.

David Zilver: Ik denk dat we al voorbeelden zien waarin we, binnen beperkte domeinen, algoritmen zien die in alle opzichten creatief zijn. Ik bedoel, wat is creativiteit anders dan, je weet wel, het vermogen om een ​​nieuw idee voor zichzelf te ontdekken. En ik denk dat dat de essentie van creativiteit is. De essentie van creativiteit is wat onze algoritmen aan het doen zijn, namelijk stap voor stap iets nieuws ontdekken en door hun ervaring leren dat dit nieuwe idee dat ze hebben bedacht eigenlijk iets is dat krachtig is en dat het helpt om zijn doel te bereiken. doelen. Dus ik denk dat we in de toekomst steeds meer creativiteit van deze vorm zullen zien. We zullen machines zien die in staat zijn om voor zichzelf ideeën te ontdekken die hen helpen doelen te bereiken. Niet omdat iemand hen heeft verteld dat dit is wat je nodig hebt om dat doel te bereiken, maar omdat ze het zelf hebben bedacht.

Jennifer: En.. die creativiteit heeft AlphaZero ertoe gebracht nieuwe dingen te ontdekken over schaken. Nutsvoorzieningen…. menselijke spelers nemen het eigenlijk over in hun eigen spellen ... noemen het ... 'een alfa-nulzet spelen'.

[SOT: hoe speel je zoals AlphaZero]

Gastheer: Welkom bij een nieuwe editie van How to Attack lLike AlphaZero! Ik hoop dat je klaar bent voor de les van vandaag….

Jennifer: Dat gebeurt ook met e-sports... dit zijn videogamecompetities die vaak worden gespeeld voor een live publiek... vergelijkbaar met een sportevenement... Met een wereldwijd publiek van bijna een half miljard kijkers die afstemmen om hun favoriete games te zien spelen door enkele van de beste gamers ter wereld.

Ook hier wordt AI op een heleboel manieren gebruikt... zoals coachingtools om mensen te helpen beter te spelen... en (wederom) streven onderzoekers er ook naar om e-sports te gebruiken om hun AI-systemen intelligenter te maken...

David Farhi: We stellen ons voor dat er op een gegeven moment algemene kunstmatige-intelligentiesystemen zullen zijn die problemen echt snel kunnen oplossen, misschien kunnen leren op het niveau van mensen.

Jennifer: David Farhi is een hoofdonderzoeker bij Open AI... Het onderzoekslab opgericht door Elon Musk en een aantal andere beroemdheden uit Silicon Valley.

Het creëerde het eerste systeem dat wereldkampioenen versloeg in een e-sportgame.

Die game heet Defense of the Ancients 2, die iedereen Dota 2 noemt... en er is een nieuwe documentaire over deze overwinning... genaamd Artificial Gamer.

[Clip uit de trailer van Artificial Gamer]

[Dramatische muziek en geluiden uit Dota 2-gameplay]

Spreker 1: Als je naar het spel van Dota kijkt, zijn er meer dan 10.000 variabelen op elk moment dat je systeem moet opnemen.

Spreker 2: De AI leert op een heel andere manier dan mensen.

Spreker 3: Het speelt tegen kopieën van zichzelf. Vele, vele malen in de cloud..

Jennifer: Fahri hield toezicht op het Dota 2-project, genaamd de Open AI Five... en hij demonstreerde hoe het werkt op de AI-conferentie van Tech Review, EmTech Digital...

[Sounds of Dota 2-gameplay via Youtube. [00:03 - 00:15] Fade in, dan bed onder de volgende Farhi select. *Zwaardgevechten, voetstappen en dramatische strijdmuziek.*]

David Farhi: In de rechterbovenhoek van dit scherm. We zien een heel groot, uitgezoomd, zicht op de hele wereld van Dota. In de linker benedenhoek staat de basis van één team. In de rechterbovenhoek is de basis van een ander team. Elk team probeert zijn personages te verplaatsen, spreuken uit te spreken met hun personages, de vijanden aan te vallen enzovoort om uiteindelijk de basis van het andere team binnen te vallen en te vernietigen.

David Farhi: Deze meer gecompliceerde systemen, zoals robotica en videogames, voelen anders aan, omdat je een observatie krijgt van de staat van het spel, en dan kies je een actie die je wilt ondernemen. En dan verandert de staat van het spel op de een of andere manier, afhankelijk van de actie die je hebt ondernomen. En dan heb je een nieuwe waarneming en kun je een nieuwe actie kiezen en deze lus gebeurt steeds weer opnieuw. En dus moet je beslissingen nemen die op de lange termijn gevolgen hebben. Dus de manier waarop we dit doen is relatief eenvoudig. Conceptueel tenminste. We hebben agenten die volledig willekeurig beginnen te spelen. En we moeten ze gewoon tegen zichzelf spelen, steeds weer een kloon van zichzelf.

Jennifer: En als je denkt dat dit heel lang kan duren met zo'n ingewikkeld spel? Je hebt geen ongelijk... maar het vermogen van Open AI om het op 200-duizend machines tegelijk te laten draaien... helpt.

Kortom... het is in staat om ongeveer 250 jaar ervaring per dag op te doen.

En als het systeem iets doet dat werkt... het wordt geüpdatet om dat ding meer te doen... en als er iets ergs gebeurt dat niet werkt, doet het dat ding minder.

David Farhi: We begonnen met een beperkte versie van het spel. We waren uiteindelijk in staat om ons ontwikkelaarsteam te verslaan, wat erg leuk was. En toen hebben we meer stukken van het spel toegevoegd. We gingen terug en trainden langer. En we waren in staat om enkele amateurs te verslaan en vervolgens enkele semi-professionele mensen. Uiteindelijk hebben we besloten om naar een groot toernooi te gaan dat dit spel heeft..

[Geluiden van The International 3 (Dota-toernooi) via YouTube. *Crowd juichen, sportcommentatoren die opgewonden schreeuwen, Dota-gameplay.*]

sportverslaggever: Het zou hun laatste stand kunnen zijn. [onhoorbaar]

sportverslaggever: Hij gaat proberen iedereen te concentreren, maar er zijn zoveel dingen.

sportverslaggever: Er zijn geen clips meer beschikbaar. Tot ongeveer de helft van HP.

sportverslaggever: Een kwart pk. Een leeuw die van alle kanten omringt! EKB! sportverslaggever: Ze hebben de ronde gewonnen! Ze gaan het doen!

sportverslaggever: De koningen van het noorden! Alliantie wint! Ze winnen TI 3.

sportverslaggever: De Alliantie heeft zojuist 1,4 miljoen dollar gewonnen!

sportverslaggever: Zij zijn uw Internationale 3 kampioenen!

David Farhi: Dit spel heeft dus miljoenen menselijke gebruikers die in deze toernooien strijden om grote prijzen, wat ervoor zorgt dat we weten dat er mensen zijn die op een zeer, zeer hoog niveau spelen. In augustus 2018 namen we onze agent mee naar dit toernooi.

Jennifer: Hun AI speelde tegen twee professionele teams die al uit het toernooi waren geëlimineerd... en nipt verloren. Maar het volgende jaar, met meer training, kon de AI de voormalige wereldkampioenen met 2-0 verslaan.

David Farhi: Dus OpenAI Five wordt getraind zonder mensen in het trainingsproces, dus het speelt gewoon tegen zichzelf in deze cloudservers, keer op keer, keer op keer. En als we het dan tegen een mens willen spelen, nemen we een momentopname uit de cloud en spelen het tegen de mens, maar we voeren die gegevens nooit terug in het trainingsproces.

[Muziek]

Jennifer: Maar er is nog steeds de vraag of games ons kunnen helpen AI te trainen om nuttiger te zijn.

Op dit moment hebben we systemen die extreem goed zijn in één ding. Maar we hebben nog geen modellen die veel dingen tegelijk kunnen.

Nogmaals, mijn collega Will Douglas Heaven.

Will Douglas-Heaven: De truc zal zijn, ik denk dat we terug moeten stappen van het bouwen van AI's die uitblinken in specifieke strategieën of technieken, of een briljante oplossing hebben voor deze specifieke regel of zet, weet je, het soort dingen dat we in deze AI's die kunnen leren games te spelen.

Jennifer: Om de volgende fase van dit onderzoek echt te begrijpen... Het kan nuttig zijn om na te denken over de manier waarop kinderen spelen op een speelplaats.

Will Douglas-Heaven: Ze spelen geen spel met echte vaste regels. Ik bedoel, ze kunnen ze gaandeweg verzinnen, maar, weet je, ze zijn gewoon aan het verkennen, dingen uitproberen en op een heel natuurlijke en open manier. En er is geen duidelijk doel waar ze naartoe werken. En ik denk dat het dit soort techniek is, dat nog steeds een soort toneelstuk is, dat we gaan zien, weet je, echt dingen vooruit helpen als we het hebben over algemene intelligentie. Zo heeft Deepmin een paar maanden geleden een virtuele speeltuin uitgebracht. Het is een soort videogamewereld genaamd X Land. En het wordt bevolkt door een stel kleine bots. En het leuke hier is dat X Land zelf wordt bestuurd door een AI of een soort gamemaster die de omgeving herschikt, de obstakels en de blokken en de ballen herschikt waarmee de kleine bots kunnen spelen, en ook met verschillende regels op de vlucht. Dus simpele spellen zoals taggen of verstoppertje, en de bots moeten gewoon leren hoe ze die moeten spelen. Je weet welke objecten in die virtuele wereld hen daarbij zullen helpen. En ze leren algemene vaardigheden zoals verkennen, gewoon dingen uitproberen. En ik denk dat dit soort verkenning met een open einde de sleutel zal zijn voor de volgende generatie AI. En het is best spannend dat de [00:09:00] volgende golf van AI, de AI's die goed zullen zijn in meerdere dingen, [00:09:03] We // er misschien nog wel komen via games. Dus games gaan nergens heen. Games zijn al vanaf het begin met AI. En weet je, het is leuk om te zien dat spelen misschien nog steeds de beste manier van leren is.

[CREDITS]

Jennifer: Deze aflevering is gerapporteerd door mij en Will Douglas-Heaven... en geproduceerd door Anthony Green, Emma Cillekens en Karen Hao. We worden geredigeerd door Niall Firth, Michael Reilly en Mat Honan. Onze mix engineer is Garret Lang... met geluidsontwerp en muziek van Jacob Gorski.

Bedankt voor het luisteren, ik ben Jennifer Strong.
[TR-ID]

zich verstoppen