AlphaGo Zero laat zien dat machines zonder hulp bovenmenselijk kunnen worden

www.alphagomovie.com

AlphaGo was niet lang de beste Go-speler ter wereld. Er is een nieuwe versie van het meesterlijke AI-programma verschenen, en het is een monster. In een rechtstreekse matchup versloeg AlphaGo Zero het originele programma met 100 wedstrijden tegen niemand.

Wat echt cool is, is hoe AlphaGo Zero het deed. Terwijl de originele AlphaGo leerde door gegevens op te nemen van honderdduizenden games die werden gespeeld door menselijke experts, AlphaGo Zero, ook ontwikkeld door de dochteronderneming van Alphabet DeepMind , begon met niets anders dan een leeg bord en de spelregels. Het leerde simpelweg door miljoenen games tegen zichzelf te spelen, en gebruikte wat het in elk spel leerde om te verbeteren.

Het nieuwe programma is een stap voorwaarts in de zoektocht om machines te bouwen die echt intelligent zijn. Dat komt omdat machines oplossingen moeten bedenken voor moeilijke problemen, zelfs als er niet veel trainingsgegevens zijn om van te leren.

Verwant verhaal

Verwant verhaal

Het meest opvallende is dat we geen menselijke data meer nodig hebben, zegt Demis Hassabis, CEO en medeoprichter van DeepMind. Hassabis zegt dat de technieken die worden gebruikt om AlphaGo Zero te bouwen krachtig genoeg zijn om te worden toegepast in echte situaties waar het nodig is om een ​​enorm landschap van mogelijkheden te verkennen, waaronder het ontdekken van geneesmiddelen en materiaalwetenschap. Het onderzoek achter AlphaGo Zero wordt vandaag gepubliceerd in het tijdschrift Natuur.

Opmerkelijk is dat AlphaGo Zero tijdens dit zelfstudieproces veel van de trucs en technieken ontdekte die menselijke Go-spelers de afgelopen duizenden jaren hebben ontwikkeld. Een paar dagen later herontdekt het bekende beste toneelstukken, en in de laatste dagen gaat het verder dan die toneelstukken om iets nog beters te vinden, zegt Hassabis. Het is best gaaf om te zien.

DeepMind, gevestigd in Londen, werd in 2014 overgenomen door Google. Het bedrijf is gericht op het maken van grote stappen in AI met behulp van gameplay, simulatie en machine learning; het heeft honderden AI-onderzoekers ingehuurd om dit doel na te streven. Bij de ontwikkeling van AlphaGo Zero waren ongeveer 15 mensen en waarschijnlijk miljoenen dollars aan computerbronnen betrokken, zegt Hassabis.

Zowel AlphaGo als AlphaGo Zero gebruiken een machine learning-benadering die bekend staat als wapeningsleren (zie 10 Breakthrough Technologies 2017: Reinforcement Learning) en diepe neurale netwerken. Reinforcement learning is geïnspireerd op de manier waarop dieren lijken te leren door middel van experimenten en feedback, en DeepMind heeft de techniek gebruikt om bovenmenselijke prestaties te bereiken in eenvoudiger Atari-games.

Het aantal mogelijke configuraties op het Go-bord is groter dan het aantal atomen in het universum. www.alphagomovie.com

Het beheersen van het bordspel Go was echter vooral belangrijk omdat het spel zo complex is en omdat de beste spelers hun bewegingen zo instinctief maken. Met andere woorden, de regels van goed spel zijn niet eenvoudig uit te leggen of in code te schrijven.

Reinforcement learning is ook veelbelovend voor het automatiseren van het programmeren van machines in veel andere contexten, inclusief die waar het onpraktisch zou zijn om ze met de hand te programmeren. Het wordt al getest als een manier om robots te leren bijvoorbeeld lastige objecten vast te pakken, en als een manier om energie te besparen in datacenters door hardware on-the-fly te herconfigureren. In veel praktijksituaties is het echter mogelijk dat er niet een groot aantal voorbeelden is om van te leren, wat betekent dat machines zelf moeten leren. Dat maakt AlphaGo Zero interessant.

Door geen menselijke gegevens of menselijke expertise te gebruiken, hebben we de beperkingen van menselijke kennis weggenomen, zegt David Silver , de hoofdonderzoeker bij DeepMind en een professor aan het University College London. Het is in staat om kennis voor zichzelf te creëren vanuit de eerste principes.

Om Go suprematie te bereiken, speelde AlphaGo Zero gewoon tegen zichzelf, aanvankelijk willekeurig. Net als het origineel gebruikte het een diep neuraal netwerk en een krachtig zoekalgoritme om de volgende zet te kiezen. Maar in AlphaGo Zero zorgde één neuraal netwerk voor beide functies.

Martin Muller , een professor aan de Universiteit van Alberta in Canada die belangrijk werk heeft verricht aan Go-playing-software, is onder de indruk van het ontwerp van AlphaGo Zero en zegt dat het versterkend leren bevordert. De architectuur is eenvoudiger, maar krachtiger dan eerdere versies, zegt hij.

DeepMind is nu al de lieveling van de AI-industrie, en zijn nieuwste prestatie zal zeker de krantenkoppen halen en het debat op gang brengen over de voortgang naar veel krachtigere vormen van AI.

Er zijn echter redenen om voorzichtig te zijn met de aankondiging. Peter Zondagen , een professor aan de Universiteit van Washington, wijst erop dat het programma nog vele miljoenen games moet spelen om Go onder de knie te krijgen - veel meer dan een ervaren menselijke speler. Dit suggereert dat de intelligentie die het programma gebruikt op de een of andere manier fundamenteel anders is.

Het is een mooie illustratie van de recente vooruitgang op het gebied van diep leren en versterkend leren, maar ik zou er niet te veel in lezen als een teken van wat computers kunnen leren zonder menselijke kennis, zegt Domingos. Wat echt indrukwekkend zou zijn, zou zijn als AlphaGo [legendarische Zuid-Koreaanse kampioen] Lee Sedol zou verslaan nadat hij ongeveer evenveel wedstrijden had gespeeld als hij in zijn carrière speelde voordat hij kampioen werd. Daar komen we niet in de buurt.

Zowel Silver als Hassabis geven toe dat het vinden van manieren waarop machines kunnen leren van veel minder gegevens belangrijk zal zijn in hun voortdurende zoektocht om intelligentie onder de knie te krijgen. Dit kan inhouden dat er nieuwe benaderingen worden ontwikkeld om machines te laten overdragen wat ze in het ene domein hebben geleerd naar het andere, of om te leren van het observeren van anderen (zowel mensen als andere AI's).

Maar ondanks het werk dat nog gedaan moet worden, heeft Hassabis goede hoop dat AI binnen 10 jaar een belangrijke rol zal spelen bij het oplossen van belangrijke problemen in de wetenschap, geneeskunde of andere gebieden. Ik hoop dat dit soort algoritmen, en toekomstige versies, routinematig met ons zullen samenwerken om de grenzen van wetenschap en geneeskunde te verleggen, zegt hij. Misschien zijn allerlei dingen mede ontworpen en ontdekt door dit soort algoritmen, in samenwerking met zeer slimme mensen.

zich verstoppen