211service.com
Elon Musk's OpenAI onthult een eenvoudigere manier voor machines om te leren
In 2013 verraste een Britse startup voor kunstmatige intelligentie genaamd DeepMind computerwetenschappers door te pronken met software die klassieke Atari-games beter kon leren spelen dan een ervaren menselijke speler. DeepMind werd al snel overgenomen door Google en de techniek die de Atari-games versloeg, versterkingsleren, is een hot topic geworden op het gebied van AI en robotica. Google gebruikte versterkingsleren om software te maken die vorig jaar een kampioen Go-speler versloeg.
Nu zegt OpenAI, een non-profit onderzoeksinstituut dat mede is opgericht en gefinancierd door Elon Musk, dat het heeft ontdekt dat een gebruiksvriendelijker alternatief voor versterkend leren rivaliserende resultaten kan opleveren wanneer het games speelt en andere taken uitvoert. Op de EmTech Digital-conferentie van MIT Technology Review in San Francisco op maandag zei Ilya Sutskever, onderzoeksdirecteur van OpenAI, dat onderzoekers sneller vooruitgang kunnen boeken op het gebied van machine learning.
Het is concurrerend met de huidige algoritmen voor het leren van versterkingen op standaardbenchmarks, zei Sutskever. Het is verrassend dat zoiets eenvoudigs echt werkt.
Machine learning-software van OpenAI heeft ontdekt hoe klassieke Atari-games kunnen worden gespeeld.
Sutskever stelt dat het vinden van nieuwe manieren om software dingen te laten leren, zoals het spelen van computerspelletjes of het besturen van robots, belangrijk is om machine learning-software complexere taken te laten overnemen dan alleen het herkennen van afbeeldingen of het transcriberen van onze spraak. Als we computersystemen hebben die leren om ingewikkelde acties in de wereld te ondernemen, dan denk ik dat we ze gerust intelligent zouden kunnen noemen, zei hij.
Sutskever en collega's testten hun aanpak, genaamd evolutie strategieën , door software te bouwen die meer dan 50 Atari-spellen leerde spelen, waaronder Pong en Centipede. Omdat het gemakkelijker is om de nieuwe methode op te schalen over meerdere processors, konden ze in één uur kunstmatige spelers trainen die vergelijkbaar waren met die welke een dag nodig hadden om te produceren met behulp van een systeem voor versterking dat vorig jaar werd gepubliceerd door Google DeepMind. Het toonde hetzelfde vermogen om dingen te leren, zoals de noodzaak om naar de lucht te komen in het spel Seaquest (middelste frame in de animatie).
Onderzoeksdirecteur van OpenAI, Ilya Sutskever
Evolutiestrategieën vertoonden een vergelijkbaar voordeel wanneer ze werden gebruikt om een standaardtest van robotica uit te voeren, waarbij software moet uitzoeken hoe een mensachtige wandeling in een gesimuleerde omgeving kan worden gemaakt. Het duurde 10 minuten om resultaten te bereiken die een ultramodern systeem voor versterkingsleer ongeveer 10 uur nodig zou hebben om te bereiken, zeggen de onderzoekers.
De techniek is een herstart van een decennia oud idee over hoe leersoftware verschillende acties kan uitproberen en de meest effectieve kan identificeren. Het is losjes geïnspireerd op hoe natuurlijke selectie ervoor zorgt dat biologische organismen zich aanpassen aan hun omgeving.
Een algoritme dat iedereen al lang kent, werkt beter dan de meeste mensen dachten, zei Sutskever.
Hij weigerde specifieke toepassingen van AI voor te stellen die een boost zouden kunnen krijgen van de techniek van evolutiestrategieën, en zei dat er meer onderzoek nodig is naar de sterke punten en beperkingen ervan. Maar Sutskever zei dat het vergelijken van de methode met versterkend leren suggereerde dat het beter zou zijn om te leren complexere taken uit te voeren waarvoor meer stappen nodig zijn om een resultaat te krijgen.
Om die reden, zei Sutskever, gelooft hij dat evolutiestrategieën OpenAI zullen helpen bij het creëren van wat hij kunstmatige algemene intelligentie noemt: software die zich kan aanpassen aan vele soorten complexe scenario's.
De meeste onderzoekers op het gebied van machine learning praten niet veel over algemene intelligentie, maar streven naar vooruitgang op specifieke, vaak nauw gerichte problemen. De missie van OpenAI omvat een verbintenis tot het creëren van kunstmatige algemene intelligentie. Sutskever zei dat het tempo van de vooruitgang in machine learning betekent dat het de moeite waard is om nu over dit doel na te denken.
[Het] lijkt nu ver weg, maar [was] vijf jaar geleden veel verder weg, zei hij. Het aantal mensen en de hoeveelheid moeite die wordt gestoken in het ontwikkelen van deze algoritmen is extreem hoog - de dingen gaan in een zeer gezond tempo vooruit.