211service.com
Een door AI aangedreven robothand heeft zichzelf honderd jaar geleerd om een kubus te draaien
Dactylus
AI-onderzoekers hebben aangetoond een zelflerend algoritme dat een robothand opmerkelijke nieuwe behendigheid geeft. Hun creatie leerde zichzelf een kubus te manipuleren met griezelige vaardigheid door het equivalent van honderd jaar te oefenen in een computersimulatie (hoewel slechts een paar dagen in realtime).
De robothand is nog lang niet zo wendbaar als een menselijke, en veel te onhandig om in een fabriek of magazijn te worden ingezet. Toch toont het onderzoek het potentieel aan van machine learning om nieuwe robotcapaciteiten te ontsluiten. Het suggereert ook dat robots zichzelf op een dag nieuwe vaardigheden kunnen aanleren in virtuele werelden, wat het proces van programmeren of trainen enorm zou kunnen versnellen.
Het robotsysteem, Dactyl genaamd, is ontwikkeld door onderzoekers van OpenAI , een non-profitorganisatie gevestigd in Silicon Valley. Het maakt gebruik van een kant-en-klare robothand van een Brits bedrijf genaamd Shadow, een gewone camera en een algoritme dat een uitgestrekte multiplayer-videogame, DotA, al onder de knie heeft met dezelfde zelflerende benadering (zie Een team van AI-algoritmen zojuist verpletterde mensen in een complex computerspel).
Het algoritme maakt gebruik van een machine learning-techniek die bekend staat als versterkingsleren. Dactyl kreeg de taak om een kubus zo te manoeuvreren dat een ander gezicht werd omgedraaid. Het werd overgelaten om met vallen en opstaan uit te zoeken welke bewegingen het gewenste resultaat zouden opleveren.
Video's van Dactyl laten zien hoe hij de kubus met indrukwekkende behendigheid ronddraait. Het ontdekte automatisch verschillende grepen die mensen vaak gebruiken. Maar het onderzoek toonde ook aan hoe ver AI nog te gaan heeft: de robot kon de kubus slechts 13 van de 50 keer succesvol manipuleren na honderd jaar virtuele trainingstijd - veel meer dan een mensenkind nodig heeft.
Het zal niet snel in een industriële workflow passen, zegt Rodney Brooks, emeritus hoogleraar aan het MIT en oprichter van Rethink Robotics, een startup die intelligentere industriële robots maakt. Maar dat is prima - onderzoek is een goede zaak om te doen.
Reinforcement learning is geïnspireerd op de manier waarop dieren lijken te leren door middel van positieve feedback. Het werd decennia geleden voor het eerst voorgesteld, maar het is pas de laatste jaren praktisch gebleken dankzij de vooruitgang met kunstmatige neurale netwerken (zie 10 doorbraaktechnologieën 2017: Reinforcement learning). De Alfabet-dochter DeepMind maakte gebruik van versterkend leren om AlphaGo te creëren, een computerprogramma dat zichzelf leerde het duivels complexe en subtiele bordspel Go te spelen met bovenmenselijke vaardigheden.
Andere robotica-onderzoekers hebben de aanpak al een tijdje getest, maar werden verlamd door de moeilijkheid om de complexiteit en onvoorspelbaarheid van de echte wereld na te bootsen. De OpenAI-onderzoekers hebben dit omzeild door willekeurige variaties in hun virtuele wereld aan te brengen, zodat de robot kon leren rekening te houden met overlast als wrijving, ruis in de hardware van de robot en momenten waarop de kubus deels aan het zicht onttrokken is.
Alex Ray, een van de ingenieurs achter de robot, zegt dat Dactyl kan worden verbeterd door hem meer verwerkingskracht te geven en meer randomisatie te introduceren. Ik denk dat we de limiet nog niet hebben bereikt, zegt hij. Ray voegt eraan toe dat er geen plannen zijn om de technologie te commercialiseren. Zijn team is puur gericht op het ontwikkelen van de meest krachtige gegeneraliseerde leerbenaderingen die mogelijk zijn.
Dit is moeilijk om goed te doen, zegt Dmitry Berenson , een roboticus aan de Universiteit van Michigan die gespecialiseerd is in machinemanipulatie. Berenson zegt dat het niet precies duidelijk is hoe ver de nieuwste benaderingen van machine learning ons zullen brengen. Er komt veel menselijk werk kijken bij het bedenken van het juiste netwerk voor een specifieke taak, zegt hij. Maar hij gelooft dat gesimuleerd leren erg nuttig kan zijn: als we op betrouwbare wijze de 'realiteitskloof' kunnen overbruggen, wordt leren exponentieel gemakkelijker.