Robots krijgen een knop 'Ongedaan maken' waarmee ze sneller kunnen leren

Categorie: Geen categorie Geplaatst 27 november

Diep bekrachtigend leren werkt net als een kind dat een vaardigheid leert: oefening baart kunst. Voor een autonome agent zoals een robot moet zijn omgeving echter tussen pogingen worden teruggezet naar zijn oorspronkelijke staat - een karwei dat uren kan duren als mensen bijvoorbeeld rondscharrelen om objecten te vervangen.

Een nieuwe arXiv-paper door onderzoekers van Google Brain, de Universiteit van Cambridge, het Max Planck Institute for Intelligent Systems en UC Berkeley beschrijven een methode die een agent kan leren om de omgeving opnieuw in te stellen voor de volgende poging, en om te voorkomen dat hij acties uitvoert die onomkeerbaar.

Hun opmars was om agenten een vooruitstrevend en resetbeleid te geven dat samenwerkt. Terwijl het vooruitbeleid de taak heeft om een ​​vaardigheid te leren, dwingt het indrukken van reset een agent om te leren hoe hij geen sporen kan achterlaten, waardoor een actie effectief wordt teruggedraaid. Acties waarvan de robot denkt dat ze onomkeerbaar zijn, worden zo snel mogelijk afgebroken.

De onderzoekers schrijven dat ze hun agenten intuïtie wilden geven om alles wat omkeerbaar is als veilig te classificeren, omdat het mogelijk is om terug te gaan naar de oorspronkelijke staat. Met vallen en opstaan ​​ontdekt de agent dat steeds meer acties omkeerbaar zijn, waardoor hij veilig kan verkennen.

Diepe versterkingsleer wordt vaak gedaan in simulatie, en vooral wanneer omgevingen in de echte wereld minder vergevingsgezind zijn voor fouten, zoals een autonome auto die over een klif rijdt. Zelfs in veiligere situaties kan het wachten op handmatige reset een knelpunt worden bij het verzamelen van gegevens. Om deze reden was het werk van het team beperkt tot virtuele omgevingen. Uiteindelijk moeten er echter tests in de echte wereld worden uitgevoerd, en dit onderzoek zou het sneller en veiliger kunnen maken.

Zoals Jack Clark opmerkt in zijn... AI importeren nieuwsbrief , weerspiegelt dit document het werk dat wordt beschreven in een ander papier (PDF) van Facebook AI Research vorige maand, waarin een enkele agent twee afzonderlijke modi heeft, bijgenaamd Alice en Bob, waarvan er één probeert de taak om te keren die de andere heeft geprobeerd te voltooien. Dit soort werk om AI in staat te stellen vooruit te plannen, zou het (en ons) in de toekomst kunnen behoeden voor rampzalige fouten.