De techniek die AI heeft geleerd om Go te spelen, kan een auto nog steeds niet leren rijden

Categorie: Kunstmatige intelligentie Geplaatst 15 januari

Reinforcement learning (RL), de categorie van machine learning die afhankelijk is van straffen en beloningen, kan een krachtige techniek zijn om machines te leren zich aan te passen aan nieuwe omgevingen.

Deepmind's AlphaGo gebruikte het om 's werelds beste Go-speler te verslaan, ondanks dat ze hem nog nooit eerder hadden gespeeld. Het is ook veelbelovend gebleken bij het maken van robots die kunnen presteren onder veranderende omstandigheden.

Maar de techniek heeft zijn beperkingen. Het vereist een machine om rond te blunderen terwijl het zijn acties in de loop van de tijd langzaam verfijnt. Dat is prima in het lab, of bij het spelen van een bordspel. Het is niet ideaal voor toepassingen, zoals zelfrijdende auto's, waar een blunder fataal kan zijn.

Als reactie hierop hebben onderzoekers verschillende manieren ontwikkeld om de behoefte aan training in de echte wereld te omzeilen. Een auto kan verkeersgegevens gebruiken om bijvoorbeeld te leren rijden in een veilige digitale replica van de fysieke wereld, om voorbij zijn blunderende fase te komen zonder iemand in gevaar te brengen.

Maar dit is geen perfecte oplossing. Een machine kan nog steeds kostbare fouten maken wanneer hij situaties tegenkomt die buiten het bereik van zijn trainingsgegevens vallen. In één geval ontdekten onderzoekers van de Universiteit van New York dat een auto had geleerd bochten van 90 graden te maken in tegemoetkomend verkeer (gelukkig in een simulatie) omdat de trainingsgegevensset dat soort scenario's niet omvatte. Onnodig te zeggen dat dit niet haalbaar is voor het veilig trainen van een zelfrijdende auto of bijvoorbeeld een robotchirurg.

Hetzelfde team van NYU en de directeur van AI-onderzoek bij Facebook, Yann Lecun, zijn nu een nieuwe methode voorstellen die dit probleem zou kunnen verhelpen. Naast het bestraffen en belonen van een auto voor rijgedrag, bestraften ze hem ook voor het afdwalen in scenario's waarin hij niet genoeg trainingsgegevens heeft.

In wezen dwingt dit de auto om voorzichtiger te rijden, legt Mikael Henaff, een van de auteurs van het onderzoek, uit, in plaats van wilde bochten en andere manoeuvres te maken die hem vierkant op onbekend terrein plaatsen.

Toen ze hun nieuwe aanpak testten, ontdekten ze dat het beter was dan eerdere methoden om de auto veilig door druk verkeer te laten rijden. Het was echter nog steeds niet zo goed als menselijke prestaties, dus er moet nog meer worden gedaan.

Dit verhaal verscheen oorspronkelijk in onze AI-nieuwsbrief The Algorithm. Als je dit soort verhalen eerst wilt lezen, moet je The Algorithm rechtstreeks in je inbox laten bezorgen. Schrijf u hier gratis in.