211service.com
AI leerde tools gebruiken na bijna 500 miljoen verstoppertje spelen
OpenAi
In de begindagen van het leven op aarde waren biologische organismen buitengewoon eenvoudig. Het waren microscopisch kleine eencellige wezens met weinig tot geen coördinatievermogen. Toch hebben miljarden jaren van evolutie door concurrentie en natuurlijke selectie geleid tot de complexe levensvormen die we vandaag de dag hebben, evenals tot complexe menselijke intelligentie.
Onderzoekers van OpenAI, het in San Francisco gevestigde AI-onderzoekslaboratorium met winstoogmerk, testen nu een hypothese: als je dat soort concurrentie in een virtuele wereld zou kunnen nabootsen, zou dit dan ook leiden tot veel geavanceerdere kunstmatige intelligentie?
Het experiment bouwt voort op twee bestaande ideeën in het veld: multi-agent leren, het idee om meerdere algoritmen in competitie of coördinatie te plaatsen om opkomend gedrag uit te lokken, en versterkend leren, de specifieke machine learning-techniek die leert een doel te bereiken door middel van proeven en fout. (DeepMind maakte de laatste populair met zijn doorbraakprogramma AlphaGo, dat de beste menselijke speler versloeg in het oude Chinese bordspel Go.)
In een nieuw papier vandaag vrijgegeven, heeft OpenAI nu de eerste resultaten onthuld. Door honderden miljoenen keren een eenvoudig verstoppertje te spelen, ontwikkelden twee tegengestelde teams van AI-agenten complexe verstop- en zoekstrategieën waarbij gereedschap en samenwerking betrokken waren. Het onderzoek biedt ook inzicht in de dominante onderzoeksstrategie van OpenAI: bestaande AI-technieken drastisch opschalen om te zien welke eigenschappen naar voren komen.
Na ongeveer 25 miljoen ronden verstoppertje te hebben gespeeld, leerden de onderduikers om forten te bouwen om het spel te winnen. OpenAI
Zes fasen van strategie
Om het spel te maken, ontwierpen de onderzoekers een virtuele omgeving die bestond uit een afgesloten ruimte met verschillende objecten zoals blokken, hellingen en mobiele en immobiele barricades. De agenten zelf werden bestuurd door algoritmen voor het leren van versterking. Voor elk spel werden de agenten in twee teams verdeeld: onderduikers werden beloond of bestraft voor het respectievelijk ontwijken of niet ontwijken van de zoekers; zoekers werden ook beloond of bestraft voor het al dan niet vinden van de onderduikers. Net als bij een klassiek verstoppertje, kregen ook onderduikers een paar seconden voorsprong. De onderzoekers gaven de agenten geen andere instructies.
In de loop van honderden miljoenen spelrondes ontwikkelden de agenten verschillende strategieën en tegenstrategieën. Tijdens de eerste fase ontwikkelden de verstoppers en zoekers zeer grove ontwijkings- en achtervolgingsstrategieën door zich door de ruimte te bewegen zonder een van de objecten te manipuleren.
In fase drie leerden de zoekers met behulp van een hellingbaan over de muren van het fort te klimmen. OpenAI
Maar rond de 25 miljoen spellen werd het spel geavanceerder. De onderduikers leerden de dozen en barricades in de omgeving te verplaatsen en op slot te doen om forten om zich heen te bouwen zodat de zoekers ze nooit zouden zien. Niet alleen dat, ze ontwikkelden ook coördinatiestrategieën, zoals het passeren van elkaars objecten, om het fortbouwproces te versnellen.
Na nog eens 75 miljoen ronden ontdekten de zoekers echter een tegenstrategie, waardoor het proces naar fase drie ging. Ze leerden een helling naast het onderduikersfort te verplaatsen en deze te gebruiken om over de muren te klimmen. In fase vier, 10 miljoen ronden later, hadden de onderduikers geleerd om de hellingen op hun plaats te vergrendelen voordat ze hun fort bouwden. (Geen van beide teams kon een object ontgrendelen dat was vergrendeld door een ander team.)
In eerste instantie geloofden de onderzoekers van OpenAI dat dit de laatste fase van het spel was, maar uiteindelijk kwamen er na 380 miljoen spellen nog twee strategieën naar voren. De zoekers ontwikkelden opnieuw een strategie om in het fort van de onderduikers in te breken door een vergrendelde helling te gebruiken om op een ontgrendelde kist te klimmen en vervolgens hun weg naar de top van de kist naar het fort en over de muren te surfen. In de laatste fase leerden de onderduikers opnieuw om alle hellingen en dozen op hun plaats te vergrendelen voordat ze hun fort bouwden.
Eindelijk, na 380 miljoen trainingsrondes, leerden de zoekers 'boxsurfen' om over de muren van het fort te klimmen. OpenAI
Opkomende intelligentie
De onderzoekers zijn van mening dat deze eerste resultaten een veelbelovende nieuwe methode aantonen om complexere AI te ontwikkelen. We hebben de onderduikers of de zoekers niet verteld om in de buurt van een doos te rennen of ermee om te gaan, zegt Bowen Baker, een van de auteurs van het artikel. Maar door competitie met meerdere agenten creëerden ze nieuwe taken voor elkaar, zodat het andere team zich moest aanpassen.
Deze studie weerspiegelt OpenAI's onderscheidende benadering van AI-onderzoek. Hoewel het lab ook heeft geïnvesteerd in het ontwikkelen van nieuwe technieken ten opzichte van andere labs, heeft het vooral naam gemaakt door bestaande technieken drastisch op te schalen. GPT-2, het beruchte taalmodel van het lab, bijvoorbeeld, leende zwaar algoritmisch ontwerp van eerdere taalmodellen, waaronder Google's BERT ; De belangrijkste innovatie van OpenAI was een staaltje techniek en uitgebreide rekenhulpmiddelen.
In zekere zin bevestigt deze studie opnieuw de waarde van het op grote schaal testen van de grenzen van bestaande technologieën. Het team is ook van plan deze strategie voort te zetten. De onderzoekers zeggen dat de eerste ronde van experimenten niet in de buurt kwam van het bereiken van de limieten van de computationele middelen die ze op het probleem konden gooien.
We willen dat mensen zich voorstellen wat er zou gebeuren als je dit soort concurrentie zou veroorzaken in een veel complexere omgeving, zegt Baker. Het gedrag dat ze leren, kan uiteindelijk een aantal problemen oplossen waarvan we misschien niet al weten hoe we ze moeten oplossen.
Correctie: De originele kop vermeldde het aantal games dat de agenten speelden verkeerd.