211service.com
Reinforcement-learning AI's zijn kwetsbaar voor een nieuw soort aanval
MIT TECHNOLOGIE REVIEW / ADAM GLEAVE
De voetbalbot staat in de rij om op het doel te schieten. Maar in plaats van zich klaar te maken om het te blokkeren, valt de keeper op de grond en wiebelt met zijn benen. Verward doet de spits een raar zijwaarts dansje, stampt met zijn voeten en zwaait met een arm, en valt dan om. 1-0 voor de keeper.
Het is geen tactiek die je door de profs zult zien gebruiken, maar het laat zien dat een kunstmatige intelligentie die is getraind via diep versterkend leren - de techniek achter geavanceerde game-playing AI's zoals AlphaZero en de OpenAI Five - kwetsbaarder is voor aanvallen dan voorheen gedachte. En dat kan ernstige gevolgen hebben.
Adam Gleave
In de afgelopen jaren hebben onderzoekers veel manieren gevonden om AI's te doorbreken die zijn getraind met behulp van gelabelde gegevens, ook wel gesuperviseerd leren genoemd. Kleine aanpassingen aan de invoer van een AI, zoals het veranderen van een paar pixels in een afbeelding, kunnen deze volledig vertroebelen, waardoor het bijvoorbeeld een afbeelding van een luiaard als een raceauto kan identificeren. Deze zogenaamde vijandige aanvallen hebben geen vaste oplossing.
Vergeleken met gesuperviseerd leren, is versterkend leren een relatief nieuwe techniek en is er minder onderzoek naar gedaan. Maar het blijkt ook kwetsbaar te zijn voor gemanipuleerde input. Reinforcement learning leert een AI hoe hij zich in verschillende situaties moet gedragen door hem te belonen voor het juiste doen. Uiteindelijk leert de AI een actieplan, ook wel een beleid genoemd. Beleid stelt AI's in staat om games te spelen, auto's te besturen of geautomatiseerde handelssystemen uit te voeren.
In 2017 keken Sandy Huang, die nu bij DeepMind zit, en haar collega's naar een AI die is getraind via bekrachtiging om de klassieke videogame Pong te spelen. Dat hebben ze laten zien het toevoegen van een enkele bedrieglijke pixel aan frames van video-invoer zou het betrouwbaar doen verliezen . Nu heeft Adam Gleave van de University of California, Berkeley, vijandige aanvallen naar een ander niveau getild.
Gleave maakt zich niet al te veel zorgen over de meeste voorbeelden die we tot nu toe hebben gezien. Ik ben er een beetje sceptisch over dat ze een bedreiging vormen, zegt hij. Het idee dat een aanvaller ons machine-learningsysteem gaat doorbreken door een kleine hoeveelheid ruis toe te voegen, lijkt niet realistisch. Maar in plaats van een AI voor de gek te houden door iets te zien dat er niet echt is, kun je veranderen hoe de dingen eromheen werken. Met andere woorden, een AI die is getraind met behulp van versterkingsleren kan worden misleid door vreemd gedrag. Gleave en zijn collega's noemen dit een vijandig beleid. Het is een voorheen niet-herkend dreigingsmodel, zegt Gleave.
Controle verliezen
In sommige opzichten is vijandig beleid zorgwekkender dan aanvallen op gesuperviseerde leermodellen, omdat versterkend leerbeleid het algehele gedrag van een AI bepaalt. Als een auto zonder bestuurder de input van zijn camera verkeerd classificeert, kan hij bijvoorbeeld terugvallen op andere sensoren. Maar saboteer het besturingssysteem van de auto - bestuurd door een algoritme voor het leren van versterking - en dit kan tot rampen leiden. Als er beleid zou worden ingevoerd zonder deze problemen op te lossen, zou dat heel ernstig kunnen zijn, zegt Gleave. Auto's zonder bestuurder kunnen in de war raken als ze worden geconfronteerd met een met de arm zwaaiende voetganger.
Gleave en zijn collega's gebruikten versterkende leertechnieken om stick-figure-bots te trainen om een handvol spellen voor twee spelers te spelen, waaronder een bal naar een doel trappen, over een lijn racen en sumoworstelen. De bots waren zich bewust van de positie en beweging van hun ledematen en die van hun tegenstanders.
Adam Gleave
Vervolgens trainden ze een tweede set bots om manieren te vinden om de eerste te exploiteren, en deze tweede groep ontdekte al snel vijandig beleid. Het team ontdekte dat de tegenstanders leerden hun slachtoffers betrouwbaar te verslaan na een training van minder dan 3% van de tijd die de slachtoffers nodig hadden om de spellen te leren spelen.
De tegenstanders leerden niet te winnen door betere spelers te worden, maar door acties uit te voeren die het beleid van hun tegenstanders doorbraken. In de voetbalwedstrijd en de hardloopwedstrijd staat de tegenstander soms niet eens op. Hierdoor zakt het slachtoffer ineen tot een verwrongen hoop of kronkelt het in cirkels. Bovendien presteerden de slachtoffers veel beter toen ze gemaskerd waren en hun tegenstander helemaal niet konden zien.
Het onderzoek, dat in april zal worden gepresenteerd op de International Conference on Learning Representations in Addis Abeba, Ethiopië, toont aan dat beleid dat robuust lijkt, ernstige tekortkomingen kan verbergen. Bij diepgaand leren evalueren we het beleid niet echt op een alomvattende manier, zegt Gleave. Een leermodel onder supervisie, getraind om bijvoorbeeld afbeeldingen te classificeren, wordt getest op een andere dataset dan waarop het is getraind om ervoor te zorgen dat het niet simpelweg een bepaalde reeks afbeeldingen heeft onthouden. Maar met versterkingsleren worden modellen doorgaans getraind en getest in dezelfde omgeving. Dat betekent dat je nooit zeker weet hoe goed het model zal omgaan met nieuwe situaties.
Het goede nieuws is dat vijandig beleid misschien gemakkelijker te verdedigen is dan andere aanvallen van tegenstanders. Toen Gleave de slachtoffers afstemde om rekening te houden met het vreemde gedrag van hun tegenstanders, werden de tegenstanders gedwongen om meer bekende trucs uit te proberen, zoals het laten struikelen van hun tegenstanders. Dat is nog steeds vies spel, maar maakt geen misbruik van een storing in het systeem. Menselijke spelers doen het tenslotte altijd.