211service.com
Hoe kwaadwillige machine learning AI kan laten ontsporen
Jeremy Portje
Kunstmatige intelligentie zal niets revolutionairs veranderen als hackers ermee kunnen rotzooien.
Dat is de waarschuwing van Dageraad lied , een professor aan UC Berkeley die gespecialiseerd is in het bestuderen van de beveiligingsrisico's van AI en machine learning.
Sprekend op EmTech Digital, een evenement in San Francisco geproduceerd door MIT Technology Review, waarschuwde Song dat nieuwe technieken voor het onderzoeken en manipuleren van machine learning-systemen - in het veld bekend als vijandige machine learning-methoden - grote problemen kunnen veroorzaken voor iedereen die de kracht van AI in het bedrijfsleven.
Song zei dat vijandige machine learning kan worden gebruikt om zowat elk systeem aan te vallen dat op de technologie is gebouwd.
Het is een groot probleem, zei ze tegen het publiek. We moeten samenkomen om het op te lossen.
Adversarial machine learning omvat het experimenteel invoeren van invoer in een algoritme om de informatie te onthullen waarop het is getraind, of het vervormen van invoer op een manier waardoor het systeem zich misdraagt. Door bijvoorbeeld veel afbeeldingen in een computervisie-algoritme in te voeren, is het mogelijk om de werking ervan te reverse-engineeren en bepaalde soorten uitvoer te garanderen, inclusief onjuiste.
Song presenteerde verschillende voorbeelden van trucjes met leren op tegenspraak die haar onderzoeksgroep heeft onderzocht.
Eén project, uitgevoerd in samenwerking met Google, omvatte het onderzoeken van algoritmen voor machine learning die waren getraind om automatische antwoorden op e-mailberichten te genereren (in dit geval de Enron e-mail dataset ). De inspanning toonde aan dat door het creëren van de juiste berichten het mogelijk is om het machinemodel gevoelige gegevens zoals creditcardnummers te laten uitspugen. De bevindingen werden door Google gebruikt om te voorkomen dat Smart Compose, de tool die automatisch tekst genereert in Gmail, misbruikt wordt.
Een ander project betrof het aanpassen van verkeersborden met een paar onschuldig ogende stickers om de computervisiesystemen die in veel voertuigen worden gebruikt, voor de gek te houden. In een videodemo liet Song zien hoe de auto kon worden misleid door te denken dat een stopbord eigenlijk zegt dat de maximumsnelheid 45 mijl per uur is. Dit kan een enorm probleem zijn voor een geautomatiseerd rijsysteem dat op dergelijke informatie vertrouwt.
Tegenstrijdige machine learning is een gebied van groeiende interesse voor machine learning onderzoekers. De afgelopen jaren hebben andere onderzoeksgroepen laten zien hoe online machine-learning-API's kunnen worden onderzocht en benut om manieren te bedenken om ze te misleiden of om gevoelige informatie te onthullen.
Het is niet verwonderlijk dat vijandige machine learning ook van groot belang is voor de defensiegemeenschap. Met een groeiend aantal militaire systemen - inclusief detectie- en wapensystemen - die machine learning gebruiken, is er een enorm potentieel voor deze technieken om zowel defensief als offensief te worden gebruikt.
Dit jaar lanceerde de onderzoeksafdeling van het Pentagon, DARPA, een groot project genaamd Guaranteeing AI Robustness against Deception (GARD), gericht op het bestuderen van vijandige machine learning. Hava Siegelman , directeur van het GARD-programma, vertelde onlangs aan MIT Technology Review dat het doel van dit project was om AI-modellen te ontwikkelen die robuust zijn in het licht van een breed scala aan vijandige aanvallen, in plaats van zich eenvoudigweg te kunnen verdedigen tegen specifieke aanvallen.