211service.com
Hoe lang duurt het voordat AI-systemen op creatieve nieuwe manieren worden gehackt?
De nieuwste kunstmatige-intelligentietechnieken worden in een razendsnel tempo door bedrijven overgenomen. Het duurt niet lang of hackers gaan ook een kijkje nemen en ze kunnen allerlei problemen veroorzaken door deze systemen te misleiden met illusoire gegevens.
Tijdens een recente AI-conferentie in Barcelona, Spanje, zei Ian Goodfellow, een onderzoekswetenschapper bij OpenAI die baanbrekend werk heeft verricht op het gebied van misleidende machine-learningsystemen, dat het aanvallen van de systemen eenvoudig is. Bijna alles wat je maar kunt bedenken om een machine learning-model te gebruiken, kan nu worden gedaan, zei hij. En het verdedigen ervan is heel, heel moeilijk.
In de afgelopen jaren hebben onderzoekers verschillende manieren aangetoond waarop machine learning-programma's kunnen worden gemanipuleerd door gebruik te maken van hun neiging om patronen in gegevens te ontdekken. Ze zijn kwetsbaar, deels omdat ze geen echte intelligentie hebben. Het is bijvoorbeeld mogelijk om een billboard te gebruiken om de vision-systemen van zelfrijdende auto's te misleiden om dingen te zien die er niet zijn. Onhoorbare signalen kunnen spraakgestuurde assistenten ertoe verleiden ongewenste acties te ondernemen, zoals het bezoeken van een website en het downloaden van malware.
Goodfellow en anderen ontwikkelen tegenmaatregelen. Het is mogelijk om een machine learning-systeem te trainen om misleidende voorbeelden te herkennen en vervolgens te negeren. Maar het is lastig om je tegen elke mogelijke aanval te beschermen.
Het voor de gek houden van machine learning-systemen kan meer worden dan een academische oefening. Dit is heel reëel, zegt Patrick McDaniel, een professor aan de Pennsylvania State University die de kwestie heeft onderzocht. Machine learning-systemen sturen allerlei functies aan waarmee tegenstanders geld kunnen verdienen, en dus zullen georganiseerde en geavanceerde aanvallers deze aanvallen omarmen.
McDaniel wijst erop dat hackers al jaren machine learning-systemen te slim af zijn. Spammers hebben bijvoorbeeld leeralgoritmen gevoed met valse e-mails om spamberichten later door te laten. Hij zegt dat het niet lang zal duren voordat er meer geavanceerde aanvallen opduiken.
De eerste aanvallen zullen zeer binnenkort plaatsvinden op online classificatiesystemen, zegt McDaniel. Dit kunnen moderne spamfilters zijn, systemen die zijn ontworpen om illegaal of auteursrechtelijk beschermd materiaal te detecteren, en geavanceerde computerbeveiligingssystemen op basis van machine learning.
Een nieuw artikel suggereert dat het probleem meer wijdverbreid zou kunnen zijn dan eerder bekend was. Het laat zien dat bepaalde vormen van bedrog kunnen worden hergebruikt tegen verschillende machine learning-systemen, of zelfs tegen een groot black box-systeem waarvan een aanvaller geen voorkennis heeft.
Bugs die op de loer liggen in deze populaire tools voor machine learning kunnen een andere manier zijn om ze te targeten. Nieuwe tools voor machine learning ontwikkelen zich in een snel tempo en worden vaak gratis online vrijgegeven voordat ze worden gebruikt in actieve diensten zoals beeldherkenning of natuurlijke taalanalysetools.
Tijdens dezelfde conferentie in Spanje benadrukte Octavian Suciu, een PhD-student aan de Universiteit van Maryland, een aantal van dergelijke kwetsbaarheden in sommige populaire tools. Suciu analyseerde de broncode van deze programma's en ontdekte dat deze gemanipuleerd kon worden. Hij ontdekte problemen met de manier waarop sommige tools informatie in het geheugen opslaan, wat betekent dat het invoeren van een zeer groot stuk gegevens een deel van het programma zou kunnen overschrijven en het gedrag ervan zou veranderen.
Suciu speculeert dat de aanpak een handige manier zou kunnen zijn om bijvoorbeeld een tool te manipuleren die voorraadvoorspellingen biedt, die vervolgens kunnen worden gebruikt om de markt te shorten. Als [een model] je vertelt dat het aandeel zal stijgen, zou je de voorspelling kunnen veranderen om te zeggen dat het zou dalen, zegt hij.