Hoe we onszelf kunnen beschermen tegen kwaadaardige AI

Een diagram met een afbeelding van een panda, plus een afbeelding van wat ruis, gelijk aan een afbeelding van een panda die ten onrechte is geïdentificeerd als een gibbon. Panda-foto: flickr.com / Gabriele Gherardi

We hebben het eerder gehad over het concept van tegenstrijdige voorbeelden - de klasse van kleine veranderingen die, wanneer ze in een diepgaand leermodel worden ingevoerd, ervoor zorgen dat het zich misdraagt. In maart spraken we op onze jaarlijkse EmTech Digital-conferentie, professor Dawn Song van UC Berkeley, over hoe ze stickers gebruikte om een ​​zelfrijdende auto te laten denken dat een stopbord een bord van 75 mijl per uur was, en hoe ze gebruikmaakte van op maat gemaakte berichten om een ​​op tekst gebaseerd model gevoelige informatie zoals creditcardnummers te laten uitspugen. In april hadden we het op dezelfde manier over hoe white hat-hackers stickers gebruikten om Tesla Autopilot te verwarren met het sturen van een auto in tegenliggers.

In de afgelopen jaren, naarmate systemen voor diep leren steeds meer doordringen in ons leven, hebben onderzoekers aangetoond hoe tegenstrijdige voorbeelden alles kunnen beïnvloeden, van eenvoudige beeldclassificaties naar kankerdiagnosesystemen , wat leidt tot gevolgen die variëren van goedaardig tot levensbedreigend. Ondanks hun gevaar worden tegenstrijdige voorbeelden echter slecht begrepen. En onderzoekers maken zich zorgen over hoe - of zelfs of - het probleem kan worden opgelost.

NAAR nieuw papier van MIT wijst nu in de richting van een mogelijk pad om deze uitdaging te overwinnen. Het zou ons in staat kunnen stellen om veel robuustere modellen voor diep leren te creëren die veel moeilijker op kwaadaardige manieren te manipuleren zouden zijn. Laten we, om de betekenis ervan te begrijpen, eerst de basis van tegenstrijdige voorbeelden bekijken.

Zoals we al vaker hebben opgemerkt, komt de kracht van deep learning voort uit het uitstekende vermogen om patronen in gegevens te herkennen. Voed een neuraal netwerk tienduizenden gelabelde dierenfoto's en het zal leren welke patronen worden geassocieerd met een panda en welke patronen worden geassocieerd met een aap. Het kan die patronen vervolgens gebruiken om nieuwe afbeeldingen van dieren te identificeren die het nog nooit eerder heeft gezien.

Maar deep learning-modellen zijn ook broos. Omdat een beeldherkenningssysteem alleen vertrouwt op pixelpatronen in plaats van een dieper conceptueel begrip van wat het ziet, is het gemakkelijk om het systeem te misleiden om iets heel anders te zien - gewoon door de patronen op de juiste manier te verstoren. Hier is een klassiek voorbeeld: voeg een beetje ruis toe aan een afbeelding van een panda en een systeem zal het met bijna 100% zekerheid classificeren als een gibbon. Het geluid is hier de vijandige aanval.

Ian Goodfellow et al/OpenAI

Sinds een paar jaar zien onderzoekers dit fenomeen, vooral in computer vision-systemen, zonder echt te weten hoe ze van dergelijke kwetsbaarheden af ​​kunnen komen. In feite vroeg een paper die vorige week werd gepresenteerd op de grote AI-onderzoeksconferentie ICLR zich af of: vijandige aanvallen zijn onvermijdelijk . Het lijkt erop dat, ongeacht hoeveel panda-afbeeldingen je een beeldclassificator voedt, er altijd een soort verstoring zal zijn die je kunt ontwerpen om het systeem af te werpen.

Maar de nieuwe MIT-paper laat zien dat we verkeerd hebben nagedacht over vijandige aanvallen. In plaats van manieren te bedenken om meer en betere trainingsgegevens te verzamelen om aan ons systeem te geven, moeten we de manier waarop we training benaderen fundamenteel heroverwegen.

Het toonde dit aan door een nogal interessante eigenschap van tegenstrijdige voorbeelden te identificeren die ons helpen begrijpen waarom ze zo effectief zijn. De schijnbaar willekeurige ruis of stickers die verkeerde classificaties veroorzaken, maken in feite gebruik van zeer precieze, minuscule patronen die het beeldsysteem heeft geleerd sterk te associëren met specifieke objecten. Met andere woorden, de machine misdraagt ​​zich niet wanneer hij een gibbon ziet waar wij een panda zien. Het is inderdaad het zien van een patroon van pixels, niet waarneembaar voor mensen, dat tijdens de training veel vaker voorkwam op de gibbon-foto's dan op de panda-foto's.

De onderzoekers illustreerden dit door een experiment uit te voeren: ze creëerden een dataset van hondenafbeeldingen die allemaal op kleine manieren waren veranderd, waardoor een standaard afbeeldingsclassificator ze ten onrechte als katten zou identificeren. Vervolgens bestempelden ze de afbeeldingen verkeerd als katten en gebruikten ze ze om vanaf het begin een nieuw neuraal netwerk te trainen. Na de training lieten ze het neurale netwerk echte kattenbeelden zien, en het identificeerde ze allemaal correct als katten.

Wat de onderzoekers suggereerde, is dat er in elke dataset twee soorten correlaties zijn: patronen die eigenlijk correleren met de betekenis van de gegevens, zoals de snorharen in een kattenafbeelding of de vachtkleuringen in een pandaafbeelding, en patronen die voorkomen in de trainingsgegevens, maar niet generaliseren naar andere contexten. Deze laatste misleidende correlaties, zoals we ze zullen noemen, zijn degenen die worden uitgebuit bij vijandige aanvallen. In het bovenstaande diagram maakt de aanval bijvoorbeeld gebruik van een pixelpatroon dat foutief gecorreleerd is met gibbons door die onmerkbare pixels in het pandabeeld te begraven. Het herkenningssysteem, getraind om het misleidende patroon te herkennen, pikt het op en gaat ervan uit dat het naar een gibbon kijkt.

Dit vertelt ons dat als we het risico van vijandige aanvallen willen elimineren, we de manier waarop we onze modellen trainen moeten veranderen. Momenteel laten we het neurale netwerk kiezen welke correlaties het wil gebruiken om objecten in een afbeelding te identificeren. Maar als gevolg hiervan hebben we geen controle over de correlaties die het vindt en of ze echt of misleidend zijn. Als we in plaats daarvan onze modellen zouden trainen om alleen de echte patronen te onthouden - die daadwerkelijk verband houden met de betekenis van de pixels - zou het theoretisch mogelijk zijn om diepgaande leersystemen te produceren die niet op deze manier voor schade kunnen worden vervormd.

Toen de onderzoekers dit idee testten door alleen echte correlaties te gebruiken om hun model te trainen, verminderde het in feite de kwetsbaarheid van het model: het werd slechts 50% van de tijd met succes gemanipuleerd, terwijl een model dat was getraind op zowel echte als valse correlaties kon worden gemanipuleerd 95 % van de tijd.

Anders gezegd, het lijkt erop dat vijandige voorbeelden niet onvermijdelijk zijn. Maar we hebben meer onderzoek nodig om ze volledig te elimineren.

Dit verhaal verscheen oorspronkelijk in onze Webby-genomineerde AI-nieuwsbrief The Algorithm. Meld je hier aan om meer van dit soort verhalen rechtstreeks in je inbox te ontvangen. Het is gratis.

zich verstoppen