211service.com
Een nieuwe reeks afbeeldingen die AI voor de gek houdt, kan het hackerbestendiger maken
foto van een paddenstoel, libel en eekhoorn, allemaal verkeerd gelabeld als pretzel, putdeksel en zeeleeuw Unsplash: Florian Van Duyn / Krzysztof Niewolny / Pranay Pareek
Kunstmatige intelligentie is geweldig in het identificeren van objecten in afbeeldingen, maar het is nog steeds vrij eenvoudig om het te verknoeien. Voeg een paar keuzestreken of laag toe aan wat statische ruis die onzichtbaar is voor het menselijk oog, en je kunt een beeldherkenningssysteem afwerpen, soms met dodelijk effect. Door stickers aan een stopbord toe te voegen, kan een zelfrijdende auto denken dat het bord bijvoorbeeld een maximumsnelheid van 45 mijl per uur aangeeft, terwijl het toevoegen van stickers aan een weg een Tesla kan laten uitwijken naar de rijbaan voor tegemoetkomend verkeer. (Aan de positieve kant kunnen dezelfde technieken je ook beschermen tegen de bewakingsstaat. Je wint wat, je verliest wat.)
Al deze staan bekend als vijandige voorbeelden - en onderzoekers proberen nu manieren te ontwikkelen om AI-systemen tegen hen te beschermen. Maar in een papier vorig jaar voerde een groep onderzoekers van Google Brain en Princeton, waaronder een van de eerste onderzoekers over dit onderwerp, Ian Goodfellow, aan dat de opkomende beurs te theoretisch was en het punt miste.
Hoewel het grootste deel van het onderzoek gericht was op het beschermen van systemen tegen speciaal ontworpen verstoringen, zou een hacker waarschijnlijk een botter hulpmiddel kiezen: een compleet andere foto in plaats van een ruispatroon om op een bestaande te leggen. Ook dit kan ertoe leiden dat het systeem zich misdraagt.
De kritiek zette Dan Hendrycks, een PhD-student aan de University of California, Berkeley, ertoe aan een nieuwe afbeeldingsgegevensset . Hij noemt de afbeeldingen dat het natuurlijke voorbeelden van tegenstanders bevat - zonder speciale aanpassingen houden ze toch een systeem voor de gek.
Ze omvatten dingen als een eekhoorn die door gewone systemen ten onrechte als een zeeleeuw wordt bestempeld, of een libel die ze ten onrechte als een putdeksel beschouwen. Deze voorbeelden lijken veel moeilijker te verdedigen, zegt hij. Synthetische tegenstanders moeten alle verdedigingen van het AI-systeem kennen om het meest effectief te zijn. Daarentegen kunnen natuurlijke voorbeelden behoorlijk goed werken, zelfs als die verdediging verandert, zegt hij.
Hendrycks heeft vorige week op de International Conference on Machine Learning een vroege versie van de dataset, met zo'n 6.000 afbeeldingen, uitgebracht. Hij is van plan om binnen een paar weken een definitieve versie uit te brengen met bijna 8.000 exemplaren. Hij wil dat de onderzoeksgemeenschap de dataset als benchmark gaat gebruiken.
Met andere woorden, in plaats van beeldherkenningssystemen rechtstreeks op de beelden te trainen, zouden ze deze alleen voor testen moeten reserveren. Als mensen gewoon zouden trainen op deze dataset, dan is dat gewoon het onthouden van deze voorbeelden, zegt hij. Dat zou het oplossen van de dataset zijn, maar niet de taak om robuust te zijn voor nieuwe voorbeelden.
Het kraken van de logica achter de soms verbijsterende fouten die de voorbeelden veroorzaken, zou kunnen leiden tot veerkrachtiger systemen. Hoe verwart dit een libel met guacamole? Hendrycks grappen. Het is niet zo duidelijk waarom de fout überhaupt wordt gemaakt.