211service.com
De achilleshiel van Machine Vision onthuld door onderzoekers van Google Brain
Een van de meest spectaculaire ontwikkelingen in de moderne wetenschap is de opkomst van machine vision. In slechts een paar jaar tijd heeft een nieuwe generatie machine learning-technieken de manier waarop computers zien veranderd.
Machines presteren nu beter dan mensen op het gebied van gezichtsherkenning en objectherkenning en zijn bezig met het revolutioneren van tal van op visie gebaseerde taken, zoals autorijden, veiligheidsbewaking, enzovoort. Machinevisie is nu bovenmenselijk.
Maar er ontstaat een probleem. Machine vision-onderzoekers beginnen enkele zorgwekkende tekortkomingen van hun nieuwe ladingen op te merken. Het blijkt dat algoritmen voor machinevisie een achilleshiel hebben waarmee ze kunnen worden misleid door afbeeldingen die zijn gewijzigd op manieren die voor een mens triviaal zouden zijn om te herkennen.
Deze gewijzigde afbeeldingen worden vijandige afbeeldingen genoemd en vormen een aanzienlijke bedreiging. Een tegenstrijdig voorbeeld voor het gezichtsherkenningsdomein kan bestaan uit zeer subtiele markeringen die op het gezicht van een persoon worden aangebracht, zodat een menselijke waarnemer hun identiteit correct zou herkennen, maar een machine learning-systeem zou ze herkennen als een ander persoon, zeggen Alexey Kurakin en Samy Bengio bij Google Brain en Ian Goodfellow van OpenAI, een non-profit AI-onderzoeksbureau.
Omdat machine vision-systemen zo nieuw zijn, is er weinig bekend over vijandige beelden. Niemand begrijpt hoe ze het beste kunnen worden gemaakt, hoe ze machine vision-systemen voor de gek houden of hoe ze zich kunnen beschermen tegen dit soort aanvallen.
Vandaag begint dat te veranderen dankzij het werk van Kurakin en co, die voor het eerst systematisch vijandige beelden zijn gaan bestuderen. Hun werk laat zien hoe kwetsbaar machine vision-systemen zijn voor dit soort aanvallen.
Het team start met een standaarddatabase voor machine vision-onderzoek, bekend als ImageNet. Dit is een database met afbeeldingen die zijn geclassificeerd op basis van wat ze laten zien. Een standaardtest is om een machine vision-algoritme op een deel van deze database te trainen en vervolgens te testen hoe goed het een ander deel van de database classificeert.
De prestaties in deze tests worden gemeten door te tellen hoe vaak het algoritme de juiste classificatie heeft in zijn top 5 antwoorden of zelfs zijn top 1 antwoord (de zogenaamde top 5 nauwkeurigheid of top 1 nauwkeurigheid) of hoe vaak het niet de juiste antwoord in zijn top 5 of top 1 (zijn top 5 foutenpercentage of hoogste 1 foutenpercentage).
Een van de beste machine vision-systemen is het Inception v3-algoritme van Google, met een top 5-foutpercentage van 3,46 procent. Mensen die dezelfde test doen, hebben een top 5-foutpercentage van ongeveer 5 procent, dus Inception v3 heeft echt bovenmenselijke vermogens.
Kurakin en co hebben een database met vijandige afbeeldingen gemaakt door 50.000 afbeeldingen van ImageNet op drie verschillende manieren te wijzigen. Hun methoden maken gebruik van het idee dat neurale netwerken informatie verwerken om een afbeelding te matchen met een bepaalde classificatie. De hoeveelheid informatie die hiervoor nodig is, de kruis-entropie genoemd, is een maatstaf voor hoe moeilijk de matching-taak is.
Hun eerste algoritme maakt een kleine wijziging in een afbeelding op een manier die deze kruis-entropie probeert te maximaliseren. Hun tweede algoritme herhaalt dit proces eenvoudigweg om het beeld verder te wijzigen.
Deze algoritmen veranderen beide de afbeelding op een manier die het moeilijker maakt om correct te classificeren. Deze methoden kunnen leiden tot oninteressante misclassificaties, zoals het verwarren van een sledehondras voor een ander sledehondras, zeggen ze.
Hun uiteindelijke algoritme heeft een veel slimmere aanpak. Dit wijzigt een afbeelding op een manier die het machine vision-systeem ertoe aanzet het op een specifieke manier verkeerd te classificeren, bij voorkeur een die het minst lijkt op de echte klasse. De minst waarschijnlijke klasse wijkt meestal sterk af van de echte klasse, dus deze aanvalsmethode resulteert in interessantere fouten, zoals het aanzien van een hond voor een vliegtuig, zeggen Kurakin en co.
Vervolgens testen ze hoe goed het Inception v3-algoritme van Google de 50.000 vijandige afbeeldingen kan classificeren.
De twee eenvoudige algoritmen verminderen de nauwkeurigheid van de top 5 en top 1 aanzienlijk. Maar hun krachtigste algoritme - de minst waarschijnlijke klassemethode - reduceert de nauwkeurigheid snel tot nul voor alle 50.000 afbeeldingen. (Het team zegt niet hoe succesvol het algoritme is in het sturen van verkeerde classificaties.)
Dat suggereert dat vijandige beelden een aanzienlijke bedreiging vormen, maar er is een potentiële zwakte in deze benadering. Al deze vijandige beelden worden rechtstreeks in het machine vision-systeem ingevoerd.
Maar in de echte wereld wordt een beeld altijd aangepast door het camerasysteem dat de beelden vastlegt. En een vijandig beeldalgoritme zou nutteloos zijn als dit proces het effect ervan zou neutraliseren. Een belangrijke vraag is dus hoe robuust deze algoritmen zijn voor de transformaties die in de echte wereld plaatsvinden.
Om dit te testen, printen Kurakin en co alle vijandige afbeeldingen samen met de originelen en fotograferen ze met de hand met een Nexus 5-smartphone. Vervolgens voeren ze deze getransformeerde vijandige beelden in het machine vision-systeem.
Kurakin en co zeggen dat de minst waarschijnlijke klassenmethode het meest kwetsbaar is voor dit soort transformaties, maar dat de andere redelijk goed standhouden. Met andere woorden, vijandige beeldalgoritmen zijn echt een bedreiging in de echte wereld. Een aanzienlijk deel van de vijandige beelden die zijn gemaakt met behulp van het originele netwerk, worden verkeerd geclassificeerd, zelfs wanneer ze via de camera naar de classifier worden gevoerd, aldus het team.
Dat is interessant werk dat een belangrijk licht werpt op de achilleshiel van machine vision. En er is genoeg werk voor de boeg. Kurakin en co willen vijandige beelden ontwikkelen voor andere soorten zichtsystemen en deze nog effectiever maken.
Dit alles zal de wenkbrauwen doen fronsen in de computerbeveiligingsgemeenschap. Machine vision-systemen zijn nu beter dan mensen in het herkennen van gezichten, dus het is normaal om te verwachten dat ze voor alles worden gebruikt, van het ontgrendelen van smartphones en voordeuren tot paspoortcontrole en biometrische gegevens van bankrekeningen. Maar Kurakin en co wekken het vooruitzicht om deze systemen met gemak voor de gek te houden.
In de afgelopen jaren hebben we veel geleerd over hoe goed machine vision-systemen kunnen zijn. Nu komen we er net achter hoe gemakkelijk ze voor de gek gehouden kunnen worden.
Referentie: arxiv.org/abs/1607.02533 : Tegenstrijdige voorbeelden in de fysieke wereld