211service.com
Slimme software kan worden misleid om te zien wat er niet is
Een techniek die deep learning wordt genoemd, heeft Google en andere bedrijven in staat gesteld doorbraken te realiseren door computers de inhoud van foto's te laten begrijpen. Nu hebben onderzoekers van de Cornell University en de University of Wyoming laten zien hoe je afbeeldingen kunt maken die dergelijke software voor de gek houden dingen zien die er niet zijn .
Afbeeldingen zoals deze zijn gemaakt om machine learning-algoritmen te misleiden. De software ziet elk patroon als een van de cijfers 1 tot 5.
De onderzoekers kunnen afbeeldingen maken die voor een mens lijken op gecodeerde onzin of eenvoudige geometrische patronen, maar die door de software worden geïdentificeerd als een alledaags object zoals een schoolbus. De trick-afbeeldingen bieden nieuw inzicht in de verschillen tussen hoe echte hersenen en de eenvoudige gesimuleerde neuronen worden gebruikt in afbeeldingen van deep learning-processen.
Onderzoekers trainen deep learning-software om iets interessants te herkennen, bijvoorbeeld een gitaar, door het miljoenen foto's van gitaren te laten zien, waarbij ze de computer elke keer vertellen dat dit een gitaar is. Na een tijdje kan de software gitaren identificeren in afbeeldingen die hij nog nooit eerder heeft gezien, waardoor het antwoord een betrouwbaarheidsbeoordeling krijgt. Het kan een gitaar die alleen op een witte achtergrond wordt weergegeven een hoge betrouwbaarheidsscore geven, en een gitaar op de achtergrond van een korrelige rommelige afbeelding een lagere betrouwbaarheidsscore (zie 10 Breakthrough Technologies 2013: Deep Learning).
Die aanpak kent waardevolle toepassingen zoals gezichtsherkenning, of het gebruik van software om beveiligings- of verkeerscamerabeelden te verwerken, bijvoorbeeld om verkeersstromen te meten of verdachte activiteiten op te sporen.
Maar hoewel de wiskundige functies die worden gebruikt om een kunstmatig neuraal netwerk te creëren afzonderlijk worden begrepen, is onbekend hoe ze samenwerken om afbeeldingen te ontcijferen. We begrijpen dat ze werken, alleen niet hoe ze werken, zegt Jeff Clune , een assistent-professor computerwetenschappen aan de Universiteit van Wyoming. Ze kunnen dingen leren die wij zelf niet eens kunnen leren.
Deze afbeeldingen zien er abstract uit voor mensen, maar worden gezien door het beeldherkenningsalgoritme dat ze ontworpen hebben om voor de gek te houden als de objecten die in de labels worden beschreven.
Om een nieuw licht te werpen op hoe deze netwerken werken, gebruikte de groep van Clune een neuraal netwerk genaamd AlexNet dat indrukwekkende resultaten heeft behaald op het gebied van beeldherkenning. Ze bedienden het in omgekeerde volgorde en vroegen om een versie van de software zonder kennis van gitaren creëren een afbeelding van één, door willekeurige pixels over een afbeelding te genereren.
De onderzoekers vroegen een tweede versie van het netwerk, die getraind was om gitaren te spotten, om de beelden van het eerste netwerk te beoordelen. Die betrouwbaarheidsclassificatie werd door het eerste netwerk gebruikt om zijn volgende poging om een gitaarimago te creëren, te verfijnen. Na duizenden ronden hiervan tussen de twee stukjes software, kon het eerste netwerk een afbeelding maken die het tweede netwerk met 99 procent zekerheid als een gitaar herkende.
Voor een mens zagen die gitaarafbeeldingen er echter uit als statische gekleurde tv-patronen of eenvoudige patronen. Clune zegt dat dit aantoont dat de software niet geïnteresseerd is in het samenstellen van structurele details zoals snaren of een toets, zoals een mens die iets probeert te identificeren, zou kunnen zijn. In plaats daarvan lijkt de software te kijken naar specifieke afstanden of kleurrelaties tussen pixels, of algemene kleur en textuur.
Dat biedt nieuw inzicht in hoe kunstmatige neurale netwerken echt werken, zegt Clune, al is er meer onderzoek nodig.
Ryan Adams , een assistent-professor computerwetenschappen aan Harvard, zegt dat de resultaten niet helemaal verrassend zijn. Het feit dat grote delen van de trick-afbeeldingen eruitzien als zeeën van statische elektriciteit, komt waarschijnlijk voort uit de manier waarop netwerken trainingsafbeeldingen krijgen. Het object van belang is meestal maar een klein deel van de foto en de rest is onbelangrijk.
Adams wijst er ook op dat het onderzoek van Clune aantoont dat mensen en kunstmatige neurale netwerken enkele dingen gemeen hebben. Mensen denken al millennia dat ze alledaagse voorwerpen in willekeurige patronen zien, zoals de sterren.
Clune zegt dat het mogelijk zou zijn om zijn techniek te gebruiken om beeldherkenningsalgoritmen voor de gek te houden wanneer ze aan het werk worden gezet in webservices en andere producten. Het zou echter heel moeilijk zijn om te stoppen. Google heeft bijvoorbeeld algoritmen die pornografie uit de resultaten van zijn beeldzoekservice filteren. Maar om afbeeldingen te maken die het zouden misleiden, zou een grappenmaker belangrijke details moeten weten over hoe de software van Google is ontworpen.