Hoe verander je een hond in een auto? Verander een enkele pixel.

Categorie: Geen categorie Geplaatst 30 okt

Dank een nieuwe benadering van spoofing van AI's voor beeldherkenning, ontwikkeld door een team van de Kyushu University in Japan, voor die grap.

Proberen om AI's te vangen is een populair tijdverdrijf voor veel onderzoekers, en we hebben in het verleden spoofs op het gebied van machine learning gemeld. De algemene benadering is om functies aan afbeeldingen toe te voegen die een neuraal netwerk ten onrechte zullen activeren en het te laten identificeren wat het als iets anders ziet.

Het nieuwe onderzoek, gepubliceerd op de arXiv , beschrijft een algoritme dat efficiënt de beste pixels kan identificeren die moeten worden gewijzigd om een ​​AI te verwarren met het verkeerd labelen van een afbeelding. Door slechts één pixel in een afbeelding van 1024 pixels te veranderen, kan de software een AI ongeveer 74 procent van de tijd misleiden. Dat cijfer stijgt tot ongeveer 87 procent als er vijf pixels worden aangepast.

Je kunt hierboven enkele voorbeelden zien, die een AI hebben vervalst om onder andere een vliegtuig een hond, een kikker een vrachtwagen en een paard een auto te noemen.

Als de Register wijst erop , 1.024-pixelafbeeldingen zijn verdomd klein, wat betekent dat voor grotere afbeeldingen honderden pixels moeten worden aangepast. Maar de drang om AI's te laten omvallen met zo min mogelijk veranderingen, is in gelijke mate interessant en zorgwekkend. Zoals we in het verleden hebben uitgelegd, is het vrij moeilijk om een ​​manier te vinden om AI's te beschermen tegen dit soort trucs, omdat we de innerlijke werking van diepe neurale netwerken nog steeds niet echt begrijpen.

Zolang we dat niet doen, zijn dergelijke hacks moeilijk te vermijden.