Software die woorden verwisselt, kan nu de AI achter Alexa en Siri voor de gek houden

Categorie: Kunstmatige intelligentie Geplaatst 07 februari

Het nieuws: Software met de naam TextFooler kan systemen voor natuurlijke taalverwerking (NLP) ertoe brengen de tekst verkeerd te begrijpen door bepaalde woorden in een zin te vervangen door synoniemen. Tijdens tests was het in staat om de nauwkeurigheid van drie geavanceerde NLP-systemen drastisch te verlagen. Het krachtige BERT neurale netwerk van Google was bijvoorbeeld een factor vijf tot zeven slechter bij het identificeren of recensies op Yelp positief of negatief waren.

Ze testten de aanval op NLP-systemen die getraind zijn om taken uit te voeren zoals het identificeren van nieuwsonderwerpen, het detecteren van nepnieuws en het analyseren van sentiment. In alle gevallen is de AI werd aanzienlijk slechter .

Hoe het werkt: De software, ontwikkeld door een team van MIT, zoekt naar de woorden in een zin die het belangrijkst zijn voor een NLP-classificatie en vervangt ze door een synoniem dat een mens natuurlijk zou vinden. Bijvoorbeeld, het veranderen van de zin De karakters, gegoten in onmogelijk gekunstelde situaties, zijn totaal vervreemd van de werkelijkheid naar De karakters, gegoten in onmogelijk geconstrueerde omstandigheden, zijn volledig vervreemd van de werkelijkheid, maakt niet echt uit hoe we het lezen. Maar de tweaks zorgden ervoor dat een AI de zinnen heel anders interpreteerde.

Waarom het uitmaakt: We hebben veel voorbeelden gezien van dergelijke vijandige aanvallen, meestal met beeldherkenningssystemen, waarbij kleine wijzigingen aan de invoer een AI kunnen ontwrichten en ervoor kunnen zorgen dat het een verkeerde classificatie krijgt van wat het ziet. TextFooler laat zien dat deze aanvalsstijl ook NLP, de AI achter virtuele assistenten, zoals Siri, Alexa en Google Home, breekt, evenals andere taalclassificaties zoals spamfilters en haatspraakdetectoren. De onderzoekers zeggen dat tools zoals TextFooler kunnen helpen om NLP-systemen robuuster te maken door hun zwakke punten aan het licht te brengen.