Militaire kunstmatige intelligentie kan gemakkelijk en gevaarlijk voor de gek gehouden worden

Een schildpad en een geweer getty afbeeldingen

Afgelopen maart kondigden Chinese onderzoekers een ingenieuze en potentieel verwoestende aanval aan op een van Amerika's meest gewaardeerde technologische activa: een elektrische auto van Tesla.

Het team, van het beveiligingslab van de Chinese techgigant Tencent, demonstreerde verschillende manieren om de AI-algoritmen op de auto van Tesla voor de gek te houden. Door de gegevens die naar de sensoren van de auto worden gestuurd op subtiele wijze te veranderen, konden de onderzoekers de kunstmatige intelligentie die het voertuig bestuurt omverwerpen en verbijsteren.

Dit verhaal maakte deel uit van ons nummer van november 2019

• Zie de rest van het nummer
• Abonneren

In één geval bevatte een tv-scherm een ​​verborgen patroon waardoor de ruitenwissers werden geactiveerd. In een ander geval werden rijstrookmarkeringen op de weg zo licht gewijzigd om het autonome rijsysteem in de war te brengen, zodat het over hen heen reed en in de rijstrook voor tegemoetkomend verkeer.

De algoritmen van Tesla zijn normaal gesproken briljant in het spotten van regendruppels op een voorruit of het volgen van de lijnen op de weg, maar ze werken op een manier die fundamenteel verschilt van de menselijke waarneming. Dat maakt zulke deep learning-algoritmen, die snel door verschillende industrieën gaan voor toepassingen zoals gezichtsherkenning en kankerdiagnose, verrassend gemakkelijk voor de gek te houden als je hun zwakke punten vindt.

Een Tesla op een dwaalspoor brengen lijkt misschien geen strategische bedreiging voor de Verenigde Staten. Maar wat als soortgelijke technieken zouden worden gebruikt om aanvalsdrones of software die satellietbeelden analyseert, voor de gek te houden om dingen te zien die er niet zijn - of dingen die er wel zijn niet te zien?

Kunstmatige intelligentie verzamelen

Over de hele wereld wordt AI al gezien als het volgende grote militaire voordeel.

Begin dit jaar kondigden de VS een grootse strategie aan voor het benutten van kunstmatige intelligentie op veel gebieden van het leger, waaronder intelligentieanalyse, besluitvorming, voertuigautonomie, logistiek en wapens. Het door het ministerie van Defensie voorgestelde budget van $ 718 miljard voor 2020 wijst $ 927 miljoen toe aan AI en machine learning. Bestaande projecten zijn onder meer het nogal alledaagse (testen of AI kan voorspellen wanneer tanks en vrachtwagens onderhoud nodig hebben) en dingen op het gebied van wapentechnologie (zwermen drones).

De AI-push van het Pentagon wordt deels gedreven door angst voor de manier waarop rivalen de technologie zouden kunnen gebruiken. Vorig jaar stuurde Jim Mattis, toenmalig minister van defensie, een memo naar president Donald Trump waarin hij waarschuwde dat de VS al achterop raakt als het gaat om AI. Zijn zorg is begrijpelijk.

In juli 2017 formuleerde China zijn AI-strategie en verklaarde dat de belangrijkste ontwikkelde landen ter wereld de ontwikkeling van AI als een belangrijke strategie beschouwen om het nationale concurrentievermogen te vergroten en de nationale veiligheid te beschermen. En een paar maanden later verklaarde Vladimir Poetin van Rusland onheilspellend: wie de leider wordt in [de AI]-sfeer, zal de heerser van de wereld worden.

De ambitie om de slimste en dodelijkste wapens te bouwen is begrijpelijk, maar zoals de Tesla-hack laat zien, kan een vijand die weet hoe een AI-algoritme werkt het onbruikbaar maken of zelfs tegen zijn eigenaren keren. Het geheim van het winnen van de AI-oorlogen ligt misschien niet in het maken van de meest indrukwekkende wapens, maar in het beheersen van het verontrustende verraad van de software.

Gevechtsbots

Op een heldere en zonnige dag afgelopen zomer in Washington, DC, zat Michael Kanaan in de cafetaria van het Pentagon een broodje te eten en zich te verwonderen over een krachtige nieuwe reeks algoritmen voor machinaal leren.

Een paar weken eerder had Kanaan een videogame bekeken waarin vijf AI-algoritmen samenwerkten om vijf mensen bijna te slim af te zijn, ze te slim af te zijn en ze te slim af te zijn in een wedstrijd waarbij troepen, kampementen en middelen over een complex, uitgestrekt slagveld moesten worden bestuurd. Het voorhoofd onder Kanaans kortgeknipte blonde haar was gefronst terwijl hij de actie beschreef. Het was een van de meest indrukwekkende demonstraties van AI-strategie die hij ooit had gezien, een onverwachte ontwikkeling die lijkt op AI-vooruitgang in schaken, Atari en andere spellen.

Het oorlogsspel vond plaats in Dota 2, een populair sci-fi-videospel dat ongelooflijk uitdagend is voor computers. Teams moeten hun territorium verdedigen terwijl ze de kampementen van hun tegenstanders aanvallen in een omgeving die complexer en bedrieglijker is dan welk bordspel dan ook. Spelers kunnen slechts een klein deel van het hele plaatje zien en het kan ongeveer een half uur duren om te bepalen of een strategie een winnende strategie is.

De AI-strijders zijn niet ontwikkeld door het leger, maar door OpenAI, een bedrijf dat is opgericht door grote mannen uit Silicon Valley, waaronder Elon Musk en Sam Altman, om fundamenteel AI-onderzoek te doen. De algoritmische krijgers van het bedrijf, bekend als de OpenAI Five, werkten hun eigen winnende strategieën uit door meedogenloos te oefenen en door te reageren met bewegingen die het meest voordelig bleken.

AI-geleide raketten kunnen worden verblind door vijandige gegevens en misschien zelfs teruggestuurd naar bevriende doelen.

Het is precies het soort software dat Kanaan intrigeert, een van de mensen die kunstmatige intelligentie moet gebruiken om het Amerikaanse leger te moderniseren. Voor hem laat het zien wat het leger kan winnen door de hulp in te roepen van 's werelds beste AI-onderzoekers. Maar of ze bereid zijn, wordt steeds meer de vraag.

Kanaan was de luchtmachtleider van Project Maven, een militair initiatief gericht op het gebruik van AI om de identificatie van objecten in luchtbeelden te automatiseren. Google was een aannemer van Maven en toen andere Google-medewerkers daar in 2018 achter kwamen, besloot het bedrijf het project te staken. Vervolgens heeft het een AI-gedragscode opgesteld waarin staat dat Google zijn AI niet zou gebruiken om wapens of andere technologieën te ontwikkelen waarvan het hoofddoel of de implementatie is om mensen letsel toe te brengen of rechtstreeks te vergemakkelijken.

Werknemers bij enkele andere grote technologiebedrijven eisten dat hun werkgevers militaire contracten schuwen. Veel prominente AI-onderzoekers hebben een poging gesteund om een ​​wereldwijd verbod op de ontwikkeling van volledig autonome wapens te initiëren.

Voor Kanaan zou het echter een groot probleem zijn als het leger niet zou kunnen samenwerken met onderzoekers zoals degenen die de OpenAI Five hebben ontwikkeld. Nog verontrustender is het vooruitzicht dat een tegenstander toegang krijgt tot dergelijke geavanceerde technologie. De code is er gewoon voor iedereen om te gebruiken, zei hij. Hij voegde eraan toe: oorlog is veel complexer dan een of ander videogame.

Vijf algoritmen werken samen om vijf mensen te slim af te zijn in de op het slagveld gebaseerde videogame Dota 2. hoffelijkheid afbeelding

De AI-golf

Kanaan is over het algemeen erg optimistisch over AI, deels omdat hij uit de eerste hand weet hoe nuttig het is voor troepen. Zes jaar geleden was hij als inlichtingenofficier van de luchtmacht in Afghanistan verantwoordelijk voor het inzetten van een nieuw soort hulpmiddel voor het verzamelen van inlichtingen: een hyperspectrale imager. Het instrument kan objecten detecteren die normaal gesproken aan het zicht onttrokken zijn, zoals in camouflage gedrapeerde tanks of emissies van een geïmproviseerde bommenfabriek. Kanaan zegt dat het systeem Amerikaanse troepen heeft geholpen om vele duizenden kilo's explosieven van het slagveld te verwijderen. Toch was het voor analisten vaak onpraktisch om de enorme hoeveelheden gegevens te verwerken die door de imager waren verzameld. We hebben te veel tijd besteed aan het bekijken van de gegevens en te weinig tijd aan het nemen van beslissingen, zegt hij. Soms duurde het zo lang dat je je afvroeg of je meer levens had kunnen redden.

Een oplossing zou kunnen liggen in een doorbraak in computervisie door een team onder leiding van Geoffrey Hinton van de Universiteit van Toronto. Het toonde aan dat een algoritme dat is geïnspireerd op een neuraal netwerk met veel lagen, objecten in afbeeldingen met ongekende vaardigheid kan herkennen als het voldoende gegevens en computerkracht krijgt.

Het trainen van een neuraal netwerk omvat het invoeren van gegevens, zoals de pixels in een afbeelding, en het continu wijzigen van de verbindingen in het netwerk, met behulp van wiskundige technieken, zodat de uitvoer dichter bij een bepaalde uitkomst komt, zoals het identificeren van het object in de afbeelding. Na verloop van tijd leren deze deep learning-netwerken de patronen van pixels waaruit huizen of mensen bestaan, te herkennen. Vooruitgang in diep leren hebben geleid tot de huidige AI-boom; de technologie ondersteunt de autonome systemen van Tesla en de algoritmen van OpenAI.

Kanaan herkende onmiddellijk het potentieel van deep learning voor het verwerken van de verschillende soorten beelden en sensorgegevens die essentieel zijn voor militaire operaties. Hij en anderen bij de luchtmacht begonnen al snel bij hun superieuren te lobbyen om in de technologie te investeren. Hun inspanningen hebben bijgedragen aan de grote AI-push van het Pentagon.

Maar kort nadat deep learning op het toneel verscheen, ontdekten onderzoekers dat juist de eigenschappen die het zo krachtig maken, ook een achilleshiel zijn.

Net zoals het mogelijk is om te berekenen hoe de parameters van een netwerk moeten worden aangepast, zodat het een object correct classificeert, is het mogelijk om te berekenen hoe minimale wijzigingen aan het invoerbeeld ervoor kunnen zorgen dat het netwerk het verkeerd classificeert. In dergelijke tegenstrijdige voorbeelden worden slechts een paar pixels in de afbeelding gewijzigd, waardoor deze er voor een persoon hetzelfde uitziet, maar heel anders dan een AI-algoritme. Het probleem kan zich overal voordoen waar deep learning wordt gebruikt, bijvoorbeeld bij het begeleiden van autonome voertuigen, het plannen van missies of het detecteren van netwerkinbraken.

Te midden van de toename van militair gebruik van AI, hebben deze mysterieuze kwetsbaarheden in de software veel minder aandacht gekregen.

Bewegende doelen

Een opmerkelijk object dient om de kracht van vijandige machine learning te illustreren. Het is een modelschildpad.

Voor jou of mij ziet het er normaal uit, maar voor een drone of een robot die een bepaald deep-learning vision-algoritme uitvoert, lijkt het ... een geweer. In een apart project hadden de onderzoekers 2D-beelden gebruikt, zodat een AI-visiesysteem dat beschikbaar werd gesteld via de cloud van Google het voor zo ongeveer alles zou verwarren. (Google heeft het algoritme sindsdien bijgewerkt, zodat het niet voor de gek gehouden wordt.)

De schildpad is niet gemaakt door een tegenstander van een natiestaat, maar door vier mannen van het MIT. Een van hen is Anish Athalye, een slungelige en zeer beleefde jongeman die werkt aan computerbeveiliging in het Computer Science and Artificial Intelligence Laboratory (CSAIL) van het MIT. In een video op Athalye's laptop van de schildpadden die worden getest (sommige modellen werden gestolen op een conferentie, zegt hij), wordt het 360 graden gedraaid en ondersteboven gedraaid. Het algoritme detecteert steeds weer hetzelfde: geweer, geweer, geweer.

De vroegste vijandige voorbeelden waren broos en vatbaar voor mislukking, maar Athalye en zijn vrienden geloofden dat ze een versie konden ontwerpen die robuust genoeg was om op een 3D-geprint object te werken. Dit omvatte het modelleren van een 3D-weergave van objecten en het ontwikkelen van een algoritme om de schildpad te maken, een vijandig voorbeeld dat onder verschillende hoeken en afstanden zou werken. Simpel gezegd, ze ontwikkelden een algoritme om iets te creëren dat een machine-learningmodel op betrouwbare wijze voor de gek zou houden.

De militaire toepassingen liggen voor de hand. Door algoritmische camouflage te gebruiken, kunnen tanks of vliegtuigen zich verbergen voor met AI uitgeruste satellieten en drones. AI-geleide raketten kunnen worden verblind door vijandige gegevens en misschien zelfs teruggestuurd naar bevriende doelen. Informatie die in inlichtingenalgoritmen wordt ingevoerd, kan worden vergiftigd om een ​​terroristische dreiging te verhullen of een val voor troepen in de echte wereld te zetten.

Athalye is verbaasd over hoe weinig bezorgdheid hij heeft ondervonden over vijandige machine learning. Ik heb met een aantal mensen in de industrie gesproken en ik heb ze gevraagd of ze zich zorgen maken over tegenstrijdige voorbeelden. Het antwoord is, bijna over de hele linie, nee, zegt hij, omdat bedrijven erop gericht zijn om hun AI-systemen te laten werken als hun hoogste prioriteit.

Gelukkig begint het Pentagon het op te merken. In augustus kondigde het Defense Advanced Research Projects Agency (DARPA) verschillende grote AI-onderzoeksprojecten aan. Onder hen is GARD, een programma gericht op vijandige machine learning. Hava Siegelmann, een professor aan de Universiteit van Massachusetts, Amherst, en de programmamanager van GARD, zegt dat deze aanvallen verwoestend kunnen zijn in militaire situaties omdat mensen ze niet kunnen identificeren. Het is alsof we blind zijn, zegt ze. Dat maakt het echt heel gevaarlijk.

De uitdagingen van vijandige machine learning verklaren ook waarom het Pentagon zo graag samenwerkt met bedrijven als Google en Amazon, evenals met academische instellingen zoals MIT. De technologie evolueert snel en de nieuwste ontwikkelingen vinden plaats in laboratoria die worden gerund door bedrijven en topuniversiteiten in Silicon Valley, niet in conventionele defensie-aannemers.

Cruciaal is dat ze ook buiten de VS plaatsvinden, met name in China. Ik denk wel dat er een andere wereld aankomt, zegt Kanaan, de AI-expert van de luchtmacht. En het is er een die we moeten bestrijden met AI.

Het verzet tegen militair gebruik van AI is begrijpelijk, maar het kan het grotere geheel over het hoofd zien. Zelfs als mensen zich zorgen maken over intelligente moordrobots, is misschien een groter risico op korte termijn een algoritmische oorlogsmist - een waar zelfs de slimste machines niet doorheen kunnen kijken.

Will Knight was tot voor kort senior editor voor AI bij MIT Technology Review en werkt nu bij Wired.

zich verstoppen