211service.com
Het Amerikaanse leger wil dat zijn autonome machines zichzelf verklaren
Inlichtingenagenten en militaire agenten kunnen sterk afhankelijk worden van machine learning om enorme hoeveelheden gegevens te ontleden en een groeiend arsenaal aan autonome systemen te controleren. Maar het Amerikaanse leger wil ervoor zorgen dat dit niet leidt tot blindelings vertrouwen in een algoritme.
Het Defense Advanced Research Projects Agency (DARPA), een afdeling van het ministerie van Defensie die nieuwe technologieën onderzoekt, financiert verschillende projecten die tot doel hebben kunstmatige intelligentie zichzelf te laten verklaren. De benaderingen variëren van het toevoegen van verdere machine-learningsystemen die gericht zijn op het geven van uitleg, tot de ontwikkeling van nieuwe machinale leerbenaderingen die een opheldering door ontwerp bevatten.
We hebben nu een echte explosie van AI, zegt David Gunning, de DARPA-programmamanager die een poging financiert om AI-technieken te ontwikkelen die enige uitleg van hun redenering bevatten. De reden daarvoor is vooral machine learning, en deep learning in het bijzonder.
Deep learning en andere technieken voor machinaal leren hebben Silicon Valley stormenderhand veroverd, waardoor stemherkenning en beeldclassificatie aanzienlijk zijn verbeterd, en ze worden in steeds meer contexten gebruikt, waaronder gebieden zoals wetshandhaving en geneeskunde, waar de gevolgen van een fout kunnen wees serieus. Maar hoewel deep learning ongelooflijk goed is in het vinden van patronen in gegevens, kan het onmogelijk zijn om te begrijpen hoe het tot een conclusie komt. Het leerproces is wiskundig zeer complex en er is vaak geen manier om dit te vertalen in iets dat iemand zou begrijpen.
En hoewel deep learning bijzonder moeilijk te interpreteren is, kunnen andere technieken voor machine learning ook een uitdaging zijn. Deze modellen zijn erg ondoorzichtig en moeilijk te interpreteren voor mensen, vooral als ze geen expert zijn in AI, zegt Gunning.
Deep learning is vooral cryptisch vanwege de ongelooflijke complexiteit. Het is ruwweg geïnspireerd op het proces waarbij neuronen in de hersenen leren als reactie op input. Veel lagen van gesimuleerde neuronen en synapsen zijn gelabelde gegevens en hun gedrag wordt afgestemd totdat ze leren om bijvoorbeeld een kat op een foto te herkennen. Maar het model dat door het systeem is geleerd, is gecodeerd in de gewichten van vele miljoenen neuronen en is daarom zeer uitdagend om te onderzoeken. Wanneer een deep-learning netwerk bijvoorbeeld een kat herkent, is het niet duidelijk of het systeem zich op de snorharen, de oren of zelfs de kattendeken in een afbeelding concentreert.
Vaak maakt het niet zoveel uit of een machine learning-model ondoorzichtig is, maar dit geldt niet voor een inlichtingenofficier die een potentieel doelwit probeert te identificeren. Er zijn een aantal kritische toepassingen waar je de uitleg nodig hebt, zegt Gunning.
Gunning voegt eraan toe dat het leger talloze autonome systemen ontwikkelt die ongetwijfeld sterk afhankelijk zullen zijn van machine learning-technieken zoals deep learning. Zelfrijdende voertuigen, samen met drones in de lucht, zullen de komende jaren steeds meer worden gebruikt, zegt hij, en ze zullen steeds capabeler worden.
Verklaarbaarheid is niet alleen belangrijk om beslissingen te rechtvaardigen. Het kan helpen voorkomen dat er iets misgaat. Een beeldclassificatiesysteem dat heeft geleerd zich puur op textuur te concentreren voor kattenclassificatie, kan voor de gek worden gehouden door een harig vloerkleed. Dus het bieden van een verklaring kan onderzoekers helpen hun systemen robuuster te maken en te voorkomen dat degenen die erop vertrouwen fouten maken.
DARPA financiert 13 verschillende onderzoeksgroepen, die een reeks benaderingen nastreven om AI beter verklaarbaar te maken.
Een team dat voor financiering is geselecteerd, is afkomstig van Charles River Analytics, een bedrijf dat hightech-tools ontwikkelt voor verschillende klanten, waaronder het Amerikaanse leger. Dit team onderzoekt nieuwe diepgaande leersystemen die een uitleg bevatten, zoals systemen die delen van een afbeelding markeren die het meest relevant lijken voor een classificatie. De onderzoekers experimenteren ook met computerinterfaces die de werking van machine learning-systemen explicieter maken met gegevens, visualisaties en zelfs natuurlijke taalverklaringen.
Xia Hu , een professor aan de Texas A&M University die een van de teams leidt die voor financiering zijn gekozen, zegt dat het probleem ook belangrijk is op andere gebieden waar machine learning wordt toegepast, zoals geneeskunde, rechten en onderwijs. Zonder enige uitleg of redenering zullen domeinexperts de resultaten niet vertrouwen, zegt Hu. Dat is de belangrijkste reden waarom veel domeinexperts weigeren machine learning of deep learning toe te passen.