Waarom een ​​AI vragen om zichzelf uit te leggen, de zaken erger kan maken?

Frogger gaat spreken MS Tech / Getty

Upol Ehsan heeft ooit een proefrit gemaakt in een zelfrijdende auto van Uber. In plaats van zich zorgen te maken over de lege bestuurdersstoel, werden angstige passagiers aangemoedigd om naar een fopspeenscherm te kijken dat vanuit het perspectief van een auto de weg liet zien: gevaren gemarkeerd in oranje en rood, veilige zones in koelblauw.

Voor Ehsan , die de manier bestudeert waarop mensen omgaan met AI aan het Georgia Institute of Technology in Atlanta, was de beoogde boodschap duidelijk: raak niet in paniek - dit is waarom de auto doet wat hij doet. Maar iets in het buitenaards ogende straatbeeld benadrukte de vreemdheid van de ervaring in plaats van gerustgesteld. Het zette Ehsan aan het denken: wat als de zelfrijdende auto zichzelf echt zou kunnen verklaren?

Het succes van deep learning is te danken aan knutselen: de beste neurale netwerken zijn geknepen en aangepast om betere te maken, en praktische resultaten hebben het theoretische begrip overtroffen. Als gevolg hiervan zijn de details van hoe een getraind model werkt meestal onbekend. We zijn ze gaan zien als zwarte dozen.

Vaak vinden we dat goed als het gaat om dingen zoals het spelen van Go of het vertalen van tekst of het kiezen van de volgende Netflix-show om te binge. Maar als AI moet worden gebruikt om beslissingen te helpen nemen op het gebied van wetshandhaving, medische diagnoses en auto's zonder bestuurder, dan moeten we begrijpen hoe het tot die beslissingen komt - en weten wanneer ze het bij het verkeerde eind hebben.

Mensen hebben de macht nodig om het niet eens te zijn met een geautomatiseerde beslissing of deze af te wijzen, zegt Iris Howley , een computerwetenschapper aan het Williams College in Williamstown, Massachusetts. Zonder dit zullen mensen zich verzetten tegen de technologie. Je kunt dit nu zien spelen met de publieke reactie op gezichtsherkenningssystemen, zegt ze.

Ehsan maakt deel uit van een kleine maar groeiende groep onderzoekers die proberen AI's beter te maken in het uitleggen van zichzelf, om ons te helpen in de zwarte doos te kijken. Het doel van zogenaamde interpreteerbare of verklaarbare AI (XAI) is om mensen te helpen begrijpen welke functies in de gegevens een neuraal netwerk daadwerkelijk aan het leren is - en dus of het resulterende model nauwkeurig en onbevooroordeeld is.

Een oplossing is om machine learning-systemen te bouwen die hun werking laten zien: de zogenaamde glassbox - in tegenstelling tot black-box - AI. Glassbox-modellen zijn doorgaans sterk vereenvoudigde versies van een neuraal netwerk waarin het gemakkelijker is om bij te houden hoe verschillende stukjes gegevens het model beïnvloeden.

Er zijn mensen in de gemeenschap die pleiten voor het gebruik van glassbox-modellen in elke omgeving met hoge inzetten, zegt Jennifer Wortman Vaughan , een computerwetenschapper bij Microsoft Research. Ben ik het grotendeels mee eens. Eenvoudige glassbox-modellen kunnen net zo goed presteren als meer gecompliceerde neurale netwerken op bepaalde soorten gestructureerde gegevens, zoals tabellen met statistieken. Voor sommige toepassingen is dat alles wat u nodig heeft.

Maar het hangt af van het domein. Als we willen leren van rommelige gegevens zoals afbeeldingen of tekst, zitten we vast aan diepe - en dus ondoorzichtige - neurale netwerken. Het vermogen van deze netwerken om zinvolle verbanden te leggen tussen zeer grote aantallen ongelijksoortige kenmerken hangt samen met hun complexiteit.

Zelfs hier kan machine learning van de glassbox helpen. Een oplossing is om de gegevens twee keer door te nemen en een onvolmaakt glassbox-model te trainen als een foutopsporingsstap om mogelijke fouten te ontdekken die u mogelijk wilt corrigeren. Nadat de gegevens zijn opgeschoond, kan een nauwkeuriger black-boxmodel worden getraind.

Het is echter een lastige balans. Te veel transparantie kan leiden tot informatie-overload. In een dekhengst van 2018 ja kijkend naar hoe niet-deskundige gebruikers omgaan met machine learning-tools, ontdekte Vaughan dat transparante modellen het zelfs moeilijker kunnen maken om de fouten van het model te detecteren en te corrigeren.

Een andere benadering is om visualisaties op te nemen die enkele belangrijke eigenschappen van het model en de onderliggende gegevens laten zien. Het idee is dat je in één oogopslag serieuze problemen ziet. Het model zou bijvoorbeeld te veel op bepaalde functies kunnen vertrouwen, wat zou kunnen wijzen op vooringenomenheid.

Deze visualisatietools zijn ongelooflijk populair gebleken in de korte tijd dat ze bestaan. Maar helpen ze echt? In de eerste studie in zijn soort , hebben Vaughan en haar team geprobeerd erachter te komen en een aantal ernstige problemen aan het licht te brengen.

Het team nam twee populaire interpreteerbaarheidstools die een overzicht van een model geven via grafieken en dataplots, en benadrukten dingen die het machine-learningmodel het meest oppikte tijdens de training. Elf AI-professionals werden gerekruteerd vanuit Microsoft, allemaal verschillend in opleiding, functies en ervaring. Ze namen deel aan een schijninteractie met een machine learning-model dat was getraind op basis van een gegevensset over het nationaal inkomen uit de Amerikaanse volkstelling van 1994. Het experiment is speciaal ontworpen om de manier na te bootsen waarop datawetenschappers interpreteerbaarheidstools gebruiken bij het soort taken waarmee ze routinematig worden geconfronteerd.

Wat het team aantrof was opvallend. Natuurlijk hielpen de tools mensen soms om ontbrekende waarden in de gegevens te ontdekken. Maar dit nut werd overschaduwd door de neiging om de visualisaties te veel te vertrouwen en verkeerd te interpreteren. In sommige gevallen konden gebruikers niet eens beschrijven wat de visualisaties lieten zien. Dit leidde tot verkeerde aannames over de dataset, de modellen en de interpreteerbaarheidstools zelf. En het wekte een vals vertrouwen in de tools op, waardoor deelnemers enthousiaster werden over het inzetten van de modellen, zelfs als ze het gevoel hadden dat er iets niet klopte. Verontrustend genoeg was dit zelfs het geval wanneer de uitvoer was gemanipuleerd om verklaringen te tonen die nergens op sloegen.

Om de bevindingen van hun kleine gebruikersonderzoek te staven, voerden de onderzoekers vervolgens een online-enquête uit onder ongeveer 200 machine learning-professionals die waren gerekruteerd via mailinglijsten en sociale media. Ze vonden soortgelijke verwarring en misplaatst vertrouwen.

Erger nog, veel deelnemers waren blij om de visualisaties te gebruiken om beslissingen te nemen over het gebruik van het model, ondanks het feit dat ze de wiskunde erachter niet begrepen. Het was vooral verrassend om te zien dat mensen eigenaardigheden in de gegevens rechtvaardigden door verhalen te creëren die ze verklaarden, zegt Harmanpreet Kaur aan de Universiteit van Michigan, een co-auteur van de studie. De automatiseringsbias was een zeer belangrijke factor waar we geen rekening mee hadden gehouden.

Ah, de automatiseringsbias. Met andere woorden, mensen zijn klaar om computers te vertrouwen. Het is niet nieuw fenomeen . Als het gaat om geautomatiseerde systemen, van stuurautomaten voor vliegtuigen tot spellingcontroles, hebben onderzoeken aangetoond dat mensen de keuzes die ze maken vaak accepteren, zelfs als ze duidelijk ongelijk hebben. Maar wanneer dit gebeurt met tools die zijn ontworpen om ons te helpen dit fenomeen te vermijden, hebben we een nog groter probleem.

Wat kunnen we eraan doen? Voor sommigen is een deel van het probleem met de eerste golf van XAI dat deze wordt gedomineerd door machine learning-onderzoekers, van wie de meesten deskundige gebruikers van AI-systemen zijn. Tim Miller van de Universiteit van Melbourne, die onderzoekt hoe mensen AI-systemen gebruiken, zegt: De gevangenen runnen het gesticht.

Dit realiseerde Ehsan zich achterin de bestuurderloze Uber. Het is gemakkelijker om te begrijpen wat een geautomatiseerd systeem doet - en te zien wanneer het een fout maakt - als het redenen geeft voor zijn acties zoals een mens zou doen. Ehsan en zijn collega Mark Riedl ontwikkelen een machine learning-systeem dat: genereert automatisch dergelijke redeneringen in natuurlijke taal . In een vroeg prototype nam het paar een neuraal netwerk dat had geleerd hoe het klassieke videospel Frogger uit de jaren 80 moest worden gespeeld en trainde het om elke keer dat het een beweging maakte een reden te geven.

Screenshot van Ehsan en Riedl's Frogger Explanation-software Upol Ehsan

Om dit te doen, lieten ze het systeem veel voorbeelden zien van mensen die het spel speelden terwijl ze hardop praatten over wat ze aan het doen waren. Vervolgens namen ze een neuraal netwerk voor het vertalen tussen twee natuurlijke talen en pasten het aan om in plaats daarvan te vertalen tussen acties in het spel en natuurlijke taalgrondslagen voor die acties. Wanneer het neurale netwerk nu een actie in het spel ziet, vertaalt het dit in een verklaring. Het resultaat is een Frogger-spelende AI die dingen zegt zoals ik ga naar links om achter de blauwe vrachtwagen te blijven elke keer dat deze beweegt.

Het werk van Ehsan en Riedl is nog maar een begin. Om te beginnen is het niet duidelijk of een machine-learningsysteem altijd in staat zal zijn om zijn acties in natuurlijke taal te onderbouwen. Neem DeepMind's bordspel-spelende AI AlphaZero. Een van de meest opvallende kenmerken van de software is het vermogen om winnende zetten te doen die de meeste menselijke spelers op dat moment in een spel niet zouden proberen. Als AlphaZero zijn bewegingen zou kunnen verklaren, zouden ze dan altijd logisch zijn?

Redenen helpen of we ze begrijpen of niet, zegt Ehsan: Het doel van mensgerichte XAI is niet alleen om de gebruiker te laten instemmen met wat de AI zegt, het is ook bedoeld om reflectie uit te lokken. Riedl herinnert zich het kijken naar de livestream van de toernooiwedstrijd tussen DeepMind's AI en de Koreaanse Go-kampioen Lee Sedol. De commentatoren hadden het over wat AlphaGo zag en dacht. 'Zo werkte AlphaGo niet', zegt Riedl. 'Maar ik vond dat het commentaar essentieel was om te begrijpen wat er gebeurde.'

Waar deze nieuwe golf van XAI-onderzoekers het over eens zijn, is dat als AI-systemen door meer mensen moeten worden gebruikt, die mensen vanaf het begin deel moeten uitmaken van het ontwerp - en verschillende mensen hebben verschillende soorten uitleg nodig. (Dit wordt ondersteund door een nieuwe studie van Howley en haar collega's, waarin ze aantonen dat het vermogen van mensen om een ​​interactieve of statische visualisatie te begrijpen afhangt van hun opleidingsniveau.) Denk aan een kankerdiagnose AI, zegt Ehsan. Je zou willen dat de uitleg die het aan een oncoloog geeft heel anders is dan de uitleg die het aan de patiënt geeft.

Uiteindelijk willen we dat AI's zichzelf niet alleen uitleggen aan datawetenschappers en artsen, maar ook aan politieagenten die gezichtsherkenningstechnologie gebruiken, leraren die analysesoftware gebruiken in hun klaslokalen, studenten die proberen hun sociale-mediafeeds te begrijpen - en iedereen die op de achterbank zit van een zelfrijdende auto. We hebben altijd geweten dat mensen technologie te veel vertrouwen, en dat geldt vooral voor AI-systemen, zegt Riedl. Hoe meer je zegt dat het slim is, hoe meer mensen ervan overtuigd zijn dat het slimmer is dan zij.

Verklaringen die iedereen kan begrijpen, zouden moeten helpen die bubbel te laten knappen.

zich verstoppen