Het duistere geheim in het hart van AI

Niemand weet precies hoe de meest geavanceerde algoritmen doen wat ze doen. Dat kan een probleem zijn. Door

• Will Knight archiefpagina

11 april 2017

Keith Rankin

Vorig jaar werd een vreemde zelfrijdende auto losgelaten op de rustige wegen van Monmouth County, New Jersey. Het experimentele voertuig, ontwikkeld door onderzoekers van de chipmaker Nvidia, zag er niet anders uit dan andere autonome auto's, maar het was anders dan alles wat werd aangetoond door Google, Tesla of General Motors, en het toonde de toenemende kracht van kunstmatige intelligentie. De auto volgde geen enkele instructie van een ingenieur of programmeur. In plaats daarvan vertrouwde het volledig op een algoritme dat zichzelf had geleerd te rijden door te kijken hoe een mens het deed.

Het was een indrukwekkende prestatie om een ​​auto op deze manier te laten rijden. Maar het is ook een beetje verontrustend, omdat het niet helemaal duidelijk is hoe de auto zijn beslissingen neemt. Informatie van de sensoren van het voertuig gaat rechtstreeks naar een enorm netwerk van kunstmatige neuronen die de gegevens verwerken en vervolgens de commando's afleveren die nodig zijn om het stuur, de remmen en andere systemen te bedienen. Het resultaat lijkt overeen te komen met de reacties die u van een menselijke bestuurder zou verwachten. Maar wat als het op een dag iets onverwachts deed - tegen een boom crashte of voor groen licht ging zitten? Zoals de zaken er nu voor staan, is het misschien moeilijk om erachter te komen waarom. Het systeem is zo ingewikkeld dat zelfs de ingenieurs die het hebben ontworpen moeite hebben om de reden voor een enkele actie te achterhalen. En je kunt het niet vragen: er is geen voor de hand liggende manier om zo'n systeem zo te ontwerpen dat het altijd kan uitleggen waarom het deed wat het deed.

Dit verhaal maakte deel uit van ons nummer van mei 2017

• Zie de rest van het nummer
• Abonneren

De mysterieuze geest van dit voertuig wijst op een dreigend probleem met kunstmatige intelligentie . De onderliggende AI-technologie van de auto, bekend als deep learning, is de afgelopen jaren zeer krachtig gebleken bij het oplossen van problemen en is op grote schaal ingezet voor taken zoals ondertiteling van afbeeldingen, spraakherkenning en taalvertaling. Er is nu hoop dat dezelfde technieken in staat zullen zijn om dodelijke ziekten te diagnosticeren, handelsbeslissingen van miljoenen dollars te nemen en talloze andere dingen te doen om hele industrieën te transformeren.

Maar dit zal niet gebeuren - of zou niet moeten gebeuren - tenzij we manieren vinden om technieken zoals deep learning begrijpelijker te maken voor hun makers en verantwoordelijk voor hun gebruikers. Anders is het moeilijk te voorspellen wanneer er storingen kunnen optreden - en het is onvermijdelijk dat ze dat ook zullen doen. Dat is een van de redenen waarom de auto van Nvidia nog steeds experimenteel is.

Er worden nu al wiskundige modellen gebruikt om te bepalen wie er voorwaardelijk vrijkomt, wie een lening krijgt en wie wordt aangenomen voor een baan. Als je toegang zou kunnen krijgen tot deze wiskundige modellen, zou het mogelijk zijn om hun redenering te begrijpen. Maar banken, het leger, werkgevers en anderen richten hun aandacht nu op meer complexe machine-learning benaderingen die geautomatiseerde besluitvorming totaal ondoorgrondelijk zouden kunnen maken. Deep learning, de meest voorkomende van deze benaderingen, vertegenwoordigt een fundamenteel andere manier om computers te programmeren. Het is een probleem dat nu al relevant is en in de toekomst nog veel relevanter zal worden, zegt Tommi Jaakkola, een professor aan het MIT die werkt aan toepassingen van machine learning. Of het nu gaat om een ​​investeringsbeslissing, een medische beslissing of misschien een militaire beslissing, u wilt niet alleen vertrouwen op een 'black box'-methode.

Er is al een argument dat het een fundamenteel wettelijk recht is om een ​​AI-systeem te ondervragen over hoe het tot zijn conclusies komt. Vanaf de zomer van 2018 kan de Europese Unie eisen dat bedrijven gebruikers uitleg kunnen geven bij beslissingen die geautomatiseerde systemen bereiken. Dit is misschien onmogelijk, zelfs voor systemen die aan de oppervlakte relatief eenvoudig lijken, zoals de apps en websites die deep learning gebruiken om advertenties weer te geven of nummers aan te bevelen. De computers die deze services uitvoeren, hebben zichzelf geprogrammeerd en ze hebben het gedaan op manieren die we niet kunnen begrijpen. Zelfs de ingenieurs die deze apps bouwen, kunnen hun gedrag niet volledig verklaren.

Dit roept verbijsterende vragen op. Naarmate de technologie vordert, kunnen we binnenkort een drempel overschrijden waarboven het gebruik van AI een sprong in het diepe vereist. Natuurlijk kunnen wij mensen onze denkprocessen ook niet altijd echt verklaren, maar we vinden manieren om mensen intuïtief te vertrouwen en te peilen. Kan dat ook met machines die anders denken en beslissingen nemen dan een mens? We hebben nog nooit machines gebouwd die werken op een manier die hun makers niet begrijpen. Hoe goed kunnen we verwachten te communiceren - en om te gaan met - intelligente machines die onvoorspelbaar en ondoorgrondelijk kunnen zijn? Deze vragen namen me mee op een reis naar de grens van onderzoek naar AI-algoritmen, van Google tot Apple en vele plaatsen daartussenin, inclusief een ontmoeting met een van de grote filosofen van onze tijd.

De kunstenaar Adam Ferriss maakte deze afbeelding, en de afbeelding hieronder, met Google Deep Dream, een programma dat een afbeelding aanpast om de patroonherkenningsmogelijkheden van een diep neuraal netwerk te stimuleren. De foto's zijn gemaakt met behulp van een middenlaag van het neurale netwerk. Adam Ferriss

In 2015 werd een onderzoeksgroep in het Mount Sinai Hospital in New York geïnspireerd om deep learning toe te passen op de enorme database met patiëntendossiers van het ziekenhuis. Deze dataset bevat honderden variabelen over patiënten, ontleend aan hun testresultaten, doktersbezoeken, enzovoort. Het resulterende programma, dat de onderzoekers Deep Patient noemden, werd getraind met behulp van gegevens van ongeveer 700.000 personen, en toen het werd getest op nieuwe records, bleek het ongelooflijk goed in het voorspellen van ziekte. Zonder enige deskundige instructie had Deep Patient patronen ontdekt die verborgen waren in de ziekenhuisgegevens die leken aan te geven wanneer mensen op weg waren naar een breed scala aan aandoeningen, waaronder leverkanker. Er zijn veel methoden die redelijk goed zijn in het voorspellen van ziekte uit de dossiers van een patiënt, zegt Joel Dudley, die het team van Mount Sinai leidt. Maar, voegt hij eraan toe, dit was gewoon veel beter.

We kunnen deze modellen bouwen, maar we weten niet hoe ze werken.

Tegelijkertijd is Deep Patient een beetje raadselachtig. Het lijkt verrassend goed te anticiperen op het ontstaan ​​van psychiatrische stoornissen zoals schizofrenie. Maar aangezien schizofrenie notoir moeilijk te voorspellen is voor artsen, vroeg Dudley zich af hoe dit mogelijk was. Hij weet het nog steeds niet. De nieuwe tool biedt geen idee hoe het dit doet. Als iets als Deep Patient artsen daadwerkelijk gaat helpen, zal het hen idealiter de reden voor zijn voorspelling geven, om hen gerust te stellen dat het juist is en om bijvoorbeeld een verandering in de medicijnen die iemand wordt voorgeschreven te rechtvaardigen. We kunnen deze modellen bouwen, zegt Dudley treurig, maar we weten niet hoe ze werken.

Kunstmatige intelligentie is niet altijd zo geweest. Vanaf het begin waren er twee stromingen over hoe begrijpelijk of verklaarbaar AI zou moeten zijn. Velen dachten dat het het meest logisch was om machines te bouwen die redeneerden volgens regels en logica, waardoor hun innerlijke werking transparant werd voor iedereen die maar enige code wilde onderzoeken. Anderen waren van mening dat intelligentie gemakkelijker zou ontstaan ​​als machines zich zouden laten inspireren door de biologie en zouden leren door te observeren en te ervaren. Dit betekende dat de computerprogrammering op zijn kop moest worden gezet. In plaats van dat een programmeur de opdrachten schrijft om een ​​probleem op te lossen, genereert het programma zijn eigen algoritme op basis van voorbeeldgegevens en een gewenste uitvoer. De machine learning-technieken die later zouden uitgroeien tot de krachtigste AI-systemen van vandaag volgden het laatste pad: de machine programmeert in wezen zichzelf.

Aanvankelijk was deze benadering van beperkt praktisch nut en in de jaren zestig en zeventig bleef het grotendeels beperkt tot de marges van het veld. Daarna hernieuwde de belangstelling voor de automatisering van veel industrieën en de opkomst van grote datasets. Dat inspireerde de ontwikkeling van krachtigere technieken voor machinaal leren, met name nieuwe versies van een die bekend staat als het kunstmatige neurale netwerk. Tegen de jaren negentig konden neurale netwerken handgeschreven karakters automatisch digitaliseren.

Maar het was pas aan het begin van dit decennium, na verschillende slimme aanpassingen en verfijningen, dat zeer grote of diepe neurale netwerken dramatische verbeteringen in geautomatiseerde waarneming lieten zien. Deep learning is verantwoordelijk voor de huidige explosie van AI. Het heeft computers buitengewone krachten gegeven, zoals het vermogen om gesproken woorden bijna net zo goed te herkennen als een persoon, een vaardigheid die te complex is om met de hand in de machine te coderen. Deep learning heeft computervisie getransformeerd en machinevertaling drastisch verbeterd. Het wordt nu gebruikt om allerlei belangrijke beslissingen in de geneeskunde, financiën, productie en daarbuiten te begeleiden.

Adam Ferriss

De werking van elke machine-learningtechnologie is inherent ondoorzichtiger, zelfs voor computerwetenschappers, dan een met de hand gecodeerd systeem. Dit wil niet zeggen dat alle toekomstige AI-technieken even onkenbaar zullen zijn. Maar door zijn aard is deep learning een bijzonder donkere zwarte doos.

Je kunt niet zomaar in een diep neuraal netwerk kijken om te zien hoe het werkt. De redenering van een netwerk is ingebed in het gedrag van duizenden gesimuleerde neuronen, gerangschikt in tientallen of zelfs honderden ingewikkeld onderling verbonden lagen. De neuronen in de eerste laag krijgen elk een invoer, zoals de intensiteit van een pixel in een afbeelding, en voeren vervolgens een berekening uit voordat een nieuw signaal wordt afgegeven. Deze outputs worden in een complex web naar de neuronen in de volgende laag gevoerd, enzovoort, totdat een algemene output wordt geproduceerd. Bovendien is er een proces dat bekend staat als back-propagation en dat de berekeningen van individuele neuronen zodanig aanpast dat het netwerk leert een gewenste output te produceren.

Door de vele lagen in een diep netwerk kan het dingen op verschillende abstractieniveaus herkennen. In een systeem dat bijvoorbeeld is ontworpen om honden te herkennen, herkennen de onderste lagen eenvoudige dingen zoals contouren of kleur; hogere lagen herkennen meer complexe dingen zoals vacht of ogen; en de bovenste laag identificeert het allemaal als een hond. Dezelfde benadering kan grofweg worden toegepast op andere inputs die een machine ertoe brengen zichzelf aan te leren: de geluiden waaruit woorden in spraak bestaan, de letters en woorden die zinnen in tekst creëren of de stuurbewegingen die nodig zijn om te rijden.

Het kan deel uitmaken van de aard van intelligentie dat slechts een deel ervan wordt blootgesteld aan rationele verklaringen. Een deel ervan is gewoon instinctief.

Er zijn ingenieuze strategieën gebruikt om te proberen vast te leggen en zo meer in detail uit te leggen wat er in dergelijke systemen gebeurt. In 2015 hebben onderzoekers van Google een op diep leren gebaseerd algoritme voor beeldherkenning aangepast, zodat het in plaats van objecten in foto's te spotten, ze zou genereren of wijzigen. Door het algoritme effectief omgekeerd uit te voeren, konden ze de functies ontdekken die het programma gebruikt om bijvoorbeeld een vogel of gebouw te herkennen. De resulterende afbeeldingen , geproduceerd door een project dat bekend staat als Deep Dream, toonde groteske, buitenaardse dieren die opdoken uit wolken en planten, en hallucinerende pagodes die bloeien over bossen en bergketens. De beelden bewezen dat deep learning niet helemaal ondoorgrondelijk hoeft te zijn; ze onthulden dat de algoritmen thuiskomen in bekende visuele kenmerken zoals de snavel of veren van een vogel. Maar de afbeeldingen lieten ook zien hoe verschillend diep leren is van menselijke waarneming, in die zin dat het iets zou kunnen maken van een artefact dat we zouden weten te negeren. Google-onderzoekers merkten op dat wanneer het algoritme afbeeldingen van een halter genereerde, het ook een menselijke arm genereerde die hem vasthield. De machine had geconcludeerd dat er een arm bij hoorde.

Er is verdere vooruitgang geboekt met behulp van ideeën die zijn ontleend aan de neurowetenschap en de cognitieve wetenschap. Een team onder leiding van Jeff Clune, een assistent-professor aan de Universiteit van Wyoming, heeft het AI-equivalent van optische illusies gebruikt om diepe neurale netwerken te testen. In 2015 liet de groep van Clune zien hoe bepaalde afbeeldingen zo'n netwerk voor de gek konden houden door dingen waar te nemen die er niet zijn, omdat de afbeeldingen gebruikmaken van de patronen op laag niveau waarnaar het systeem zoekt. Een van de medewerkers van Clune, Jason Yosinski, heeft ook een tool gebouwd die werkt als een sonde die in een brein wordt gestoken. Zijn tool richt zich op elk neuron in het midden van het netwerk en zoekt naar het beeld dat het het meest activeert. De afbeeldingen die verschijnen zijn abstract (stel je een impressionistische kijk op een flamingo of een schoolbus voor), wat de mysterieuze aard van de perceptuele vermogens van de machine benadrukt.

Dit vroege kunstmatige neurale netwerk, in het Cornell Aeronautical Laboratory in Buffalo, New York, rond 1960, verwerkte inputs van lichtsensoren.

Ferriss werd geïnspireerd om Cornell's kunstmatige neurale netwerk door Deep Dream te laten lopen en de afbeeldingen boven en onder te produceren. Adam Ferriss

We hebben echter meer nodig dan een glimp van het denken van AI, en er is geen gemakkelijke oplossing. Het is het samenspel van berekeningen binnen een diep neuraal netwerk dat cruciaal is voor patroonherkenning op een hoger niveau en complexe besluitvorming, maar die berekeningen zijn een moeras van wiskundige functies en variabelen. Als je een heel klein neuraal netwerk had, zou je het misschien kunnen begrijpen, zegt Jaakkola. Maar als het eenmaal erg groot wordt, en het heeft duizenden eenheden per laag en misschien honderden lagen, dan wordt het nogal onbegrijpelijk.

In het kantoor naast Jaakkola zit Regina Barzilay, een MIT-professor die vastbesloten is machine learning toe te passen op medicijnen. Een paar jaar geleden werd bij haar, op 43-jarige leeftijd, borstkanker geconstateerd. De diagnose was op zich al schokkend, maar Barzilay was ook verbijsterd dat er geen geavanceerde statistische methoden en machinale leermethoden werden gebruikt om te helpen bij oncologisch onderzoek of om patiënt behandeling. Ze zegt dat AI een enorm potentieel heeft om de geneeskunde te revolutioneren, maar om dat potentieel te realiseren, moet je verder gaan dan alleen medische dossiers. Ze stelt zich voor om meer van de onbewerkte gegevens te gebruiken waarvan ze zegt dat ze momenteel onderbenut zijn: beeldvormingsgegevens, pathologische gegevens, al deze informatie.

Hoe goed kunnen we overweg met machines die onvoorspelbaar en ondoorgrondelijk zijn?

Nadat ze vorig jaar de kankerbehandeling had beëindigd, begonnen Barzilay en haar studenten samen te werken met artsen van het Massachusetts General Hospital om een ​​systeem te ontwikkelen dat in staat is om pathologierapporten te ontginnen om patiënten te identificeren met specifieke klinische kenmerken die onderzoekers zouden willen bestuderen. Barzilay begreep echter dat het systeem zijn redenering moest uitleggen. Dus voegde ze samen met Jaakkola en een student een stap toe: het systeem extraheert en markeert tekstfragmenten die representatief zijn voor een ontdekt patroon. Barzilay en haar studenten ontwikkelen ook een diepgaand lerend algoritme dat in staat is om vroege tekenen van borstkanker te vinden in mammogrambeelden, en ze willen dit systeem ook enige mogelijkheid geven om zijn redenering uit te leggen. Je moet echt een lus hebben waarin de machine en de mens samenwerken, zegt Barzilay.

Het Amerikaanse leger stort miljarden in projecten die machine learning zullen gebruiken om voertuigen en vliegtuigen te besturen, doelen te identificeren en analisten te helpen bij het doorzoeken van enorme stapels inlichtingengegevens. Hier is meer dan waar dan ook, zelfs meer dan in de geneeskunde, weinig ruimte voor algoritmisch mysterie, en het ministerie van Defensie heeft verklaarbaarheid als een belangrijk struikelblok aangemerkt.

David Gunning, een programmamanager bij het Defense Advanced Research Projects Agency, houdt toezicht op het toepasselijk genaamde Explainable Artificial Intelligence-programma. Een zilverharige veteraan van het bureau die eerder toezicht hield op het DARPA-project dat uiteindelijk leidde tot de oprichting van Siri, zegt Gunning dat automatisering ontelbare delen van het leger binnensluipt. Intelligentie-analisten testen machine learning als een manier om patronen in grote hoeveelheden bewakingsgegevens te identificeren. Veel autonome grondvoertuigen en vliegtuigen worden ontwikkeld en getest. Maar soldaten zullen zich waarschijnlijk niet op hun gemak voelen in een robottank die zichzelf niet aan hen uitlegt, en analisten zullen terughoudend zijn om op informatie te reageren zonder enige redenering. Het is vaak de aard van deze machine learning-systemen dat ze veel valse alarmen produceren, dus een intel-analist heeft echt extra hulp nodig om te begrijpen waarom een ​​aanbeveling is gedaan, zegt Gunning.

In maart koos DARPA 13 projecten uit de academische wereld en de industrie uit voor financiering in het kader van het Gunning-programma. Sommigen van hen konden voortbouwen op het werk onder leiding van Carlos Guestrin, een professor aan de Universiteit van Washington. Hij en zijn collega's hebben een manier ontwikkeld waarmee machine-learningsystemen hun output kunnen onderbouwen. In wezen vindt een computer bij deze methode automatisch enkele voorbeelden uit een dataset en geeft deze weer in een korte uitleg. Een systeem dat bijvoorbeeld is ontworpen om een ​​e-mailbericht te classificeren als afkomstig van een terrorist, kan bij zijn training en besluitvorming vele miljoenen berichten gebruiken. Maar met de aanpak van het Washington-team kan het bepaalde trefwoorden in een bericht markeren. De groep van Guestrin heeft ook manieren bedacht waarop systemen voor beeldherkenning een hint kunnen geven naar hun redenering door de delen van een afbeelding te benadrukken die het belangrijkst waren.

Adam Ferriss

Een nadeel van deze benadering en van andere, zoals die van Barzilay, is dat de gegeven uitleg altijd zal worden vereenvoudigd, wat betekent dat er onderweg essentiële informatie verloren kan gaan. We hebben niet de hele droom bereikt, dat is waar AI een gesprek met je heeft en het kan uitleggen, zegt Guestrin. We zijn nog ver verwijderd van echt interpreteerbare AI.

Het hoeft geen high-stakes situatie te zijn, zoals de diagnose van kanker of militaire manoeuvres, om dit een probleem te laten worden. Het kennen van de redenering van AI zal ook cruciaal zijn als de technologie een algemeen en nuttig onderdeel van ons dagelijks leven moet worden. Tom Gruber, die het Siri-team bij Apple leidt, zegt dat uitlegbaarheid een belangrijke overweging is voor zijn team, omdat het probeert van Siri een slimmere en capabelere virtuele assistent te maken. Gruber zou geen specifieke plannen voor de toekomst van Siri bespreken, maar het is gemakkelijk voor te stellen dat als je een restaurantaanbeveling van Siri ontvangt, je wilt weten wat de redenering was. Ruslan Salakhutdinov, directeur van AI-onderzoek bij Apple en universitair hoofddocent aan de Carnegie Mellon University, ziet verklaarbaarheid als de kern van de zich ontwikkelende relatie tussen mensen en intelligente machines. Het gaat vertrouwen scheppen, zegt hij.

Verwant verhaal

Lees volgende Machines die taal echt begrijpen, zouden ongelooflijk nuttig zijn. Maar we weten niet hoe we ze moeten bouwen.

Net zoals veel aspecten van menselijk gedrag onmogelijk in detail kunnen worden uitgelegd, zal het misschien niet mogelijk zijn voor AI om alles uit te leggen wat het doet. Zelfs als iemand je een redelijk klinkende verklaring kan geven [voor zijn of haar acties], is deze waarschijnlijk onvolledig, en hetzelfde zou heel goed kunnen gelden voor AI, zegt Clune van de University of Wyoming. Het kan gewoon een deel van de aard van intelligentie zijn dat slechts een deel ervan wordt blootgesteld aan rationele verklaringen. Een deel ervan is gewoon instinctief, of onbewust, of ondoorgrondelijk.

Als dat zo is, moeten we op een bepaald moment misschien gewoon op het oordeel van AI vertrouwen of het niet gebruiken. Evenzo zal dat oordeel sociale intelligentie moeten incorporeren. Net zoals de samenleving is gebouwd op een contract van verwacht gedrag, zullen we AI-systemen moeten ontwerpen die onze sociale normen respecteren en passen. Als we robottanks en andere moordmachines willen maken, is het belangrijk dat hun besluitvorming in overeenstemming is met onze ethische oordelen.

Om deze metafysische concepten te onderzoeken, ging ik naar de Tufts University om Daniel Dennett te ontmoeten, een beroemde filosoof en cognitief wetenschapper die bewustzijn en de geest bestudeert. Een hoofdstuk van Dennetts nieuwste boek, Van bacteriën tot Bach en terug , een encyclopedische verhandeling over bewustzijn, suggereert dat een natuurlijk onderdeel van de evolutie van intelligentie zelf het creëren van systemen is die in staat zijn taken uit te voeren waarvan de makers niet weten hoe ze dat moeten doen. De vraag is: welke voorzieningen moeten we treffen om dit verstandig te doen - welke normen stellen we van hen en van onszelf? vertelt hij me in zijn rommelige kantoor op de idyllische campus van de universiteit.

Hij heeft ook een woord van waarschuwing over de zoektocht naar verklaarbaarheid. Ik denk dat als we deze dingen gaan gebruiken en erop vertrouwen, we een zo goed mogelijke greep moeten krijgen op hoe en waarom ze ons de antwoorden geven die mogelijk zijn, zegt hij. Maar aangezien er misschien geen perfect antwoord is, moeten we net zo voorzichtig zijn met AI-verklaringen als met die van elkaar, hoe slim een ​​machine ook lijkt. Als het niet beter kan dan wij om uit te leggen wat het doet, zegt hij, vertrouw het dan niet.

zich verstoppen