Wat AI nog steeds niet kan

Kunstmatige intelligentie zal niet erg slim zijn als computers oorzaak en gevolg niet begrijpen. Dat is iets waar zelfs mensen moeite mee hebben. Door

• Brian Bergstein archiefpagina

19 februari 2020

Saiman Chow

In minder dan tien jaar zijn computers buitengewoon goed geworden in het diagnosticeren van ziekten, het vertalen van talen en het transcriberen van spraak. Ze kunnen mensen verslaan in gecompliceerde strategiespellen, fotorealistische afbeeldingen maken en nuttige antwoorden op uw e-mails voorstellen.

Maar ondanks deze indrukwekkende prestaties heeft kunstmatige intelligentie flagrante zwakheden.

Dit verhaal maakte deel uit van ons nummer van maart 2020

• Zie de rest van het nummer
• Abonneren

Machine learning-systemen kunnen worden misleid of in de war gebracht door situaties die ze nog niet eerder hebben gezien. Een zelfrijdende auto raakt in de war door een scenario dat een menselijke bestuurder gemakkelijk aan zou kunnen. Een AI-systeem dat moeizaam is getraind om één taak uit te voeren (bijvoorbeeld katten identificeren) moet helemaal opnieuw worden geleerd om iets anders te doen (honden identificeren). Tijdens het proces kan het een deel van de expertise verliezen die het had in de oorspronkelijke taak. Computerwetenschappers noemen dit probleem catastrofaal vergeten.

Deze tekortkomingen hebben iets gemeen: ze bestaan ​​omdat AI-systemen oorzakelijk verband niet begrijpen. Ze zien dat sommige gebeurtenissen verband houden met andere gebeurtenissen, maar ze stellen niet vast welke dingen direct andere dingen laten gebeuren. Het is alsof je wist dat de aanwezigheid van wolken regen waarschijnlijker maakte, maar je wist niet dat wolken regen veroorzaakten.

Elias Bareinboim: AI-systemen hebben geen idee als het gaat om oorzakelijk verband.

Oorzaak en gevolg begrijpen is een belangrijk aspect van wat we gezond verstand noemen, en het is een gebied waarop AI-systemen tegenwoordig geen idee hebben, zegt Elias Bareinboim. Hij zou het moeten weten: als directeur van het nieuwe Causal Artificial Intelligence Lab aan de Columbia University loopt hij voorop bij de inspanningen om dit probleem op te lossen.

Zijn idee is om onderzoek naar kunstmatige intelligentie te doordrenken met inzichten uit de relatief nieuwe wetenschap van causaliteit, een veld dat in grote mate is gevormd door Judea Pearl, een Turing Award-winnende geleerde die Bareinboim als zijn beschermeling beschouwt.

Zoals Bareinboim en Pearl het beschrijven, is het vermogen van AI om correlaties te ontdekken, bijvoorbeeld dat wolken regen waarschijnlijker maken, slechts het eenvoudigste niveau van oorzakelijk redeneren. Het is goed genoeg om het afgelopen decennium de hausse in de AI-techniek die bekend staat als deep learning te hebben aangedreven. Gezien de grote hoeveelheid gegevens over bekende situaties kan deze methode tot zeer goede voorspellingen leiden. Een computer kan de kans berekenen dat een patiënt met bepaalde symptomen een bepaalde ziekte heeft, omdat hij heeft geleerd hoe vaak duizenden of zelfs miljoenen andere mensen met dezelfde symptomen die ziekte hadden.

Maar er is een groeiende consensus dat de vooruitgang in AI zal stagneren als computers niet beter worden in het worstelen met oorzakelijk verband. Als machines zouden begrijpen dat bepaalde dingen tot andere dingen leiden, zouden ze niet alles steeds opnieuw hoeven te leren - ze zouden kunnen nemen wat ze op het ene domein hadden geleerd en het op een ander domein toepassen. En als machines gezond verstand zouden gebruiken, zouden we er meer op kunnen vertrouwen dat ze zelf acties ondernemen, wetende dat ze waarschijnlijk geen domme fouten zullen maken.

De AI van vandaag heeft slechts een beperkt vermogen om af te leiden wat het gevolg zal zijn van een bepaalde actie. Bij het leren van versterkingen, een techniek die machines in staat heeft gesteld om spellen als schaken en Go onder de knie te krijgen, gebruikt een systeem uitgebreid vallen en opstaan ​​om te bepalen welke zetten ze in wezen zullen doen winnen. Maar deze aanpak werkt niet in rommeligere omgevingen in de echte wereld. Het laat zelfs geen machine achter met een algemeen begrip van hoe het andere spellen zou kunnen spelen.

Een nog hoger niveau van causaal denken zou het vermogen zijn om te redeneren waarom dingen zijn gebeurd en wat als-vragen te stellen. Een patiënt overlijdt tijdens een klinische proef; was het de schuld van de experimentele geneeskunde of iets anders? Schooltestscores dalen; welke beleidswijzigingen zouden hen het meest verbeteren? Dit soort redeneringen gaat de huidige mogelijkheden van kunstmatige intelligentie ver te boven.

Wonderen verrichten

De droom om computers causaal redeneren te geven, bracht Bareinboim in 2008 van Brazilië naar de Verenigde Staten, nadat hij een master in computerwetenschappen had afgerond aan de Federale Universiteit van Rio de Janeiro. Hij greep de kans om te studeren bij Judea Pearl, een computerwetenschapper en statisticus aan de UCLA, aan. Pearl, 83, is een reus— de reus - van causale gevolgtrekkingen, en zijn carrière helpt illustreren waarom het moeilijk is om AI te creëren die causaliteit begrijpt.

Zelfs goed opgeleide wetenschappers zijn geneigd correlaties verkeerd te interpreteren als tekenen van oorzakelijk verband - of om in de tegenovergestelde richting te dwalen, en aarzelen om oorzakelijk verband te noemen, zelfs als het gerechtvaardigd is. In de jaren vijftig, bijvoorbeeld, hebben een paar prominente statistici de wateren vertroebeld over de vraag of tabak kanker veroorzaakte. Ze voerden aan dat zonder een experiment waarbij mensen willekeurig werden toegewezen aan rokers of niet-rokers, niemand de mogelijkheid kon uitsluiten dat een onbekende - stress misschien of een gen - ervoor zorgde dat mensen zowel roken als longkanker kregen.

Uiteindelijk werd definitief vastgesteld dat roken kanker veroorzaakt, maar dat hoeft niet zo lang te duren. Sindsdien hebben Pearl en andere statistici een wiskundige benadering ontwikkeld om te bepalen welke feiten nodig zijn om een ​​causale bewering te staven. De methode van Pearl laat zien dat, gezien de prevalentie van roken en longkanker, een onafhankelijke factor die beide veroorzaakt, uiterst onwaarschijnlijk is.

Omgekeerd helpen de formules van Pearl ook om te bepalen wanneer correlaties niet kunnen worden gebruikt om oorzakelijk verband te bepalen. Bernhard Schölkopf, die onderzoek doet naar causale AI-technieken als directeur van het Duitse Max Planck Instituut voor Intelligente Systemen, wijst erop dat je het geboortecijfer van een land kunt voorspellen als je de populatie ooievaars kent. Dat is niet omdat ooievaars baby's krijgen of omdat baby's ooievaars aantrekken, maar waarschijnlijk omdat economische ontwikkeling leidt tot meer baby's en meer ooievaars. Pearl heeft statistici en computerwetenschappers manieren gegeven om dergelijke problemen aan te pakken, zegt Schölkopf.

Judea Pearl: Zijn theorie van causaal redeneren heeft de wetenschap getransformeerd.

Het werk van Pearl heeft ook geleid tot de ontwikkeling van causale Bayesiaanse netwerken: software die grote hoeveelheden gegevens doorzoekt om te detecteren welke variabelen de meeste invloed lijken te hebben op andere variabelen. Zo gebruikt GNS Healthcare, een bedrijf in Cambridge, Massachusetts, deze technieken om onderzoekers te adviseren over veelbelovende experimenten.

In één project werkte GNS samen met onderzoekers die multipel myeloom, een soort bloedkanker, bestuderen. De onderzoekers wilden weten waarom sommige patiënten met de ziekte langer leven dan anderen na het krijgen van stamceltransplantaties, een veel voorkomende vorm van behandeling. De software bladerde door gegevens met 30.000 variabelen en wees op een paar die vooral causaal leken te zijn. Biostatistici en ziekte-experts richtten zich op één in het bijzonder: het niveau van een bepaald eiwit in het lichaam van patiënten. Onderzoekers zouden dan een gerichte klinische proef kunnen uitvoeren om te zien of patiënten met het eiwit inderdaad meer baat hebben bij de behandeling. Het is veel sneller dan hier en daar in het lab snuffelen, zegt GNS-medeoprichter Iya Khalil.

Desalniettemin hebben de verbeteringen die Pearl en andere wetenschappers hebben bereikt in de causale theorie nog niet veel invloed gehad op diep leren, dat correlaties identificeert zonder al te veel zorgen te maken over oorzakelijk verband. Bareinboim werkt aan de volgende stap: computers meer bruikbare tools maken voor menselijke causale verkenningen.

Pearl zegt dat AI pas echt intelligent kan zijn als het een goed begrip heeft van oorzaak en gevolg, wat de introspectie mogelijk zou maken die de kern van cognitie vormt.

Een van zijn systemen, die nog in bèta is, kan wetenschappers helpen bepalen of ze voldoende data hebben om een ​​causale vraag te beantwoorden. Richard McElreath, een antropoloog aan het Max Planck Instituut voor Evolutionaire Antropologie, gebruikt de software om onderzoek te sturen naar waarom mensen door de menopauze gaan (wij zijn de enige apen die dat doen).

De hypothese is dat de daling van de vruchtbaarheid bij oudere vrouwen de vroege menselijke samenlevingen ten goede kwam, omdat vrouwen die meer moeite deden om voor kleinkinderen te zorgen, uiteindelijk meer nakomelingen kregen. Maar welk bewijs zou er tegenwoordig kunnen zijn om de bewering te ondersteunen dat kinderen het beter doen als grootouders in de buurt zijn? Antropologen kunnen niet alleen de educatieve of medische resultaten vergelijken van kinderen die bij grootouders hebben gewoond en kinderen die dat niet hebben gedaan. Er zijn wat statistici verstorende factoren noemen: grootmoeders zullen waarschijnlijk eerder bij kleinkinderen wonen die de meeste hulp nodig hebben. De software van Bareinboim kan McElreath helpen te onderscheiden welke onderzoeken over kinderen die bij hun grootouders zijn opgegroeid het minst vol zitten met verstorende factoren en waardevol kunnen zijn bij het beantwoorden van zijn causale vraag. Het is een enorme stap voorwaarts, zegt McElreath.

De laatste mijl

Bareinboim praat snel en maakt vaak gebaren met twee handen in de lucht, alsof hij twee kanten van een mentale vergelijking probeert te balanceren. Het was halverwege het semester toen ik hem in oktober in Columbia bezocht, maar het leek alsof hij amper naar zijn kantoor was verhuisd - bijna niets aan de muren, geen boeken op de planken, alleen een strakke Mac-computer en een whiteboard zo dicht met vergelijkingen en diagrammen dat het leek op een detail uit een cartoon over een gekke professor.

Hij schudde de voorlopige staat van de kamer van zich af en zei dat hij het erg druk had gehad met het geven van lezingen over beide kanten van de causale revolutie. Bareinboim gelooft dat werk als het zijne niet alleen de mogelijkheid biedt om causaal denken in machines in te bouwen, maar ook om het bij mensen te verbeteren.

Mensen beter laten nadenken over oorzakelijk verband is niet per se veel gemakkelijker dan het aan machines te leren, zegt hij. Onderzoekers in een breed scala van disciplines, van moleculaire biologie tot openbaar beleid, zijn soms tevreden met het blootleggen van correlaties die niet echt geworteld zijn in causale verbanden. Sommige onderzoeken suggereren bijvoorbeeld dat alcohol je vroegtijdig zal doden, terwijl andere aangeven dat matige consumptie prima en zelfs heilzaam is, en weer ander onderzoek heeft uitgewezen dat zware drinkers niet-drinkers overleven. Dit fenomeen, bekend als de reproduceerbaarheidscrisis, duikt niet alleen op in de geneeskunde en voeding, maar ook in de psychologie en economie. Je kunt de kwetsbaarheid van al deze gevolgtrekkingen zien, zegt Bareinboim. We draaien de resultaten om de paar jaar om.

Hij stelt dat iedereen die zich afvraagt ​​wat als - medische onderzoekers die klinische proeven opzetten, sociale wetenschappers die proefprogramma's ontwikkelen, zelfs webuitgevers die A/B-tests voorbereiden - niet alleen moet beginnen met het verzamelen van gegevens, maar met Pearls causale logica en software zoals die van Bareinboim om te bepalen of de beschikbare gegevens zouden mogelijk een causale hypothese kunnen beantwoorden. Uiteindelijk stelt hij zich voor dat dit leidt tot geautomatiseerde wetenschappelijke software: een mens zou een causale vraag kunnen bedenken om na te streven, en de software zou causale inferentietheorie combineren met machinale leertechnieken om experimenten uit te sluiten die de vraag niet zouden beantwoorden. Dat zou wetenschappers kunnen redden van een groot aantal kostbare doodlopende wegen.

Bareinboim beschreef deze visie terwijl we in de lobby van MIT's Sloan School of Management zaten, na een lezing die hij afgelopen herfst gaf. We hebben hier aan het MIT een gebouw met, ik weet het niet, 200 mensen, zei hij. Hoe beslissen die sociale wetenschappers, of welke wetenschappers dan ook, welke experimenten ze moeten uitvoeren en welke gegevens moeten worden verzameld? Door hun intuïtie te volgen: Ze proberen te zien waar de dingen toe leiden, gebaseerd op hun huidige begrip.

Dat is een inherent beperkte benadering, zei hij, omdat menselijke wetenschappers die een experiment ontwerpen, slechts een handvol variabelen tegelijk in gedachten kunnen houden. Een computer daarentegen kan het samenspel van honderden of duizenden variabelen zien. Gecodeerd met de basisprincipes van Pearl's causale calculus en in staat om te berekenen wat er zou kunnen gebeuren met nieuwe reeksen variabelen, zou een geautomatiseerde wetenschapper precies kunnen suggereren aan welke experimenten de menselijke onderzoekers hun tijd zouden moeten besteden. Misschien zou een openbaar beleid waarvan is aangetoond dat het alleen in Texas werkt, in Californië worden toegepast als een paar causaal relevante factoren beter zouden worden gewaardeerd. Wetenschappers zouden niet langer experimenten in de duisternis doen, zei Bareinboim.

Zo ver vindt hij het ook niet: dit is de laatste kilometer voor de overwinning.

Wat als?

Om die mijl af te werken, zijn waarschijnlijk technieken nodig die nog maar net zijn ontwikkeld. Yoshua Bengio, een computerwetenschapper aan de Universiteit van Montreal die de Turing Award 2018 deelde voor zijn werk op het gebied van diep leren, probeert bijvoorbeeld neurale netwerken - de software die de kern vormt van diep leren - te krijgen voor meta-leren en opmerken de oorzaken van dingen.

Zoals de zaken er nu voor staan, als je een neuraal netwerk wilde hebben om te detecteren wanneer mensen dansen, zou je het heel veel afbeeldingen van dansers laten zien. Als je wilde dat het identificeerde wanneer mensen rennen, zou je het heel veel afbeeldingen van hardlopers laten zien. Het systeem zou lopers leren onderscheiden van dansers door kenmerken te identificeren die vaak anders zijn in de afbeeldingen, zoals de positie van iemands handen en armen. Maar Bengio wijst erop dat fundamentele kennis over de wereld kan worden verkregen door de dingen te analyseren die vergelijkbaar of invariant zijn in datasets. Misschien kan een neuraal netwerk leren dat bewegingen van de benen fysiek zowel rennen als dansen veroorzaken. Misschien zou een machine, na het zien van deze voorbeelden en vele andere die mensen slechts een paar meter boven de grond laten zien, uiteindelijk iets begrijpen over zwaartekracht en hoe het de menselijke beweging beperkt. Na verloop van tijd, met voldoende meta-leren over variabelen die consistent zijn in datasets, zou een computer causale kennis kunnen opdoen die in veel domeinen herbruikbaar zou zijn.

Van zijn kant zegt Pearl dat AI pas echt intelligent kan zijn als het een goed begrip heeft van oorzaak en gevolg. Hoewel causaal redeneren niet voldoende zou zijn voor een kunstmatige algemene intelligentie, is het noodzakelijk, zegt hij, omdat het de introspectie mogelijk zou maken die de kern van cognitie vormt. Wat als vragen de bouwstenen zijn van de wetenschap, van morele attitudes, van vrije wil, van bewustzijn, vertelde Pearl me.

Je kunt Pearl niet overhalen om te voorspellen hoe lang het duurt voordat computers krachtige causaal redeneervermogens krijgen. Ik ben geen futurist, zegt hij. Maar in ieder geval denkt hij dat de eerste stap moet zijn om machine learning-tools te ontwikkelen die gegevens combineren met beschikbare wetenschappelijke kennis: we hebben veel kennis die zich in de menselijke schedel bevindt en die niet wordt gebruikt.

Brian Bergstein, voormalig redacteur bij MIT Technology Review, is plaatsvervangend opinieredacteur bij de Boston Globe.

zich verstoppen