Kan deze man AI menselijker maken?

Zoals elke trotse vader vertelt Gary Marcus maar al te graag over de laatste prestaties van zijn tweejarige zoon. Wat ongebruikelijker is, is dat hij gelooft dat de manier waarop zijn peuter leert en zijn redenen de sleutel kan zijn om machines veel intelligenter te maken.

Marcus, een 45-jarige professor in psychologie aan de New York University en de oprichter van een nieuw bedrijf genaamd Geometric Intelligence, beschrijft een voorbeeld van de vindingrijkheid van zijn jongen in de bestuurskamer van een bruisende startup-incubator in Manhattan. Vanaf de achterbank van de auto had zijn zoon een bord met het nummer 11 gezien, en omdat hij wist dat andere dubbele cijfers namen hadden als drieëndertig en zevenenzeventig, vroeg hij zijn vader of het nummer op het bord was een-een.

Dit verhaal maakte deel uit van ons nummer van januari 2016

• Zie de rest van het nummer
• Abonneren

Hij had afgeleid dat er een regel is over hoe je je cijfers bij elkaar zet, legt Marcus lachend uit. Nu, hij had het overdreven gegeneraliseerd, en hij maakte een fout, maar het was een zeer verfijnde fout.

Marcus heeft een heel ander perspectief dan veel van de computerwetenschappers en wiskundigen die nu voorop lopen op het gebied van kunstmatige intelligentie. Hij heeft tientallen jaren besteed aan het bestuderen van de manier waarop de menselijke geest werkt en hoe kinderen nieuwe vaardigheden leren, zoals taal en muzikaliteit. Dit heeft hem doen geloven dat als onderzoekers echt geavanceerde kunstmatige intelligentie willen creëren - iets dat gemakkelijk over de wereld leert - ze aanwijzingen moeten nemen van de manier waarop peuters nieuwe concepten oppikken en generaliseren. En dat is een van de grote inspiratiebronnen voor zijn nieuwe bedrijf, dat hij leidt tijdens een jaar verlof van NYU. Met zijn radicale benadering van machine learning, wil Geometric Intelligence algoritmen maken voor gebruik in een AI die op nieuwe en betere manieren kan leren.

Is deep learning gebaseerd op een te simpel model? Marcus denkt dat computerwetenschappers een enorme kans missen door veel subtiliteiten van de menselijke geest te negeren.

Tegenwoordig is bijna iedereen die AI probeert te commercialiseren, van Google tot Baidu, gericht op algoritmen die ruwweg modelleren hoe neuronen en synapsen in de hersenen veranderen als ze worden blootgesteld aan nieuwe informatie en ervaringen. Deze aanpak, die bekend staat als deep learning, heeft de afgelopen jaren enkele verbazingwekkende resultaten opgeleverd, vooral omdat meer gegevens en krachtigere computerhardware de onderliggende berekeningen in schaal hebben gedaan. Diepgaande leermethoden hebben de menselijke nauwkeurigheid geëvenaard of zelfs overtroffen bij het herkennen van gezichten in afbeeldingen of het identificeren van gesproken woorden in audio-opnames. Google, Facebook en andere grote bedrijven passen de aanpak toe op zowat elke taak waarbij het nuttig is om een ​​patroon te ontdekken in enorme hoeveelheden gegevens, zoals het verfijnen van zoekresultaten of het leren van computers hoe ze een gesprek moeten voeren (zie Machines aanleren om Begrijp ons).

Maar is deep learning gebaseerd op een te simpel model van de hersenen? Geometrische intelligentie - inderdaad, Marcus zelf - wedt dat computerwetenschappers een enorme kans missen door vele subtiliteiten in de manier waarop de menselijke geest werkt te negeren. In zijn schrijven, publieke optredens en opmerkingen aan de pers kan Marcus een harde criticus zijn van het enthousiasme voor deep learning. Maar ondanks zijn soms schurende aanpak biedt hij wel een waardevol tegenperspectief. Hij wijst er onder meer op dat deze systemen vele duizenden voorbeelden moeten krijgen om iets te leren. Onderzoekers die machines proberen te ontwikkelen die op natuurlijke wijze met mensen kunnen praten, doen dit door hun systemen talloze transcripties van eerdere gesprekken te geven. Dit zou heel goed iets kunnen opleveren dat in staat is tot een eenvoudig gesprek, maar de cognitieve wetenschap suggereert dat het niet is hoe de menselijke geest taal verwerft.

Daarentegen is het vermogen van een tweejarige om te leren door te extrapoleren en te generaliseren - zij het onvolmaakt - veel verfijnder. Het is duidelijk dat het brein in staat is tot meer dan alleen patronen in grote hoeveelheden data te herkennen: het heeft een manier om diepere abstracties te verkrijgen uit relatief weinig data. Het zou een belangrijke prestatie zijn om machines zelfs een basisvaardigheid te geven om dergelijke abstracties snel te leren. Een zelfrijdende auto hoeft misschien geen miljoenen kilometers te rijden om te leren omgaan met nieuwe wegomstandigheden. Of een robot kan een flesje pillen identificeren en ophalen, het is slechts een of twee keer getoond. Met andere woorden, deze machines zouden wat meer denken en handelen zoals wij doen.

Met een licht onverzorgd haar en een paar dagen stoppelbaard lijkt Marcus zeer geschikt voor zijn nieuwe rol als ondernemer. In de ruimte van zijn bedrijf werken een handvol programmeurs op dure computerwerkstations met krachtige grafische processors. Op een gegeven moment, wanneer Marcus een punt wil illustreren over hoe de hersenen werken, reikt hij naar wat hij denkt dat een whiteboardmarker is. Het blijkt een zoekgeraakte pijl uit een Nerf-pistool te zijn.

Marcus praat snel als hij opgewonden is, en hij heeft een snel gevoel voor humor en een ondeugende grijns. Hij weigert uit te leggen aan welke producten en toepassingen zijn bedrijf precies werkt, uit angst dat een groot bedrijf als Google een voordeel zou kunnen behalen door de cruciale inzichten erachter te leren. Maar hij zegt dat het algoritmen heeft ontwikkeld die kunnen leren van relatief kleine hoeveelheden gegevens en zelfs op een grove manier kunnen extrapoleren en generaliseren van de informatie die ze krijgen. Marcus zegt dat zijn team deze algoritmen heeft getest met behulp van taken waarin deep-learningbenaderingen uitblinken, en dat ze in verschillende gevallen aanzienlijk beter zijn gebleken. We weten iets over wat de eigenschappen van de hersenen zouden moeten zijn, legt hij uit. En we proberen in zekere zin te reverse-engineeren op basis van die eigenschappen.

Wonderkind

Marcus, geboren in Baltimore, raakte gefascineerd door de geest op de middelbare school na het lezen Ik ben van de geest , een verzameling essays over bewustzijn onder redactie van de cognitieve wetenschapper Douglas Hofstadter en de filosoof Daniel Dennett, evenals Hofstadters metaforische boek over geesten en machines, Gödel, Escher, Bach . Rond dezelfde tijd schreef hij een computerprogramma om het Latijn in het Engels te vertalen. De moeilijkheid van de taak deed hem beseffen dat het opnieuw creëren van intelligentie in machines zeker een veel groter begrip zou vereisen van de verschijnselen die in de menselijke geest aan het werk zijn.

Marcus' Latijn-naar-Engels programma was niet bijzonder praktisch, maar het hielp Hampshire College ervan te overtuigen hem een ​​paar jaar eerder aan een bachelordiploma te laten beginnen. Studenten van de kleine school voor vrije kunsten in Amherst, Massachusetts, worden aangemoedigd om hun eigen opleidingen te ontwerpen. Marcus wijdde zich aan het bestuderen van de puzzel van de menselijke cognitie.

Het midden van de jaren tachtig was een interessante tijd voor AI. Het begon verdeeld te raken tussen degenen die intelligente machines wilden maken door de basisbiologie van de hersenen te kopiëren en degenen die hogere cognitieve functies wilden nabootsen met behulp van conventionele computers en software. Het vroege werk in AI was gebaseerd op de laatste benadering, waarbij gebruik werd gemaakt van programmeertalen die waren gebouwd om logica en symbolische representatie aan te kunnen. Vogels zijn het klassieke voorbeeld. Het feit dat vogels kunnen vliegen, zou kunnen worden gecodeerd als een stukje kennis. Als een computer zou worden verteld dat een spreeuw een vogel is, zou hij daaruit afleiden dat spreeuwen moeten kunnen vliegen. Er werden verschillende grote projecten gelanceerd met als doel de menselijke kennis te coderen in enorme databases, in de hoop dat er uiteindelijk een soort van complexe intelligentie zou ontstaan.

Maar hoewel er enige vooruitgang werd geboekt, bleek de aanpak steeds complexer en onpraktischer. Regels hebben vaak uitzonderingen; niet alle vogels kunnen vliegen. En hoewel pinguïns volledig aan de aarde zijn gebonden, kunnen een vogel in een kooi en een met een gebroken vleugel om heel verschillende redenen niet vliegen. Het bleek onmogelijk ingewikkeld om alle uitzonderingen op dergelijke regels te coderen. Mensen lijken dergelijke uitzonderingen snel te leren, maar de computers weigerden. (Uitzonderingen, waaronder elf in plaats van één, kunnen natuurlijk ook verwarrend zijn voor mensen.)

Gary Marcus

Rond de tijd dat Marcus zich voorbereidde om naar Hampshire College te gaan, kwam een ​​groep psychologen met een aanpak die kunstmatige intelligentie op zijn kop dreigde te zetten. In de jaren veertig had Donald Hebb een theorie gepresenteerd over hoe de zenuwen in de hersenen een ingang zouden kunnen leren herkennen. Hij liet zien hoe het herhaaldelijk afvuren van neuronen hun verbindingen met elkaar zou kunnen versterken, waardoor de kans groter werd dat ze allemaal opnieuw zouden vuren als ze dezelfde input kregen. Sommige onderzoekers bouwden computers met een soortgelijk ontwerp. Maar de mogelijkheden van deze zogenaamde neurale netwerken waren beperkt tot 1986, toen een groep onderzoekers manieren ontdekte om hun leervermogen te vergroten. Deze onderzoekers lieten ook zien hoe neurale netwerken kunnen worden gebruikt om verschillende dingen te doen, van het herkennen van patronen in visuele gegevens tot het leren van de verleden tijd van Engelse werkwoorden. Train deze netwerken op voldoende voorbeelden, en ze vormen de verbindingen die nodig zijn om dergelijke taken uit te voeren.

De onderzoekers noemden hun benadering connectionisme en voerden aan dat voldoende grote neurale netwerken intelligentie opnieuw zouden kunnen creëren. Hoewel hun ideeën het niet meteen overnamen, leidden ze uiteindelijk tot het huidige tijdperk van diep leren.

Net op het moment dat het connectionisme een vlucht nam, besloot Marcus waar hij zijn afstudeerstudie zou gaan doen, en hij woonde een lezing bij van de beroemde cognitieve wetenschapper Steven Pinker, toen een professor aan het MIT. Pinker had het over de manier waarop kinderen werkwoorden leren en gebruiken, en hij betoogde, in tegenstelling tot een puur connectionistisch perspectief, dat ze de verleden tijd van werkwoorden niet alleen lijken te verwerven door voorbeelden uit het hoofd te leren en te generaliseren naar soortgelijke. Pinker toonde aan dat kinderen taalregels snel herkennen en vervolgens generaliseren. Hij en anderen geloven in wezen dat evolutie de neurale netwerken in het menselijk brein heeft gevormd om de tools te bieden die nodig zijn voor meer geavanceerde intelligentie.

Een diep lerend systeem kan worden getraind om bepaalde vogelsoorten te herkennen, maar het zou miljoenen voorbeeldafbeeldingen nodig hebben en zou niets weten over waarom een ​​vogel niet kan vliegen.

Marcus kwam op 19-jarige leeftijd bij Pinker's lab aan het MIT en Pinker herinnert zich hem als een vroegrijpe student. Ik heb hem een ​​project toegewezen dat een eenvoudige ja-nee-hypothese analyseert op een kleine dataset van de opgenomen spraak van drie kinderen, zei hij in een e-mail. Een paar dagen later had hij een uitgebreide analyse gemaakt van de spraak van 25 kinderen, die een half dozijn hypothesen testte en de basis werd voor een grote onderzoeksmonografie.

Als afgestudeerde student verzamelde Marcus meer bewijs om Pinkers ideeën over leren te ondersteunen en voegde hij eigen inzichten toe. Hij was een pionier in de geautomatiseerde analyse van grote hoeveelheden cognitieve onderzoeksgegevens, waarbij hij duizenden opnames van spraak van kinderen bestudeerde om gevallen te vinden waarin ze fouten maakten, zoals brak en goed in plaats van brak en ging. Dit leek te bevestigen dat kinderen de grammaticaregels begrijpen en deze vervolgens toepassen op nieuwe woorden, terwijl ze de uitzonderingen op deze regels uit het hoofd leren.

Op basis van dit onderzoek begon Marcus vraagtekens te zetten bij de connectieistische overtuiging dat intelligentie in wezen zou voortkomen uit grotere neurale netwerken, en hij begon zich te concentreren op de beperkingen en eigenaardigheden van diep leren. Een diepgaand leersysteem zou kunnen worden getraind om bepaalde soorten vogels in afbeeldingen of videoclips te herkennen en om het verschil te zien tussen degenen die kunnen vliegen en degenen die niet kunnen. Maar het zou miljoenen voorbeeldafbeeldingen moeten zien om dit te doen, en het zou niets weten over waarom een ​​vogel niet kan vliegen.

Marcus' werk met kinderen bracht hem in feite tot een belangrijke conclusie. In een boek uit 2001 genaamd De algebraïsche geest , betoogde hij dat de zich ontwikkelende menselijke geest zowel leert van voorbeelden als door regels te genereren op basis van wat het heeft geleerd. Met andere woorden, het brein gebruikt voor bepaalde taken zoiets als een diepgaand leersysteem, maar het slaat en manipuleert ook regels over hoe de wereld werkt, zodat het bruikbare conclusies kan trekken uit slechts een paar ervaringen.

Dit betekent niet precies dat geometrische intelligentie probeert de manier waarop dingen in de hersenen gebeuren na te bootsen. In een ideale wereld zouden we weten hoe kinderen het doen, zegt Marcus. We zouden weten om welke hersencircuits het gaat, welke berekeningen ze doen. Maar de neurowetenschap blijft een mysterie. Hij laat eerder doorschemeren dat het bedrijf allerlei technieken gebruikt, waaronder technieken die compatibel zijn met deep learning, om menselijk leren opnieuw te creëren.

Gezond verstand

Het werk bij Geometric Intelligence is zeker belangrijk, want het combineren van nieuwe ideeën uit de cognitieve wetenschap en neurowetenschappen zal ongetwijfeld belangrijk zijn voor de toekomst van kunstmatige intelligentie. Toch voelde ik me na een ontmoeting met Marcus een beetje als een peuter die probeert een aantal onbekende cijfers te begrijpen. Hoe komt dit allemaal samen? Ik had een van Marcus' medewerkers nodig om me een ander stukje van de puzzel te laten zien van wat het bedrijf aan het ontwikkelen is.

Zoubin Ghahramani, een professor in informatie-engineering aan de Universiteit van Cambridge in het Verenigd Koninkrijk, is medeoprichter van Geometric Intelligence. Ghahramani groeide op in de Sovjet-Unie en Iran voordat hij naar Spanje en de Verenigde Staten verhuisde, en hoewel hij precies dezelfde leeftijd heeft als Marcus, kwam hij een jaar later aan bij het MIT. Maar omdat het paar een verjaardag had, gaven ze uiteindelijk feestjes en socializen ze samen.

Ghahramani is gericht op het gebruik van waarschijnlijkheid om machines slimmer te maken. De wiskunde daarachter is ingewikkeld, maar de reden is simpel: waarschijnlijkheid biedt een manier om met onzekerheid of onvolledige informatie om te gaan. Vliegende vogels kunnen dit nogmaals helpen illustreren. Een op waarschijnlijkheid gebaseerd systeem kan een hoge waarschijnlijkheid toekennen aan het concept dat een vogel kan vliegen. Als hij vervolgens verneemt dat een struisvogel een vogel is, gaat hij ervan uit dat hij hoogstwaarschijnlijk kan vliegen. Maar andere informatie, zoals het feit dat een volwassen struisvogel gewoonlijk meer dan 200 pond weegt, zou deze veronderstelling kunnen veranderen, waardoor de kans dat een struisvogel kan vliegen tot bijna nul wordt verkleind. Deze flexibele benadering kan machines doordrenken met iets dat lijkt op een ruwe vorm van gezond verstand, een kwaliteit die van fundamenteel belang is voor menselijke intelligentie.

Sprekend via Skype vanuit zijn kantoor in Cambridge, Engeland, suggereert Ghahramani een specifieke toepassing waar hij en Marcus hun oog op hebben: robots trainen om met complexe omgevingen om te gaan. In robotica-onderzoek is het hebben van ervaringen duur, zegt hij. Als je een robot wilt laten leren lopen, of een autonoom voertuig wilt laten leren rijden, kun je hem geen dataset presenteren van een miljoen voorbeelden van omvallen en breken of ongelukken krijgen - dat is gewoon niet het werk.

Aangezien probabilistische algoritmen en andere technologie in de maak bij Geometric Intelligence compatibel zouden zijn met deep learning, is het mogelijk dat Google of Facebook het bedrijf uiteindelijk zullen overnemen en toevoegen aan zijn algehele AI-portfolio. En ondanks Marcus' kritiek op het connectionisme en de deep-learning-koorts, heb ik het idee dat hij best tevreden zou zijn met zo'n uitkomst.

Zelfs als dat gebeurt, zal het belangrijk zijn als Marcus kan aantonen dat het meest wonderbaarlijke leersysteem dat we kennen - de menselijke geest - de sleutel is tot de toekomst van kunstmatige intelligentie. Marcus geeft me nog een voorbeeld van de slimheid van zijn zoon. Mijn vrouw vroeg hem: 'Wie van je dierenvrienden komt er vandaag naar school?' zegt Marcus. En hij zegt: 'Big Bunny, omdat Beer en Vogelbekdier aan het eten zijn.' Dan gaat mijn vrouw terug naar zijn kamer en, ja hoor, dat speelgoed ligt op een stoel te 'eten'.

Marcus verbaast zich erover dat zijn tweejarige kan redeneren over regels met betrekking tot menselijk gedrag - zich realiserend dat je naar school gaat of iets anders doet - en een compleet nieuwe zin kan construeren op basis van zijn groeiend begrip van de manier waarop taal werkt. Na een pauze en een glimlach voegt hij eraan toe: Nou, laat me het AI-systeem zien dat dat kan.

zich verstoppen