211service.com
Het IQ van AI stimuleren
De kunstmatige intelligentie van vandaag is verre van intelligent. Maar Josh Tenenbaum, PhD '99, werkt eraan. 27 juni 2018
Bob O'Connor
Op een zondagmiddag eind maart zit cognitief wetenschapper Josh Tenenbaum, PhD '99, voor een houten tafelspel, zwaaiend met een magnetische peddel en een poging om een kleine oranje bal in het doel van zijn tegenstander te slaan. Tenenbaum, een professor in computationele cognitieve wetenschap, en zijn tegenstander, een eerstejaars afgestudeerde student, lachen als de bal van de zijkant van het bord stuitert en achteruit in het doel van Tenenbaum afketst, wat hem een punt kost.
De werkruimte van Building 46 van Tenenbaum is gevuld met speelgoed - niet alleen het magnetische peddelspel, maar ook een boomvormige puzzel en een spel genaamd Stormy Seas, waarin spelers kleine, piratenthema-objecten proberen te balanceren op een onstabiel platform. Een eersteklasser zou hier thuis zijn. Maar het speelgoed inspireert Tenenbaum en zijn studenten ook om meer diepgaande vragen te onderzoeken over wat mensen intelligent maakt - wat ons in staat stelt zo snel te denken en te leren, en uiteindelijk wat ons slimmer maakt dan welk huidig kunstmatige-intelligentiesysteem dan ook.
Een mens die toekeek hoe Tenenbaum en zijn leerling de bal heen en weer sloegen, zou snel begrijpen dat ze een spel speelden. Na enkele ogenblikken zou de waarnemer de regels doorgronden en kunnen deelnemen. Het zou al moeilijk genoeg zijn om een robot de meeste dingen op deze tafel te laten oppakken, laat staan uit te zoeken wat er aan de hand is, zegt Tenenbaum. Kunstmatige intelligentie is niet toegerust om vanuit een doel achteruit te werken en op een nieuwe manier te plannen, zegt hij. Mensen kunnen dit echter gedeeltelijk doen door mentale modellen van de wereld om hen heen te creëren. Het is misschien mogelijk om slimmere machines te bouwen door deze mentale processen te reverse-engineeren.
Ondanks alle recente hype rond kunstmatige intelligentie, beschouwt Tenenbaum geen van de huidige AI-systemen echt intelligent. Ja, AI heeft opvallende vorderingen gemaakt door computers in staat te stellen relatief beperkte taken uit te voeren, zoals het herkennen van gezichten of objecten. Maar hoewel veel van deze gerichte AI-systemen ongelooflijk goed werken en een enorme impact hebben, zijn onderzoekers er niet in geslaagd de algemene, flexibele intelligentie na te bootsen waarmee mensen problemen kunnen oplossen zonder dat ze daarvoor speciaal zijn opgeleid. Zijn werk, zegt hij, is geïnspireerd door de filosofie, met inbegrip van vragen die door Plato, Aristoteles, Kant en Hume werden overwogen. Hoe ga je van bijzonderheden naar algemeenheden? Hoe kijk je naar één ding en zeg je: wat ik leer gaat niet alleen over dat ding - het gaat ook over andere dingen? Dat vind ik opwindend - nadenken over deze grote vragen over hoe we iets te weten komen, zegt hij.
Bob O'Connor
Tenenbaum stelt dat het focussen op de menselijke geest een waardevolle manier is om AI vooruit te helpen. Historisch gezien werden veel, zo niet de meeste innovaties in het veld tot stand gebracht door mensen die geïnteresseerd waren in het begrijpen van menselijke intelligentie vanuit een wiskundig of technisch perspectief, zegt hij. Dus hoewel dit niet de enige mogelijke benadering is, gelooft hij dat het waarschijnlijk een vruchtbare is. Bovendien zijn veel van de soorten technologie waarvoor we naar AI kijken, technologieën die in een menselijke wereld zullen leven, zegt hij. Deze omvatten machines die kunnen helpen met huishoudelijke taken of zelfs voor kinderen of ouderen kunnen zorgen, waarbij ze taken op menselijke schaal overnemen. En, zegt hij, als we willen dat machines met ons communiceren zoals wij met elkaar omgaan, dan is het tot op zekere hoogte essentieel dat ze een mensachtige intelligentie hebben.
In maart, toen het Instituut MIT Intelligence Quest lanceerde (nu MIT Quest for Intelligence genoemd), een initiatief om de basis van menselijke intelligentie te onderzoeken, was Tenenbaum openhartig over de grenzen van bestaande AI-systemen. Elk moet worden gebouwd door echt slimme ingenieurs, zei hij, en elk doet maar één ding. Maar hij ging dieper in op zijn gedurfdere visie om AI te ontwikkelen om menselijk leren na te bootsen. Stel je voor dat we een machine zouden kunnen bouwen die uitgroeit tot intelligentie zoals een mens dat doet, die begint als een baby en leert als een kind, zei hij. Dat zou AI zijn die echt intelligent is, als we het zouden kunnen bouwen. Hij voegde eraan toe dat het vrijwel zeker niet in 10 jaar kan worden gedaan, waarschijnlijk niet in 20 - en mogelijk zelfs niet in ons leven. Maar dat geeft niet, zei hij. Daarom noemen we het een zoektocht.
Intuïtieve fysica
In deze tijd van big data en diepgaand leren is het gemakkelijk om verleid te worden, zegt Robert Goldstone, een professor in psychologische en hersenwetenschappen aan de Indiana University. Hij bedoelt dat het verleidelijk is om te denken dat systemen voor machinaal leren geen coherente interpretaties van de wereld om hen heen nodig hebben om zich intelligent te gedragen - wie heeft theorie nodig als we genoeg gegevens hebben? Het werk van Tenenbaum toont echter het belang van theorie aan, zegt Goldstone, omdat het laat zien dat lerenden interne modellen van hun omgeving moeten creëren om vooruit te komen.
Denk eens aan het domein van de alledaagse natuurkunde, waarin mensen blijk geven van een intuïtieve intuïtie. Als we een kind in een boom zien klimmen, voelen we of de takken sterk genoeg zijn om haar gewicht te dragen. Als we een kopje aan de rand van een tafel zien staan, weten we dat als de tafel wordt geduwd, het kopje waarschijnlijk zal vallen. Elke dag komen we een visueel divers scala aan scenario's tegen, maar we kunnen erover redeneren en oordelen. Tenenbaum denkt dat mensen het vermogen hebben om de mechanismen van de natuurkunde mentaal te simuleren, en dit stelt ons in staat te voorspellen hoe objecten zich zullen gedragen.
Terwijl hij deze theorie test, is het doel van Tenenbaum niet alleen om de menselijke cognitie beter te begrijpen, maar ook om computerprogramma's te maken die deze beter kunnen benaderen. In één project bouwden hij en zijn team een reeks virtuele torens met tools die worden gebruikt bij het ontwerpen van videogames. Ze ontwierpen elke toren met 10 blokken gestapeld in min of meer precaire opstellingen. Vervolgens liet het team proefpersonen deze constructies zien en vroeg hen of de torens zouden vallen, zoals in een spelletje Jenga. Nadat het onderwerp had geantwoord, viel de toren - of niet. Tenenbaum stelt dat mensen deze taak benaderen met behulp van een intuïtieve physics engine - een mentaal model gebaseerd op begrip van massa, wrijving, zwaartekracht en andere aspecten van de fysieke wereld.
Bob O'Connor
Ondertussen hadden Tenenbaum en zijn team ook een computerprogramma geschreven om het menselijk denken en de perceptie over dergelijke fysieke scenario's vast te leggen. Hun doel was dat het programma informatie over een bloktoren zou coderen, zoals de positie en configuratie, en vervolgens simulaties zou uitvoeren op basis van die informatie om te voorspellen of de toren zou vallen. Het deed voorspellingen die waarschijnlijk waren, zoals hij zegt dat ons eigen fysieke redeneren dat ook doet. (We hebben de neiging om in statistische termen te denken over verschillende mogelijke uitkomsten, legt hij uit, omdat we in de dagelijkse wereld moeten worstelen met onzekerheid over objecten die we waarnemen.)
In een paper gepubliceerd in 2013, Tenenbaum, postdoc Peter Battaglia, en Jessica Hamrick ’11, MEng ’12, beschreven het systeem te testen en te ontdekken dat de voorspellingen sterk gecorreleerd waren met die van menselijke proefpersonen. In verdere experimenten manipuleerde het team de massa's van de blokken, zodat sommige zwaar en sommige licht waren. Ze modelleerden ook een schok op de tafel en vroegen welke blokken het meest waarschijnlijk op de grond zouden vallen. In elk van deze gevallen waren de voorspellingen van het computermodel vergelijkbaar met die van menselijke proefpersonen, zegt Tenenbaum: We waren in staat om het soort simulatie te modelleren dat iemand in zijn eigen hoofd zou kunnen bouwen.
Leren om te leren
Tot op heden hebben de beste AI-algoritmen ervoor gezorgd dat systemen moeten worden getraind op duizenden, of in sommige gevallen miljoenen, voorbeelden. Dit geldt bijvoorbeeld op het gebied van letteridentificatie, een standaard benchmark in machine learning. Wat echter opmerkelijk is aan menselijke cognitie, is dat we geen 6000 voorbeelden van een brief nodig hebben om te leren wat het is en het te herkennen in verschillende lettertypen of verschillende handschriften, zegt Brenden Lake, PhD '14, een assistent-professor psychologie en gegevens wetenschap aan de New York University en een voormalig afgestudeerde student van Tenenbaum.
Begin 2009 begonnen Lake, Tenenbaum en postdoc Ruslan Salakhutdinov (nu universitair hoofddocent aan de Carnegie Mellon University en Apple's directeur van AI-onderzoek) een programma te ontwikkelen dat is geïnspireerd op inzichten in hoe mensen personages leren kennen en waarnemen. Na het filmen van 20 proefpersonen die letters tekenden uit vreemde alfabetten die ze nog nooit eerder hadden gebruikt, ontdekten ze sterke overeenkomsten in de manier waarop mensen de taak uitvoerden: de delen waarin ze de personages opdeelden, hun startpunt en de richting van hun streken. Op basis van deze observaties besloten de onderzoekers een handschriftalgoritme te maken dat rekening zou houden met hoe letters werden geproduceerd en niet alleen welke pixels aanwezig waren in het uiteindelijke resultaat.
Het belangrijkste idee was om het concept van een letter weer te geven als een programma , wat een veel rijkere weergave is dan doorgaans wordt gebruikt bij machine learning, zegt Lake. Ze maakten het programma ook probabilistisch. Het kon een geschreven personage observeren, afleiden hoe het waarschijnlijk was getekend (het programma om het te tekenen), en zich vervolgens voorstellen hoe nieuwe exemplaren van datzelfde personage zouden kunnen worden getekend. Het kon ook enige onzekerheid opvangen in de informatie waarmee het werkte en een reeks output genereren: elk voorbeeld van de letter A was bijvoorbeeld iets anders. Dit vermogen om onzekerheid te tolereren hielp het algoritme om situaties in de echte wereld aan te pakken. Met ervaring zou het programma ook kunnen verbeteren in het tekenen van nieuwe personages. Een deel van wat ons enthousiast maakte, was dit idee van 'leren leren', zegt Tenenbaum. En dat, legt hij uit, is hoe we het vermogen krijgen om efficiënt te generaliseren, met behulp van schaarse gegevens of zelfs maar één voorbeeld.
In een paper uit 2015 gepubliceerd in Wetenschap , testte het team het algoritme door het een enkele onbekende letter te laten zien en het te vragen een nieuw personage te produceren dat erop leek. Ze legden menselijke proefpersonen dezelfde taak voor en vroegen vervolgens aan de rechters om te bepalen welke van de personages door mensen waren gemaakt en welke door machines. Opmerkelijk genoeg kon de overgrote meerderheid van de rechters het verschil niet zien. Met andere woorden, het algoritme doorstond een eenvoudige, visuele vorm van de Turing-test, het klassieke criterium voor machine-intelligentie.
Baby's modelleren
In de begindagen van kunstmatige intelligentie was de wetenschap van het menselijk leren niet geavanceerd genoeg om veel houvast te bieden. Turing kon alleen maar vermoeden hoe het brein van een kind was, zegt Tenenbaum - de Britse wiskundige beschouwde het als een leeg notitieboekje - maar nee, het is veel meer. En als onderdeel van zijn streven om de oorsprong van kennis te begrijpen, heeft Tenenbaum ook meegewerkt aan onderzoek naar de geest van kleine kinderen. In 2008 gaf hij les aan Harvard bij de beroemde psycholoog Elizabeth Spelke, die heeft aangetoond dat zelfs jonge baby's bepaalde vormen van kennis hebben die ingebouwd lijken te zijn. (In tegenstelling tot het fundamentele werk van Jean Piaget - die geloofde dat kinderen objectduurzaamheid ontwikkelen, het begrip dat objecten niet zomaar in en uit het bestaan knipogen, rond de acht maanden - Spelke toonde aan dat een vorm van dit begrip aanwezig is bij kinderen van twee tot drie maanden oud.) Spelke overtuigde Tenenbaum ervan dat de hersenen is opgezet om bepaalde concepten te ontwikkelen, en om de menselijke intelligentie volledig te waarderen, is het noodzakelijk om de basiskennis van zeer jonge kinderen te modelleren. Dit omvat intuïtie over zowel natuurkunde als psychologie - in het bijzonder ons vermogen om de acties van andere mensen te interpreteren in termen van hun mentale toestanden, overtuigingen en doelstellingen.
Bob O'Connor
Onlangs hebben Tenenbaum en Spelke onderzocht hoe baby's van 10 maanden oud kunnen achterhalen wat andere mensen willen en hoeveel ze de doelen die ze nastreven waarderen. Hiervoor maakten de onderzoekers animaties waarin blauwe, rode en gele karakters over muren sprongen of andere fysieke taken uitvoerden om elkaar te bereiken. Een rode figuur kan bijvoorbeeld over een kleine muur springen om bij een blauwe figuur te komen, maar weigeren over een middelgrote muur te springen. Diezelfde figuur zou echter een hoge muur kunnen beklimmen om zijn gele tegenhanger te bereiken. De onderzoekers veronderstelden dat als baby's een personage harder zouden zien werken om een doel te bereiken, ze zouden concluderen dat het personage het meer waardeerde dan het alternatief. Inderdaad, toen onderzoekers een rode figuur tussen geel en blauw zonder muur lieten zien en deze vervolgens naar blauw lieten bewegen, staarden de baby's langer. Dat wil zeggen, nadat ze hadden gezien dat de rode figuur meer werk deed om geel te bereiken, hadden ze afgeleid dat rood de voorkeur gaf aan geel en waren ze verrast toen het in plaats daarvan blauw koos. Dit suggereert dat zelfs preverbale baby's een intuïtief begrip hebben van de balans tussen kosten en beloningen en hoe dit doorwerkt in het gedrag van andere mensen, zegt Tenenbaum, eraan toevoegend dat deze psychologische intuïtie de basis vormt voor een complexer sociaal begrip later. Het werk, geleid door postdoc Tomer Ullman, PhD ’15, en Spelke’s PhD-student Shari Liu, werd gepubliceerd in Wetenschap anno 2017.
Een wandeling maken
Hamrick was een junior aan het MIT toen ze in 2010 bij het laboratorium van Tenenbaum kwam en begon te werken aan het Jenga-achtige natuurkundeproject. Wanneer studenten voor het eerst worden blootgesteld aan onderzoek, richten ze zich meestal nauw op het probleem dat voor hen ligt, zegt ze. Maar Tenenbaum inspireert hen om na te denken over hoe het ook past in de grotere vragen in de wetenschap (niet anders dan de manier waarop hij zegt dat we leren). Ik kreeg het gevoel dat onderzoek geweldig was om te doen, voegt Hamrick eraan toe, terwijl ze haar ervaring in het laboratorium van Tenenbaum vermeldt met de beslissing om een carrière in de wetenschap na te streven. (Ze is nu onderzoeker bij DeepMind, een Brits AI-bedrijf dat eigendom is van Google.)
Een manier waarop Tenenbaum een hechte en collaboratieve geest in zijn laboratorium heeft bevorderd, is door zijn studenten en postdocs mee te nemen op jaarlijkse wandelingen, waarvan sommige notoir intens waren, zegt hij. Hij groeide op in Californië en beschouwde Yosemite National Park als een van zijn favoriete plekken. En vanaf 2002, toen hij assistent-professor aan het MIT werd, begon hij met het organiseren van jaarlijkse reizen naar de White Mountains in New Hampshire. De groep gaat meestal rond Columbus Day, op het hoogtepunt van het herfstbladseizoen. Maar zelfs dan hebben ze op de grotere hoogten af en toe te maken gehad met winterse omstandigheden. Herinnerend aan een reis langs de Franconia Ridge Trail, grapt Tenenbaum: het was geen dodenmars - niemand stierf - maar er was wat sneeuw en niet iedereen was voorbereid, hoewel ze waren gewaarschuwd!
Naast die intense lichamelijkheid, biedt wandelen groepsleden ook de mogelijkheid om breed te praten over wetenschap en het leven. Wanneer mensen over een smal pad wandelen, hebben ze de neiging zich uit te spreiden. Soms zit ik vooraan, soms achteraan, zegt Tenenbaum. Hoe dan ook, voegt hij eraan toe, ik heb altijd zo'n groot scala aan gesprekken die op en neer gaan, terwijl ik geïnspireerd word door deze prachtige plek waar we doorheen lopen.
Tenenbaum haalt ook inspiratie uit het ouderschap. Zijn 16-jarige dochter, Abi, staat erom bekend een handje te helpen bij zijn onderzoek; op de leeftijd van acht of negen was ze de eerste deelnemer aan het Jenga-experiment. Ze vond meteen een fout - in wezen een manier om een perfecte score te krijgen - en toen ze het ons uitlegde, zeiden we: 'O, goed punt', en herschreven het hele experiment, herinnert hij zich. Maar meer in het algemeen sluit het ouderschap aan bij Tenenbaums interesse in menselijk leren, vooral bij baby's en kinderen. De ervaring om te zien hoe je kind voor het eerst ijs proeft of zijn eerste paard ziet, is geweldig, zegt hij. Het sluit aan bij mijn interesse in wat je leert van de eerste keer dat je iets ziet.
Grote vragen aanpakken op het snijvlak van hersenen, geesten en intelligente machines
MIT Intelligence Quest (nu de MIT Quest for Intelligence genoemd) heeft tot doel AI te doordrenken met echte intelligentie door denkers in verschillende disciplines samen te brengen, van psychologie tot informatica. Het initiatief beschouwt het menselijk brein (en de AI-systemen die het proberen na te bootsen) als een grote technische uitdaging. Toen het project in maart werd aangekondigd, deelde Josh Tenenbaum deze grafiek met een samenvatting van enkele van de grote vragen waaraan MIT-onderzoekers werken in zes hoofdcategorieën - en wees erop dat nog te stellen vragen misschien wel de belangrijkste blijken te zijn.