Rijdt AI op een one-trick pony?

Zowat elke AI-vooruitgang waarvan je hebt gehoord, hangt af van een doorbraak die drie decennia oud is. Om het tempo van de vooruitgang bij te houden, moeten de ernstige beperkingen van AI worden aangepakt. Door

• James Somers archiefpagina

29 september 2017

Adam Omweg

Ik sta in wat binnenkort het centrum van de wereld zal zijn, of misschien is het gewoon een heel grote kamer op de zevende verdieping van een glanzende toren in het centrum van Toronto. Ik word rondgeleid door Jordan Jacobs, medeoprichter van deze plek: het ontluikende Vector Institute, dat dit najaar zijn deuren opent en dat ernaar streeft het wereldwijde epicentrum van kunstmatige intelligentie te worden.

We zijn in Toronto omdat Geoffrey Hinton in Toronto is, en Geoffrey Hinton is de vader van deep learning, de techniek achter de huidige opwinding over AI. Over 30 jaar zullen we terugkijken en zeggen dat Geoff Einstein is - van AI, deep learning, het ding dat we AI noemen, zegt Jacobs. Van de onderzoekers aan de top van het veld van deep learning heeft Hinton meer citaten dan de volgende drie bij elkaar. Zijn studenten en postdocs hebben de AI-labs bij Apple, Facebook en OpenAI geleid; Hinton is zelf een hoofdwetenschapper in het Google Brain AI-team. In feite is bijna elke prestatie in het laatste decennium van AI - in vertaling, spraakherkenning, beeldherkenning en gamen - op de een of andere manier terug te voeren op het werk van Hinton.

Dit verhaal maakte deel uit van ons nummer van november 2017

• Zie de rest van het nummer
• Abonneren

Het Vector Institute, dit monument voor de opkomst van Hintons ideeën, is een onderzoekscentrum waar bedrijven uit de hele VS en Canada, zoals Google en Uber en Nvidia, inspanningen zullen sponsoren om AI-technologieën te commercialiseren. Het geld is sneller binnengestroomd dan Jacobs erom kon vragen; twee van zijn medeoprichters ondervroegen bedrijven in de omgeving van Toronto, en de vraag naar AI-experts was uiteindelijk tien keer hoger dan wat Canada elk jaar produceert. Vector is in zekere zin ground zero voor de nu wereldwijde poging om te mobiliseren rond deep learning: om de techniek te verzilveren, te onderwijzen, te verfijnen en toe te passen. Er worden datacenters gebouwd, torens worden gevuld met startups, een hele generatie studenten gaat het veld in.

De indruk die je krijgt als je op de Vector-vloer staat, kaal en echoey en op het punt om gevuld te worden, is dat je aan het begin van iets staat. Maar het bijzondere van deep learning is hoe oud de belangrijkste ideeën zijn. Hintons baanbrekende artikel, samen met collega's David Rumelhart en Ronald Williams, werd in 1986 gepubliceerd. Het artikel ging dieper in op een techniek die backpropagation of kortweg backprop wordt genoemd. Backprop, in de woorden van Jon Cohen, een computationeel psycholoog bij Princeton, is waar alle deep learning op is gebaseerd - letterlijk alles.

Als je het kort samenvat, is AI tegenwoordig deep learning en is deep learning backprop - wat verbazingwekkend is, aangezien backprop meer dan 30 jaar oud is. Het is de moeite waard om te begrijpen hoe dat gebeurde - hoe een techniek zo lang op de loer kon liggen en dan zo'n explosie kon veroorzaken - want als je eenmaal het verhaal van backprop begrijpt, begin je het huidige moment in AI te begrijpen, en in het bijzonder het feit dat we misschien niet echt aan het begin van een revolutie staan. Misschien zijn we aan het einde van één.

Rechtvaardiging

De wandeling van het Vector Institute naar Hintons kantoor bij Google, waar hij het grootste deel van zijn tijd doorbrengt (hij is nu emeritus hoogleraar aan de Universiteit van Toronto), is een soort levende reclame voor de stad, althans in de zomer. U kunt begrijpen waarom Hinton, die oorspronkelijk uit het VK komt, hier in de jaren tachtig naar toe is verhuisd nadat hij aan de Carnegie Mellon University in Pittsburgh had gewerkt.

Als je naar buiten stapt, zelfs in de buurt van het financiële district, heb je het gevoel dat je echt de natuur in bent gegaan. Het is de geur, denk ik: natte leem in de lucht. Toronto is gebouwd bovenop beboste ravijnen en er wordt gezegd dat het een stad in een park is; omdat het verstedelijkt is, heeft de lokale overheid strikte beperkingen opgelegd om het bladerdak te behouden. Terwijl je naar binnen vliegt, zien de buitenste delen van de stad er bijna cartoonachtig weelderig uit.

Misschien staan ​​we niet echt aan het begin van een revolutie.

Toronto is de op drie na grootste stad van Noord-Amerika (na Mexico City, New York en L.A.), en de meest diverse stad: meer dan de helft van de bevolking is buiten Canada geboren. Dat zie je rondlopen. De menigte in de technische gang ziet er minder San Francisco uit - jonge blanke jongens met hoodies - en meer internationaal. Er is gratis gezondheidszorg en goede openbare scholen, de mensen zijn vriendelijk en de politieke orde is relatief links en stabiel; en dit spul trekt mensen aan zoals Hinton, die zegt dat hij de VS heeft verlaten vanwege de Iran-Contra-affaire. Het is een van de eerste dingen waar we het over hebben als ik hem ga ontmoeten, net voor de lunch.

De meeste mensen bij CMU dachten dat het volkomen redelijk was dat de VS Nicaragua binnenvielen, zegt hij. Ze dachten op de een of andere manier dat ze de eigenaar waren. Hij vertelt me ​​dat hij onlangs een grote doorbraak had met een project: een zeer goede junior ingenieur krijgen die met mij samenwerkt, een vrouw genaamd Sara Sabour. Sabour is Iraans en haar werd een visum geweigerd om in de Verenigde Staten te werken. Het kantoor van Google in Toronto heeft haar opgepikt.

Hinton, die 69 jaar oud is, heeft het vriendelijke, magere, Engels ogende gezicht van de Grote Vriendelijke Reus, met een dunne mond, grote oren en een trotse neus. Hij werd geboren in Wimbledon, Engeland, en klinkt als hij praat als de verteller van een kinderboek over wetenschap: nieuwsgierig, boeiend, enthousiast om dingen uit te leggen. Hij is grappig en een beetje een showman. Hij staat de hele tijd dat we praten, want het blijkt dat zitten te pijnlijk is. Ik ging zitten in juni 2005 en het was een vergissing, vertelt hij me, toen hij de bizarre lijn liet landen voordat hij uitlegde dat een schijf in zijn rug hem problemen geeft. Het betekent dat hij niet kan vliegen, en eerder die dag had hij een apparaat dat eruitzag als een surfplank naar de tandartspraktijk moeten brengen, zodat hij erop kon gaan liggen terwijl een gebarsten tandwortel werd onderzocht.

In de jaren tachtig was Hinton, net als nu, een expert op het gebied van neurale netwerken, een sterk vereenvoudigd model van het netwerk van neuronen en synapsen in onze hersenen. Op dat moment was echter vast besloten dat neurale netwerken een doodlopende weg waren in AI-onderzoek. Hoewel het vroegste neurale netwerk, de Perceptron, dat in de jaren vijftig werd ontwikkeld, werd geprezen als een eerste stap in de richting van machine-intelligentie op menselijk niveau, een boek uit 1969 van MIT's Marvin Minsky en Seymour Papert, genaamd Perceptrons , bewees wiskundig dat dergelijke netwerken alleen de meest elementaire functies konden uitvoeren. Deze netwerken hadden slechts twee lagen neuronen, een invoerlaag en een uitvoerlaag. Netten met meer lagen tussen de input- en outputneuronen zouden in theorie een grote verscheidenheid aan problemen kunnen oplossen, maar niemand wist hoe ze te trainen, en dus waren ze in de praktijk nutteloos. Behalve een paar holdouts zoals Hinton, Perceptrons zorgde ervoor dat de meeste mensen de neurale netwerken volledig opgaven.

Hintons doorbraak, in 1986, was om aan te tonen dat backpropagation een diep neuraal net kon trainen, dat wil zeggen een netwerk met meer dan twee of drie lagen. Maar het duurde nog 26 jaar voordat de toenemende rekenkracht de ontdekking goedmaakte. Een paper uit 2012 door Hinton en twee van zijn Toronto-studenten toonden aan dat diepe neurale netwerken, getraind met behulp van backpropagation, de modernste systemen voor beeldherkenning verslaan. Diep leren nam een ​​vlucht. Voor de buitenwereld leek AI 's nachts wakker te worden. Voor Hinton was het een langverwachte uitbetaling.

Realiteitsvervormingsveld

Een neuraal net wordt meestal getekend als een clubsandwich, met lagen op elkaar gestapeld. De lagen bevatten kunstmatige neuronen, dit zijn domme kleine rekeneenheden die opgewonden raken - zoals een echt neuron opgewonden raakt - en die opwinding doorgeven aan de andere neuronen waarmee ze zijn verbonden. De opwinding van een neuron wordt weergegeven door een getal, zoals 0,13 of 32,39, dat aangeeft hoe opgewonden het is. En er is nog een cruciaal getal, op elk van de verbindingen tussen twee neuronen, dat bepaalt hoeveel opwinding van de ene naar de andere moet worden doorgegeven. Dat getal is bedoeld om de sterkte van de synapsen tussen neuronen in de hersenen te modelleren. Wanneer het aantal hoger is, betekent dit dat de verbinding sterker is, zodat meer van de opwinding van de een naar de ander stroomt.

Een diagram van baanbrekend werk over foutpropagatie door Hinton, David Rumelhart en Ronald Williams.

Een van de meest succesvolle toepassingen van diepe neurale netwerken is beeldherkenning, zoals in de gedenkwaardige scène in HBO's Siliconen vallei waar het team een ​​programma bouwt dat kan zien of er een hotdog op een foto staat. Dergelijke programma's bestaan ​​echt, en ze zouden tien jaar geleden niet mogelijk zijn geweest. Om ze aan het werk te krijgen, is de eerste stap het maken van een foto. Laten we zeggen dat het voor de eenvoud een kleine zwart-witafbeelding is van 100 pixels breed en 100 pixels hoog. Je voert deze afbeelding naar je neurale net door de opwinding van elk gesimuleerd neuron in de invoerlaag zo in te stellen dat deze gelijk is aan de helderheid van elke pixel. Dat is de onderste laag van de clubsandwich: 10.000 neuronen (100x100) die de helderheid van elke pixel in het beeld vertegenwoordigen.

Je verbindt dan deze grote laag neuronen met een andere grote laag neuronen erboven, zeg een paar duizend, en deze op hun beurt met een andere laag van nog eens een paar duizend neuronen, enzovoort voor een paar lagen. Ten slotte, in de bovenste laag van de sandwich, de uitvoerlaag, heb je slechts twee neuronen - de ene vertegenwoordigt hotdog en de andere vertegenwoordigt geen hotdog. Het idee is om het neurale net te leren alleen de eerste van die neuronen te prikkelen als er een hotdog in beeld is, en alleen de tweede als die er niet is. Backpropagation - de techniek waarop Hinton zijn carrière heeft gebouwd - is de methode om dit te doen.

Backprop is opmerkelijk eenvoudig, hoewel het het beste werkt met enorme hoeveelheden gegevens. Dat is de reden waarom big data zo belangrijk zijn in AI - waarom Facebook en Google er zo hongerig naar zijn, en waarom het Vector Institute besloot om een ​​winkel te openen in de straat van vier van de grootste ziekenhuizen van Canada en datapartnerschappen met hen te ontwikkelen.

In dit geval nemen de gegevens de vorm aan van miljoenen foto's, sommige met hotdogs en sommige zonder; de truc is dat deze foto's zijn gelabeld met hotdogs. Wanneer u voor het eerst uw neurale netwerk maakt, kunnen de verbindingen tussen neuronen willekeurige gewichten hebben - willekeurige getallen die aangeven hoeveel opwinding er langs elke verbinding moet worden doorgegeven. Het is alsof de synapsen van de hersenen nog niet zijn afgestemd. Het doel van backprop is om die gewichten te veranderen zodat ze het netwerk laten werken: zodat wanneer je een afbeelding van een hotdog naar de onderste laag doorgeeft, het hotdog-neuron van de bovenste laag opgewonden raakt.

Stel dat je je eerste trainingsfoto maakt, en het is een foto van een piano. Je zet de pixelintensiteiten van de 100x100 foto om in 10.000 getallen, één voor elk neuron in de onderste laag van het netwerk. Terwijl de opwinding zich over het netwerk verspreidt volgens de verbindingssterkten tussen neuronen in aangrenzende lagen, zal het uiteindelijk in die laatste laag terechtkomen, die met de twee neuronen die zeggen of er een hotdog in beeld is. Aangezien de afbeelding van een piano is, zou het hotdog-neuron idealiter een nul moeten hebben, terwijl het niet-hotdog-neuron een hoog nummer zou moeten hebben. Maar laten we zeggen dat het niet zo werkt. Laten we zeggen dat het netwerk het bij het verkeerde eind heeft over deze foto. Backprop is een procedure voor het herschikken van de sterkte van elke verbinding in het netwerk om de fout voor een bepaald trainingsvoorbeeld te herstellen.

De manier waarop het werkt, is dat je begint met de laatste twee neuronen en erachter komt hoe fout ze waren: hoeveel verschil is er tussen wat de opwindingsgetallen hadden moeten zijn en wat ze eigenlijk waren? Als dat is gebeurd, kijk je naar elk van de verbindingen die naar die neuronen leiden - die in de volgende lagere laag - en ontdek je hun bijdrage aan de fout. Je blijft dit doen totdat je helemaal naar de eerste set verbindingen bent gegaan, helemaal onderaan het netwerk. Op dat moment weet u hoeveel elke afzonderlijke verbinding heeft bijgedragen aan de algehele fout, en in een laatste stap wijzigt u elk van de gewichten in de richting die de algehele fout het beste vermindert. De techniek wordt backpropagation genoemd omdat je fouten terug (of naar beneden) door het netwerk verspreidt, beginnend bij de uitvoer.

Het ongelooflijke is dat wanneer je dit doet met miljoenen of miljarden afbeeldingen, het netwerk behoorlijk goed begint te worden in het zeggen of een afbeelding een hotdog bevat. En wat nog opmerkelijker is, is dat de afzonderlijke lagen van deze beeldherkenningsnetten beelden beginnen te zien op ongeveer dezelfde manier als ons eigen visuele systeem. Dat wil zeggen, de eerste laag kan uiteindelijk randen detecteren, in de zin dat zijn neuronen opgewonden raken als er randen zijn en niet opgewonden raken als die er niet zijn; de laag daarboven zou in staat zijn om reeksen randen te detecteren, zoals hoeken; de laag daarboven zou je vormen kunnen gaan zien; en de laag daarboven zou je dingen kunnen vinden als een open knot of een gesloten knot, in de zin dat je neuronen hebt die op beide gevallen reageren. Het net organiseert zichzelf, met andere woorden, in hiërarchische lagen zonder ooit expliciet op die manier te zijn geprogrammeerd.

Een echte intelligentie breekt niet als je het probleem een ​​beetje verandert.

Dit is het ding dat iedereen heeft geboeid. Het is niet alleen zo dat neurale netwerken goed zijn in het classificeren van afbeeldingen van hotdogs of wat dan ook: ze lijken in staat om representaties van ideeën te bouwen. Met tekst zie je dit nog duidelijker. Je kunt de tekst van Wikipedia, vele miljarden woorden lang, in een eenvoudig neuraal net invoeren en het trainen om voor elk woord een grote lijst met getallen uit te spugen die overeenkomen met de opwinding van elk neuron in een laag. Als je elk van deze getallen ziet als een coördinaat in een complexe ruimte, dan is wat je in wezen doet, een punt vinden, in deze context bekend als een vector, voor elk woord ergens in die ruimte. Train nu je netwerk op zo'n manier dat woorden die naast elkaar verschijnen op Wikipedia-pagina's dezelfde coördinaten hebben, en voilà, er gebeurt iets geks: woorden met een vergelijkbare betekenis verschijnen dicht bij elkaar in de ruimte. Dat wil zeggen, krankzinnig en losgeslagen coördinaten hebben dicht bij elkaar, net als drie en zeven, enzovoort. Bovendien maakt de zogenaamde vector-rekenkunde het mogelijk om bijvoorbeeld de vector voor Frankrijk af te trekken van de vector voor Parijs, de vector voor Italië op te tellen en in de buurt van Rome terecht te komen. Het werkt zonder dat iemand het netwerk expliciet vertelt dat Rome voor Italië is zoals Parijs voor Frankrijk.

Het is verbazingwekkend, zegt Hinton. Het is schokkend. Neurale netten kunnen worden gezien als een poging om dingen te nemen - afbeeldingen, woorden, opnames van iemand die praat, medische gegevens - en ze te plaatsen in wat wiskundigen een hoogdimensionale vectorruimte noemen, waar de nabijheid of afstand van de dingen een belangrijk kenmerk weerspiegelt van de werkelijke wereld. Hinton gelooft dat dit is wat de hersenen zelf doen. Als je wilt weten wat een gedachte is, zegt hij, kan ik het in een reeks woorden voor je uitdrukken. Ik kan zeggen: 'John dacht, Oeps.' Maar als je vraagt: 'Wat is de gedachte? Wat betekent het voor John om die gedachte te hebben?' Het is niet zo dat er in zijn hoofd een openingscitaat zit, en een 'Oeps' en een slotcitaat, of zelfs een opgeschoonde versie daarvan. In zijn hoofd zit een groot patroon van neurale activiteit. Grote patronen van neurale activiteit, als je een wiskundige bent, kunnen worden vastgelegd in een vectorruimte, waarbij de activiteit van elk neuron overeenkomt met een getal en elk getal met een coördinaat van een heel grote vector. Volgens Hinton is dat wat denken is: een dans van vectoren.

Geoffrey Hinton Met dank aan Google

Het is geen toeval dat Toronto's vlaggenschip AI-instituut naar dit feit is vernoemd. Hinton was degene die de naam Vector Institute bedacht.

Er is een soort realiteitsvervormingsveld dat Hinton creëert, een sfeer van zekerheid en enthousiasme, die je het gevoel geeft dat vectoren niets kunnen doen. Kijk tenslotte naar wat ze al hebben kunnen produceren: auto's die zichzelf besturen, computers die kanker detecteren, machines die gesproken taal onmiddellijk vertalen. En kijk eens naar deze charmante Britse wetenschapper die praat over gradiëntafdaling in hoogdimensionale ruimtes!

Pas als je de kamer verlaat, herinner je je: deze deep learning-systemen zijn nog steeds behoorlijk dom, hoe slim ze soms ook lijken. Een computer die een foto ziet van een stapel donuts opgestapeld op een tafel en deze automatisch ondertitelt, zoals een stapel donuts opgestapeld op een tafel, lijkt de wereld te begrijpen; maar als datzelfde programma een foto ziet van een meisje dat haar tanden poetst en zegt De jongen houdt een honkbalknuppel vast, besef je hoe dun dat begrip eigenlijk is, als het er al was.

Neurale netten zijn gewoon ondoordachte vage patroonherkenners, en zo nuttig als vage patroonherkenners kunnen zijn - vandaar de haast om ze te integreren in zowat elk soort software - vertegenwoordigen ze op zijn best een beperkt soort intelligentie, een die gemakkelijk voor de gek gehouden kan worden . Een diep neuraal netwerk dat afbeeldingen herkent, kan volledig worden belemmerd wanneer u een enkele pixel verandert of visuele ruis toevoegt die voor een mens niet waarneembaar is. Inderdaad, bijna net zo vaak als we nieuwe manieren vinden om deep learning toe te passen, ontdekken we meer van de beperkingen ervan. Zelfrijdende auto's kunnen niet navigeren in omstandigheden die ze nog nooit eerder hebben gezien. Machines hebben moeite met het ontleden van zinnen die een gezond verstand vereisen van hoe de wereld werkt.

Diepgaand leren bootst in sommige opzichten na wat er in het menselijk brein gebeurt, maar alleen op een oppervlakkige manier - wat misschien verklaart waarom zijn intelligentie soms zo oppervlakkig kan lijken. Backprop werd inderdaad niet ontdekt door diep in de hersenen te tasten en het denken zelf te decoderen; het is voortgekomen uit modellen van hoe dieren leren met vallen en opstaan ​​in oude klassieke conditioneringsexperimenten. En de meeste van de grote sprongen die tot stand kwamen toen het zich ontwikkelde, hadden niet betrekking op een nieuw inzicht in neurowetenschappen; het waren technische verbeteringen, bereikt door jaren van wiskunde en techniek. Wat we weten over intelligentie is niets tegen de uitgestrektheid van wat we nog steeds niet weten.

David Duvenaud, een assistent-professor in dezelfde afdeling als Hinton aan de Universiteit van Toronto, zegt dat deep learning een beetje lijkt op engineering vóór de natuurkunde. Iemand schrijft een papier en zegt: 'Ik heb deze brug gemaakt en hij stond op!' een heet nieuw ding. Iemand bedenkt bogen, en het is zoiets van, 'Bogen zijn geweldig!' Met natuurkunde, zegt hij, kun je echt begrijpen wat gaat werken en waarom. Pas onlangs, zegt hij, zijn we begonnen met kunstmatige intelligentie die fase van daadwerkelijk begrip in te gaan.

Hinton zelf zegt: De meeste conferenties bestaan ​​uit het maken van kleine variaties... in plaats van hard na te denken en te zeggen: 'Waar gaat het nu eigenlijk mis? Waar heeft het moeite mee? Laten we ons daarop concentreren.’

Het kan moeilijk zijn om dit van buitenaf te waarderen, als je alleen maar de ene grote vooruitgang na de andere ziet. Maar de laatste vooruitgang in AI is minder wetenschap dan techniek, zelfs knutselen. En hoewel we een beter idee hebben gekregen van wat voor soort veranderingen deep-learningsystemen zullen verbeteren, tasten we nog grotendeels in het duister over hoe die systemen werken, of dat ze ooit iets kunnen opleveren dat zo krachtig is als de menselijke geest.

Het is de moeite waard om te vragen of we bijna alles uit de backprop hebben gehaald. Als dat zo is, kan dat een plateau betekenen voor vooruitgang in kunstmatige intelligentie.

Geduld

Als je het volgende grote ding wilt zien, iets dat de basis zou kunnen vormen van machines met een veel flexibelere intelligentie, moet je waarschijnlijk eens kijken naar onderzoek dat lijkt op wat je zou hebben gevonden als je backprop in de jaren '80 was tegengekomen: slimme mensen het inpluggen op ideeën die nog niet echt werken.

Een paar maanden geleden ging ik naar het Center for Minds, Brains, and Machines, een multi-institutionele organisatie met het hoofdkantoor aan het MIT, om te zien hoe een vriend van mij, Eyal Dechter, zijn proefschrift verdedigde in cognitieve wetenschappen. Vlak voordat het gesprek begon, liepen zijn vrouw Amy, hun hond Ruby en hun dochter Susannah rond en wensten hem het beste. Op het scherm stond een foto van Ruby, en daarnaast een van Susannah als baby. Toen papa Susannah vroeg om zichzelf aan te wijzen, sloeg ze blij met een lange intrekbare aanwijzer tegen haar eigen babyfoto. Toen ze de kamer uitliep, reed ze een speelgoedkinderwagen achter haar moeder aan en riep: Succes, papa! over haar schouder. Vamanos! zei ze uiteindelijk. Ze is twee.

Het feit dat het niet werkt, is slechts een tijdelijke ergernis.

Eyal begon zijn gesprek met een verleidelijke vraag: hoe kan Susannah, na twee jaar ervaring, leren praten, spelen, verhalen volgen? Wat is het met het menselijk brein dat het zo goed leert? Zal een computer ooit zo snel en zo vloeiend kunnen leren?

We begrijpen nieuwe fenomenen in termen van dingen die we al begrijpen. We breken een domein op in stukjes en leren de stukjes. Eyal is een wiskundige en computerprogrammeur, en hij beschouwt taken - zoals het maken van een soufflé - als echt complexe computerprogramma's. Maar het is niet zo dat je leert een soufflé te maken door alle ontelbare micro-instructies van het programma te leren, zoals Draai je elleboog 30 graden, kijk dan naar het aanrecht, strek dan je wijsvinger uit, en dan... dat leren voor elke nieuwe taak te moeilijk zou zijn en dat je vast zou zitten aan wat je al weet. In plaats daarvan gieten we het programma in termen van stappen op hoog niveau, zoals de eiwitten opkloppen, die zelf weer zijn samengesteld uit subprogramma's, zoals de eieren kraken en de dooiers scheiden.

Verwant verhaal

Verwant verhaal Niemand weet precies hoe de meest geavanceerde algoritmen doen wat ze doen. Dat kan een probleem zijn.

Computers doen dit niet, en dat is een groot deel van de reden waarom ze dom zijn. Om een ​​diepgaand leersysteem een ​​hotdog te laten herkennen, moet je het misschien 40 miljoen foto's van hotdogs voeren. Om Susannah een hotdog te laten herkennen, laat je haar een hotdog zien. En al snel zal ze een begrip van taal hebben dat dieper gaat dan het herkennen dat bepaalde woorden vaak samen voorkomen. In tegenstelling tot een computer zal ze een model in haar hoofd hebben over hoe de hele wereld werkt. Ik vind het een beetje ongelooflijk dat mensen bang zijn dat computers banen overnemen, zegt Eyal. Het is niet zo dat computers advocaten niet kunnen vervangen, omdat advocaten echt ingewikkelde dingen doen. Het is omdat advocaten mensen lezen en ermee praten. Het is niet alsof we dichtbij zijn. We zijn zo ver.

Een echte intelligentie breekt niet wanneer je de vereisten van het probleem dat het probeert op te lossen een beetje verandert. En het belangrijkste onderdeel van Eyal's proefschrift was zijn demonstratie, in principe, van hoe je een computer op die manier zou kunnen laten werken: om wat hij al weet vloeiend toe te passen op nieuwe taken, om snel zijn weg te vinden door bijna niets te weten over een nieuw domein een deskundige te zijn.

Hinton maakte deze schets voor zijn volgende grote idee, om neurale netwerken te organiseren met 'capsules'.

In wezen is het een procedure die hij het exploratie-compressie-algoritme noemt. Het zorgt ervoor dat een computer enigszins functioneert als een programmeur die een bibliotheek van herbruikbare, modulaire componenten opbouwt op weg naar het bouwen van steeds complexere programma's. Zonder iets over een nieuw domein te horen, probeert de computer de kennis erover te structureren door gewoon wat rond te spelen, te consolideren wat het heeft gevonden en nog wat meer te spelen, zoals een mensenkind doet.

Zijn adviseur, Joshua Tenenbaum, is een van de meest geciteerde onderzoekers op het gebied van AI. De naam van Tenenbaum kwam voor in de helft van de gesprekken die ik met andere wetenschappers had. Enkele van de belangrijkste mensen bij DeepMind - het team achter AlphaGo, dat computerwetenschappers schokte door in 2016 een wereldkampioen te verslaan in het complexe spel Go - hadden als zijn postdocs gewerkt. Hij is betrokken bij een startup die probeert om zelfrijdende auto's een beetje intuïtie te geven over de basisfysica en de bedoelingen van andere bestuurders, zodat ze beter kunnen anticiperen op wat er zou gebeuren in een situatie die ze nog nooit eerder hebben gezien, zoals wanneer een vrachtwagen knipt voor of wanneer iemand heel agressief probeert te fuseren.

De stelling van Eyal vertaalt zich nog niet in dat soort praktische toepassingen, laat staan ​​in programma's die de krantenkoppen halen voor het verslaan van een mens. De problemen waar Eyal aan werkt, zijn gewoon heel, heel moeilijk, zei Tenenbaum. Het gaat vele, vele generaties duren.

Tenenbaum heeft lang, krullend, wit wordend haar, en toen we gingen zitten voor de koffie had hij een overhemd aan met een knoopsluiting en een zwarte broek. Hij vertelde me dat hij naar het verhaal van backprop kijkt voor inspiratie. Decennia lang was backprop coole wiskunde die niet echt iets bereikte. Naarmate computers sneller werden en de techniek geavanceerder, gebeurde dat plotseling. Hij hoopt dat hetzelfde zal gebeuren met zijn eigen werk en dat van zijn studenten, maar het kan nog een paar decennia duren.

Wat Hinton betreft, hij is ervan overtuigd dat het overwinnen van de beperkingen van AI betekent dat er een brug moet worden geslagen tussen informatica en biologie. Backprop was in deze visie een triomf van biologisch geïnspireerde berekeningen; het idee kwam aanvankelijk niet uit de techniek maar uit de psychologie. Dus nu probeert Hinton een soortgelijke truc uit te halen.

Neurale netwerken zijn tegenwoordig gemaakt van grote platte lagen, maar in de menselijke neocortex zijn echte neuronen niet alleen horizontaal in lagen gerangschikt, maar ook verticaal in kolommen. Hinton denkt dat hij weet waar de kolommen voor dienen - in visie zijn ze bijvoorbeeld cruciaal voor ons vermogen om objecten te herkennen, zelfs als ons gezichtspunt verandert. Dus bouwt hij een kunstmatige versie - hij noemt ze capsules - om de theorie te testen. Tot nu toe is het niet uitgekomen; de capsules hebben de prestaties van zijn netten niet dramatisch verbeterd. Maar dit was dezelfde situatie waarin hij zich al bijna 30 jaar met backprop bevond.

Dit ding moet gewoon kloppen, zegt hij over de capsuletheorie, lachend om zijn eigen vrijmoedigheid. En het feit dat het niet werkt, is slechts een tijdelijke ergernis.

James Somers is een schrijver en programmeur gevestigd in New York City. Zijn vorige artikel voor MIT Technology Review was Toolkits for the Mind in mei/juni 2015, die liet zien hoe internetstartups worden gevormd door de programmeertalen die ze gebruiken.

zich verstoppen