Denken in Silicium

Stel je een persoon voor die deze woorden leest op een laptop in een coffeeshop. De machine, gemaakt van metaal, plastic en silicium, verbruikt ongeveer 50 watt aan stroom bij het vertalen van stukjes informatie - een lange reeks een s en 0 s—in een patroon van stippen op een scherm. Ondertussen gebruikt een kleverige klomp eiwitten, zout en water in de schedel van die persoon een fractie van die kracht, niet alleen om die patronen te herkennen als letters, woorden en zinnen, maar ook om het nummer dat op de radio wordt afgespeeld te herkennen.

Deze computerchip, gemaakt door IBM in 2011, bevat componenten die dienen als 256 neuronen en 262.144 synapsen.

Computers zijn ongelooflijk inefficiënt bij tal van taken die zelfs voor de eenvoudigste hersenen gemakkelijk zijn, zoals het herkennen van afbeeldingen en navigeren in onbekende ruimtes. Machines in onderzoekslaboratoria of grote datacenters kunnen dergelijke taken uitvoeren, maar ze zijn enorm en energieverslindend, en ze hebben gespecialiseerde programmering nodig. Google haalde onlangs de krantenkoppen met software die katten en menselijke gezichten betrouwbaar kan herkennen in videoclips, maar voor deze prestatie waren maar liefst 16.000 krachtige processors nodig.

Dit verhaal maakte deel uit van ons nummer van januari 2014

• Zie de rest van het probleem
• Abonneren

Een nieuw soort computerchips die meer als de hersenen werken, staat op het punt de kloof tussen kunstmatige en natuurlijke berekeningen te verkleinen - tussen circuits die logische bewerkingen met een zinderende snelheid doorbreken en een mechanisme dat door evolutie is aangescherpt om sensorische input van de echte wereld. Vooruitgang in neurowetenschap en chiptechnologie hebben het praktisch gemaakt om apparaten te bouwen die, op zijn minst op kleine schaal, gegevens verwerken zoals een zoogdierbrein dat doet. Deze neuromorfische chips zijn misschien het ontbrekende onderdeel van veel veelbelovende maar onvoltooide projecten op het gebied van kunstmatige intelligentie, zoals auto's die onder alle omstandigheden betrouwbaar rijden, en smartphones die fungeren als competente gespreksassistenten.

Moderne computers zijn geërfd van rekenmachines, goed voor het kraken van getallen, zegt Dharmendra Modha, senior onderzoeker bij IBM Research in Almaden, Californië. Hersenen zijn in de echte wereld geëvolueerd. Modha leidt een van de twee groepen die computerchips hebben gebouwd met een basisarchitectuur die is gekopieerd van de hersenen van zoogdieren in het kader van een project van $ 100 miljoen genaamd synaps , gefinancierd door het Defense Advanced Research Projects Agency van het Pentagon.

De prototypes hebben al vroege vonken van intelligentie laten zien, beelden zeer efficiënt verwerken en nieuwe vaardigheden opdoen op een manier die lijkt op biologisch leren. IBM heeft tools ontwikkeld waarmee software-engineers deze door het brein geïnspireerde chips kunnen programmeren; het andere prototype, bij HRL Laboratories in Malibu, Californië, zal binnenkort worden geïnstalleerd in een klein robotvliegtuig, van waaruit het zijn omgeving zal leren herkennen.

De evolutie van op het brein geïnspireerde chips begon in de vroege jaren tachtig met Carver Mead, een professor aan het California Institute of Technology en een van de grondleggers van moderne computers. Mead had naam gemaakt door te helpen bij het ontwikkelen van een manier om computerchips te ontwerpen, genaamd Very Large Scale Integration, of VLSI, waarmee fabrikanten veel complexere microprocessors konden maken. Dit veroorzaakte een explosieve groei in rekenkracht: computers leken mainstream te worden, zelfs alomtegenwoordig. Maar de industrie leek ze graag te bouwen rond één blauwdruk, daterend uit 1945. De von Neumann-architectuur, genoemd naar de in Hongarije geboren wiskundige John von Neumann, is ontworpen om lineaire reeksen instructies uit te voeren. Alle hedendaagse computers, van smartphones tot supercomputers, hebben slechts twee hoofdcomponenten: een centrale verwerkingseenheid, of CPU, om gegevens te manipuleren, en een blok met random access memory, of RAM, om de gegevens op te slaan en de instructies voor het manipuleren ervan . De CPU begint met het ophalen van de eerste instructie uit het geheugen, gevolgd door de gegevens die nodig zijn om deze uit te voeren; nadat de instructie is uitgevoerd, wordt het resultaat teruggestuurd naar het geheugen en wordt de cyclus herhaald. Zelfs multicore-chips die gegevens parallel verwerken, zijn beperkt tot slechts een paar gelijktijdige lineaire processen.

Die benadering is op natuurlijke wijze voortgekomen uit theoretische wiskunde en logica, waarbij problemen worden opgelost met lineaire redeneringsketens. Toch was het ongeschikt voor het verwerken en leren van grote hoeveelheden data, vooral zintuiglijke input zoals beeld of geluid. Het kwam ook met ingebouwde beperkingen: om computers krachtiger te maken, had de industrie zichzelf belast met het bouwen van steeds complexere chips die sequentiële bewerkingen sneller en sneller konden uitvoeren, maar dit zette ingenieurs op koers voor grote efficiëntie- en koelingsproblemen, omdat snellere chips produceren meer afvalwarmte. Mead, nu 79 en emeritus hoogleraar, voelde toen al dat er een betere manier kon zijn. Hoe meer ik erover nadacht, hoe ongemakkelijker het voelde, zegt hij, zittend in het kantoor dat hij bij Caltech heeft. Hij begon te dromen van chips die veel instructies - misschien wel miljoenen - tegelijk verwerkten. Zo'n chip zou nieuwe taken kunnen volbrengen en efficiënt omgaan met grote hoeveelheden ongestructureerde informatie, zoals video of geluid. Het zou compacter kunnen zijn en energie efficiënter kunnen gebruiken, zelfs als het meer gespecialiseerd zou zijn voor bepaalde soorten taken. Bewijs dat dit mogelijk was, kon worden gevonden vliegend, rennend en rondlopend. De enige voorbeelden die we hadden van een enorm parallel ding waren in de hersenen van dieren, zegt Mead.

Hersenen berekenen parallel terwijl de elektrisch actieve cellen erin, neuronen genaamd, gelijktijdig en onophoudelijk werken. Verbonden in ingewikkelde netwerken door draadachtige aanhangsels, beïnvloeden neuronen elkaars elektrische pulsen via verbindingen die synapsen worden genoemd. Wanneer informatie door een brein stroomt, verwerkt het gegevens als een samenraapsel van pieken die zich door de neuronen en synapsen verspreiden. U herkent de woorden in deze paragraaf bijvoorbeeld dankzij een bepaald patroon van elektrische activiteit in uw hersenen dat wordt geactiveerd door input van uw ogen. Cruciaal is dat neurale hardware ook flexibel is: nieuwe input kan ervoor zorgen dat synapsen zich aanpassen om sommige neuronen meer of minder invloed te geven op andere, een proces dat het leren ondersteunt. In computertermen is het een enorm parallel systeem dat zichzelf kan herprogrammeren.

Ironisch genoeg had Von Neumann, hoewel hij de conventionele ontwerpen inspireerde die vandaag de dag nog bestaan, ook het potentieel aangevoeld van door de hersenen geïnspireerd computergebruik. In het onvoltooide boek De computer en de hersenen , een jaar na zijn dood in 1957 gepubliceerd, verwonderde hij zich over de grootte, efficiëntie en kracht van hersenen in vergelijking met computers. Een diepere wiskundige studie van het zenuwstelsel … kan de manier waarop we naar wiskunde en logica kijken veranderen, betoogde hij. Toen Mead meer dan twee decennia later tot hetzelfde besef kwam, ontdekte hij dat niemand had geprobeerd een computer te maken die op het brein was geïnspireerd. Niemand dacht op dat moment: 'Hoe bouw ik er een?', zegt Mead. We hadden geen idee hoe het werkte.

Mead bouwde uiteindelijk zijn eerste neuromorfische chips, zoals hij zijn hersengeïnspireerde apparaten in het midden van de jaren tachtig doopte, nadat hij had samengewerkt met neurowetenschappers om te bestuderen hoe neuronen gegevens verwerken. Door gewone transistors op ongewoon lage spanningen te laten werken, kon hij ze rangschikken in feedbacknetwerken die er heel anders uitzagen dan verzamelingen neuronen, maar op een vergelijkbare manier functioneerden. Hij gebruikte die truc om de gegevensverwerkingscircuits in het netvlies en het slakkenhuis na te bootsen en chips te bouwen die trucs uitvoerden, zoals het detecteren van de randen van objecten en functies in een audiosignaal. Maar de chips waren moeilijk om mee te werken en de inspanning werd beperkt door de technologie voor het maken van chips. Omdat neuromorfisch computergebruik nog steeds een curiositeit was, ging Mead verder met andere projecten. Het was moeilijker dan ik dacht om naar binnen te gaan, blikt hij terug. Het brein van een vlieg ziet er niet zo ingewikkeld uit, maar het doet dingen die we tot op de dag van vandaag niet kunnen. Dat zegt je iets.

Neuronen binnen

Het Almaden-lab van IBM, in de buurt van San Jose, ligt dicht bij maar afgezien van Silicon Valley - misschien wel de ideale locatie om de fundamenten van de computerindustrie te heroverwegen. Om er te komen, moet je naar een met magnolia omzoomde straat aan de rand van de stad rijden en twee mijl aan bochten beklimmen. Het lab bevindt zich te midden van 2.317 beschermde hectares glooiende heuvels. Binnen ijsberen onderzoekers lange, brede, stille gangen en piekeren ze over problemen. Hier leidt Modha het grootste van de twee teams die DARPA heeft gerekruteerd om de von Neumann-afhankelijkheid van de computerindustrie te doorbreken. De basisaanpak is vergelijkbaar met die van Mead: bouw siliciumchips met elementen die werken als neuronen. Maar hij heeft het voordeel van vooruitgang in de neurowetenschappen en het maken van chips. Tijd is alles; het was niet helemaal goed voor Carver, zegt Modha, die de gewoonte heeft om zijn ogen te sluiten om na te denken, te ademen en na te denken voordat hij spreekt.

IBM maakt neuromorfe chips door verzamelingen van 6.000 transistors te gebruiken om het elektrische spikinggedrag van een neuron na te bootsen en die siliciumneuronen vervolgens met elkaar te verbinden. Modha's strategie om ze te combineren om een ​​hersenachtig systeem te bouwen, is geïnspireerd op studies aan de cortex van de hersenen, de rimpelige buitenste laag. Hoewel verschillende delen van de cortex verschillende functies hebben, zoals het beheersen van taal of beweging, zijn ze allemaal opgebouwd uit zogenaamde microkolommen, herhalende klonten van 100 tot 250 neuronen. Modha onthulde zijn versie van een microkolom in 2011. Een stukje silicium dat niet veel groter is dan een speldenknop, het bevatte 256 siliciumneuronen en een geheugenblok dat de eigenschappen definieert van maximaal 262.000 synaptische verbindingen ertussen. Door die synapsen correct te programmeren, kan een netwerk ontstaan ​​dat informatie verwerkt en erop reageert zoals de neuronen van een echt brein.

Die chip instellen om aan een probleem te werken, omvat het programmeren van een simulatie van de chip op een conventionele computer en het vervolgens overbrengen van de configuratie naar de echte chip. In één experiment kon de chip handgeschreven cijfers van 0 tot 9 herkennen, zelfs voorspellend welk nummer iemand begon te traceren met een digitale stylus. In een andere was het netwerk van de chip geprogrammeerd om een ​​versie van het videospel Pong te spelen. In een derde deel stuurde het een klein onbemand luchtvaartuig om de dubbele gele lijn op de weg te volgen die het laboratorium van IBM naderde. Geen van deze prestaties valt buiten het bereik van conventionele software, maar ze werden bereikt met een fractie van de code, kracht en hardware die normaal nodig zou zijn.

Modha test vroege versies van een complexere chip, gemaakt van een raster van neurosynaptische kernen die zijn samengevoegd tot een soort rudimentaire cortex - in totaal meer dan een miljoen neuronen. Afgelopen zomer kondigde IBM ook een neuromorfische programmeerarchitectuur aan op basis van modulaire codeblokken die corelets worden genoemd. Het is de bedoeling dat programmeurs corelets uit een reeds bestaand menu combineren en aanpassen, zodat ze niet hoeven te worstelen met siliciumsynapsen en neuronen. Er zijn al meer dan 150 corelets ontworpen, voor taken variërend van het herkennen van mensen in video's tot het onderscheiden van de muziek van Beethoven en Bach.

Leermachines

Op een andere Californische heuvel, 300 mijl naar het zuiden, heeft het andere deel van het DARPA-project tot doel chips te maken die de hersenen nog beter nabootsen. HRL, dat uitkijkt over Malibu vanaf de uitlopers van de Santa Monica Mountains, werd opgericht door Hughes Aircraft en opereert nu als een joint venture van General Motors en Boeing. Met een koivijver, palmbomen en bananenplanten lijkt de ingang op een hotel uit de gouden tijd van Hollywood. Het heeft ook een plaquette ter herdenking van de eerste werkende laser, gebouwd in 1960 in wat toen Hughes Research Labs heette.

Een bij HRL ontwikkelde microchip leert als een biologisch brein door synapsachtige verbindingen te versterken of te verzwakken.

Op een bank in een raamloos laboratorium zit de chip van Narayan Srinivasa in het midden van een wirwar van draden. De activiteit van zijn 576 kunstmatige neuronen verschijnt op een computerscherm als een parade van spikes, een EEG voor een siliciumbrein. De HRL-chip heeft neuronen en synapsen die lijken op die van IBM. Maar net als de neuronen in je eigen hersenen, passen die op de HRL-chip hun synaptische verbindingen aan wanneer ze worden blootgesteld aan nieuwe gegevens. Met andere woorden, de chip leert door ervaring.

De HRL-chip bootst twee leerverschijnselen in de hersenen na. Een daarvan is dat neuronen min of meer gevoelig worden voor signalen van een ander neuron, afhankelijk van hoe vaak die signalen aankomen. De andere is complexer: een proces waarvan wordt aangenomen dat het het leren en het geheugen ondersteunt, bekend als spike-timing-afhankelijke plasticiteit. Dit zorgt ervoor dat neuronen meer reageren op andere neuronen die in het verleden de neiging hadden om hun eigen signaleringsactiviteit nauw aan te sluiten. Als groepen neuronen constructief samenwerken, worden de onderlinge verbindingen sterker, terwijl minder bruikbare verbindingen inactief worden.

Resultaten van experimenten met gesimuleerde versies van de chip zijn indrukwekkend. De chip speelde een virtueel spelletje Pong, net als de chip van IBM. Maar in tegenstelling tot IBM's chip, was HRL's niet geprogrammeerd om het spel te spelen - alleen om zijn peddel te bewegen, de bal te voelen en feedback te ontvangen die ofwel een succesvol schot beloonde of een misser bestrafte. Een systeem van 120 neuronen begon te zwaaien, maar binnen ongeveer vijf ronden was het een ervaren speler geworden. Je programmeert het niet, zegt Srinivasa. Je zegt gewoon 'goed gedaan', 'slecht gedaan' en het zoekt uit wat het zou moeten doen. Als er extra ballen, paddles of tegenstanders worden toegevoegd, past het netwerk zich snel aan de veranderingen aan.

Met deze aanpak kunnen ingenieurs uiteindelijk een robot maken die door een soort kindertijd strompelt, uitzoeken hoe hij zich moet verplaatsen en navigeren. Je kunt niet de rijkdom vastleggen van alle dingen die in de echte wereld gebeuren, dus je moet het systeem er rechtstreeks mee laten omgaan, zegt Srinivasa. Identieke machines kunnen dan alles opnemen wat de originele machine heeft geleerd. Maar het kan ook nuttig zijn om robots na dat punt enig leervermogen te geven. Op die manier konden ze zich aanpassen als ze beschadigd waren, of hun gang aanpassen aan verschillende soorten terrein.

De eerste echte test van deze visie voor neuromorfisch computergebruik zal volgende zomer plaatsvinden, wanneer de HRL-chip naar verwachting uit zijn laboratoriumbank zal ontsnappen en de vlucht zal nemen in een vliegtuig ter grootte van een handpalm met klapperende vleugels, een zogenaamde Snipe. Terwijl een mens het vaartuig op afstand door een reeks kamers bestuurt, zal de chip gegevens opnemen van de camera van het vaartuig en andere sensoren. Op een gegeven moment krijgt de chip een signaal dat betekent Let hier op. De volgende keer dat de Snipe die kamer bezoekt, moet de chip een licht aandoen om aan te geven dat hij het zich herinnert. Het uitvoeren van dit soort herkenning zou normaal gesproken te veel elektrische en rekenkracht vereisen voor zo'n klein vaartuig.

Buitenaardse intelligentie

Ondanks de bescheiden maar significante successen van de Synapse-chips, is het nog steeds onduidelijk of het opschalen van deze chips machines zal opleveren met meer geavanceerde hersenachtige vermogens. En sommige critici betwijfelen of het ooit mogelijk zal zijn voor ingenieurs om biologie nauwkeurig genoeg te kopiëren om deze vaardigheden vast te leggen.

IBM gebruikte deze simulatie van lange-afstands neurale paden in een makaak om het ontwerp van neuromorfe chips te begeleiden.

Neurowetenschapper Henry Markram, die spike-timing-afhankelijke plasticiteit ontdekte, heeft Modha's werk op netwerken van gesimuleerde neuronen aangevallen en gezegd dat hun gedrag te simplistisch is. Hij is van mening dat voor het succesvol emuleren van de vermogens van de hersenen het kopiëren van synapsen naar de moleculaire schaal vereist is; het gedrag van neuronen wordt beïnvloed door de interacties van tientallen ionkanalen en duizenden eiwitten, merkt hij op, en er zijn talloze soorten synapsen, die zich allemaal op niet-lineaire of chaotische manieren gedragen. Volgens Markram zouden wetenschappers al die functies moeten opnemen om de mogelijkheden van een echt brein vast te leggen.

De DARPA-teams stellen dat ze niet de volledige complexiteit van de hersenen hoeven te vangen om nuttige dingen voor elkaar te krijgen, en dat van opeenvolgende generaties van hun chips kan worden verwacht dat ze dichter bij de biologie komen. HRL hoopt zijn chips te verbeteren door de siliciumneuronen in staat te stellen hun eigen vuursnelheid te regelen zoals die in de hersenen doen, en IBM bedraden de verbindingen tussen kernen op zijn nieuwste neuromorfische chip op een nieuwe manier, gebruikmakend van inzichten uit simulaties van de verbindingen tussen verschillende regio's van de cortex van een makaak.

Modha gelooft dat deze verbindingen belangrijk kunnen zijn voor het functioneren van de hersenen op een hoger niveau. Maar zelfs na dergelijke verbeteringen zullen deze chips nog verre van de rommelige, complexe realiteit van de hersenen zijn. Het lijkt onwaarschijnlijk dat microchips ooit de hersenen zullen evenaren bij het passen van 10 miljard synaptische verbindingen in een enkele vierkante centimeter, hoewel HRL experimenteert met een dichtere vorm van geheugen op basis van exotische apparaten die bekend staan ​​als memristors.

Tegelijkertijd zijn neuromorfische ontwerpen nog steeds ver verwijderd van de meeste computers die we tegenwoordig hebben. Misschien is het beter om deze chips te herkennen als iets heel aparts: een nieuwe, buitenaardse vorm van intelligentie.

De traditionele benadering is om meer rekencapaciteit en sterkere algoritmen toe te voegen, maar dat schaalt niet meer.

Ze zijn misschien buitenaards, maar het hoofd van de onderzoeksstrategie van IBM, Zachary Lemnios, voorspelt dat we ze snel genoeg willen leren kennen. Veel grote bedrijven hebben al behoefte aan een nieuw soort computationele intelligentie, zegt hij: de traditionele benadering is om meer rekencapaciteit en sterkere algoritmen toe te voegen, maar dat schaalt gewoon niet, en dat zien we. Als voorbeelden noemt hij de persoonlijke assistent Siri van Apple en de zelfrijdende auto's van Google. Deze technologieën zijn niet erg geavanceerd in hoe ze de wereld om hen heen begrijpen, zegt Lemnios; De auto's van Google zijn sterk afhankelijk van vooraf geladen kaartgegevens om te navigeren, terwijl Siri gebruikmaakt van verre cloudservers voor spraakherkenning en taalverwerking, wat merkbare vertragingen veroorzaakt.

Tegenwoordig is het snijvlak van kunstmatige-intelligentiesoftware een discipline die bekend staat als deep learning en wordt omarmd door onder meer Google en Facebook. Het omvat het gebruik van software om netwerken van zeer basale neuronen op normale computerarchitectuur te simuleren (zie 10 Breakthrough Technologies: Deep Learning, mei/juni 2013). Maar die aanpak, die de kattenspotsoftware van Google heeft voortgebracht, is gebaseerd op enorme clusters van computers om de gesimuleerde neurale netwerken te laten draaien en deze gegevens te verstrekken. Neuromorfische machines zouden het mogelijk moeten maken dat dergelijke faculteiten worden verpakt in compacte, efficiënte apparaten voor situaties waarin het onpraktisch is om verbinding te maken met een afgelegen datacenter. IBM is al in gesprek met klanten die geïnteresseerd zijn in het gebruik van neuromorfe systemen. Beveiligingsvideoverwerking en voorspelling van financiële fraude staan ​​voorop, aangezien beide complexe leerprocessen en realtime patroonherkenning vereisen.

Wanneer en hoe neuromorfische chips uiteindelijk worden gebruikt, zal dit hoogstwaarschijnlijk in samenwerking met von Neumann-machines zijn. Cijfers zullen nog moeten worden gekraakt, en zelfs in systemen die worden geconfronteerd met problemen zoals het analyseren van afbeeldingen, zal het gemakkelijker en efficiënter zijn om een ​​conventionele computer aan het hoofd te hebben. Neuromorfe chips zouden dan voor bepaalde taken kunnen worden gebruikt, net zoals een brein afhankelijk is van verschillende regio's die gespecialiseerd zijn om verschillende taken uit te voeren.

Zoals gewoonlijk het geval is geweest in de geschiedenis van de informatica, zullen de eerste van dergelijke systemen waarschijnlijk worden ingezet in dienst van het Amerikaanse leger. Het is niet mystiek of magisch, zegt Gill Pratt, die het Synapse-project bij DARPA beheert, over neuromorphic computing. Het is een architectonisch verschil dat leidt tot een andere afweging tussen energie en prestatie. Pratt zegt dat vooral UAV's de aanpak zouden kunnen gebruiken. Neuromorfe chips zouden oriëntatiepunten of doelen kunnen herkennen zonder de omvangrijke gegevensoverdracht en krachtige conventionele computers die nu nodig zijn om beelden te verwerken. In plaats van een video van een stel jongens te sturen, zou het zeggen: 'Er is een persoon in elk van deze posities - het lijkt alsof ze rennen', zegt hij.

Deze visie van een nieuw soort computerchip is er een die zowel Mead als Von Neumann zeker zouden herkennen.

zich verstoppen