211service.com
Enkele kunstmatige neuron geleerd om honderden patronen te herkennen
Kunstmatige intelligentie is een vakgebied dat zich midden in snelle, opwindende veranderingen bevindt. Dat is grotendeels te danken aan een beter begrip van hoe neurale netwerken werken en het creëren van enorme databases om ze te helpen trainen. Het resultaat zijn machines die ineens beter zijn geworden in zaken als gezichts- en objectherkenning, taken waar mensen altijd de overhand in hebben gehad (zie Machines aanleren om ons te begrijpen).
Maar er is een puzzel in het hart van deze doorbraken. Hoewel neurale netwerken ogenschijnlijk zijn gemodelleerd naar de manier waarop het menselijk brein werkt, lijken de kunstmatige neuronen die ze bevatten in niets op die in onze eigen wetware. Kunstmatige neuronen hebben bijvoorbeeld over het algemeen slechts een handvol synapsen en missen volledig de korte, vertakte zenuwuitbreidingen die bekend staan als dendrieten en de duizenden synapsen die zich langs hen vormen. Inderdaad, niemand weet echt waarom echte neuronen zoveel synapsen hebben.
Tegenwoordig verandert dat dankzij het werk van Jeff Hawkins en Subutai Ahmad bij Numenta, een startup in Silicon Valley die zich richt op het begrijpen en exploiteren van de principes achter biologische informatieverwerking. De doorbraak die deze jongens hebben gemaakt, is om met een nieuwe theorie te komen die eindelijk de rol van het enorme aantal synapsen in echte neuronen verklaart en om een model te creëren op basis van deze theorie dat veel van het intelligente gedrag van echte neuronen reproduceert.
Echte neuronen bestaan uit een cellichaam, bekend als het soma, dat de celkern bevat en van waaruit zich een aantal nabijgelegen of proximale dendrieten uitstrekken, evenals het axon, een fijn kabelachtig uitsteeksel dat zich vele centimeters kan uitstrekken om verbinding te maken. naar andere neuronen. Aan het einde van het axon bevindt zich nog een reeks takken, bekend als distale dendrieten vanwege hun afstand tot de soma.
Proximale en distale dendrieten maken allemaal duizenden verbindingen, synapsen genaamd, met de axonen van andere zenuwcellen. Deze verbindingen hebben een beroemde invloed op de snelheid waarmee de zenuwcel elektrische signalen produceert die bekend staan als spikes.
De consensus is dat neuronen leren door bepaalde verbindingspatronen tussen de synapsen te herkennen en te vuren wanneer ze dit patroon zien.
Maar hoewel het gemakkelijk te begrijpen is hoe proximale synapsen het cellichaam en de vuursnelheid kunnen beïnvloeden, is het moeilijk te begrijpen hoe distale synapsen hetzelfde kunnen doen, omdat ze zo ver weg zijn.
Hawkins en Ahmad zeggen nu dat ze weten wat er aan de hand is. Hun nieuwe idee is dat distale en proximale synapsen totaal verschillende rollen spelen in het leerproces. Proximale synapsen spelen de conventionele rol om de cel te activeren om te vuren wanneer bepaalde verbindingspatronen opduiken.
Dit is het conventionele leerproces. We laten zien dat een neuron honderden patronen kan herkennen, zelfs in de aanwezigheid van grote hoeveelheden ruis en variabiliteit, zolang de algehele neurale activiteit schaars is, zeggen Hawkins en Ahmad.
Maar distale synapsen doen iets anders. Ze herkennen ook wanneer bepaalde patronen aanwezig zijn, maar activeren niet het schieten. In plaats daarvan beïnvloeden ze de elektrische toestand van de cel op een manier die het vuren waarschijnlijker maakt als een ander specifiek patroon optreedt. Dus distale synapsen bereiden de cel voor op de komst van andere patronen. Of, zoals Hawkins en Ahmad het uitdrukken, deze synapsen helpen de cel te voorspellen wat het volgende patroon zal zijn dat door de proximale synapsen wordt waargenomen.
Dat is enorm belangrijk. Het betekent dat de cel niet alleen leert wanneer een specifiek patroon aanwezig is, maar ook de volgorde leert waarin patronen verschijnen. We laten zien hoe een netwerk van neuronen met deze eigenschap sequenties van patronen zal leren en oproepen, zeggen ze.
Bovendien laten ze zien dat dit allemaal goed werkt, ook bij grote hoeveelheden ruis, zoals altijd het geval is in biologische systemen.
Dat is een belangrijke nieuwe manier van denken over neuronen en een die enkele van de belangrijkste kenmerken van informatieverwerking in het menselijk brein reproduceert. Hawkins en Ahmad laten bijvoorbeeld zien dat dit systeem niet elk detail van elk patroon in een reeks onthoudt, maar in plaats daarvan het verschil tussen het ene patroon en het volgende opslaat.
Dus wat belangrijk is, is niet de totale hoeveelheid informatie in een patroon, maar het verschil tussen dit patroon en het volgende.
Dat is een interessante eigenschap die kan helpen bij het verklaren van een ander raadselachtig kenmerk van het menselijk geheugen dat chunking wordt genoemd. Dit is de observatie dat mensen gemiddeld ongeveer zeven brokken informatie in hun werkgeheugen kunnen opslaan. Deze brokken kunnen dingen zijn zoals cijfers, letters of zelfs woorden, maar wat ze ook zijn, mensen kunnen er maar ongeveer zeven onthouden (plus of min twee!).
Maar hier is het ding: de informatie-inhoud van een enkel woord, zoals synaps, is aanzienlijk groter dan de informatie-inhoud van een enkel cijfer, zoals een 7. De puzzel is dat niemand weet hoe de hersenen erin slagen om de informatie in zeven woorden even gemakkelijk als het de informatie in zeven cijfers bevat.
Maar in het nieuwe model van Hawkins en Ahmad verdwijnt dit probleem. De hersenen slaan de informatie met betrekking tot het woord of cijfer niet op, alleen het verschil ertussen, dat aanzienlijk minder kan zijn. Dat zou moeten leiden tot enkele toetsbare hypothesen over de aard van het geheugen.
Het nieuwe model leidt ook tot andere toetsbare hypothesen. Het model werkt bijvoorbeeld alleen als er een paar synapsen zijn tussen het axon van het ene neuron en een dendriet van het andere. Als er te veel synapsen zouden zijn, zou het ene patroon niet van het andere kunnen worden onderscheiden en zouden alle patronen er hetzelfde uitzien.
Als het model van Hawkins en Ahmad correct is, kan dit niet gebeuren in echte neuronen. Om dit te voorkomen voorspellen we het bestaan van een mechanisme dat actief de vorming van meerdere synapsen ontmoedigt nadat er een is vastgesteld, zeggen ze.
Dat is ongebruikelijk in de biologie - een toetsbare hypothese. Maar het is er een die neurowetenschappers zeker iets geeft om naar te zoeken met hun vergrootglas.
Een laatste punt is dat dit nieuwe denken niet uit een academische omgeving komt, maar uit een startup in Silicon Valley. Dit bedrijf is het geesteskind van Jeff Hawkins, een ondernemer, uitvinder en neurowetenschapper. Hawkins vond de Palm Pilot uit in de jaren negentig en heeft sindsdien zijn aandacht fulltime op de neurowetenschappen gericht.
Dat is een ongebruikelijke combinatie van expertise, maar een die het zeer waarschijnlijk maakt dat we deze nieuwe kunstmatige neuronen in de niet al te verre toekomst aan het werk zullen zien bij problemen in de echte wereld. Overigens noemen Hawkins en Ahmad hun nieuwe speelgoed Hiërarchische Temporal Memory-neuronen of HTM-neuronen. Verwacht nog veel meer over hen te horen.
Referentie: arxiv.org/abs/1511.00083 : Waarom neuronen duizenden synapsen hebben, een theorie van sequentiegeheugen in neocortex