211service.com
Waarom zelfs het brein van een mot slimmer is dan een AI
Een van de merkwaardige kenmerken van de diepe neurale netwerken achter machine learning is dat ze verrassend verschillen van de neurale netwerken in biologische systemen. Hoewel er overeenkomsten zijn, hebben sommige cruciale mechanismen voor machinaal leren geen analogie in de natuurlijke wereld, waar leren op een andere manier lijkt te gebeuren.
Deze verschillen verklaren waarschijnlijk waarom systemen voor machinaal leren zo ver achterblijven bij de natuurlijke in sommige prestatieaspecten. Insecten kunnen bijvoorbeeld geuren herkennen na slechts een handvol blootstellingen. Machines daarentegen hebben enorme trainingsdatasets nodig om te leren. Computerwetenschappers hopen dat een beter begrip van natuurlijke vormen van leren hen zal helpen de kloof te dichten.
Voer Charles Delahunt en collega's van de Universiteit van Washington in Seattle in, die een kunstmatig neuraal netwerk hebben gecreëerd dat de structuur en het gedrag van het olfactorische leersysteem in vrijdag manduca motten. Ze zeggen dat hun systeem belangrijke inzichten biedt in de manier waarop natuurlijke netwerken leren, met mogelijke implicaties voor machines.
Eerst wat achtergrond. Het olfactorische leersysteem bij motten is relatief eenvoudig en goed in kaart gebracht door neurowetenschappers. Het bestaat uit vijf verschillende netwerken die informatie van de ene naar de andere doorgeven.
De eerste is een systeem van ongeveer 30.000 chemische receptoren die geuren detecteren en een nogal luidruchtige reeks signalen naar het volgende niveau sturen, bekend als de antennelob. Deze bevat ongeveer 60 eenheden, bekend als glomeruli, die elk gericht zijn op specifieke geuren.
De antennekwab stuurt vervolgens neurale geurcodes naar het paddenstoellichaam, dat zo'n 4.000 kenyoncellen bevat en waarvan wordt gedacht dat het geuren codeert als herinneringen.
Ten slotte wordt het resultaat uitgelezen door een laag extrinsieke neuronen, waarvan het getal in de 10s. Deze interpreteren de signalen van het paddenstoellichaam als acties, zoals tegen de wind in vliegen.
Verschillende aspecten van dit systeem zijn totaal verschillend van wat wordt aangetroffen in machine learning-netwerken. De antennelob codeert bijvoorbeeld informatie in een laagdimensionale parameterruimte, maar stuurt deze naar het paddenstoellichaam, dat deze codeert in een hoogdimensionale parameterruimte. Daarentegen hebben de lagen in kunstmatige neurale netwerken meestal vergelijkbare afmetingen.
En bij motten activeert de succesvolle herkenning van een geur een beloningsmechanisme waarbij neuronen een chemische neurotransmitter genaamd octopamine in de antennekwab en het paddenstoelenlichaam spuiten.
Dit is een cruciaal onderdeel van het leerproces. Octopamine lijkt de neurale bedrading die tot succes leidt te helpen versterken. Het is een belangrijk onderdeel van het Hebbian-onderwijs, waarbij cellen die samen vuren met elkaar verbinden. Inderdaad, neurowetenschappers weten al lang dat motten niet leren zonder octopamine. Maar de rol die het speelt wordt niet goed begrepen.
Leren in machines is heel anders. Het is gebaseerd op een proces dat backpropagation wordt genoemd en dat de neurale verbindingen zodanig aanpast dat de resultaten worden verbeterd. Maar informatie reist in dit proces in wezen achteruit door het netwerk, en er is in de natuur geen analoog bekend.
Om beter te begrijpen hoe motten leren, hebben Delahunt en co een kunstmatig neuraal netwerk gecreëerd dat het gedrag van de natuurlijke nabootst. We hebben een end-to-end rekenmodel geconstrueerd van de vrijdag manduca motten-olfactorisch systeem dat de interactie van de antennekwab en het paddenstoellichaam onder octopamine-stimulatie omvat, zeggen ze.
Het model is specifiek ontworpen om het gedrag van het natuurlijke systeem op elk niveau te reproduceren. Het model simuleert met name de ruissignalen die worden gegenereerd door de geurreceptoren en de verandering in dimensie terwijl informatie van de antennelob naar het paddenstoellichaam stroomt, en het bevat een analoog van de rol die octopamine speelt.
En de resultaten zorgen voor interessante lectuur. Het model laat zien hoe de geurreceptoren een ruissignaal produceren dat vooraf wordt versterkt door de antennelob. De verandering in dimensie terwijl het signaal naar het lichaam van de paddenstoel gaat, heeft echter tot gevolg dat ruis wordt verwijderd, en dit stelt het systeem in staat om specifieke, ondubbelzinnige actiesignalen te genereren, zoals tegen de wind in vliegen.
De rol van octopamine ziet er ook duidelijker uit. De simulaties laten zien dat leren kan zonder octopamine, maar het is zo traag dat het feitelijk nutteloos is. Dit houdt in dat octopamine fungeert als een krachtige versneller voor leren.
Maar hoe het dat doet, staat nog ter discussie. Delahunt en co hebben hun eigen ideeën. Misschien is het een mechanisme dat de mot in staat stelt om intrinsieke organische beperkingen op de Hebbian-groei van nieuwe synapsen te omzeilen, beperkingen die de mot anders zouden beperken tot een onaanvaardbaar langzame leersnelheid, suggereren ze.
Octopamine heeft ook een andere rol. Hebbian learning versterkt alleen bestaande verbindingen en dat roept de vraag op hoe nieuwe bedrading ontstaat. Delahunt en co zeggen dat octopamine nieuwe zendkanalen opent voor bedrading. Dit vergroot de oplossingsruimte die het systeem tijdens het leren kan verkennen, zeggen ze.
En het meest indrukwekkende is dat het gesimuleerde netwerk op dezelfde manier leert als het natuurlijke netwerk. Ons model is in staat om krachtig nieuwe geuren te leren, en onze simulaties van geïntegreerde en afvuur-neuronen komen overeen met de statistische kenmerken van in vivo vuursnelheidsgegevens, zeggen Delahunt en co.
Dit werk kan belangrijke implicaties hebben voor het ontwerp van synthetische neurale netwerken die snel moeten leren. Vanuit het perspectief van machine learning levert het model bio-geïnspireerde mechanismen op die mogelijk nuttig zijn bij het bouwen van neurale netten voor snel leren van zeer weinig monsters, aldus het team.
Dus de machine learning-netwerken van de toekomst kunnen binnenkort gesimuleerde versies van octopamine en andere neurotransmitters bevatten.
Natuurlijk zijn neurotransmitters niet alleen bij het leren belangrijk. Neurowetenschappers zijn zich terdege bewust van de rol die ze spelen bij emoties, stemmingsregulatie, enzovoort. Daarin ligt nog een andere onderzoekspiste die machine-learningteams graag willen verkennen.
Referentie: arxiv.org/abs/1802.02678 : Biologische mechanismen voor leren: een computationeel model van olfactorisch leren in de Manduca sexta-mot, met toepassingen op neurale netten