Neurale netwerken leren wat te onthouden en wat te vergeten

Deep learning verandert de manier waarop we machines gebruiken en erover denken. Huidige incarnaties zijn beter dan mensen in allerlei taken, van schaken en Go tot gezichtsherkenning en objectherkenning.

Maar veel aspecten van machine learning lopen enorm achter op menselijke prestaties. In het bijzonder hebben mensen het buitengewone vermogen om hun herinneringen voortdurend bij te werken met de belangrijkste kennis, terwijl ze informatie overschrijven die niet langer nuttig is.

Dat is een belangrijke vaardigheid. De wereld biedt een oneindige bron van gegevens, waarvan een groot deel niet relevant is voor de lastige zaak van overleven, en waarvan de meeste onmogelijk in een beperkt geheugen kunnen worden opgeslagen. Dus mensen en andere wezens hebben manieren ontwikkeld om belangrijke vaardigheden te behouden en irrelevante vaardigheden te vergeten.

Neurale netwerken wordt nu geleerd hoe te vergeten.

Hetzelfde kan niet gezegd worden van machines. Elke vaardigheid die ze leren, wordt snel overschreven, hoe belangrijk deze ook is. Er is momenteel geen betrouwbaar mechanisme dat ze kunnen gebruiken om prioriteit te geven aan deze vaardigheden, om te beslissen wat ze moeten onthouden en wat ze moeten vergeten.

Vandaag lijkt dat te veranderen dankzij het werk van Rahaf Aljundi en vrienden aan de Universiteit van Leuven in België en bij Facebook AI Research. Deze jongens hebben aangetoond dat de benadering die biologische systemen gebruiken om te leren en te vergeten, ook kan werken met kunstmatige neurale netwerken.

De sleutel is een proces dat bekend staat als Hebbisch leren, voor het eerst voorgesteld in de jaren 1940 door de Canadese psycholoog Donald Hebb om de manier te verklaren waarop hersenen leren via synaptische plasticiteit. De theorie van Hebb kan op beroemde wijze worden samengevat als Cellen die samen vuren met elkaar.

Met andere woorden, de verbindingen tussen neuronen worden sterker als ze samen vuren, en deze verbindingen zijn daarom moeilijker te verbreken. Dit is hoe we leren - herhaald gesynchroniseerd afvuren van neuronen maakt de verbindingen ertussen sterker en moeilijker te overschrijven.

Dus hebben Aljundi en co een manier ontwikkeld waarop kunstmatige neurale netwerken zich op dezelfde manier kunnen gedragen. Dit doen ze door de outputs van een neuraal netwerk te meten en te monitoren hoe gevoelig ze zijn voor veranderingen in de verbindingen binnen het netwerk.

Dit geeft hen een idee van welke netwerkparameters het belangrijkst zijn en daarom behouden moeten blijven. Bij het leren van een nieuwe taak worden wijzigingen in belangrijke parameters bestraft, zegt het team. Ze zeggen dat het resulterende netwerk geheugenbewuste synapsen heeft.

Ze hebben dit idee uitgeprobeerd met een reeks tests waarbij een neuraal netwerk dat is getraind om één ding te doen, vervolgens gegevens krijgt die het trainen om iets anders te doen. Een netwerk dat getraind is om bloemen te herkennen, krijgt dan bijvoorbeeld vogels te zien. De onderzoekers laten het vervolgens opnieuw bloeien om te zien hoeveel van deze vaardigheid behouden blijft.

Neurale netwerken met geheugenbewuste synapsen blijken in deze tests beter te presteren dan andere netwerken. Met andere woorden, ze behouden meer van de oorspronkelijke vaardigheid dan netwerken zonder deze vaardigheid, hoewel de resultaten zeker ruimte laten voor verbetering

Het belangrijkste punt is echter dat het team een ​​manier heeft gevonden waarop neurale netwerken Hebbian learning kunnen toepassen. We laten zien dat een lokale versie van onze methode een directe toepassing is van de regel van Hebb bij het identificeren van de belangrijke verbindingen tussen neuronen, zeggen Aljundi en co.

Dat heeft gevolgen voor de toekomst van machine learning. Als deze wetenschappers hun versie van Hebbian learning beter kunnen maken, zou het machines flexibeler moeten maken in hun leren. En daardoor kunnen ze zich beter aanpassen aan de echte wereld.

Referentie: arxiv.org/abs/1711.09601 : Geheugenbewuste synapsen: leren wat (niet) te vergeten

zich verstoppen