211service.com
Google's geheime DeepMind-startup onthult een 'neurale Turing-machine'
Een van de grote uitdagingen van de neurowetenschap is het begrijpen van het kortetermijnwerkgeheugen in het menselijk brein. Tegelijkertijd zouden computerwetenschappers dolgraag hetzelfde soort geheugen willen reproduceren in silico .
Vandaag onthult Google's geheime DeepMind-startup, die het eerder dit jaar voor $ 400 miljoen kocht, een prototypecomputer die probeert enkele eigenschappen van het kortetermijnwerkgeheugen van het menselijk brein na te bootsen. De nieuwe computer is een soort neuraal netwerk dat is aangepast om met een extern geheugen te werken. Het resultaat is een computer die leert terwijl hij herinneringen opslaat en deze later kan ophalen om logische taken uit te voeren die verder gaan dan waarvoor hij is opgeleid.
De doorbraak van DeepMind volgt op een lange geschiedenis van werk aan kortetermijngeheugen. In de jaren vijftig voerde de Amerikaanse cognitief psycholoog George Miller een van de beroemdste experimenten uit de geschiedenis van de hersenwetenschap uit. Miller was geïnteresseerd in de capaciteit van het werkgeheugen van het menselijk brein en ging deze meten met de hulp van een groot aantal studenten die hij vroeg om eenvoudige geheugentaken uit te voeren.
De opvallende conclusie van Miller was dat de capaciteit van het kortetermijngeheugen niet kan worden bepaald door de hoeveelheid informatie die het bevat. In plaats daarvan concludeerde Miller dat het werkgeheugen informatie opslaat in de vorm van brokken en dat het er ongeveer zeven kan bevatten.
Dat roept de merkwaardige vraag op: wat is een brok? In de experimenten van Miller kan een brok een enkel cijfer zijn zoals een 4, een enkele letter zoals een q, een enkel woord of een kleine groep woorden die samen een specifieke betekenis hebben. Dus elk stuk kan alles vertegenwoordigen, van een zeer kleine hoeveelheid informatie tot een enorm complex idee dat gelijk staat aan grote hoeveelheden informatie.
Maar hoeveel informatie een enkel stuk ook vertegenwoordigt, het menselijk brein kan er slechts ongeveer zeven in zijn werkgeheugen opslaan.
Hier is een voorbeeld. Overweeg de volgende zin: Dit boek is spannend om te lezen met een complexe plot en levensechte karakters.
Deze zin bestaat uit ongeveer zeven brokken informatie en is duidelijk hanteerbaar voor elke gewone lezer.
Probeer daarentegen deze zin: Dit boek over het Romeinse Rijk tijdens de eerste jaren van Augustus Caesars regering aan het einde van de Romeinse Republiek, beschrijft de gebeurtenissen na de bloedige slag bij Actium in 31 v.Chr. toen de jonge keizer Marcus Antonius en Cleopatra versloeg door ze volledig te slim af te zijn in een groot zeegevecht.
Deze zin bevat minimaal 20 stukjes. Dus als je het moeilijker vond om te lezen, zou dat geen verrassing moeten zijn. Het menselijk brein heeft moeite om zoveel brokken in zijn werkgeheugen vast te houden.
In de cognitieve wetenschap wordt het vermogen om de componenten van een zin te begrijpen en op te slaan in het werkgeheugen variabele binding genoemd. Dit is de mogelijkheid om een stuk data te nemen en het toe te wijzen aan een slot in het geheugen en dit herhaaldelijk te doen met data van verschillende lengte, zoals chunks.
In de jaren negentig en 2000 probeerden computerwetenschappers herhaaldelijk algoritmen, circuits en neurale netwerken te ontwerpen die deze truc konden uitvoeren. Zo'n computer zou een eenvoudige zin moeten kunnen ontleden zoals Mary tegen John sprak door deze te verdelen in de samenstellende delen van acteur, actie en de ontvanger van de actie. Dus in dit geval zou het de rol van acteur toewijzen aan Maria, de rol van actie aan de gesproken woorden en de rol van ontvanger van de actie aan John.
Het is deze taak die het werk van DeepMind aanpakt, ondanks de zeer beperkte prestaties van eerdere machines. Onze architectuur put uit en versterkt dit werk, zeggen Alex Graves, Greg Wayne en Ivo Danihelka van DeepMind, gevestigd in Londen.
Ze beginnen met het herdefiniëren van de aard van een neuraal netwerk. Tot nu toe waren neurale netwerken patronen van onderling verbonden neuronen die in staat zijn om de sterkte van de onderlinge verbindingen te veranderen als reactie op enige externe input. Dit is een vorm van leren waarmee ze overeenkomsten tussen verschillende inputs kunnen ontdekken.
Maar het fundamentele proces van computergebruik bevat nog een belangrijk extra element. Dit is een extern geheugen waarnaar tijdens een berekening kan worden geschreven en waarvan kan worden gelezen. In Turings beroemde beschrijving van een computer is het geheugen de tickertape die heen en weer gaat door de computer en waarin verschillende soorten symbolen worden opgeslagen voor latere verwerking.
Dit soort leesbaar en beschrijfbaar geheugen ontbreekt in een conventioneel neuraal netwerk. Dus Graves en co hebben er gewoon een toegevoegd. Hierdoor kan het neurale netwerk variabelen in zijn geheugen opslaan en er later op terugkomen om in een berekening te gebruiken.
Dit is vergelijkbaar met de manier waarop een gewone computer nummer 3 en nummer 4 in registers kan plaatsen en ze later kan toevoegen om 7 te maken. Het verschil is dat het neurale netwerk complexere patronen van variabelen kan opslaan die bijvoorbeeld het woord Mary vertegenwoordigen. .
Omdat deze vorm van computergebruik op een belangrijke manier verschilt van een conventioneel neuraal netwerk, geven Graves en co het een nieuwe naam - ze noemen het een Neural Turing Machine, de eerste in zijn soort die is gebouwd. De neurale turingmachine leert als een conventioneel neuraal netwerk met behulp van de input die het van de buitenwereld ontvangt, maar het leert ook hoe deze informatie moet worden opgeslagen en wanneer het moet worden opgehaald.
Het DeepMind-werk omvat eerst het apparaat bouwen en vervolgens testen. Hun experimenten bestaan uit een aantal tests om te zien of ze, nadat ze een neurale Turing Machine hebben getraind om een bepaalde taak uit te voeren, dit vermogen vervolgens kunnen uitbreiden naar grotere of complexere taken. We waren bijvoorbeeld benieuwd of een netwerk dat was getraind om reeksen met een lengte tot 20 te kopiëren, een reeks met een lengte van 100 zou kunnen kopiëren zonder verdere training, zeggen Graves en co.
Het blijkt dat de neurale Turing-machine sequenties van lengtes tot 20 min of meer perfect kan kopiëren. En dan kopieert het sequenties van lengtes 30 en 50 met heel weinig fouten. Voor een reeks met lengte 120 beginnen fouten binnen te sluipen, inclusief één fout waarin een enkele term wordt gedupliceerd en dus alle volgende termen een stap terug duwt. Ondanks dat het subjectief dicht in de buurt komt van een correcte kopie, leidt dit tot een hoog verlies, aldus het team.
Hoewel de betrokken sequenties willekeurig zijn, is het niet moeilijk voor te stellen hoe ze complexere ideeën kunnen vertegenwoordigen, zoals Maria of sprak met of John. Een belangrijk punt is dat de hoeveelheid informatie die deze sequenties bevatten variabel is, zoals brokken.
Ze vergelijken de prestaties van hun Neural Turing Machine met een conventioneel neuraal netwerk. Het verschil is aanzienlijk. Het conventionele neurale netwerk leert sequenties tot lengte 20 bijna perfect te kopiëren. Maar als het gaat om sequenties die langer zijn dan de trainingsgegevens, worden fouten meteen significant. En zijn kopie van de langste reeks van lengte 120 is bijna onherkenbaar in vergelijking met het origineel.
Het DeepMind-team gaat verder met het testen van de Neural Turing Machine op andere taken. Een daarvan is bijvoorbeeld het equivalent van fotokopiëren: de taak is om een reeks te kopiëren en die reeks vervolgens een bepaald aantal keren te herhalen en te eindigen met een vooraf bepaalde markering. Nogmaals, de Neural Turing Machine presteert aanzienlijk beter dan een conventioneel neuraal netwerk.
Dat is een indrukwekkend stuk werk. Onze experimenten tonen aan dat [onze neurale turingmachine] in staat is om eenvoudige algoritmen te leren van voorbeeldgegevens en deze algoritmen te gebruiken om ver buiten het trainingsregime te generaliseren, zeggen Graves en co.
Dat is een belangrijke stap voorwaarts die het potentieel heeft om computermachines veel hersenachtiger te maken dan ooit tevoren. Maar er is belangrijk werk voor de boeg.
Met name het menselijk brein voert een slimme truc uit om complexe argumenten te begrijpen. Een interessante vraag die volgt uit Millers vroege werk is deze: als ons werkgeheugen maar zeven brokken kan verwerken, hoe kunnen we dan complexe argumenten in bijvoorbeeld boeken begrijpen die uit duizenden of tienduizenden brokken bestaan?
Millers antwoord is dat de hersenen een truc gebruiken die bekend staat als hercodering. Laten we teruggaan naar ons voorbeeld van het boek en nog een zin toevoegen: Dit boek is spannend om te lezen met een complexe plot en levensechte karakters. Het is de dekkingsprijs duidelijk waard.
Zodra je de eerste zin hebt gelezen en begrepen, slaan je hersenen die zeven stukjes op op een manier die beschikbaar is als een enkel stuk in de volgende zin. In deze tweede zin is het voornaamwoord deze enkele brok. Ons brein weet automatisch wat het betekent: het boek dat spannend is om te lezen met een complexe plot en levensechte karakters. Het heeft de zeven eerdere chunks gehercodeerd tot één chunk.
Voor Miller was het vermogen van de hersenen om op deze manier te hercoderen een van de sleutels tot kunstmatige intelligentie. Hij geloofde dat totdat een computer dit vermogen zou kunnen reproduceren, het nooit de prestaties van het menselijk brein zou kunnen evenaren.
Google's DeepMind heeft verklaard dat zijn doel het oplossen van intelligentie is. Als deze oplossing vergelijkbaar is met menselijke intelligentie, zou een goede test zijn om te zien of neurale turingmachines in staat zijn tot de hercoderingstruc van Miller.
Referentie: arxiv.org/abs/1410.5401 : Neurale Turing-machines