Algoritmen voor het lezen van gedachten Reconstrueren wat u ziet met behulp van hersenscangegevens

Een vergelijking van hersenbeeldreconstructietechnieken. De originele afbeeldingen worden in de bovenste rij getoond, terwijl de resultaten van het nieuwe diepe generatieve multivew-model in de onderste rij worden getoond.

Een van de interessantere doelen in de neurowetenschappen is het reconstrueren van waargenomen beelden door hersenscans te analyseren. Het idee is om erachter te komen waar mensen naar kijken door de activiteit in hun visuele cortex te volgen.

De moeilijkheid is natuurlijk manieren te vinden om de gegevens van functionele magnetische resonantiebeeldvorming (fMRI) -scans efficiënt te verwerken. De taak is om de activiteit in driedimensionale voxels in de hersenen in kaart te brengen op tweedimensionale pixels in een afbeelding.

Dat blijkt lastig. fMRI-scans zijn beroemd luidruchtig, en het is bekend dat de activiteit in één voxel wordt beïnvloed door activiteit in andere voxels. Dit soort correlatie is rekenkundig duur om mee om te gaan; inderdaad, de meeste benaderingen negeren het gewoon. En dat vermindert aanzienlijk de kwaliteit van de beeldreconstructies die ze produceren.

Een belangrijk doel is dus om betere manieren te vinden om de gegevens van fMRI-scans te kraken en zo nauwkeurigere hersenbeeldreconstructies te produceren.

Vandaag zeggen Changde Du van het Research Center for Brain-Inspired Intelligence in Peking, China, en een paar vrienden dat ze precies zo'n techniek hebben ontwikkeld. Hun truc is om de gegevens te verwerken met behulp van diepgaande technieken die niet-lineaire correlaties tussen voxels beter kunnen verwerken. Het resultaat is een veel betere manier om de manier waarop een brein beelden waarneemt, te reconstrueren.

Changde en co beginnen met verschillende datasets van fMRI-scans van de visuele cortex van een mens die naar een eenvoudig beeld kijkt, bijvoorbeeld een enkel cijfer of een enkele letter. Elke dataset bestaat uit de scans en het originele beeld.

De taak is om een ​​manier te vinden om de fMRI-scans te gebruiken om het waargenomen beeld te reproduceren. In totaal heeft het team toegang tot meer dan 1.800 fMRI-scans en originele afbeeldingen.

Ze behandelen dit als een eenvoudige diepgaande leertaak. Ze gebruiken 90 procent van de gegevens om het netwerk te trainen om de correlatie tussen de hersenscan en het originele beeld te begrijpen.

Vervolgens testen ze het netwerk op de resterende gegevens door het de scans in te voeren en het te vragen de originele afbeeldingen te reconstrueren.

Het grote voordeel van deze aanpak is dat het netwerk leert met welke voxels het beeld moet worden gereconstrueerd. Dat vermijdt de noodzaak om de gegevens van hen allemaal te verwerken.

Het leert ook hoe de gegevens van deze voxels gecorreleerd zijn. Dat is belangrijk, want als de correlaties worden genegeerd, worden ze als ruis behandeld en weggegooid. Dus de nieuwe benadering - het zogenaamde diepe generatieve multiview-model - maakt gebruik van deze correlaties en onderscheidt ze van echte ruis.

Om het diepe generatieve multiview-model te evalueren, vergelijken Changde en co de resultaten met die van een aantal andere hersenbeeldreconstructietechnieken. Ze doen dit met behulp van standaard afbeeldingsvergelijkingsmethoden om te zien hoe goed de gereconstrueerde afbeeldingen overeenkomen met de originelen.

De resultaten zorgen voor interessante lectuur. Over het algemeen zijn de gereconstrueerde afbeeldingen een duidelijke weergave van de originelen. In veel gevallen zijn ze aanzienlijk nauwkeuriger dan andere technieken aankunnen.

De beeldvergelijkingsstatistieken bevestigen dit. Uitgebreide experimentele vergelijkingen tonen aan dat onze aanpak visuele beelden van fMRI-metingen nauwkeuriger kan reconstrueren, zeggen Changde en co.

Dat is interessant werk met belangrijke implicaties. Het vermogen om hersenbeelden te reconstrueren is een belangrijke opstap in het werk om betere hersen-machine-interfaces te creëren. De volgende stappen omvatten manieren om complexere scènes en bewegende beelden te analyseren. Changde en co zeggen dat hun aanpak ook kan worden toegepast op andere hersencoderingsproblemen, zoals audio en fysieke taken.

Verder, wie weet. Vanaf hier is het slechts een korte fantasierijke sprong naar hersenscantechnieken die onthullen wat mensen denken of dromen. Stel je eens voor!

Referentie: arxiv.org/abs/1704.07575 : Diepe generatieve representatie delen voor waargenomen beeldreconstructie van menselijke hersenactiviteit

zich verstoppen