Hersen spelletjes

Marco Della Torre zit voor een enorme flatscreen, met een vreemd, spinachtig ding op zijn hoofd. Hij heft langzaam zijn armen op en een virtuele rots begint te gloeien en te trillen op het scherm. Het hapert een beetje en stijgt dan op, even in de lucht hangend.

Hersencontrole : Hier ziet u het prototype van de commerciële versie van een nieuwe videogamecontroller van Emotiv Systems. De draadloze headset heeft 16 ingebouwde sensoren die elektrische signalen van de hersenen registreren.

Della Torre, een productingenieur bij de startup Emotiv Systems in San Francisco, demonstreert de nieuwe gamecontroller van het bedrijf: een headset met sensoren die hersenactiviteit kunnen detecteren. Emotiv en zijn concurrent, Neurosky uit San Jose, ontwikkelen de eerste game-apparaten die gebruik maken van elektro-encefalografie (EEG), een decennia-oude technologie waarbij elektroden op de hoofdhuid de elektrische activiteit in de hersenen meten.

Dit verhaal maakte deel uit van ons nummer van juli 2008

• Zie de rest van het probleem
• Abonneren

In de handen van neurologen kan EEG een krachtig hulpmiddel zijn om bijvoorbeeld de bron van aanvallen bij epilepsiepatiënten te identificeren. Maar game-ontwikkelaars willen EEG gebruiken om spelers virtuele omgevingen met hun geest te laten besturen. Ze hopen dat EEG de volgende grote computerinterface wordt - een stap verder dan apparaten zoals de Nintendo Wii-afstandsbediening, waarmee spelers hun handbewegingen kunnen omzetten in acties op het scherm.

Zowel Emotiv als Neurosky hebben een enorme buzz gegenereerd in de gamewereld. Maar kunnen de headsets echt de ervaring bieden waar gamers naar op zoek zijn? Mensen hebben de neiging om sciencefiction te doen en [gebruiken EEG-signalen om] het geweer te richten of het vliegtuig te besturen, zegt Scott Makeig, een neurowetenschapper aan de Universiteit van Californië, San Diego. Maar eigenlijk zijn veranderingen in EEG gekoppeld aan veranderingen in alertheid en opwinding die van nature langzaam zijn. Het is niet erg natuurlijk om het te gebruiken om snelle dingen te doen.

MEER INFORMATIE:

• Epo-headset

  Emotiv, $ 299
  Release gepland voor de feestdagen van 2008

  
  
  

• Manier van denken

  Neurosky, geschat $ 49 en hoger
  Nog niet beschikbaar voor het publiek

En het meten van hersensignalen is al lastig genoeg. Lichte spierbewegingen kunnen bijvoorbeeld elektrische potentialen genereren die meer dan 10 keer zo sterk zijn als die geproduceerd door neuronen. Wetenschappers die EEG gebruiken, proberen deze ruis op verschillende manieren uit te filteren: het verbeteren van de sensorgevoeligheid door geleidende gel op de hoofdhuid aan te brengen, het rangschikken van sensoren in doppen die speciaal op het hoofd van een proefpersoon zijn aangebracht, en het toepassen van complexe signaalanalyse. Het is moeilijk gebleken om besmetting op overtuigende wijze uit EEG-signalen te verwijderen, zegt Alan Gevins, een neurowetenschapper en oprichter van SAM Technology in San Francisco, een bedrijf dat op EEG gebaseerde medische tests ontwikkelt voor het evalueren van aandacht en geheugen.

Bij het ontwerpen van een headset die geschikt is voor gamen, staan ​​Emotiv en Neurosky voor een enorme uitdaging: er mogen geen plakkerige gels voor nodig zijn, het moet eenvoudig genoeg zijn voor elke gebruiker om op te schuiven (ongeacht hoe vreemd zijn of haar hoofd gevormd is), en het moet trage EEG-reacties gebruiken om snelle acties te controleren. Om te zien hoe het met ze gaat, ben ik eerder dit jaar naar Californië gevlogen om beide apparaten te testen, met de hulp van Gevins.

Multimedia

• Alan Gevins, een neurowetenschapper en oprichter van SAM Technology, vertelt over EEG.

Yoda-achtig
Zittend op een zwartleren bank in de strakke kantoren van Emotiv in het centrum van San Francisco, drukt gameproducent Zachary Drake de Epoc-headset op mijn hoofd. Een omtrek van een hoofd op het televisiescherm voor me geeft de kwaliteit van het signaal aan dat afkomstig is van elk van de 14 elektroden van de headset. Mijnregister meestal geel-medium tot slecht.

Ik test een game die speciaal is ontwikkeld om de mogelijkheden van de Epoc te demonstreren. Voor een pagode tegen een landschap van steile toppen en silhouetten van bomen, beveelt een vechtsportmeester me om een ​​rots op te tillen met alleen mijn gedachten. Ik probeer een Yoda-achtige intensiteit op te roepen, concentreer me op de rots en maak een optillende beweging met mijn hand. (Hoewel Della Torre zegt dat het niet nodig is om de beweging fysiek te maken, helpt het vaak.) In het begin doet de rots niets. Dan komt het een beetje omhoog, wankelt in de lucht en zinkt.

De game bevat een paar trainingssessies, waarin de software zoekt naar specifieke patronen van elektrische activiteit die optreden wanneer ik denk aan het optillen van een steen of de beweging maak om op te tillen. Het programma zal dan proberen die patronen te detecteren en erop te reageren zodra het afspelen begint. In theorie hoef ik me eigenlijk niet voor te stellen dat ik de rots moet optillen: elk specifiek patroon van hersenactiviteit, of mogelijk zelfs van spieractiviteit, kan aan een commando worden gekoppeld. Als ik tijdens de trainingsperiode herhaaldelijk aan duwen zou denken, zou de computer dat het signaal vinden om op te tillen.

Die kalibratie van het systeem is niet altijd precies. Tijdens mijn testrit stijgt de steen de lucht in terwijl ik me van het scherm afwend om in mijn notitieboekje te schrijven. Ik blaas ook een berg op zonder iets te willen doen. Drake legt dit weg uit en zegt dat ik net een tovenaar ben die net spreuken leert uitspreken - ze gaan soms af als je het niet eens probeert.

De Emotiv-headset heeft twee andere vermeende krachten, die beide mogelijk meer in overeenstemming zijn met de sterke punten van EEG. Met behulp van spiersignalen die worden opgevangen door gezichts- en oogbewegingen, kan het gezichtsuitdrukkingen lezen, zodat het kan helpen de avatars van mensen - hun digitale alter ego's - te animeren in virtuele werelden zoals Second Life. (Er zijn softwarematige camera's in ontwikkeling om soortgelijke dingen te doen.) Nieuwer is het vermogen van de headset om ruwweg uw gemoedstoestand te detecteren - of u nu verloofd bent (of het nu boos of attent is) of niet. De lucht in het vechtsportspel gloeit oranje als ik me begin te concentreren en vervaagt naar groen als ik uit het raam staar.

Chris Linder, een ontwikkelaar die werkt aan een game die wordt geleverd met de commerciële versie van het Emotiv-apparaat, zegt dat zijn team het meest genoot van het ontwerpen van functies die profiteren van deze twee aspecten ervan. Hoewel Linder, de medeoprichter van Demiurge Studios in Cambridge, MA, geen details over zijn ontluikende spel wil prijsgeven, geeft hij het voorbeeld van het toestaan ​​van de speler om over water te lopen, maar alleen met behoud van een constant niveau van kalmte. Als je te opgewonden raakte, zou je gewoon zinken, zegt Linder, wiens bedrijf ook enkele van de eerste games voor de Wii ontwikkelde.

Ongeveer 80 kilometer ten zuiden van de kantoren van Emotiv in San Francisco bevinden zich die van zijn belangrijkste concurrent, Neurosky, die een veel eenvoudigere benadering heeft gekozen voor het maken van een commercieel EEG-apparaat. De headset die het heeft ontwikkeld, heeft slechts één sensor, die op het voorhoofd rust, en een ingebouwde processor die inkomende signalen analyseert voordat deze draadloos gegevens naar een computer verzendt.

Het Neurosky-apparaat probeert verschillende gemoedstoestanden te detecteren door hersengolven te analyseren - ritmische fluctuaties in de spanning gemeten door EEG-elektroden. Hoewel er geen één-op-één correspondentie is tussen mentale toestand en een specifiek hersenritme, hebben wetenschappers specifieke verbanden gerapporteerd. Bepaalde patronen van theta-ritmes, die optreden met een frequentie van vier tot zeven hertz, zijn gekoppeld aan slaperigheid. Alfagolven, acht tot twaalf hertz, zijn kenmerkend voor ontspanning. (Alfagolven kunnen ook worden opgewekt door de ogen te sluiten.) Algoritmen distilleren de elektrische signalen die door de sensor worden geregistreerd tot een enkel uitgangsnummer, dat vervolgens kan worden gebruikt als besturingselement in een videogame of andere toepassing. Een tweede set algoritmen is ontworpen om een ​​mentale toestand te detecteren die het bedrijf meditatie noemt. (Zoals het geval was met het apparaat van Emotiv, speelt spieractiviteit hier waarschijnlijk ook een rol. Als u zich bijvoorbeeld probeert te concentreren, zit u waarschijnlijk stil en beweegt u uw hoofd of ogen niet; de vermindering van spieractiviteit kan een rol spelen in de analyse van het apparaat.)

Door een eenvoudig spel te spelen dat is ontworpen om de mogelijkheden van het apparaat weer te geven, til ik met succes een virtueel blok in de lucht door me te concentreren. Ik steek ook een tak in brand door die concentratie vast te houden: de tak vonkt en rookt en explodeert dan in vlam, een onverwacht bevredigende ervaring. Dan richt ik me speels naar binnen en slaag ik erin een gezonken vliegtuig uit een meer op te tillen.

Koper let op
Wat vinden neurowetenschappers, die al tientallen jaren EEG gebruiken, van de pogingen van deze bedrijven om een ​​onderzoeksinstrument om te zetten in een gametechnologie? Degenen met wie ik sprak zijn unaniem sceptisch dat de apparaten alleen afhankelijk zijn van hersenactiviteit. (Neurosky is hier eigenaar van, terwijl de president van Emotiv, Tan Le, erop staat dat de telekinesefunctie alleen elektrische signalen gebruikt die uit de hersenen komen.) Gerwin Schalk, een onderzoeker aan het Wadsworth Center in Albany, NY, ontwikkelt op EEG gebaseerde systemen waardoor ernstig verlamde mensen met computers kunnen communiceren. Hij zegt dat het met zijn systeem van de tweede generatie enkele uren training kost om één graad van bewegingsvrijheid te beheersen - wat je nodig hebt om een ​​steen op te tillen in de Emotiv-videogame. Er is meer oefening nodig om multidimensionale controle te ontwikkelen. Als je signalen wilt opvangen om een ​​ruimteschip naar links of rechts te bewegen, zou het voor een persoon veel gemakkelijker zijn om dat met gezichtsuitdrukking te doen dan met hersenactiviteit, zegt Schalk.

Alan Gevins, die de afgelopen 40 jaar EEG bestudeert, is het daarmee eens. Als de sensoren geen goed contact maken met de hoofdhuid, zullen ze een beetje bewegen en een artefact genereren wanneer het hoofd beweegt, zegt hij. Dergelijke artefacten zijn vaak niet zo voor de hand liggend en niet gemakkelijk algoritmisch te verwijderen. Emotiv weigerde ons de onbewerkte EEG-gegevens te tonen die door het apparaat werden verzameld, daarbij verwijzend naar bedrijfseigen zorgen, dus het was onmogelijk om te bepalen of de headset en analysesoftware echt ruis wegfilterden en de hersenactiviteit consequent meten.

Hoewel Gevins erkent dat het voor een spelsysteem niet uitmaakt wat voor soort signalen het apparaat gebruikt, maakt hij zich zorgen dat het overdrijven van het vermogen van EEG om je gedachten te lezen de reputatie van de technologie kan schaden. Ze zijn ver te zoeken met de etiketten die ze op dingen plakken, zegt hij.

Anderen hopen dat de EEG-apparaten medische toepassingen kunnen hebben. Lesco Rogers, specialist in pijnbestrijding aan het Duke University Medical Center in Durham, NC, heeft met Neurosky gesproken over het testen van het apparaat voor gebruik bij patiënten met een beroerte. Rogers overweegt zeer eenvoudige toepassingen van de technologie, zoals het toestaan ​​van gehandicapte patiënten om een ​​televisie aan te zetten. Wat de technologie voor mij interessant maakt, is de prijs, zegt hij.

Ondertussen zou het vermogen van EEG om alertheid en opwinding te meten een interessante nieuwe laag aan videogames kunnen toevoegen: in een onbedoelde weergave van een van de functies van de Epoc gloeide de lucht fel oranje terwijl Della Torre, die na een demonstratie nog steeds de headset droeg, ruzie maakte met een sceptische wetenschapper. Maar de technologie lijkt nog steeds te beperkt om de transformerende impact van de Wii te hebben. Het is waar dat de apparaten van Emotiv en Neurosky op een heel eenvoudig niveau je gedachten kunnen lezen - en het optillen van dat vliegtuig met de krachten van concentratie voelde erg indrukwekkend. Maar de nieuwigheid van de apparaten zal waarschijnlijk snel slijten, en gamers die verwachten dat ze nauwkeurige mindcontrol kunnen uitoefenen, zullen waarschijnlijk teleurgesteld zijn.

Emily Singer is KINDEREN ’s biotechnologie en life sciences redacteur.

zich verstoppen