211service.com
De stem in je hoofd transcriberen
Lorrie Lejeune / MIT
MIT-onderzoekers hebben een computerinterface ontwikkeld die woorden kan transcriberen die de gebruiker intern verwoordt, maar niet echt hardop uitspreekt.
Elektroden in het draagbare apparaat pikken neuromusculaire signalen op in de kaak en het gezicht die worden geactiveerd door woorden in je hoofd te zeggen, maar die niet waarneembaar zijn voor het menselijk oog. De signalen worden toegevoerd aan een machine learning-systeem dat is getraind om bepaalde signalen te correleren met bepaalde woorden.
Het apparaat, AlterEgo genaamd, bevat ook een koptelefoon met beengeleiding, die trillingen door gezichtsbeenderen naar het binnenoor stuurt. Omdat de koptelefoon de gehoorgang niet blokkeert, kan het systeem informatie overbrengen zonder het gesprek te onderbreken of de gehoorervaring te verstoren.
AlterEgo biedt een privé en discreet kanaal voor het verzenden en ontvangen van informatie, waardoor dragers dingen kunnen doen zoals ondetecteerbaar poseren en antwoorden krijgen op moeilijke rekenproblemen of stilletjes de zetten van tegenstanders in een schaakspel rapporteren en net zo stil computer-aanbevolen antwoorden ontvangen.
We kunnen eigenlijk niet leven zonder onze mobiele telefoons, zegt Pattie Maes, een professor in mediakunsten en -wetenschappen en scriptieadviseur voor Arnav Kapur, de afgestudeerde Media Lab-student die de ontwikkeling van het systeem leidde. Maar op dit moment is het gebruik van die apparaten erg storend. Als ik iets wil opzoeken dat relevant is voor een gesprek dat ik voer, moet ik mijn telefoon vinden en de toegangscode typen en een app openen en een zoekwoord typen. Het doel van AlterEgo was om een niet-invasief intelligentie-augmentatiesysteem te bouwen dat volledig door de gebruiker zou worden beheerd.
Het idee dat interne verbalisaties fysieke correlaten hebben, bestaat al sinds de 19e eeuw en werd in de jaren vijftig serieus onderzocht. Een van de doelen van de snelleesbeweging van de jaren zestig was om deze subvocalisatie, zoals die bekend staat, te elimineren.
Maar subvocalisatie als computerinterface is grotendeels onontgonnen. Om te bepalen welke gezichtslocaties de meest betrouwbare neuromusculaire signalen leveren, bevestigden de onderzoekers 16 elektroden op de gezichten van de proefpersonen en lieten ze dezelfde reeks woorden vier keer subvocaliseren.
De onderzoekers schreven code om de resulterende gegevens te analyseren en ontdekten dat signalen van zeven elektrodelocaties consistent gesubvocaliseerde woorden konden onderscheiden. In een paper dat ze presenteerden op de ACM Intelligent User Interface-conferentie van de Association for Computing Machinery, beschreven ze een prototype van een draagbare stille spraakinterface, die zich als een telefoonhoofdtelefoon om de nek wikkelt en tentakelachtige gebogen aanhangsels heeft die elkaar raken. het gezicht op zeven plaatsen aan weerszijden van de mond en langs de kaken.
Maar in daaropvolgende experimenten bereikten de onderzoekers vergelijkbare resultaten met slechts vier elektroden langs één kaak, wat zou kunnen zorgen voor een minder opdringerig apparaat.
Nadat de elektrodelocaties waren geselecteerd, verzamelden de onderzoekers gegevens over een paar rekentaken met vocabulaires van elk ongeveer 20 woorden. Een daarvan was rekenen, waarbij de gebruiker grote optel- of vermenigvuldigingsproblemen subvocaliseerde; een andere was de schaaktoepassing, waarin de gebruiker zetten rapporteerde met behulp van het standaard schaaknummeringssysteem.
Vervolgens gebruikten ze voor elke toepassing een neuraal netwerk om correlaties te vinden tussen bepaalde neuromusculaire signalen en bepaalde woorden.
Met behulp van de prototype-interface voerden de onderzoekers een bruikbaarheidsonderzoek uit waarbij 10 proefpersonen ongeveer 15 minuten besteedden aan het aanpassen van de rekenapplicatie aan hun eigen neurofysiologie en nog eens 90 minuten om berekeningen uit te voeren. In die studie was de nauwkeurigheid van de transcriptie gemiddeld ongeveer 92 procent. Maar, zegt Kapur, de prestaties zouden moeten verbeteren met meer trainingsgegevens, die bij normaal gebruik zouden kunnen worden verzameld.
In lopend werk verzamelen de onderzoekers gegevens over meer uitgebreide gesprekken, in de hoop toepassingen te bouwen met veel uitgebreidere vocabulaires. Zegt Kapur, ik denk dat we ooit een volledig gesprek zullen bereiken.