211service.com
Doven helpen muziek te horen
John Redden is een dove professionele muzikant. Hij kan op toonsoort zingen, op toonsoort harmoniseren en muzikale intervallen goed genoeg horen om ze te reproduceren. Hij doet dit met een cochleair implantaat, een computerchip die operatief in zijn schedel is ingebed. De chip drijft 16 kleine elektroden aan die in zijn binnenoor zijn geschroefd en die zijn gehoorzenuwen stimuleren. Het krijgt auditieve gegevens van een externe computer die op zijn oor zit en eruitziet als een gehoorapparaat. In plaats van het geluid te versterken, digitaliseert het het en stuurt het via de huid radiografisch naar het implantaat.
Muziektest: Onderzoekers van de Universiteit van Washington hebben een geautomatiseerde test ontwikkeld om te beoordelen hoe goed gebruikers van cochleaire implantaten muziek kunnen horen. Chad Ruffin, een codeontwikkelaar van de test en een cochleair implantaatgebruiker, laat zien hoe een deel van de test wordt afgenomen. De gebruiker hoort een bepaalde noot gespeeld door een van de acht instrumenten en moet beslissen welke. Dit deel van de test meet het vermogen om het timbre te horen, het subtiele maar cruciale verschil tussen instrumenten die dezelfde noot spelen.
De technologie is een wonder, maar mensen zoals Redden zijn een mysterie. De software is ontworpen voor spraak, dus het luistert alleen naar de spraakfrequenties in plaats van naar het veel grotere bereik dat door muziek wordt ingenomen. Het apparaat levert de algehele vorm van geluid in plaats van de gedetailleerde frequentie-informatie die cruciaal is om de ene toonhoogte van de andere te onderscheiden.
De meeste mensen met een normaal gehoor kunnen het verschil zien tussen tonen die 1,1 halve tonen uit elkaar liggen. (Een halve toon is het kleinste toonhoogte-interval in westerse muziek.) Maar een onderzoek uit 2002 aan de Universiteit van Iowa wees uit dat de meeste implantaatgebruikers toonhoogtes alleen kunnen onderscheiden als ze ten minste 7,6 halve tonen uit elkaar liggen.
Er is enige vooruitgang geboekt bij het schrijven van betere software voor muziek. Ik ben zelf een cochleair implantaatgebruiker. In 2005 probeerde ik nieuwe software, genaamd Trouw 120 , die zeven virtuele elektroden tussen elke fysieke elektrode simuleerde, niet anders dan de manier waarop een audio-ingenieur een geluid kan laten lijken dat tussen twee luidsprekers komt. Door me te richten op zenuwpopulaties tussen elke elektrode, gaf de software me een betere frequentieresolutie. Voor mij maakte het een groot verschil. Als ik dit speel simulatie van een piano met mijn oude software, Hi-Res genaamd, kan ik geen drie aangrenzende toetsen van elkaar onderscheiden. Maar met Fidelity 120 kan ik dat wel. Muziek klinkt voller, rijker en gedetailleerder.
Multimedia
Zie delen van de CAMP-test.
Maar niet iedereen krijgt hetzelfde resultaat. Redden, die het muzikaal veel beter doet dan ik, heeft Fidelity 120 geprobeerd, maar geeft nog steeds de voorkeur aan Hi-Res. Dergelijke variaties tussen gebruikerservaringen zijn echte verbijstering voor onderzoekers die betere software willen ontwikkelen. De beleving van muziek is onvermijdelijk subjectief. Een fan van Sex Pistols kan je vertellen dat een bepaald stukje software haar Anarchy in the U.K. beter laat horen, terwijl een Mozart-fan je kan vertellen dat de software niets doet voor Een beetje Nachtmuziek . Subjectieve rapporten geven ontwikkelaars onvoldoende informatie om te weten of ze vooruitgang boeken.
ik vroeg Jay Rubinstein , een otolaryngoloog en cochleair-implantaatonderzoeker aan de Universiteit van Washington, om het probleem uit te leggen. Muziek is niet slechts één entiteit, vertelde hij me. Het bestaat uit combinaties van ritme, melodie, harmonie, dissonantie en tekst. Je moet het opsplitsen in zijn samenstellende delen om te bepalen hoe goed of hoe slecht iemand het kan horen.
Rubinstein en zijn team van onderzoekers aan de Universiteit van Iowa en de Universiteit van Washington doen precies dat. Op de jaarlijkse bijeenkomst van de Association for Research in Otolaryngology in Phoenix op 17 februari onthulden ze een geautomatiseerde test genaamd de Klinische beoordeling van muziekperceptie (KAMP). Een paper waarin hun werk wordt geschetst, is zojuist gepubliceerd in Otologie en neurotologie ’s februarinummer.
CAMP omzeilt smaakverschillen door muziek terug te brengen tot drie basiscomponenten - toonhoogte, timbre en melodie - en systematisch te beoordelen hoe goed gebruikers elk ervan waarnemen.
Toonhoogteperceptie wordt gemeten wanneer het programma twee tonen speelt met een korte interval van elkaar en de gebruiker vraagt te beslissen welke de hogere toon is. Als de gebruiker gelijk heeft, geeft het programma haar tonen die dichter bij elkaar staan. Als ze niet correct is, geeft het haar tonen die verder uit elkaar liggen. Tijdens een aantal proeven berekent het programma het dichtstbijzijnde interval dat ze op betrouwbare wijze kan onderscheiden. Het is een relatief gemakkelijke test omdat de luisteraar alleen maar hoeft te bepalen welke van de twee tonen de hoogste is.
De timbreperceptie wordt gemeten door dezelfde noot op acht verschillende instrumenten te spelen. De gebruiker wordt gevraagd aan te geven welk instrument ze hoort. De proefpersoon kan bijvoorbeeld worden gevraagd of een bepaalde noot op een piano, een fluit of een saxofoon is gespeeld. Het timbre is misschien wel het moeilijkste aspect van muziek om te definiëren, maar het geeft een gevoelige maatstaf voor het vermogen van een gebruiker om duidelijke maar subtiele verschillen te horen.
Melodieperceptie wordt op een hoogst ongebruikelijke manier gemeten. De test maakt gebruik van bekende deuntjes als Frère Jacques en Three Blind Mice. Maar iedereen zou Frère Jacques herkennen van de tekst, dus de tekst is eruit gehaald. Dat geldt ook voor het ritme, dat wil zeggen de timing en duur van de noten. Wat overblijft is een reeks noten met gelijke tussenruimten van gelijke duur: de melodie en niets maar de melodie.
Ik was een van de proefpersonen in vroege proeven met CAMP. De eerste keer dat ik de test deed, gebruikte ik mijn oude software, Hi-Res. Het testen van de toonhoogte was vrij eenvoudig: ik identificeerde de meeste frequenties 75 procent van de tijd correct. Ik deed het niet zo goed op de timbre-test, ongeveer 40 procent goed.
Maar de melodietest verbijsterde me. Het allereerste deuntje klonk als piep piep piep piep piep piep piep piep piep. Ik staarde naar de computer. Wat in godsnaam was dat?
Ik identificeerde het door willekeurig een songtitel te kiezen, omdat ik geen idee had wat het was, en wachtte op het volgende deuntje. Piep boop piep piep piep piep piep piep piep piep.
En de volgende. Piep boop piep piep piep piep piep piep piep piep.
Waren ze ook anders?
Mijn score was minder dan 10 procent. Ik sprak met Chad Ruffin, een van de ontwerpers van de test, die zelf een cochleair implantaat had. Hoe goed, wilde ik weten, zou iemand die normaal hoort het doen op de melodietest? Ongeveer 100 procent, vertelde hij me.
We deden de test opnieuw met Fidelity 120. Ik deed het deze keer beter op de melodietest, met een score van ongeveer 20 procent. Dat was dichter bij de gemiddelde score, die, vertelde Rubinstein, 25 procent was.
Maar John Redden had het veel beter gedaan. Redden gaf me zijn score op de melodietest: 100 procent. Voor een gebruiker van een cochleair implantaat was dat een buitengewone score. Het hebben van een professioneel getraind brein voor muziek heeft waarschijnlijk geholpen. Richard Reed, een muzikant die op 37-jarige leeftijd zijn gehoor had verloren en op 46-jarige leeftijd een implantaat had gekregen, scoorde 86 procent. Slechts een handvol van de proefpersonen had scores in dat bereik.
Rubinstein zegt dat mensen als Redden en Reed het bewijs zijn van wat mogelijk is. Hij vertelde me dat ik mensen geen onrealistische verwachtingen wil wekken van het vermogen om muziek te horen met een cochleair implantaat, maar in feite zijn de resultaten beter dan we verwachten. Er waren natuurlijk de hoge scorers, maar zelfs veel van de lage scorers op de melodietest hadden het nog steeds goed gedaan op de toonhoogteperceptietest, net als ik.
De scores suggereerden dat het ontluikende vermogen om toonhoogte waar te nemen aanwezig was, wachtend om te worden benut met betere software en betere training. Het lab van Rubinstein heeft bijvoorbeeld geëxperimenteerd met een algoritme dat gebruikmaakt van een fenomeen dat stochastische resonantie wordt genoemd om de muziekperceptie te verbeteren.
Er was dus een goede reden dat de melodietest moeilijk was, realiseerde ik me. Het was geen onmogelijke test voor implantaatgebruikers, maar slechts een zeer moeilijke test. Het was een eenvoudige, gebruiksvriendelijke en betrouwbare test waarmee onderzoekers de prestaties van nieuwe algoritmen objectief konden meten. (Een paper met gegevens over een grotere groep proefpersonen en die test-hertestbetrouwbaarheid aantoont, wordt momenteel beoordeeld, zegt Rubinstein.)
Met de test kunnen proefpersonen ook de voortgang in de tijd meten. Als de scores in 10 jaar zijn verdubbeld, betekent dat dat implantaatgebruikers echt zijn de basiselementen van muziek beter horen.
De test zou het voor onderzoekers ook gemakkelijker maken om de prestaties van superluisteraars als John Redden te analyseren, zodat ze uiteindelijk nieuwe software kunnen ontwikkelen om andere doven muziek beter te laten horen.
Michael Chorost behandelt geïmplanteerde technologieën voor: Technologie beoordeling . Zijn boek, Herbouwd: hoe het worden van een computer me meer mens maakte , kwam uit in 2005.