prosodie

Soms is het niet wat je zegt, maar hoe je het zegt. Dat is een waarheid die de meeste mensen kunnen herkennen, maar computers niet. Hoewel spraakherkenningssoftware behoorlijk goed is geworden in het begrijpen van woorden, kan het nog steeds geen interpunctie zoals punten en komma's onderscheiden, of kiezen tussen dubbelzinnige zinnen waarvan de betekenis afhankelijk is van de emotie van de spreker. Dat komt omdat dergelijke software nog steeds geen zin heeft in de intonaties, accenten en pauzes - gezamenlijk bekend als prosodie - die mensen intuïtief gebruiken om dergelijke onderscheidingen te maken.

Maar met meer dan honderd bedrijfs- en academische onderzoeksgroepen die aan het probleem werken, hebben pogingen om prosodie in spraaksoftware op te nemen groeiend succes. Op prosodie gebaseerde tools worden al gebruikt voor spraaksynthese - om de natuurlijkheid van computerstemmen te verbeteren, zoals die welke uw banksaldo via de telefoon opzeggen. Naarmate het prosodieonderzoek vordert, zullen deze geautomatiseerde systemen steeds natuurlijker klinken, zelfs bij het uitspreken van complexe zinnen.

Dit verhaal maakte deel uit van ons nummer van juli 2002

• Zie de rest van het nummer
• Abonneren

Het is echter in spraakherkenning dat de meest kritische voordelen zouden moeten komen. Recente ontwikkelingen suggereren dat prosody-software binnen vijf jaar taken zal uitvoeren, zoals vertellen wanneer een klant die tegen een geautomatiseerd telefoonsysteem spreekt, boos wordt en dienovereenkomstig zal reageren, bijvoorbeeld door de oproep door te schakelen naar een mens. Dit is echt baanbrekend, zegt Michael Picheny, computerwetenschapper en manager van de groep spraak- en taalalgoritmen bij IBM Research in Yorktown Heights, NY. Tot de laatste paar jaar was de kwaliteit van spraakherkenning zo primitief dat het niet eens de moeite waard was om te onderzoeken hoe machines ander gedrag konden opwekken door emotionele intentie over te brengen. Eerst wilde je gewoon dat de machine de juiste woorden zou krijgen.

Geluidsgolven hebben drie basiscomponenten waarmee prosodiesoftware kan werken. De eerste is timing: de duur van pauzes tussen woorden en zinnen. Ten tweede komt toonhoogte - meer precies, de relatieve verandering in toonhoogte binnen woorden en zinnen. Ten slotte is er het volume - een amplitudeverandering die de nadruk aangeeft.

De betekenis van deze functies achterhalen is voor een computer veel moeilijker dan het identificeren van woorden, zegt Elizabeth Shriberg, een computerwetenschapper die prosodieonderzoek leidt bij SRI International in Menlo Park, CA. Woorden zijn een lineaire reeks van fonetische gebeurtenissen, zoals ee en th. Prosodische kenmerken komen daarentegen voor in woorden en zinnen. Erger nog, verschillende soorten prosodische patronen overlappen elkaar vaak; een set zou kunnen onthullen dat een zin rustig werd uitgesproken, een tweede dat de zin een vraag was. Maar onderzoekers beginnen ze in kaart te brengen. Shriberg en haar collega's hebben bijvoorbeeld een sjabloon gemaakt van een boze zin: het is over het algemeen langzamer, heeft een overdreven nadruk op sleutelwoorden en eindigt met een neerwaartse wending in toonhoogte (ik had dit nodig afgelopen dinsdag maar het is niet aangekomen). Shriberg heeft prosodische modellen gegenereerd van alles, van verschillende emotionele toestanden tot interpunctie tot onvloeiendheden - verschuivingen wanneer mensen midden in een zin van gedachten veranderen of mompelen.

Hoewel de instrumenten van SRI nog steeds onderzoeksoefeningen zijn, zou een grootschalig gebruik van prosodie voor spraakherkenning net over de horizon kunnen zijn. In Chinese spraakherkenningssoftware worden al beperkte toepassingen gebruikt. In China kan het woord Ma, afhankelijk van de verbuiging, moeder of paard betekenen, of aangeven dat de zin een vloek was, legt Xuedong Huang uit, een computerwetenschapper die aan het hoofd staat van een spraaktechnologiegroep bij Microsoft Research in Redmond, WA. Dat is heel gevaarlijk, grapt hij. Microsoft is al begonnen met het integreren van eenvoudige prosodie in zijn Chinese spraakherkenningssoftware en werkt aan de ontwikkeling van software van de volgende generatie voor Chinese en Japanse talen.

De komende vijf jaar zouden Engelstalige prosodische tools voor spraakherkenning hun eerste marktintroducties moeten maken. Eén toepassing: bedrijven konden automatisch opgenomen databases van klantenservicetelefoons doorzoeken, de boze telefoontjes vinden en bestuderen wat er mis ging. Een andere mogelijkheid: interpunctie herkennen, zodat artsen die in dicteersystemen spreken, geen punt hoeven te zeggen.

Maar het zal minstens tien jaar duren, zegt Shriberg van SRI, voordat een computer kan beginnen met te doen wat mensen elke dag doen: een gesprek volledig decoderen met al zijn verbuiging, terwijl achtergrondgeluiden worden weggefilterd. We proberen de kloof [mens-machine] enigszins te dichten, dus wanneer mensen schaars zijn, of in de ruimte, of op levensondersteuning, zal de computer zo slim mogelijk zijn, zegt Shriberg. Probeer voor nu in ieder geval niet die ambitie uit te leggen aan een computer. Het zal je opwinding niet begrijpen.

zich verstoppen