211service.com
De problemen met het verdraaien van de tong van spraakanimatie oplossen
Motion capture is een veelgebruikte techniek om de beweging van het menselijk lichaam vast te leggen. De techniek is inderdaad alomtegenwoordig geworden in gebieden zoals sportwetenschap, waar het wordt gebruikt om beweging en gang te analyseren, evenals in filmanimatie en gaming, waar het wordt gebruikt om door de computer gegenereerde avatars te besturen.
Als gevolg hiervan bestaat er een hele industrie voor het analyseren van beweging op deze manier, samen met goedkope, kant-en-klare apparatuur en software voor het vastleggen en verwerken van de gegevens. Er is een enorme gemeenschap van producenten en consumenten van motion capture, talloze databases en bronnen voor stockanimatie, en een rijk ecosysteem van propriëtaire en open-source softwaretools om ze te manipuleren, zeggen Ingmar Steiner van de Saarland University in Duitsland en een paar vrienden.
Een van de kenmerken van de motion capture-wereld is dat er een de facto standaard, bekend als BioVision Hierarchy of BVH, is ontstaan voor het coderen van lichaamsbewegingsgegevens. BVH heeft het bedrijf dat het heeft gemaakt overleefd en wordt nu breed ondersteund, vermoedelijk omdat het eenvoudig en duidelijk gedefinieerd, eenvoudig te implementeren en door mensen leesbaar is, zeggen Steiner en co.
Maar hoewel BVH wordt gebruikt om gegevens van bijna elke denkbare vorm van motion capture te coderen, is er één uitzondering: tongarticulatie tijdens spraak. Als je dacht dat spraakanimatie in gamekarakters er slecht uitziet, is dat de reden.
Deze stand van zaken is niet ontstaan door een gebrek aan gegevens, of de technieken om deze te produceren. Integendeel, onderzoekers gebruiken al geruime tijd real-time MRI en elektromagnetische beeldvormingstechnieken om tongarticulatie vast te leggen. Deze technieken produceren inderdaad animaties in een aanzienlijk hogere resolutie dan normaal wordt gebruikt in bijvoorbeeld films en games.
Het probleem is dat deze technieken de gegevens in een heel ander formaat vastleggen dan conventioneel wordt gebruikt en niemand is er aan toegekomen om het om te zetten in een meer gangbaar formaat zoals BVH. Dat maakt spraakanalyse technisch uitdagend om uit te voeren en bijna onmogelijk om gemakkelijk in andere media op te nemen
Dat verandert vandaag allemaal, dankzij het werk van Steiner en co. Deze jongens hebben uitgezocht hoe ze tonggegevens met een hoge resolutie naar BVH-formaat kunnen converteren, waarbij ze gegevens uit verschillende bronnen tegelijkertijd combineren.
Ze hebben de nieuwe aanpak gedemonstreerd op een standaarddatabase van bestaande tongarticulatie-opnames. Deze omvatten realtime MRI, tandheelkundige scans en elektromagnetische opnames die beweging vastleggen door geleidende spoelen op verschillende delen van de tong en schedel te plaatsen ter referentie, en het meten van de manier waarop deze interageren met een elektromagnetisch veld terwijl ze bewegen.
De resultaten zijn animaties die zijn gegenereerd op basis van gegevens met een hoge resolutie die kunnen worden verwerkt door vrijwel alle motion capture-software en, cruciaal, met een voldoende kleine footprint om te worden opgenomen in realtime visualisatie- en controletechnieken.
Steiner en co wijzen er snel op dat de beperkingen van hun aanpak. Deze techniek is geenszins bedoeld om een nauwkeurig model van tongvormen of bewegingen te geven, zoals eerder werk met biomechanische modellen doet, zeggen ze. Het voordeel hier is eerder de lichtgewicht implementatie … waar realistische animatie belangrijker is dan het matchen van de ware vorm van de tong.
Dat is handig voor de film- en game-industrie waar goede spraakanimatie opvalt door afwezigheid. Dus daar lijkt verandering in te komen. Kijk uit voor betere spraakanimatie in virtuele karakters en animaties in de niet al te verre toekomst.
Referentie: arxiv.org/abs/1310.8585 : Spraakanimatie met behulp van elektromagnetische articulografie als bewegingsregistratiegegevens