211service.com
Hoe armbanden gebarentaal kunnen vertalen
Een paar myo armbanden met gebarenbediening en een computer of smartphone kunnen het voor slechthorenden mogelijk sneller en gemakkelijker maken om met gebarentaal te communiceren met mensen die het niet begrijpen.
Dat is wat onderzoekers van de Arizona State University zeggen te kunnen doen met een project genaamd scepter . Ze gebruiken de armbanden om software een reeks Amerikaanse gebarentaalgebaren te leren; dan, wanneer een persoon die de banden draagt een van deze tekens maakt, kan het worden gekoppeld aan het bijbehorende woord of de bijbehorende zin in de database van Sceptre en wordt het als tekst op een scherm weergegeven.
De hoop is om met name de communicatie in noodsituaties, zoals in een dokterspraktijk of ziekenhuis, te vergemakkelijken zonder afhankelijk te zijn van schriftelijke communicatie of, zoals ander onderzoek naar gebarentaalherkenning heeft gedaan, het gebruik van camera's om gebarentaal te herkennen. EEN papier over het werk zal in maart worden gepresenteerd op een conferentie over intelligente gebruikersinterfaces.
Onderzoekers vertrouwden op de Myo-armbanden om Scepter te laten werken, omdat ze zowel een traagheidsmeeteenheid bevatten voor het volgen van beweging als elektromyografiesensoren voor spierwaarneming, die kunnen worden gebruikt om de vingerconfiguraties te helpen bepalen. Ze hebben software getraind om een verscheidenheid aan ASL-gebaren te herkennen, evenals de tekens voor individuele letters en de cijfers één tot en met 10, allemaal uitgevoerd door iemand die de Myo-armbanden draagt.
Sceptre, een onderzoeksproject dat gebarentaal vertaalt naar tekst met behulp van Myo-armbanden, zou kunnen worden gemaakt om te werken met een computer of een smartphone.
Nadat gebruikers hun software hadden getraind op 20 verschillende ASL-gebaren, zoals pizza, blij en oranje door ze elk drie keer te herhalen, ontdekten de onderzoekers dat Scepter het teken vervolgens bijna 98 procent van de tijd correct kon ontcijferen.
In een video- laat zien hoe het werkt, Prajwal Paudyal, een afgestudeerde student aan de Arizona State University die co-auteur was van het papier , draagt de armbanden en tekent verschillende dingen die vervolgens worden geïllustreerd op een computerscherm, zoals de hele ochtend, hoofdpijn en niet kunnen slapen.
Hoewel de tekens in het onderzoek als tekst werden getoond, konden ze ook hardop worden uitgesproken door een app om een gesprek te vergemakkelijken, zegt Paudyal . En terwijl de demo van de onderzoekers de tekst op een computerscherm liet zien, waarmee de Myo-armbanden via Bluetooth waren verbonden, kon Scepter ook worden gebruikt met alleen een smartphone - iets waar de onderzoekers ook aan werken (Myo ondersteunt het streamen van gegevens van twee polsbandjes naar een smartphone, maar de onderzoekers zeggen dat dit niet mogelijk was toen ze hun eerste werk uitvoerden).
Idealiter kan de persoon dit overal gebruiken, zegt Paudyal.
Sceptre, een onderzoeksproject van de Arizona State University, gebruikt twee Myo-armbanden om gebarentaal als tekst te vertalen.
Roozbeh Jafari , een universitair hoofddocent aan het Texas A&M's Center for Remote Healthcare Technologies and Systems, heeft soortgelijk werk gedaan, hoewel het inhield dat de sensoren werden gebouwd in plaats van kant-en-klare apparaten te gebruiken zoals de ASU-groep deed.
Hij zegt dat er een aantal problemen zijn die moeten worden opgelost om iets als Scepter voor consumenten te laten werken. Als je elektromyografische sensoren op het lichaam plaatst, moet het systeem dat ze gebruikt meestal worden gekalibreerd, tenzij ze zich op exact dezelfde locatie bevinden als voorheen, zegt hij. Er moet ook rekening worden gehouden met variaties die van nature voorkomen in de manier waarop mensen dezelfde dingen ondertekenen. Ondanks deze obstakels, zegt hij, denk ik dat we op de goede weg zijn.