211service.com
Gebarentaalvertaler
Tweetalige woordenboeken zijn meestal tweerichtingsverkeer: u kunt een woord in het Engels opzoeken en bijvoorbeeld het Spaanse equivalent vinden, maar u kunt ook het omgekeerde doen. Gebarentaalwoordenboeken vertalen echter alleen van geschreven woorden naar gebaren. Dit kan enorm frustrerend zijn, vooral voor ouders van dove kinderen die onbekende gebaren willen begrijpen, of voor dove mensen die online willen communiceren in hun primaire taal. Dus onderzoekers van de Boston University (BU) ontwikkelen een doorzoekbaar woordenboek voor gebarentaal , waarin elke gebruiker een gebaar kan invoeren in de zoekmachine van een woordenboek vanaf haar eigen laptop door zich aan te melden voor een ingebouwde camera.
Zoeken op teken: Onderzoekers in Boston ontwerpen het eerste gebarentaalwoordenboek dat met gebaren kan worden doorzocht. Een ondertekenaar (foto) zit in een studio die is uitgerust met hogesnelheidscamera's die handbewegingen en gezichtsuitdrukkingen vastleggen. Video's op een laptop vragen haar om bepaalde tekens te maken. Video van de ondertekenaar zal worden gebruikt om algoritmen te trainen om gebarenpatronen te identificeren.
Je hebt misschien een verzameling gebarentaal op YouTube, en om nu te zoeken, moet je in het Engels zoeken, zegt Stan Sclaroff , een professor in de informatica aan de BU. Het is het equivalent, zegt Sclaroff, van zoeken naar Spaanse tekst met behulp van Engelse vertalingen. Het is onnatuurlijk, zegt hij, en het is niet eerlijk.
Sclaroff ontwikkelt het woordenboek in samenwerking met Carol Neidle , een professor in de taalkunde aan de BU, en Vassilis Athitsos, een assistent-professor in de informatica en techniek aan de Universiteit van Texas in Arlington. Zodra de gebruiker een gebaar uitvoert, zal het woordenboek het analyseren en de top vijf mogelijke overeenkomsten en betekenissen weergeven.
De hedendaagse gebarentaalherkenning bevindt zich ongeveer in het stadium waarin spraakherkenning 20 jaar geleden was, zegt Thad Starner , hoofd van de Contextual Computing Group aan het Georgia Institute of Technology. De groep van Starner heeft zich ontwikkeld gebarentaalherkenningssoftware voor kinderen , met behulp van met sensoren beladen handschoenen om handbewegingen te volgen. Hij en zijn studenten hebben educatieve spellen ontworpen waarin slechthorende kinderen, met handschoenen aan, gebarentaal leren. Een computer evalueert de vorm van de hand en gaat door naar de volgende oefening als een kind correct heeft getekend.
In tegenstelling tot het werk van Starner, streeft Sclaroff en Neidle naar een sensorloos systeem waarin iedereen met een camera en internetverbinding gebarentaal kan leren en interactie kan hebben. De aanpak is volgens Starner uniek op het gebied van gebarentaalherkenning, maar ook op het gebied van computervisie.
Dit kost veel rekenkracht en het is erg moeilijk om met gebarentaal om te gaan in verschillende videokwaliteiten, zegt Starner. Dus als ze succesvol zijn, zou het heel gaaf zijn om daadwerkelijk in gebarentaal op internet te kunnen zoeken.
Om deze zware uitdaging aan te gaan, vraagt het BU-team meerdere ondertekenaars om één voor één in een studio te gaan zitten en 3.000 gebaren te ondertekenen in een klassiek American Sign Language (ASL) woordenboek. Terwijl ze ondertekenen, nemen vier snelle camera's van hoge kwaliteit tegelijkertijd de voor- en zijaanzichten op, evenals gezichtsuitdrukkingen. Volgens Neidle zijn glimlachen, fronsen en opgetrokken wenkbrauwen een grotendeels onderbelicht onderdeel van ASL dat sterke aanwijzingen kan geven voor de betekenis van een gebaar.
Terwijl de visuele gegevens binnenkomen, analyseren Neidle en haar studenten deze, waarbij ze het begin en einde van elk teken markeren en belangrijke subgebaren identificeren - eenheden die equivalent zijn aan Engelse fonemen. Ondertussen gebruikt Sclaroff deze informatie om algoritmen te ontwikkelen die bijvoorbeeld de handen van de ondertekenaar kunnen onderscheiden van de achtergrond, of de handpositie en vorm en bewegingspatronen kunnen herkennen. Aangezien elk individu een woord op een iets andere manier kan ondertekenen, analyseert het team gebaren van zowel autochtonen als niet-autochtonen, in de hoop een computerherkenner te ontwikkelen die dergelijke variaties aankan.
De belangrijkste uitdaging voor de toekomst is misschien om rekening te houden met de vele oncontroleerbare factoren aan de gebruikerskant van de interface, zegt Sclaroff. Iemand die bijvoorbeeld een gebaar gebruikt om een zoekopdracht in te voeren op een laptop, heeft een camera van mindere kwaliteit. De achtergrond kan rommeliger zijn dan de zorgvuldig gecontroleerde studio-omgeving in de databasevoorbeelden, en de computer zal zich moeten aanpassen aan variabelen zoals kleding en huidskleur.
Gewoon om het bord te maken en het op te zoeken - dat is de echte nieuwigheid die we proberen te bereiken, zegt Neidle. Dat zou een verbetering zijn ten opzichte van alles wat nu bestaat.