211service.com
Doorbraak in taalkunde luidt machinevertaling voor duizenden zeldzame talen in
De beste gok is dat mensen momenteel ongeveer 6.900 verschillende talen spreken. Meer dan de helft van de wereldbevolking communiceert met slechts een handvol daarvan: Chinees, Engels, Hindi, Spaans en Russisch. Inderdaad, 95 procent van de mensen communiceert in slechts 100 talen.
De andere argots komen veel minder vaak voor. Taalkundigen schatten zelfs dat ongeveer een derde van de talen in de wereld door minder dan 1.000 mensen wordt gesproken en in de komende 100 jaar of zo dreigt uit te sterven. Met hen gaat het unieke culturele erfgoed dat ze belichamen - verhalen, zinnen, grappen, kruidengeneesmiddelen en zelfs unieke emoties.
Het is gemakkelijk om te denken dat machine learning kan helpen. Het probleem is dat machinevertaling afhankelijk is van enorme geannoteerde datasets om zijn handel te drijven. Deze datasets bestaan uit een enorme verzameling boeken, artikelen en websites die handmatig in andere talen zijn vertaald. Dit werkt als een Rosetta Stone voor algoritmen voor machine learning, en hoe groter de dataset, hoe beter ze leren.
Een kaart die laat zien hoe de verleden tijd indicatoren clusteren voor 100 van de onderzochte talen.
Maar deze enorme datasets bestaan gewoon niet voor de meeste talen. Daarom werkt machinevertaling slechts voor een klein deel van de meest voorkomende lingos. Google Translate spreekt bijvoorbeeld maar ongeveer 90 talen.
Een belangrijke uitdaging voor taalkundigen is dus om een manier te vinden om automatisch minder gangbare talen te analyseren om ze beter te begrijpen.
Vandaag zeggen Ehsaneddin Asgari en Hinrich Schutze van de Ludwig-Maximilian Universiteit van München in Duitsland dat ze precies dat hebben gedaan. Hun nieuwe aanpak onthult belangrijke elementen van bijna elke taal die vervolgens kunnen worden gebruikt als opstap voor machinevertaling.
De nieuwe techniek is gebaseerd op één enkele tekst die in minstens 2.000 verschillende talen is vertaald. Dit is de Bijbel, en taalkundigen erkennen al lang het belang ervan in hun vakgebied.
Daarom hebben ze een database gemaakt met de naam Parallel Bible Corpus, die bestaat uit vertalingen van het Nieuwe Testament in 1169 talen. Deze dataset is niet groot genoeg voor het soort industriële machine learning dat Google en anderen uitvoeren. Daarom hebben Asgari en Schutze een andere benadering bedacht, gebaseerd op de manier waarop tijden in verschillende talen voorkomen.
De meeste talen gebruiken specifieke woorden of lettercombinaties om tijden aan te duiden. De nieuwe truc is dus om deze signalen handmatig in verschillende talen te identificeren en vervolgens dataminingtechnieken te gebruiken om door andere vertalingen te jagen op zoek naar woorden of reeksen letters die dezelfde rol spelen.
In het Engels wordt de tegenwoordige tijd bijvoorbeeld aangeduid met het woord is, de toekomstige tijd met het woord zal en de verleden tijd met het woord was. Natuurlijk zijn er ook andere betekenaars.
Het idee van Asgari en Schutze is om al deze woorden in de Engelse vertaling van de Bijbel te vinden, samen met andere voorbeelden uit een handvol vertalingen in andere talen. Zoek vervolgens naar woorden of letterreeksen die dezelfde rol spelen in andere talen. De letter string -ed betekent bijvoorbeeld ook de verleden tijd in het Engels.
Maar er is een wending. Asgari en Schutze beginnen niet met Engels omdat het een relatief oude taal is met veel uitzonderingen op de regel, waardoor het moeilijk te leren is.
In plaats daarvan beginnen ze met een reeks Creoolse talen die zich hebben ontwikkeld uit een mengsel van andere talen. Omdat ze jonger zijn, hebben Creoolse talen minder tijd gehad om deze taalkundige eigenaardigheden te ontwikkelen. En dat betekent dat ze over het algemeen betere markeringen bevatten van linguïstische kenmerken zoals tijd. Onze grondgedachte is dat Creoolse talen regelmatiger zijn dan andere talen omdat ze jong zijn en geen 'historische bagage' hebben verzameld die computationele analyse moeilijker kan maken, zeggen ze.
Een van deze talen is Seychelles Creools, dat het woord ti gebruikt om de verleden tijd aan te duiden. Mon ti travay betekent bijvoorbeeld dat ik in deze taal werk, terwijl mon ti travay betekent dat ik heb gewerkt en mon ti pe travay betekent dat ik aan het werk was. Dus ti is een goede betekenaar van de verleden tijd.
Asgari en Schutze stellen een lijst samen van betekenaars in de verleden tijd in 10 andere talen en zoeken vervolgens in het Parallel Bible Corpus naar andere woorden en letterreeksen die dezelfde functie vervullen. Ze herhalen dit voor de tegenwoordige tijd en de toekomende tijd.
De resultaten zorgen voor interessante lectuur. De techniek onthult taalkundige constructies die verband houden met de tijd in gewone talen zoals -ed in het Engels en -te in het Duits, evenals de woorden en zinnen die dezelfde functies vervullen in veel minder gebruikelijke talen, zoals de verleden tijd betekenaar den in de Gourmanchema taal uit Burkino Faso, en yi in Yalunka, gesproken in Mali, enzovoort.
Dit werk stelt de onderzoekers in staat om kaarten te maken die laten zien hoe talen die vergelijkbare gespannen constructies gebruiken, gerelateerd zijn (zie diagram).
Dat is interessant werk. Asgari en Schutze hebben een rekenmethode ontwikkeld om de manier te analyseren waarop mensen de verleden, tegenwoordige en toekomende tijd in meer dan 1000 talen gebruiken. Dit is de grootste meertalige computationele studie die ooit is uitgevoerd. Het aantal betrokken talen is inderdaad een orde van grootte groter dan in andere studies.
Het werk heeft een belangrijke toepassing. Met de taalkaarten kunnen de onderzoekers snel de relaties tussen talen en hoe ze met elkaar verbonden zijn uitwerken. Dat zou kunnen worden gebruikt om de evolutie van taal beter te begrijpen.
En dezelfde benadering zou ook kunnen worden gebruikt voor andere taalkundige kenmerken. We eisen alleen dat een taalkundig kenmerk openlijk wordt gemarkeerd in een paar duizenden talen, in plaats van dat het in alle onderzochte talen wordt gemarkeerd, zeggen Asgari en Schutze.
De implicaties gaan verder. Computerlinguïstiek heeft een diepgaande invloed gehad op ons begrip van taal, de manier waarop het over de hele wereld varieert en hoe machines het kunnen begrijpen. Deze opkomende discipline heeft het mogelijk gemaakt om veel talen automatisch in geschreven en gesproken vorm rechtstreeks in andere talen te vertalen. De belofte is inderdaad dat onmiddellijke machinevertaling binnenkort zal passen bij en beter zal presteren dan het vermogen van menselijke tolken.
Maar het nut van machinevertaling voor bepaalde talen maakt ze populairder ten koste van talen die niet worden bediend. Daarom zou machinevertaling de ondergang van bedreigde talen kunnen bespoedigen.
Taalkundigen hebben inderdaad een soortgelijk fenomeen gezien bij andere vormen van massacommunicatie, zoals satelliet-tv-diensten. Deze zenden over het algemeen in één enkele taal uit, die dan wenselijker en populairder wordt dan talen die niet worden uitgezonden.
Het werk van Asgari en Schutze zou kunnen helpen om dit patroon van verval te keren. Het is natuurlijk een grote stap van dit werk naar nauwkeurige machinevertaling, maar het is een stap in de goede richting.
Referentie: arxiv.org/abs/1704.08914 : Verleden, heden, toekomst: een computationeel onderzoek van de typologie van de tijd in 1000 talen