211service.com
Menselijke vertalers staan nog steeds bovenaan - voorlopig
Je hebt misschien het knallen van champagnekurken en de regen van tickertape gemist, maar de afgelopen maanden zijn computerlinguïsten begonnen te beweren dat neurale machinevertaling nu overeenkomt met de prestaties van menselijke vertalers.
De techniek om een neuraal netwerk te gebruiken om tekst van de ene taal in de andere te vertalen, is de afgelopen jaren met grote sprongen verbeterd, dankzij de voortdurende doorbraken in machine learning en kunstmatige intelligentie. Het is dus niet echt een verrassing dat machines de prestaties van mensen hebben benaderd. Computerlinguïsten hebben inderdaad goede bewijzen om deze bewering te staven.
Maar vandaag zeggen Samuel Laubli van de Universiteit van Zürich en een paar collega's dat de champagne weer op ijs moet. Ze betwisten de resultaten van hun collega's niet, maar zeggen dat het testprotocol geen rekening houdt met de manier waarop mensen hele documenten lezen. Wanneer dit wordt beoordeeld, lopen machines aanzienlijk achter op mensen, zeggen ze.
Het gaat erom hoe machinevertaling moet worden beoordeeld. Dit gebeurt momenteel op twee maatstaven: adequaatheid en vloeiendheid. De geschiktheid van een vertaling wordt bepaald door professionele menselijke vertalers die zowel de originele tekst als de vertaling lezen om te zien hoe goed de betekenis van de bron wordt weergegeven. Vloeiendheid wordt beoordeeld door eentalige lezers die alleen de vertaling zien en bepalen hoe goed deze in het Engels wordt uitgedrukt.
Computerlinguïsten zijn het erover eens dat dit systeem nuttige beoordelingen geeft. Maar volgens Laubli en co vergelijkt het huidige protocol alleen vertalingen op zinsniveau, terwijl mensen tekst ook op documentniveau beoordelen.
Daarom hebben ze een nieuw protocol ontwikkeld om de prestaties van machinale en menselijke vertalers op documentniveau te vergelijken. Ze vroegen professionele vertalers om te beoordelen hoe goed machines en mensen meer dan 100 nieuwsartikelen in het Chinees in het Engels vertaalden. De examinatoren beoordeelden elke vertaling op geschiktheid en vloeiendheid op zinsniveau, maar, cruciaal, ook op het niveau van het hele document.
De resultaten zorgen voor interessante lectuur. Om te beginnen vonden Laubli en co geen significant verschil in de manier waarop professionele vertalers de geschiktheid van machinaal en door mensen vertaalde zinnen beoordeelden. Volgens deze maatstaf zijn mens en machine even goede vertalers, wat in lijn is met eerdere bevindingen.
Als het echter gaat om het evalueren van het hele document, worden menselijke vertalingen als adequater en vloeiender beoordeeld dan machinevertalingen. Menselijke beoordelaars die de geschiktheid en vloeiendheid beoordelen, tonen een sterkere voorkeur voor menselijke boven machinevertaling bij het evalueren van documenten in vergelijking met geïsoleerde zinnen, zeggen ze.
De onderzoekers denken te weten waarom. We veronderstellen dat evaluatie op documentniveau fouten aan het licht brengt, zoals een verkeerde vertaling van een dubbelzinnig woord, of fouten met betrekking tot tekstuele cohesie en coherentie, die moeilijk of onmogelijk te herkennen zijn in een evaluatie op zinsniveau, zeggen ze.
Het team geeft bijvoorbeeld het voorbeeld van een nieuwe app genaamd 微信挪 车, die mensen consequent vertalen als WeChat Move the Car, maar die machines vaak op verschillende manieren in hetzelfde artikel vertalen. Machines vertalen deze zin als Twitter Move Car, WeChat mobile en WeChat Move. Dit soort inconsistentie, zeggen Laubli en co, maakt documenten moeilijker te volgen.
Dit suggereert dat de manier waarop machinevertaling wordt geëvalueerd, moet evolueren van een systeem waarin machines elke zin afzonderlijk beschouwen.
Naarmate de kwaliteit van machinevertalingen verbetert, zullen vertalingen moeilijker te onderscheiden zijn in termen van kwaliteit, en het is misschien tijd om over te schakelen naar evaluatie op documentniveau, waardoor beoordelaars meer context krijgen om de originele tekst en de vertaling ervan te begrijpen, en ook vertaalfouten in verband met om fenomenen te bespreken die onzichtbaar blijven in een evaluatie op zinsniveau, zeggen Laubli en co.
Die verandering zou de machinevertaling moeten helpen verbeteren. Wat betekent dat het nog steeds de menselijke vertaling zal overtreffen - alleen nog niet.
Referentie: arxiv.org/abs/1808.07048 : Heeft machinale vertaling menselijke gelijkheid bereikt? Een zaak voor evaluatie op documentniveau