211service.com
Facebook's nieuwe polyglot AI kan vertalen tussen 100 talen
Edurne Chopeitia / Unsplash
Het nieuws: Facebook is open source een nieuw AI-taalmodel genaamd M2M-100 dat kan vertalen tussen elk paar uit 100 talen. Van de 4.450 mogelijke talencombinaties vertaalt het er 1.100 direct. Dit in tegenstelling tot eerdere meertalige modellen, die sterk afhankelijk zijn van Engels als intermediair. Een vertaling van Chinees naar Frans gaat bijvoorbeeld meestal van Chinees naar Engels en vervolgens van Engels naar Frans, wat de kans op fouten vergroot.
Gegevensbeheer: Het model is getraind op 7,5 miljard zinsparen. Om zo'n grote dataset samen te stellen, waren de onderzoekers sterk afhankelijk van geautomatiseerde curatie. Ze gebruikten webcrawlers om miljarden zinnen van het web te schrapen en lieten een ander taalmodel, FastText genaamd, de taal identificeren. (Ze gebruikten geen Facebook-gegevens.) Daarna gebruikten ze een programma genaamd LASER 2.0, eerder ontwikkeld door het AI-onderzoekslab van Facebook, dat gebruikmaakt van niet-gesuperviseerd leren - machinaal leren waarvoor geen handmatig gelabelde gegevens nodig zijn - om zinnen in verschillende talen te matchen door hun betekenis.
LASER 2.0 creëert zogenaamde inbeddingen uit grote, ongestructureerde datasets van zinnen. Het traint op de beschikbare zinsvoorbeelden binnen elke taal en brengt hun relaties met elkaar in kaart op basis van hoe vaak en hoe dicht bij elkaar ze worden gebruikt. Deze inbeddingen helpen het machine learning-model de betekenis van elke zin te benaderen, waardoor LASER 2.0 automatisch zinnen met dezelfde betekenis in verschillende talen koppelt.
Talen koppelen: De onderzoekers concentreerden zich op de talencombinaties waarvan zij dachten dat ze het meest gevraagd zouden worden. Ze groepeerden talen op basis van taalkundige, geografische en culturele overeenkomsten, in de veronderstelling dat mensen die in dezelfde regio wonen, vaker zouden communiceren. Eén taalgroep omvatte bijvoorbeeld de meest voorkomende talen die in India worden gesproken, waaronder Bengaals, Hindi, Tamil en Urdu. LASER 2.0 richtte zijn zoektocht naar zinnenparen vervolgens op alle mogelijke taalparen binnen elke groep.
Doorlopende uitdagingen: Talen die in landen als Afrika en Zuidoost-Azië worden gesproken, hebben nog steeds problemen met de vertaalkwaliteit omdat er te weinig taalgegevens beschikbaar zijn om van het web te worden gehaald, zegt Angela Fan, de hoofdonderzoeker van het project. Gezien de afhankelijkheid van webgegevens, moeten de onderzoekers ook technieken bedenken om ingebed seksisme, racisme en andere discriminerende vooroordelen te identificeren en uit te roeien. Op dit moment hebben de onderzoekers een profanity-filter gebruikt om een bijzonder grove taal op te ruimen, maar het is meestal beperkt tot het Engels.
Alleen onderzoek: Facebook heeft momenteel geen plannen om het model in zijn producten te gebruiken. M2M-100 is alleen bedoeld voor onderzoeksdoeleinden, zegt Fan. Uiteindelijk is het echter de bedoeling dat het model de bestaande vertaalmogelijkheden van Facebook verbetert en uitbreidt. Toepassingen kunnen gebruikerscommunicatie omvatten (bijvoorbeeld de functie waarmee mensen berichten in hun moedertaal kunnen vertalen) en misschien inhoudsmoderatie.