211service.com
De AI van Google kan nu uw spraak vertalen met behoud van uw stem
Een afbeelding van VN-secretaris-generaal Ban Ki-moon die naar een vertaalapparaat luistert EMILIO MORENATTI / AP
Luister naar deze Spaanse audioclip.
Dit is hoe de Engelse vertaling zou kunnen klinken wanneer deze door een traditioneel geautomatiseerd vertaalsysteem wordt gehaald.
Dit is hoe het klinkt als het door het nieuwe geautomatiseerde vertaalsysteem van Google wordt gehaald.
De resultaten zijn niet perfect, maar je kunt wel horen hoe de vertaler van Google de stem en toon van de oorspronkelijke spreker kon behouden. Het kan dit doen omdat het audio-invoer direct omzet in audio-uitvoer zonder tussenstappen . Traditionele translationele systemen daarentegen zetten audio om in tekst, vertalen de tekst en synthetiseren vervolgens de audio opnieuw, waardoor de kenmerken van de originele stem onderweg verloren gaan.
Het nieuwe systeem, genaamd de Vertalen, heeft drie componenten, die allemaal kijken naar het audiospectrogram van de spreker - een visuele momentopname van de frequenties die worden gebruikt wanneer het geluid wordt afgespeeld, vaak een stemafdruk genoemd. De eerste component maakt gebruik van een neuraal netwerk dat is getraind om het audiospectrogram in de invoertaal te mappen naar het audiospectrogram in de uitvoertaal. De tweede zet het spectrogram om in een audiogolf die kan worden afgespeeld. De derde component kan dan de vocale kenmerken van de originele spreker terug in de uiteindelijke audio-uitvoer leggen.
Deze benadering zorgt niet alleen voor meer genuanceerde vertalingen door belangrijke non-verbale signalen te behouden, maar in theorie zou het ook vertaalfouten moeten minimaliseren, omdat het de taak tot minder stappen reduceert.
Translatotron is momenteel een proof of concept. Tijdens het testen hebben de onderzoekers het systeem alleen uitgeprobeerd met een vertaling van Spaans naar Engels, waarvoor al veel zorgvuldig samengestelde trainingsgegevens nodig waren. Maar audio-uitgangen zoals de clip hierboven demonstreren het potentieel voor een commercieel systeem later. Je kunt er meer van luisteren hier .