De automatische aanvulling van Google voor spraak kan glitches in videogesprekken verdoezelen

Categorie: Kunstmatige intelligentie Geplaatst 06 april

Het nieuws: Nu velen van ons afhankelijk zijn van videogesprekken voor persoonlijke interactie, zijn schokkerige verbindingen frustrerender dan ooit. Een kunstmatige intelligentie die de manier van praten van een individuele spreker nabootst, kan de scheuren gladstrijken door kleine lacunes op te vullen met fragmenten van gegenereerde spraak. De technologie is ontwikkeld door een team bij Google en wordt nu gebruikt in Google's app voor videogesprekken Duo .

Wat is het probleem? Wanneer u online belt, wordt uw stem opgedeeld in heel veel kleine stukjes die over het internet worden geritst in datablokken die bekend staan ​​​​als pakketten. Pakketten komen vaak door elkaar gegooid aan de andere kant en software moet ze opnieuw ordenen. Maar soms komen pakketten helemaal niet aan, waardoor er storingen en hiaten in een gesprek ontstaan. Dit gebeurt in de beste tijden. Volgens Google heeft 99% van de Duo-gesprekken te maken met door elkaar gegooide of verloren pakketten. Een tiende van die oproepen verliest meer dan 8% van hun audio.

Spraak genereren: Om het probleem op te lossen, bouwde het team op een neuraal netwerk ontwikkeld door DeepMind dat kan realistische spraak genereren uit tekst . Het nieuwe neurale netwerk, WaveNetEQ genaamd, werd vervolgens getraind op een grote dataset van 100 opgenomen menselijke stemmen die 48 verschillende talen spraken, totdat het korte stukken spraak automatisch kon aanvullen op basis van gemeenschappelijke patronen in de manier waarop mensen praten. Omdat Duo end-to-end versleuteld is, draait de AI op het apparaat, niet op de cloud. Tijdens een gesprek kan WaveNetEQ de kenmerken van de stem van een spreker leren en audiofragmenten genereren die passen bij zowel de stijl als de inhoud van wat de spreker zegt. Wanneer een pakket verloren gaat, wordt de door AI gegenereerde stem op zijn plaats ingevoegd.

Voorlopig kan de AI alleen lettergrepen genereren in plaats van hele woorden of zinsdelen. maar kort voorbeelden die Google online heeft geplaatst laten zien dat de resultaten behoorlijk levensecht kunnen zijn. In één geval vervangt de AI de tweede lettergreep van het woord probleem in een stem die de mannelijke spreker exact nabootst.