Het AI-systeem van Facebook kan spreken met de stem van Bill Gates

Bill Gates Jack Taylor / Stringer / Getty

Machine speech is een teleurstelling. Zelfs de beste tekst-naar-spraaksystemen hebben een mechanische kwaliteit en missen de fundamentele veranderingen in intonatie die mensen gebruiken. Het veel gekopieerde spraaksysteem van Stephen Hawking is daar een goed voorbeeld van.

Dat is een verrassing, gezien de enorme vooruitgang in machine learning in de afgelopen jaren. De technieken die zo goed hebben gewerkt bij het herkennen van gezichten en objecten en vervolgens het produceren van realistische afbeeldingen ervan, zouden net zo goed moeten werken met audio. Niet echt.

Tenminste, niet tot vandaag. Ga naar Sean Vasquez en Mike Lewis van Facebook AI Research, die een manier hebben gevonden om de beperkingen van tekst-naar-spraaksystemen te overwinnen om opmerkelijk levensechte audioclips te produceren die volledig door de machine zijn gegenereerd. Hun machine, MelNet genaamd, reproduceert niet alleen de menselijke intonatie, maar kan het ook met dezelfde stem doen als echte mensen. Dus het team trainde het om te spreken zoals Bill Gates, onder anderen. Het werk opent de mogelijkheid van een meer realistische interactie tussen mens en computer, maar roept ook het schrikbeeld op van een nieuw tijdperk van nep-audiocontent.

Eerst wat achtergrond. De langzame vooruitgang met realistische tekst-naar-spraaksystemen is niet te wijten aan een gebrek aan proberen. Talloze teams hebben geprobeerd diepgaande algoritmen te trainen om echte spraakpatronen te reproduceren met behulp van grote databases met audio.

Het probleem met deze benadering, zeggen Vasquez en Lewis, zit in het type gegevens. Tot nu toe was het meeste werk gericht op het opnemen van audiogolfvormen. Deze laten zien hoe de amplitude van geluid in de loop van de tijd verandert, waarbij elke seconde opgenomen audio uit tienduizenden tijdstappen bestaat.

Deze golfvormen tonen specifieke patronen op een aantal verschillende schalen. Tijdens een paar seconden spraak, bijvoorbeeld, weerspiegelt de golfvorm de karakteristieke patronen die horen bij woordreeksen. Maar op de schaal van microseconden vertoont de golfvorm kenmerken die verband houden met de toonhoogte en het timbre van de stem. En op andere schalen weerspiegelt de golfvorm de intonatie van de spreker, de foneemstructuur, enzovoort.

Een andere manier om over deze patronen na te denken, is als correlaties tussen de golfvorm in de ene tijdstap en in de volgende tijdstap. Dus voor een bepaalde tijdschaal is het geluid aan het begin van een woord gecorreleerd met de geluiden die volgen.

Deep-learning systemen zouden goed moeten zijn in het leren van dit soort correlaties en het reproduceren ervan. Het probleem is dat de correlaties over veel verschillende tijdschalen werken, en deep-learningsystemen kunnen correlaties alleen over beperkte tijdschalen bestuderen. Dat komt door een soort leerproces dat ze gebruiken, backpropagation genaamd, dat het netwerk herhaaldelijk opnieuw bedraden om de prestaties te verbeteren op basis van de voorbeelden die het ziet.

De herhalingsfrequentie beperkt de tijdschaal waarover correlaties kunnen worden geleerd. Een diepgaand lerend netwerk kan dus correlaties in audiogolfvormen leren over lange of korte tijdschalen, maar niet over beide. Daarom presteren ze zo slecht in het reproduceren van spraak.

Vasquez en Lewis hebben een andere benadering. In plaats van audiogolfvormen gebruiken ze spectrogrammen om hun deep learning-netwerk te trainen. Spectrogrammen registreren het volledige spectrum van audiofrequenties en hoe deze in de loop van de tijd veranderen. Dus terwijl golfvormen de verandering in de tijd van één parameter, amplitude, vastleggen, leggen spectrogrammen de verandering vast over een enorm bereik van verschillende frequenties.

Dit betekent dat de audio-informatie dichter is verpakt in dit type gegevensrepresentatie. De temporele as van een spectrogram is orden van grootte compacter dan die van een golfvorm, wat betekent dat afhankelijkheden die tienduizenden tijdstappen in golfvormen overspannen, slechts honderden tijdstappen in spectrogrammen overspannen, zeggen Vasquez en Lewis.

Dat maakt de correlaties toegankelijker voor een deep-learning systeem. Dit stelt onze spectrogrammodellen in staat om onvoorwaardelijke spraak- en muzieksamples te genereren met consistentie gedurende meerdere seconden, zeggen ze.

En de resultaten zijn indrukwekkend. MelNet heeft het systeem getraind met gewone spraak van TED-gesprekken en kan vervolgens de stem van de TED-spreker reproduceren die min of meer alles zegt in een paar seconden. De Facebook-onderzoekers demonstreren zijn flexibiliteit door de TED-talk van Bill Gates te gebruiken om MelNet te trainen en vervolgens zijn stem te gebruiken om een ​​reeks willekeurige zinnen te zeggen.

Dit is het systeem dat zegt dat we fronsen als de gebeurtenissen een slechte wending nemen en Port is een sterke wijn met een rokerige smaak. Andere voorbeelden staan ​​hier.

We fronsen wanneer gebeurtenissen een slechte wending nemen

port is een sterke wijn met een rokerige smaak

Er zijn natuurlijk wel wat beperkingen. Gewone spraak bevat correlaties over nog langere tijdschalen. Mensen gebruiken bijvoorbeeld intonatieveranderingen om veranderingen in onderwerp of stemming aan te geven wanneer verhalen zich over tientallen seconden of minuten ontwikkelen. De machine van Facebook lijkt daar nog niet toe in staat.

Dus hoewel MelNet opmerkelijk levensechte zinnen kan maken, heeft het team nog geen langere zinnen, alinea's of hele verhalen geperfectioneerd. Dat lijkt niet een doel dat waarschijnlijk snel zal worden bereikt.

Desalniettemin zou het werk een aanzienlijke impact kunnen hebben op de interactie tussen mens en computer. Veel gesprekken bevatten slechts korte zinnen. Vooral telefonisten en helpdesks kunnen zich redden met een reeks relatief korte zinnen. Deze technologie zou deze interacties dus kunnen automatiseren op een manier die veel menselijker is dan de huidige systemen.

Maar op dit moment houden Vasquez en Lewis de lippen stijf op elkaar over mogelijke toepassingen.

En zoals altijd zijn er potentiële problemen met natuurlijk klinkende machines, met name machines die mensen betrouwbaar kunnen nabootsen. Er is niet veel fantasie voor nodig om scenario's te bedenken waarin deze technologie kan worden gebruikt voor kattenkwaad. En om die reden is het weer een nieuwe AI-gerelateerde vooruitgang die meer ethische vragen oproept dan beantwoordt.

Referentie: arxiv.org/abs/1906.01083 : MelNet: een generatief model voor audio in het frequentiedomein

zich verstoppen