211service.com
Deep learning verandert mono-opnames in meeslepend geluid
Samuel Dixon | Unsplash
Luister naar een vogel die zingt in een nabijgelegen boom en je kunt relatief snel de geschatte locatie bepalen zonder te kijken. Luister naar het gebrul van een automotor als je de weg oversteekt, en je kunt meestal meteen zien of hij achter je is.
Het menselijk vermogen om een geluid in de driedimensionale ruimte te lokaliseren is buitengewoon. Het fenomeen wordt goed begrepen - het is het resultaat van de asymmetrische vorm van onze oren en de afstand ertussen.
Maar terwijl onderzoekers hebben geleerd hoe ze 3D-beelden kunnen maken die onze visuele systemen gemakkelijk voor de gek houden, heeft niemand een bevredigende manier gevonden om synthetische 3D-geluiden te creëren die onze auditieve systemen op overtuigende wijze voor de gek houden.
Vandaag lijkt dat op zijn minst gedeeltelijk te veranderen, dankzij het werk van Ruohan Gao van de Universiteit van Texas in en Kristen Grauman van Facebook Research. Ze hebben een truc gebruikt die ook door mensen wordt gebruikt om een AI-systeem te leren gewone monogeluiden om te zetten in redelijk goed 3D-geluid. De onderzoekers noemen het 2.5D-geluid.
Eerst wat achtergrond. De hersenen gebruiken verschillende aanwijzingen om te bepalen waar een geluid vandaan komt in de 3D-ruimte. Een belangrijke aanwijzing is het verschil tussen de aankomsttijden van een geluid bij elk oor - het interaurale tijdsverschil.
Een geluid dat aan uw linkerhand wordt geproduceerd, zal uiteraard eerder bij uw linkeroor aankomen. En hoewel je je niet bewust bent van dit verschil, gebruiken de hersenen het om te bepalen waar het geluid vandaan komt.
Een andere aanwijzing is het verschil in volume. Ditzelfde geluid zal in het linkeroor luider zijn dan in het rechter, en de hersenen gebruiken deze informatie ook om hun afrekening te maken. Dit wordt het interaurale niveauverschil genoemd.
Deze verschillen zijn afhankelijk van de afstand tussen de oren. Stereo-opnames geven dit effect niet weer, omdat de scheiding van stereomicrofoons daar niet mee overeenkomt.
De manier waarop geluid interageert met oorkleppen is ook belangrijk. De flappen vervormen het geluid op een manier die afhankelijk is van de richting waaruit het komt. Een geluid van voren bereikt bijvoorbeeld de gehoorgang voordat het de oorflap raakt. Daarentegen wordt hetzelfde geluid dat van achter het hoofd komt, vervormd door de oorflap voordat het de gehoorgang bereikt.
De hersenen kunnen deze verschillen ook voelen. In feite is de asymmetrische vorm van het oor de reden dat we kunnen zien wanneer een geluid bijvoorbeeld van boven komt, of uit vele andere richtingen.
De truc om 3D-geluid kunstmatig te reproduceren, is om het effect te reproduceren dat al deze geometrie op geluid heeft. En dat is een lastig probleem.
Een manier om de vervorming te meten is met binaurale opname. Dit is een opname gemaakt door een microfoon in elk oor te plaatsen, die deze kleine variaties kan opvangen.
Door de variaties te analyseren, kunnen onderzoekers ze reproduceren met behulp van een wiskundig algoritme dat bekend staat als een hoofdgerelateerde overdrachtsfunctie. Dat verandert elke gewone koptelefoon in buitengewone 3D-geluidsmachines.
Maar omdat ieders oren anders zijn, hoort iedereen geluid op een andere manier. Dus het creëren van iemands hoofdgerelateerde overdrachtsfunctie betekent het meten van de vorm van de oren van de persoon voordat een opname wordt afgespeeld. En hoewel dat in het laboratorium kan, heeft niemand bedacht hoe dat in het wild moet.
Toch zijn er manieren om 3D-geluid te benaderen met behulp van geluidsvervormingen die niet afhankelijk zijn van de vorm van het oor: de interaurale tijd- en niveauverschillen.
De truc die Grauman en Gao gebruiken, is om te bepalen uit welke richting een geluid komt met behulp van visuele aanwijzingen (zoals mensen vaak ook doen). Dus bij een video van een scène en een monogeluidsopname, zoekt het machine-learningsysteem uit waar de geluiden vandaan komen en vervormt het vervolgens de interaurale tijd- en niveauverschillen om dat effect voor de luisteraar te produceren.
Stel je bijvoorbeeld een video voor waarin een paar muzikanten een trommel en een piano bespelen. Als de drum zich aan de linkerkant van het gezichtsveld bevindt en de piano aan de rechterkant, is het eenvoudig om aan te nemen dat de drumgeluiden van links moeten komen en de piano van rechts. Dat is wat dit machine-learningsysteem doet, het geluid dienovereenkomstig vervormen.
De trainingsmethode van de onderzoekers is relatief eenvoudig. De eerste stap bij het trainen van een machine learning-systeem is het creëren van een database met voorbeelden van het effect dat het moet leren. Grauman en Gao hebben er een gemaakt door binaurale opnames te maken van meer dan 2000 muziekclips die ze ook op video hebben opgenomen.
Hun binaurale recorder bestaat uit een paar synthetische oren gescheiden door de breedte van een menselijk hoofd, die ook de scène die voor hen ligt opneemt met behulp van een GoPro-camera.
Het team gebruikte deze opnames vervolgens om een machine learning-algoritme te trainen om te herkennen waar een geluid vandaan kwam op basis van de video van de scène. Als hij dit heeft geleerd, kan hij een video bekijken en vervolgens een mono-opname vervormen op een manier die simuleert waar het geluid vandaan zou moeten komen. We noemen de resulterende output 2.5D visueel geluid - de visuele stroom helpt de platte enkelkanaals audio 'op te tillen' naar ruimtelijk geluid, zeggen Grauman en Gao.
De resultaten zijn indrukwekkend. Je kan kijken een video van hun werk hier -Zorg ervoor dat u een koptelefoon draagt terwijl u kijkt.
De video vergelijkt de resultaten van 2.5D-opnames met mono-opnames en laat zien hoe goed het kan zijn. Het voorspelde 2.5D visuele geluid biedt een meer meeslepende audio-ervaring, zeggen Grauman en Gao.
Het produceert echter geen volledig 3D-geluid vanwege de bovengenoemde redenen - de onderzoekers creëren geen gepersonaliseerde hoofdgerelateerde overdrachtsfunctie.
En er zijn enkele situaties die het algoritme moeilijk vindt om mee om te gaan. Uiteraard kan het systeem geen enkele geluidsbron aan die niet zichtbaar is in de video. Het kan ook niet omgaan met geluidsbronnen waarvoor het niet is opgeleid om het te herkennen. Dit systeem is vooral gericht op muziekvideo's.
Desalniettemin hebben Grauman en Gao een slim idee dat goed werkt voor veel muziekvideo's. En ze hebben ambities om de toepassingen ervan uit te breiden. We zijn van plan om manieren te onderzoeken om objectlokalisatie en beweging op te nemen, en expliciet scènegeluiden te modelleren, zeggen ze.
Referentie: arxiv.org/abs/1812.04204 : 2.5D Visueel Geluid