211service.com
Deep Learning Machine lost het cocktailpartyprobleem op
Het cocktailparty-effect is de mogelijkheid om je te concentreren op een specifieke menselijke stem terwijl andere stemmen of achtergrondgeluiden worden weggefilterd. Het gemak waarmee mensen deze truc uitvoeren, logenstraft de uitdaging waarmee wetenschappers en ingenieurs zijn geconfronteerd om het synthetisch te reproduceren. Over het algemeen presteren mensen gemakkelijk beter dan de beste geautomatiseerde methoden om stemmen te onderscheiden.
Een bijzonder uitdagend cocktailpartyprobleem ligt op het gebied van muziek, waar mensen zich gemakkelijk kunnen concentreren op een zangstem die wordt gesuperponeerd op een muzikale achtergrond met een breed scala aan instrumenten. Ter vergelijking: machines zijn slecht in deze taak.
Tegenwoordig lijkt daar verandering in te komen dankzij het werk van Andrew Simpson en zijn vrienden aan de Universiteit van Surrey in het Verenigd Koninkrijk. Deze jongens hebben enkele van de meest recente ontwikkelingen in verband met diepe neurale netwerken gebruikt om menselijke stemmen in een breed scala van van liedjes.
Hun aanpak toont de enorme vooruitgang die de afgelopen jaren is geboekt op het gebied van machine learning en neurale netwerken. En het maakt de weg vrij voor een meer algemene oplossing voor het beroemde cocktailparty-probleem, waarbij onder andere de zang gemakkelijk gescheiden moet worden van de muziek die ze begeleiden.
De methode die deze jongens gebruiken is relatief eenvoudig. Ze beginnen met een database van 63 nummers die beschikbaar zijn als een set van individuele tracks die elk een ander instrument of een andere stem bevatten, evenals de volledig gemixte versie van het nummer.
Simpson en co verdelen elk nummer in segmenten van 20 seconden en maken voor elk een spectrogram dat laat zien hoe de frequenties in het geluid in de loop van de tijd variëren. Het resultaat is een soort unieke vingerafdruk die het instrument of de stem identificeert.
Ze maken ook een spectrogram van de volledig gemixte versie van het nummer. Dit zijn in wezen alle componentspectrogrammen bij elkaar opgeteld.
De taak om een stem uit dit mengsel te kiezen, is in wezen de taak om het unieke spectrogram van de stem te scheiden van de andere aanwezige spectrogrammen.
Simpson en co hebben hun diepe convolutionele neurale netwerk getraind om precies dat te doen. Ze gebruikten 50 van deze nummers om het netwerk te trainen, terwijl ze de overige 13 bewaarden om het te testen. In totaal leverde dat meer dan 20.000 spectrogrammen op voor trainingsdoeleinden.
De taak voor het neurale netwerk was eenvoudig. Als input gaven ze het het volledig gemengde spectrogram en verwachtten dat het in wezen het vocale spectrogram als output zou produceren.
De taak in dit soort machine learning is er een van parameteroptimalisatie. Hun diepe neurale netwerk heeft een miljard parameters die moeten worden afgestemd op een manier die de gewenste output produceert.
Dit proces van optimalisatie - of leren - vindt plaats door iteratie. Dus het netwerk begint met deze willekeurig ingestelde parameters en verbetert vervolgens geleidelijk de instellingen elke keer dat het door de database scant, wat het meer dan honderd iteraties heeft gedaan.
Nadat ze een goede setup voor het netwerk hadden gevonden, gaven Simpson en co het vervolgens de 13 nummers die het nog niet eerder had gezien om te testen hoe goed het de zang van de mix kon scheiden.
De outputs bleken indrukwekkend te zijn. Deze resultaten tonen aan dat een convolutionele diepe neurale netwerkbenadering in staat is om stemscheiding, geleerd in een muzikale context, te generaliseren naar nieuwe muzikale contexten, aldus het team.
Simpson en co of zelfs vergeleken hun resultaten met die van een conventioneel cocktailparty-algoritme dat op dezelfde gegevens werd toegepast. Het belangrijkste voordeel van het diepe neurale netwerk lijkt te liggen in het algemene leren van wat 'vocale' geluiden zijn, zeggen ze.
Met andere woorden, na te hebben geleerd hoe een stem klinkt, kan een diep neuraal netwerk deze informatie gebruiken om andere stemmen uit een mix te halen. Maar hoe goed deze aanpak is in vergelijking met menselijke prestaties, zeggen ze niet.
Een directe toepassing is het produceren van muziektracks minus zang voor karaoke-machines. Dat is duidelijk een … eh … belangrijk doel, maar er zijn ook bredere implicaties.
Diepe neurale netwerken zorgen voor een revolutie op het gebied van machine learning op een groot aantal gebieden. Tot voor kort hadden mensen een duidelijke dominantie in patroonherkenningstaken zoals gezichtsherkenning en objectherkenning. Die voorsprong is aanzienlijk verminderd en in sommige gevallen zelfs helemaal verloren.
Nu spelen machines een inhaalslag op het gebied van cocktailparty-problemen en alleen een dwaas zou wedden dat ze in de niet al te verre toekomst zullen zegevieren.
Referentie: arxiv.org/abs/1504.04658 : Deep Karaoke: zang extraheren uit muzikale mengsels met behulp van een convolutioneel diep neuraal netwerk