211service.com
Algoritme voor machinaal leren kijkt naar Dance Dance Revolution en maakt vervolgens zijn eigen dansen
Dance Dance Revolution is een van de klassieke videogames van het einde van de 20e eeuw. Een bewijs van het succes, de nieuwigheid en de lange levensduur is dat het vandaag de dag nog steeds populair is, bijna 20 jaar sinds de lancering.
Dit is een dansspel dat bestaat uit een scherm en een dansplatform dat spelers met hun voeten besturen. Het platform heeft vier pads, die spelers op muziek moeten aanraken in de volgorde die wordt aangegeven door een grafiek op het scherm. Spelers moeten dus dansen op de muziek op de manier die het spel vereist.
Met het spel kunnen spelers ook hun eigen dansen ontwerpen en distribueren. Door de jaren heen hebben mensen enorme databases met dansen gemaakt voor een enorm scala aan populaire liedjes.
Dat bracht Chris Donahue en zijn vrienden van de University of California, San Diego, op een idee. Waarom zou je deze enorme database niet gebruiken om een deep-learning machine te trainen om zijn eigen dansen te creëren?
Vandaag laten ze zien hoe ze dat hebben gedaan. Hun systeem, Dance Dance Convolution genaamd, neemt als input de onbewerkte audiobestanden van popsongs en produceert dansroutines als output. Het resultaat is een machine die muziek kan choreograferen.
Het spel zelf is in principe eenvoudig. Terwijl de muziek speelt, raakt de speler de pads op het dansplatform aan in de volgorde die op het scherm wordt weergegeven. Elke pad kan zich in een van de vier standen bevinden: aan, uit, vasthouden (of bevriezen) en loslaten. Omdat de vier pads onafhankelijk van elkaar kunnen worden geactiveerd of losgelaten, zijn er op elk moment 256 mogelijke stapcombinaties.
Natuurlijk worden de dansen steeds moeilijker, waarbij de meeste nummers dansen met vijf moeilijkheidsgraden hebben. De moeilijkheidsgraad wordt bepaald door de snelheid van de ritmische onderverdelingen. Games op beginnersniveau hebben stappen op kwart- en achtste noten, maar dansen met een hogere moeilijkheidsgraad hebben stappen van 16e noot en sommige patronen met 12e en 24e noten.
Er zijn ook andere informele regels voor het maken van danskaarten. Auteurs van grafieken streven ernaar patronen te vermijden die een speler zouden dwingen om van het scherm weg te kijken, zeggen Donahue en co. Het resultaat zijn dansen met een grote verscheidenheid aan rijke structuren.
Het automatiseren van het maken van danskaarten is zeker niet eenvoudig. Donahue en co verdelen het in twee delen. De eerste is beslissen wanneer stappen moeten worden geplaatst en de tweede is beslissen welke stappen moeten worden geselecteerd. Vervolgens trainen ze een machine learning-algoritme om elke taak te leren.
De eerste taak komt neer op het identificeren van een set tijdstempels in een nummer waarop stappen moeten worden geplaatst. Dit is vergelijkbaar met een goed bestudeerd probleem in muziekonderzoek dat begindetectie wordt genoemd. Dit omvat het identificeren van belangrijke momenten in een nummer, zoals melodienoten of drumslagen.
Hoewel niet elk begin in onze gegevens overeenkomt met een Dance Dance Revolution-stap, komt elke Dance Dance Revolution-stap overeen met een begin, zeggen Donahue en co.
Zodra de tijdstempels voor elke stap zijn geïdentificeerd, is de tweede taak het selecteren van een stap die op elk moment moet worden genomen.
Bij alle machine learning-taken is de trainingsdataset cruciaal. Muziekonderzoek werd in het verleden belemmerd omdat auteursrechtelijke problemen kunnen voorkomen dat liedjes worden gebruikt in onderzoek (of op zijn minst worden doorgegeven samen met de resultaten).
DDR omzeilt dit omdat er zoveel danskaarten zijn gemaakt door gewone gebruikers. Donahue en co zeggen dat één online repository, Stepmania Online genaamd, meer dan 350 gigabyte aan dance-hitlijsten opslaat op meer dan 100.000 nummers.
Voor dit onderzoek richt het team zich op twee kleinere datasets bestaande uit opnames plus danskaarten. De eerste bevat 90 nummers die zijn gechoreografeerd door een enkele auteur, die grafieken heeft gemaakt met vijf moeilijkheidsgraden voor elk nummer. De tweede dataset bevat 133 nummers met elk een enkele danskaart.
Het team vergroot vervolgens de gegevensset door een spiegelbeeld van elke grafiek te maken, bijvoorbeeld door links voor rechts en omhoog voor omlaag (of beide) te verwisselen. Het resultaat is een dataset van 35 uur muziek in de vorm van onbewerkte audiobestanden met meer dan 350.000 stappen.
Donahue en co gebruiken vervolgens 80 procent van de muziek om het machine learning-algoritme te trainen om tijden voor stapplaatsing te herkennen. Ze valideren en testen het resulterende model met de resterende 20 procent van de gegevens. En ze gebruiken vergelijkbare verhoudingen om een ander algoritme te trainen om de stapselectie te bepalen. Vergelijkbare technieken worden veel gebruikt in machine learning voor taken, zoals natuurlijke taalverwerking.
De resultaten zijn indrukwekkend. Onze experimenten bewijzen de haalbaarheid van het gebruik van machine learning om automatisch hoogwaardige DDR-kaarten te genereren van onbewerkte audio, zeggen Donahue en co.
Door inzichten uit de detectie van muzikale aanvang en statistische taalmodellering te combineren, hebben we een aantal diepgaande leermethoden ontworpen en geëvalueerd om te leren choreograferen, zeggen ze.
Dat is vermakelijk werk dat het nut van machine learning laat zien voor taken met grote geannoteerde datasets. Het laat ook zien dat, alweer, een ander bastion van menselijke creativiteit voor de machines is gevallen.
Referentie: arxiv.org/abs/1703.06891 : Dans Dans Convolutie