211service.com
Waarom de AI van Google mooie liedjes kan schrijven, maar nog steeds geen grap kan vertellen
Jeremy Portje
Het maken van prutsende pianomelodieën en eindeloze configuraties van kattentekeningen met AI klinkt misschien niet als een voor de hand liggend project voor Google, maar het is heel logisch voor Douglas Eck.
Eck heeft ongeveer 15 jaar lang AI en muziek bestudeerd en tegenwoordig is hij onderzoekswetenschapper in het Google Brain-team en leidt hij Magenta, het open-source onderzoeksproject van Google dat is gericht op het maken van kunst en muziek met machine learning.
Hij sprak met MIT Technology Review over hoe Google nieuwe geluiden produceert met diepe neurale netwerken, waar Magenta AI-muziek gebruikt en waarom computers slecht zijn in het vertellen van moppen.
Hieronder vindt u een bewerkt fragment van het interview. Premie MIT Technology Review abonnees kunnen het volledige interview beluisteren.
Het gebruik van AI om kunst te maken is niet nieuw, dus wat is er uniek aan de aanpak van Google?
We onderzoeken deze zeer specifieke richting die te maken heeft met diepe neurale netwerken en terugkerende neurale netwerken en andere soorten machine learning. En we doen ook heel hard ons best om zowel de artistieke gemeenschap als creatieve programmeurs en open-sourceontwikkelaars tegelijkertijd te betrekken, dus hebben we er een open-sourceproject van gemaakt.
Veel Magenta is gericht op muziek. Waarom is AI goed voor het maken en versterken van muziek?
Om eerlijk te zijn, het is gewoon een vooroordeel van mij. Mijn hele onderzoekscarrière ging over muziek en audio. Ik denk dat de reikwijdte van Magenta altijd ging over kunst in het algemeen, verhalen vertellen, muziek, verhalen, beelden en proberen te begrijpen hoe AI als creatief hulpmiddel kan worden gebruikt. Maar je moet ergens beginnen. En ik denk dat als je serieuze vooruitgang boekt met iets dat zo ingewikkeld is als muziek, en dat zo belangrijk voor ons is als muziek, ik hoop dat een deel daarvan ook naar andere domeinen zal gaan.
Kunnen we naar muziek luisteren die met Magenta is gemaakt?
Deze is wat muziek van een model genaamd Prestaties RNN .
Luister en let gewoon op de textuur en alles daar. Dit is een soort muziekcompositie, maar het is tegelijkertijd ook een muziekuitvoering, omdat het model niet alleen kwartnoten genereert - het bepaalt hoe snel ze zullen worden gespeeld, hoe hard ze zullen worden gespeeld, en in feite reproduceert het waar het op is getraind, namelijk een aantal piano-uitvoeringen als onderdeel van een pianowedstrijd.
Zoals dat stuk laat zien, is de muziek die tot nu toe met Magenta is gemaakt in wezen improvisatie. Kan AI worden ingezet om een samenhangend muziekstuk met structuur te maken?
Daar werken we aan. Dus een van de belangrijkste toekomstige onderzoeksrichtingen voor ons en, eerlijk gezegd, voor het hele veld van generatieve modellen - daarmee bedoel ik modellen voor machinaal leren die kunnen proberen iets nieuws te genereren - is leerstructuur. En dat zie je hier terug in de muziek. Je hoort dat er geen overkoepelend model is dat bepaalt waar dingen naartoe moeten.
Als we het akkoordveranderingen wilden geven, zelfs de symbolen van de akkoordverandering, en contextueel leren hoe we voordeel kunnen halen uit die akkoordveranderingen, dan zouden we dat kunnen doen. We zouden zelfs een apart model kunnen hebben dat akkoordwisselingen genereert. Ons doel is om met dit end-to-end-model te komen dat al deze structuurniveaus op zichzelf kan berekenen.
Vertel me over Schets-RNN , wat een recent Magenta-experiment is waarmee u tekenen met een terugkerend neuraal netwerk - in feite begin je een ananas te tekenen en dan neemt Sketch-RNN het over en voltooit het, keer op keer, in veel verschillende stijlen.
We waren in staat om een aantal tekeningen van mensen die Pictionary speelden te gebruiken tegen een algoritme voor machinaal leren - dit was [gegevens van een ander Google AI-tekenexperiment gemaakt door Google Creative Lab,] Snel, tekenen!
Er zijn grenzen aan de gegevens. Er is maar zoveel dat je uit deze kleine, kleine tekeningen van 20 seconden kunt halen. Maar ik denk dat het werk van de belangrijkste [Sketch-RNN]-onderzoeker, David Ha, echt prachtig was. Hij trainde in feite een terugkerend neuraal netwerk om te leren hoe deze tekeningen te reproduceren. Hij dwong het model min of meer om te leren wat belangrijk is. Het model was niet krachtig genoeg om de hele tekening te onthouden. Omdat het niet alle slagen kan onthouden die het ziet, is het zijn taak om veel katten of wat dan ook te reproduceren, het is gedwongen om te leren wat belangrijk is aan katten - wat zijn de gedeelde aspecten van kattentekeningen in miljoenen kattentekeningen? En dus als je met dit model speelt, kun je het vragen om nieuwe katten uit het niets te genereren. Het genereert echt interessant uitziende katten die, denk ik, griezelig lijken op hoe mensen katten zouden tekenen.
TensorFlow
Ik las dat je met Magenta werkt om computers te leren moppen te vertellen. Wat voor grappen genereren computers? (Dat was zelf niet de eerste regel van een grap.)
Het project was zeer voorbereidend, zeer verkennend, waarbij de vraag werd gesteld: kunnen we dat onderdeel van het vertellen van grappen, dat over verrassing gaat, begrijpen? Vooral punch-line-gerelateerde grappen en woordspelingen, er is duidelijk een punt waarop alles normaal verloopt, ik denk dat ik weet wat er met deze zin aan de hand is, en dan, boem! Rechts? En ik denk ook dat er intuïtief een geometrie zit in de clou. Het is verrassend als het gebouw op je hoofd instort; [een clou is] niet zo'n verrassing. Het is, zoals, oh, goed, ik snap het! Je weet wel? En dat gevoel van ik begrijp het, is, denk ik, een soort terugtrekken dat je moet doen om het te krijgen. Dus we keken naar bepaalde soorten machinale leermodellen die deze dingen, waarheidsvectoren genoemd, kunnen genereren die proberen te begrijpen wat er semantisch in een zin gebeurt, en kunnen we die vervolgens actief manipuleren om een ander effect te krijgen?
En het soort grap waar we over hoorden was... De goochelaar was zo boos dat ze haar haas eruit trok. En de woordspeling van haas en haar en konijn - je begrijpt het, toch?
Ja. Maar je moet veel van woorden en taal weten om het te begrijpen.
Ja, je moet veel weten. Niet alleen vertelde dit model geen grappen, grappig of niet, maar we kregen de code niet echt om te convergeren.
Wat ben je op dit moment aan het uitzoeken met Magenta?
We proberen meer te begrijpen van de langetermijnstructuur van muziek en proberen ons ook te verdiepen in een andere interessante vraag, namelijk: kunnen we leren van de feedback, niet van een artiest, maar van een publiek?
Dit is kijken naar het artistieke proces als een soort iteratief. The Beatles hadden 12 albums en ze waren allemaal anders. En ze lieten allemaal zien dat deze muzikanten leren van feedback die ze krijgen van leeftijdsgenoten en van het publiek, maar ook van andere dingen die met andere artiesten gebeuren. Ze zijn echt verbonden met cultuur. Kunstenaars zijn niet statisch.
En dit heel simpele idee: kun je iemand iets laten maken met een generatief model, het daar neerzetten, maar dan profiteren van het feit dat de feedback die ze krijgen? Oh, dat was goed, dat was slecht. Die feedback die we krijgen, daar kan de artiest op één manier van leren, maar misschien kan het machine learning-model er ook van leren, en zeggen: Oh, ik zie het, hier zijn alle mensen en dit is wat ze denken van wat Ik doe, en ik heb deze parameters. En we kunnen die parameters instellen ten opzichte van de feedback, met behulp van wapeningsleren, en daar werken we ook aan.
Terwijl ik luister naar muziek gemaakt met Magenta, vraag ik me af: als je data gebruikt om kunstmatige intelligentie te trainen, kan de AI dan iets echt origineels maken, of zal het gewoon afgeleid zijn van waar het op is getraind, of dat nu Madonna-liedjes zijn of impressionistische schilderijen, of beide?
Ik denk dat het afhangt van wat we bedoelen met origineel. Ik denk dat het onwaarschijnlijk is dat er een algoritme voor machinaal leren zal komen en een of andere transformatieve nieuwe manier van kunst maken zal genereren. Ik denk dat iemand die met deze technologie werkt dat kan. En ik denk dat we gewoon zo, zo, zo ver verwijderd zijn van deze AI die een idee heeft van hoe de wereld echt is. Alsof het zo is, zo ver weg. Tegelijkertijd denk ik dat veel kunst in een andere zin origineel is. Zoals, ik doe nog een cool EDM-nummer met de druppel op de juiste plaats, dat is leuk om op te dansen en is nieuw, maar misschien is het niet het creëren van een volledig nieuw genre. En dat soort creativiteit vind ik sowieso heel interessant. Dat over het algemeen het meeste van wat we doen, zit in een genre dat we min of meer begrijpen, en we proberen nieuwe dingen, en dat soort creativiteit. Ik denk dat de AI die we nu hebben een grote rol kan spelen in. Het is niet reproduceren de dataset, toch? Het haalt dingen door elkaar.