211service.com
In de vreemde nieuwe wereld van een deepfake-acteur
Panetta en Bourgondië
In 2019 begonnen twee multimediakunstenaars, Francesca Panetta en Halsey Burgund, met een provocerend idee. Deepfake-video en -audio waren parallel gevorderd, maar moesten nog worden geïntegreerd in een complete ervaring. Zouden ze het op een manier kunnen doen die het volledige potentieel van de technologie demonstreert, terwijl ze mensen voorlichten over hoe het kan worden misbruikt?
Om het experiment tot leven te brengen, kozen ze een even uitdagend onderwerp: ze zouden een alternatieve geschiedenis van de Apollo-maanlanding in 1969 . Vóór de lancering hadden de speechschrijvers van de Amerikaanse president Richard Nixon twee versies van zijn nationale toespraak voorbereid - één aangeduid als In het geval van een maanramp , voor het geval de zaken niet lopen zoals gepland. De echte Nixon hoefde het gelukkig nooit af te leveren. Maar een deepfake Nixon wel.
Dus Panetta, de creative director bij MIT's Center for Virtuality, en Burgund, een fellow bij het MIT Open Documentary Lab, gingen samenwerken met twee AI-bedrijven. Canny AI zou omgaan met de deepfake-video, en Respeecher zou de deepfake-audio voorbereiden. Met alle technische componenten op hun plaats, hadden ze nog maar één ding nodig: een acteur die de uitvoering zou leveren.
We moesten iemand vinden die dit wilde doen, want het is een beetje een rare vraag, zegt Burgund. Iemand die flexibeler was in hun denken over wat een acteur is en doet.
Terwijl deepfakes al een aantal jaren bestaan, is deepfake casten en acteren relatief nieuw. Vroege deepfake-technologieën waren niet erg goed, ze werden voornamelijk in donkere hoeken van het internet gebruikt om beroemdheden om te wisselen in pornovideo's zonder hun toestemming. Maar naarmate deepfakes steeds realistischer werden, zijn steeds meer artiesten en filmmakers ze gaan gebruiken in producties van uitzendkwaliteit en tv-advertenties. Dit betekent het inhuren van echte acteurs voor het ene of het andere aspect van de voorstelling. Sommige banen vereisen dat een acteur basisbeelden levert; anderen hebben een stem nodig.
Voor acteurs opent het spannende creatieve en professionele mogelijkheden. Maar het roept ook tal van ethische vragen op. Dit is zo nieuw dat er geen echt proces of iets dergelijks is, zegt Burgund. Ik bedoel, we waren gewoon dingen aan het verzinnen en aan het rommelen.
Wil je Nixon worden?
Het eerste wat Panetta en Burgund deden, was aan beide bedrijven vragen wat voor acteur ze nodig hadden om de deepfakes te laten werken. Het was niet alleen interessant wat de belangrijke criteria waren, maar ook wat? weren’t , zegt Bourgondië.
Voor de beelden is Canny AI gespecialiseerd in het vervangen van videodialogen, waarbij de mondbewegingen van een acteur worden gebruikt om de mond van iemand anders in bestaande beelden te manipuleren. De acteur fungeert met andere woorden als een poppenspeler, die nooit in het eindproduct te zien is. Het uiterlijk, geslacht, leeftijd en etniciteit van de persoon doen er niet echt toe.
Maar voor de audio zei Respeecher, die de ene stem in de andere transmuteert, dat het gemakkelijker zou zijn om te werken met een acteur met een soortgelijk register en accent als dat van Nixon. Gewapend met die kennis begonnen Panetta en Burgund op verschillende acteerforums te posten en lokale acteergroepen te e-mailen. Hun pitch: Nixon worden?
Acteur Lewis D. Wheeler bracht dagen door in de studio om de deepfake-algoritmen te trainen om zijn stem en gezicht aan die van Nixon te koppelen.
PANETTA EN BOURGONDIDit is hoe Lewis D. Wheeler, een in Boston wonende blanke mannelijke acteur, dagenlang in een studio zat te luisteren naar en fragmenten van Nixons audio te herhalen. Er waren honderden fragmenten, elk slechts een paar seconden lang, waarvan sommige niet eens volledige woorden waren, zegt hij.
De fragmenten waren afkomstig uit verschillende toespraken van Nixon, grotendeels uit zijn ontslag. Gezien de ernstige aard van de toespraak over de ramp met de maan, had Respeecher trainingsmateriaal nodig dat dezelfde sombere toon weergaf.
Het was de taak van Wheeler om elk fragment opnieuw op te nemen met zijn eigen stem, passend bij het exacte ritme en de intonatie. Deze kleine stukjes werden vervolgens ingevoerd in het algoritme van Respeecher om zijn stem aan die van Nixon te koppelen. Het was behoorlijk vermoeiend en behoorlijk nauwgezet, zegt hij, maar ook heel interessant om het steen voor steen te bouwen.
De laatste deepfake van Nixon die de toespraak 'In Event of Moon Disaster' houdt.
PANETTA EN BOURGONDIHet visuele deel van de deepfake was veel eenvoudiger. In de archiefbeelden die zouden worden gemanipuleerd, had Nixon het echte maanlandingsadres recht voor de camera afgeleverd. Wheeler hoefde alleen zijn alternatief, van begin tot eind, op dezelfde manier af te leveren, zodat de productieploeg zijn mondbewegingen in de juiste hoek kon vastleggen.
Hier begon hij als acteur dingen vertrouwder te vinden. Uiteindelijk zou zijn optreden het enige deel van hem zijn dat de finale deepfake zou halen. Dat was de meest uitdagende en meest lonende, zegt hij. Daarvoor moest ik echt in de mindset komen van, oké, waar gaat deze toespraak over? Hoe vertel je het Amerikaanse volk dat deze tragedie heeft plaatsgevonden?
Hoe voelen we ons?
Op het eerste gezicht, Zach Math, a filmproducent en regisseur , werkte aan een soortgelijk project. Hij was ingehuurd door Mischief USA, een creatief bureau, om te regisseren een paar advertenties voor een stemrechtcampagne. In de advertenties zouden deepfake versies van de Noord-Koreaanse leider Kim Jong-un en de Russische president Vladimir Poetin te zien zijn. Maar hij kwam terecht in iets heel anders dan het experiment van Panetta en Burgund.
In overleg met een deepfake-artiest, John Lee, had het team ervoor gekozen om de face-swapping-route te gaan met de open-source software DeepFaceLab . Het betekende dat de uiteindelijke advertentie de lichamen van de acteurs zou bevatten, dus ze moesten geloofwaardige body doubles casten.
De advertentie zou ook de echte stemmen van de acteurs bevatten, wat een extra castingoverweging toevoegt. Het team wilde dat de deepfake-leiders in het Engels spraken, zij het met authentieke Noord-Koreaanse en Russische accenten. Dus ging de castingdirector op jacht naar mannelijke acteurs die qua lichaamsbouw en gezichtsstructuur op elke leider leken, overeenkwamen met hun etniciteit en die overtuigende stemimitaties konden maken.
Het proces van het trainen van DeepFaceLab om het gezicht van Kim Jong-un te genereren.
MISCHIEF VSVoor Poetin was het gietproces relatief eenvoudig. Er is een overvloed aan beschikbare beelden van Poetin die verschillende toespraken houdt, waardoor het algoritme veel trainingsgegevens heeft om zijn gezicht te deepfaken en een reeks uitdrukkingen te maken. Daardoor was er meer flexibiliteit in hoe de acteur eruit kon zien, omdat de deepfake het meeste werk kon doen.
Maar voor Kim lieten de meeste beschikbare video's hem zien met een bril, die zijn gezicht verduisterde en ervoor zorgde dat het algoritme faalde. Door de trainingsopnames te beperken tot alleen de video's zonder bril, waren er veel minder trainingsvoorbeelden om van te leren. De resulterende deepfake leek nog steeds op Kim, maar zijn gezichtsbewegingen zagen er minder natuurlijk uit. Het gezicht verwisseld voor een acteur, dempte de uitdrukkingen van de acteur.
Om dat tegen te gaan, begon het team alle castingtapes van de acteurs door DeepFaceLab te laten lopen om te zien welke er het meest overtuigend uitzag. Tot hun verbazing leek de winnaar fysiek het minst op Kim, maar was hij het meest expressief.
De acteur die werd gekozen om Kim Jong-un te spelen, had de minste fysieke gelijkenis met de dictator, maar de meest expressieve uitvoering.
Om de aspecten van Kims uiterlijk aan te pakken die de deepfake niet kon repliceren, vertrouwde het team op make-up, kostuums en postproductiewerk. De acteur was bijvoorbeeld slanker dan Kim, dus lieten ze hem een dik pak dragen.
Als het erop aankwam de kwaliteit van de deepfake te beoordelen, zei Math, ging het minder om de visuele details en meer om de ervaring. Het was nooit 'ziet dat oor er raar uit?' Ik bedoel, die discussies waren er, zegt hij. Maar het was altijd als, 'leun achterover - hoe voelen we ons?'
Ze fungeerden effectief als een menselijk schild
In sommige opzichten is er weinig verschil tussen deepfake-acteren en CGI-acteren, of misschien stemacteren voor een tekenfilm. Uw gelijkenis haalt de uiteindelijke productie niet, maar het resultaat heeft nog steeds uw handtekening en interpretatie. Maar deepfake-casting kan ook de andere kant op gaan, waarbij het gezicht van een persoon wordt verwisseld voor de uitvoering van iemand anders.
Dit soort nep overtuigend maken was de taak van Ryan Laney, een visual effects-artiest die aan de HBO-documentaire van 2020 werkte Welkom in Tsjetsjenië . De film volgt activisten die hun leven riskeren om de vervolging van LGBTQ-personen in de Russische republiek te bestrijden. Velen van hen leven in het geheim uit angst voor marteling en executie.
Om hun verhalen te vertellen, beloofde regisseur David France hun identiteit te beschermen, maar hij wilde dat doen zonder hun menselijkheid te verliezen. Na talloze oplossingen te hebben uitgeprobeerd, kwam zijn team uiteindelijk terecht op deepfakes. Hij werkte samen met Laney, die een algoritme ontwikkelde dat het ene gezicht op het andere overlapte met behoud van de uitdrukkingen van de laatste.
Links: Maxim Lapunov, de hoofdpersoon in de documentaire die halverwege de film naar buiten gaat. Rechts: een Latino LGBTQ-activist die zich vrijwillig aanmeldde om Maxim's schild te zijn.
UW MEDIAHet castingproces was dus niet een zoektocht naar performers maar naar 23 mensen die hun gezicht wilden lenen. Frankrijk vroeg uiteindelijk LGBTQ-activisten om zich als dekmantel aan te melden. Hij kwam er niet op uit wie de beste acteur is, maar wie de mensen zijn die in de zaak geïnteresseerd zijn, zegt Laney, omdat ze in feite als een menselijk schild fungeerden.
Het team scoutte de actievoerders via evenementen en Instagramposts op basis van hun uiterlijk. Elk bedekkend gezicht moest er voldoende anders uitzien dan de persoon die gemaskeerd werd, terwijl het ook in overeenstemming was met bepaalde kenmerken. Gezichtshaar, kaaklijnen en neuslengte moesten bijvoorbeeld ongeveer overeenkomen, en elk paar moest ongeveer dezelfde leeftijd hebben om het gezicht van de dekmantel er natuurlijk uit te laten zien op het lichaam van de oorspronkelijke persoon.
Links: Maxim's ontmaskerde gezicht. Rechts: Maxim met zijn deepfake omslag.
UW MEDIAHet team kwam echter niet altijd overeen met etniciteit of geslacht. Het hoofdpersonage, Maxim Lapunov, die blank is, werd afgeschermd door een Latino-activist, en een vrouwelijk personage werd afgeschermd door een activist die zich niet aan het geslacht houdt.
Tijdens het hele proces hebben Frankrijk en Laney ervoor gezorgd dat alle partijen volledig geïnformeerde toestemming kregen. De onderwerpen van de film kregen het werk te zien voordat David het uitbracht, zegt Laney. Iedereen moest zijn eigen omslag ondertekenen om er zeker van te zijn dat ze zich op hun gemak voelden.
Het zet mensen gewoon aan het denken
Hoewel geprofessionaliseerde deepfakes de grenzen van kunst en creativiteit hebben verlegd, roept hun bestaan ook lastige ethische vragen op. Er zijn momenteel geen echte richtlijnen voor het labelen van bijvoorbeeld deepfakes, of waar de grens tussen satire en desinformatie valt.
Voorlopig vertrouwen kunstenaars en filmmakers op een persoonlijk besef van goed en kwaad. Frankrijk en Laney voegden bijvoorbeeld een disclaimer toe aan het begin van de documentaire waarin stond dat sommige personages ter bescherming digitaal waren vermomd. Ze voegden ook zachte randen toe aan de gemaskerde individuen om ze te onderscheiden. We wilden niemand verbergen zonder het publiek te vertellen, zegt Laney.
Stephanie Lepp, een artiest en producer die deepfakes maakt voor politiek commentaar, markeert op dezelfde manier haar video's vooraf om duidelijk te maken dat ze nep zijn. In haar serie Diepe afrekeningen , waarin krachtige figuren zoals Mark Zuckerberg zich verontschuldigen voor hun acties, gebruikte ze ook stemacteurs in plaats van deepfake-audio om het project verder te onderscheiden als satirisch en niet bedrieglijk.
Andere projecten waren terughoudender, zoals die van Barnaby Francis, een kunstenaar-activist die werkt onder het pseudoniem Bill Posters. In de loop der jaren heeft Francis politici als Boris Johnson en beroemdheden zoals Kim Kardashian , allemaal in de naam van onderwijs en satire. Sommige video's zijn echter alleen extern gelabeld, bijvoorbeeld in het bijschrift wanneer Francis ze op Instagram plaatst. Als ze uit die context worden gehaald, lopen ze het risico kunst en realiteit te vertroebelen, wat hem soms heeft geleid tot... gevaarlijk territorium .
Bekijk dit bericht op InstagramEen bericht gedeeld door Bill-posters (@bill_posters_uk) op 1 juni 2019 om 3:47 uur PDT
Bekijk dit bericht op InstagramEen bericht gedeeld door Bill-posters (@bill_posters_uk) op 11 november 2019 om 23:55 PST
Er zijn ook weinig regels over wiens beelden en spraak kunnen worden gemanipuleerd - en weinig bescherming voor acteurs achter de schermen. Tot nu toe zijn de meeste professionele deepfakes gebaseerd op beroemde mensen en gemaakt met duidelijke, constructieve doelen, zodat ze wettelijk beschermd zijn in de VS onder satirewetten. In het geval van Mischief's Putin en Kim deepfakes zijn de acteurs echter anoniem gebleven om redenen van persoonlijke veiligheid, zei het team, vanwege het controversiële karakter van het manipuleren van de beelden van dictators.
Omdat ze weten hoe amateur-deepfakes zijn gebruikt om vrouwen te misbruiken, manipuleren en lastig te vallen, maken sommige makers zich ook zorgen over de richting die dingen zouden kunnen uitgaan. Er zijn veel mensen die op de trein stappen die zich niet echt ethisch of moreel zorgen maken over wie hun klanten zijn, waar dit kan verschijnen en in welke vorm, zegt Francis.
Ondanks deze lastige vragen zijn veel artiesten en filmmakers er echter van overtuigd dat deepfakes een blijvend fenomeen moeten zijn. Ethisch gebruikt, vergroot de technologie de mogelijkheden van kunst en kritiek, provocatie en overtuiging. Het zet mensen alleen maar aan het denken, zegt Francis. Het is de perfecte kunstvorm voor dit soort absurdistische, bijna surrealistische tijden die we meemaken.