'S Werelds beste deepfake-artiest worstelt met het monster dat hij heeft gemaakt

Het is juni in Dalian, China, een stad op een schiereiland dat uitsteekt in de Gele Zee, een paar honderd kilometer van Peking in de ene richting en van de Noord-Koreaanse grens in de andere. Hao Li staat in een spelonkachtig, hoekig gebouw dat gemakkelijk het hol van een Bond-schurk kan zijn. Buiten is het bloedheet en de beveiliging is streng. De jaarlijkse conferentie van het World Economic Forum is in de stad.

In de buurt van Li stappen politici en CEO's van over de hele wereld om de beurt een hokje binnen. Binnen lachen ze terwijl hun gezicht verandert in dat van een beroemd persoon: Bruce Lee, Neil Armstrong of Audrey Hepburn. De truc gebeurt in realtime en het werkt bijna foutloos.

De opmerkelijke machine voor het wisselen van gezichten is niet alleen opgezet om de rijken en machtigen van de wereld af te leiden en te amuseren. Li wil dat deze machtige mensen nadenken over de gevolgen die video's die met AI zijn bewerkt - deepfakes - voor hen en voor de rest van ons kunnen hebben.

Verkeerde informatie is al lang een populair instrument van geopolitieke sabotage, maar sociale media hebben raketbrandstof in de verspreiding van nepnieuws gespoten. Wanneer nep-videobeelden net zo gemakkelijk te maken zijn als nepnieuwsartikelen, is het een virtuele garantie dat het zal worden bewapend. Wil je een verkiezing beïnvloeden, de carrière en reputatie van een vijand ruïneren of etnisch geweld aanwakkeren? Het is moeilijk om je een effectiever voertuig voor te stellen dan een clip die ziet er uit authentiek, verspreidt zich als een lopend vuurtje via Facebook, WhatsApp of Twitter, sneller dan mensen kunnen bedenken dat ze zijn gedupeerd.

Als pionier van digitale fakery maakt Li zich zorgen dat deepfakes nog maar het begin zijn. Ondanks dat hij heeft geholpen een tijdperk in te luiden waarin onze ogen niet altijd te vertrouwen zijn, wil hij zijn vaardigheden gebruiken om iets te doen aan het dreigende probleem van alomtegenwoordige, bijna perfecte videobedrog.

De vraag is: is het misschien al te laat?

De werkelijkheid herschrijven

Li is niet je typische deepfaker. Hij loert niet op Reddit nep porno posten of heropnamen van beroemde films aangepast om Nicolas Cage te spelen . Hij heeft zijn carrière besteed aan het ontwikkelen van geavanceerde technieken om gezichten gemakkelijker en overtuigender te smeden. Hij heeft ook met enkele van de beroemdste gezichten ter wereld geknoeid voor moderne blockbusters, miljoenen mensen voor de gek gehouden door te geloven in een glimlach of een knipoog die er nooit was. Terwijl hij op een middag vanuit zijn kantoor in Los Angeles via Skype praat, vermeldt hij terloops dat Will Smith onlangs langskwam voor een film waaraan hij werkt.

Acteurs komen vaak naar het lab van Li aan de University of Southern California (USC) om hun beeltenis digitaal te laten scannen. Ze worden in een bolvormige reeks lichten en machine vision-camera's geplaatst om de vorm van hun gezicht, gezichtsuitdrukkingen en huidskleur en textuur vast te leggen tot op het niveau van individuele poriën. Een team met speciale effecten dat aan een film werkt, kan vervolgens scènes manipuleren die al zijn opgenomen, of zelfs een acteur toevoegen aan een nieuwe in de postproductie.

Met dank aan Hao Li

Dergelijke digitale misleiding is nu gebruikelijk in films met een groot budget. Achtergronden worden vaak digitaal weergegeven en het is gebruikelijk dat het gezicht van een acteur in een actiescène op dat van een stuntpersoon wordt geplakt. Dat leidde tot adembenemende momenten voor bioscoopbezoekers, zoals toen een tienerprinses Leia kort verscheen aan het einde van Rogue One: Een Star Wars-verhaal , hoewel de actrice die Leia had gespeeld, Carrie Fisher, bijna 60 was toen de film werd opgenomen.

Om deze effecten er goed uit te laten zien, is normaal gesproken aanzienlijke expertise en miljoenen dollars nodig. Maar dankzij de vooruitgang in kunstmatige intelligentie is het nu bijna triviaal om twee gezichten in een video te verwisselen, met niets krachtigers dan een laptop. Met een beetje extra knowhow kun je een politicus, een CEO of een persoonlijke vijand alles laten zeggen of doen wat je wilt (zoals in de video bovenaan het verhaal, waarin Li de gelijkenis van Elon Musk op mijn gezicht in kaart bracht).

Een geschiedenis van bedrog

Persoonlijk ziet Li er meer cyberpunk uit dan Sunset Strip. Zijn haar is geschoren tot een Mohawk die aan één kant naar beneden valt, en hij draagt ​​vaak een zwart T-shirt en een leren jack. Als hij spreekt, heeft hij de vreemde gewoonte om met zijn ogen te knipperen op een manier die verraadt dat hij 's avonds laat in de warme gloed van een computerscherm doorbrengt. Hij is niet verlegen om de genialiteit van zijn technologie aan te prijzen, of wat hij in de maak heeft. Tijdens gesprekken haalt hij graag een smartphone tevoorschijn om je iets nieuws te laten zien.

Met dank aan Hao Li

Li groeide op in Saarbrücken, Duitsland, als zoon van Taiwanese immigranten. Hij ging naar een Frans-Duitse middelbare school en leerde vloeiend vier talen spreken (Frans, Duits, Engels en Mandarijn). Hij herinnert zich het moment dat hij besloot zijn tijd te besteden aan het vervagen van de grens tussen realiteit en fantasie. Het was 1993, toen hij een enorm dinosaurushout in zicht zag in Steven Spielberg's Jurassic Park . Terwijl de acteurs naar het door de computer gegenereerde beest staarden, begreep Li, toen 12, wat technologie zojuist mogelijk had gemaakt. Ik realiseerde me dat je nu eigenlijk alles kunt creëren, zelfs dingen die niet eens bestaan, herinnert hij zich.

Li promoveerde aan de ETH Zürich, een prestigieuze technische universiteit in Zwitserland, waar een van zijn adviseurs hem herinnert als zowel een briljante student als een onverbeterlijke grappenmaker. Video's bij academische papers bevatten soms minder vleiende karikaturen van zijn leraren.

De broers van Paul Walker leverden een sjabloon voor zijn digitale gelijkenis in Furious 7. Weta Digital

Kort nadat hij bij USC kwam, creëerde Li gezichtsvolgtechnologie die werd gebruikt om een ​​digitale versie te maken van wijlen acteur Paul Walker voor de actiefilm Woedend 7 . Het was een grote prestatie, aangezien Walker, die halverwege de opnames omkwam bij een auto-ongeluk, niet vooraf was gescand en zijn personage in zoveel scènes moest verschijnen. Li's technologie werd gebruikt om het gezicht van Walker op de lichamen van zijn twee broers te plakken, die om de beurt in zijn plaats acteerden in meer dan 200 scènes.

De film, die $ 1,5 miljard opbracht aan de kassa, was de eerste die zo sterk afhankelijk was van een digitaal opnieuw gecreëerde ster. Li noemt Walkers virtuele rol als hij het heeft over hoe goed videotrucjes aan het worden zijn. Zelfs ik kan niet zien welke nep zijn, zegt hij hoofdschuddend.

virtueel Jij

In 2009, minder dan een decennium voordat deepfakes opkwamen, ontwikkelde Li een manier om het gezicht van een persoon in realtime vast te leggen en te gebruiken om een ​​virtuele pop te bedienen. Dit omvatte het gebruik van de nieuwste dieptesensoren en nieuwe software om dat gezicht en zijn uitdrukkingen in kaart te brengen op een masker gemaakt van vervormbaar virtueel materiaal.

Een voorbeeld van op markeringen gebaseerde gezichtstracking. Faceware-technologieën

Het belangrijkste was dat de aanpak werkte zonder dat er tientallen bewegingsmarkeringsmarkeringen aan het gezicht van een persoon moesten worden toegevoegd, een standaardtechniek in de industrie voor het volgen van gezichtsbewegingen. Li droeg bij aan de ontwikkeling van software genaamd Faceshift, die later zou worden gecommercialiseerd als een spin-off van de universiteit. Het bedrijf werd in 2015 door Apple overgenomen en de technologie ervan werd gebruikt om de Animoji-software te maken waarmee je jezelf in een eenhoorn of een pratende hoop kak kunt veranderen op de nieuwste iPhones.

Li en zijn studenten hebben tientallen artikelen gepubliceerd over onderwerpen als avatars die bewegingen van het hele lichaam nabootsen, zeer realistisch virtueel haar en een gesimuleerde huid die uitrekt zoals de echte huid doet. De afgelopen jaren heeft zijn groep gebruikgemaakt van de vooruitgang op het gebied van machine learning en vooral deep learning, een manier om computers te trainen om dingen te doen met behulp van een groot gesimuleerd neuraal netwerk. Zijn onderzoek is ook toegepast op de geneeskunde, waardoor hij manieren heeft ontwikkeld om tumoren in het lichaam te volgen en de eigenschappen van botten en weefsel te modelleren.

Tegenwoordig verdeelt Li zijn tijd tussen lesgeven, consultancy voor filmstudio's en het runnen van een nieuwe startup, Pinscreen. Het bedrijf gebruikt meer geavanceerde AI dan achter deepfakes om virtuele avatars te maken. zijn app verandert een enkele foto in een fotorealistische 3D-avatar in een paar seconden. Het maakt gebruik van machine learning-algoritmen die zijn getraind om het uiterlijk van een gezicht op een 3D-model in kaart te brengen met behulp van vele duizenden stilstaande beelden en bijbehorende 3D-scans. Het proces is verbeterd met behulp van zogenaamde generatieve adversariële netwerken of GAN's (die niet worden gebruikt voor de meeste deepfakes). Dit betekent dat het ene algoritme nepafbeeldingen moet maken terwijl een ander beoordeelt of ze nep zijn, een proces dat de vervalsing geleidelijk verbetert. Je kunt je avatar gekke dansen laten uitvoeren en verschillende outfits laten passen, en je kunt de gezichtsuitdrukkingen van de avatar in realtime besturen met je eigen gezicht via de camera op je smartphone.

Een voormalige werknemer, Iman Sadeghi, klaagt Pinscreen aan omdat hij een presentatie van de technologie op de SIGGRAPH-conferentie in 2017 heeft vervalst. MIT Technology Review heeft brieven gezien van verschillende experts en SIGGRAPH-organisatoren die deze beweringen afwijzen.

Pinscreen werkt samen met verschillende grote kledingwinkels die hun technologie zien als een manier om mensen kleding te laten passen zonder een fysieke winkel te hoeven bezoeken. De technologie kan ook groot zijn voor videoconferenties, virtual reality en gaming. Stel je een Fortnite-personage voor dat niet alleen op jou lijkt, maar ook op dezelfde manier lacht en danst.

Avatars gemaakt met de Pin Screen-app. Met dank aan Hao Li

Onder de digitale dwaasheid schuilt echter een belangrijke trend: AI maakt geavanceerde beeldmanipulatie in hoog tempo de provincie van de smartphone in plaats van de desktop. FaceApp, ontwikkeld door een bedrijf in Sint-Petersburg, Rusland, heeft miljoenen gebruikers en recente controverse getrokken door een manier aan te bieden om met één klik een gezicht op je telefoon te veranderen. Je kunt een glimlach toevoegen aan een foto, oneffenheden verwijderen of knoeien met je leeftijd of geslacht (of die van iemand anders). Tientallen andere apps bieden vergelijkbare manipulaties met één klik op de knop.

Niet iedereen is enthousiast over het vooruitzicht dat deze technologie alomtegenwoordig wordt. Li en anderen proberen in feite one-image, mobiele en realtime deepfakes te maken, zegt Sam Gregory, directeur van Witness, een non-profitorganisatie die zich richt op video en mensenrechten. Dat is het dreigingsniveau dat me zorgen baart, wanneer het iets wordt dat minder gemakkelijk te controleren is en toegankelijker is voor een reeks actoren.

Gelukkig zien de meeste deepfakes er nog een beetje uit. Een flikkerend gezicht, een wankel oog of een vreemde huidskleur zorgen ervoor dat ze gemakkelijk te herkennen zijn. Maar net zoals een expert dergelijke fouten kan verwijderen, belooft vooruitgang in AI ze automatisch glad te strijken, waardoor de nepvideo's zowel eenvoudiger te maken als moeilijker te detecteren zijn.

Zelfs als Li doorgaat met digitale vervalsing, heeft hij ook last van mogelijke schade. We zitten voor een probleem, zegt hij.

Bedriegers vangen

Amerikaanse beleidsmakers maken zich vooral zorgen over hoe deepfakes kunnen worden gebruikt om overtuigender nepnieuws en verkeerde informatie te verspreiden in de aanloop naar de presidentsverkiezingen van volgend jaar. Eerder deze maand vroeg de House Intelligence Committee Facebook, Google en Twitter hoe ze van plan waren om te gaan met de dreiging van deepfakes. Elk bedrijf zei dat het aan het probleem werkte, maar geen enkele bood een oplossing.

DARPA, het goed gefinancierde onderzoeksbureau van het Amerikaanse leger, maakt zich ook zorgen over de opkomst van digitale manipulatie. In 2016, voordat deepfakes een ding werden, lanceerde DARPA een programma genaamd Media Forensics, of MediFor, om digitale forensische experts aan te moedigen geautomatiseerde tools te ontwikkelen voor het opvangen van gemanipuleerde beelden. Een menselijke expert kan een reeks methoden gebruiken om fotografische vervalsingen op te sporen, van het analyseren van inconsistenties in de gegevens van een bestand of de kenmerken van specifieke pixels tot het zoeken naar fysieke inconsistenties zoals een misplaatste schaduw of een onwaarschijnlijke hoek.

MediFor richt zich nu grotendeels op het spotten van deepfakes. Detectie is fundamenteel moeilijker dan creëren, omdat AI-algoritmen kunnen leren dingen te verbergen die vervalsingen weggeven. Vroege deepfake-detectiemethoden omvatten het volgen van onnatuurlijk knipperen en vreemde lipbewegingen. Maar de nieuwste deepfakes hebben al geleerd om dergelijke glitches automatisch weg te werken.

Eerder dit jaar vroeg Matt Turek, DARPA-programmamanager voor MediFor, Li om zijn vervalsingen aan de MediFor-onderzoekers te demonstreren. Dit leidde tot een samenwerking met Hany Farid, een professor aan UC Berkeley en een van 's werelds meest vooraanstaande autoriteiten op het gebied van digitaal forensisch onderzoek. Het paar is nu bezig met een digitaal kat-en-muisspel, waarbij Li deepfakes ontwikkelt die Farid kan vangen, en ze vervolgens verfijnt om detectie te ontwijken.

Farid, Li en anderen onlangs een paper uitgebracht een nieuwe, krachtigere manier om deepfakes te spotten. Het draait om het trainen van een machine learning-algoritme om de eigenaardigheden van de gezichtsuitdrukkingen en hoofdbewegingen van een specifiek individu te herkennen. Als u eenvoudig iemands beeltenis op een ander gezicht plakt, worden die functies niet overgedragen. Er zou veel computerkracht en trainingsgegevens nodig zijn, d.w.z. afbeeldingen of video van de persoon, om een ​​deepfake te maken die deze kenmerken bevat. Maar op een dag zal het mogelijk zijn. Technische oplossingen zullen aan de defensieve kant blijven verbeteren, zegt Turek. Maar zal dat perfect zijn? Ik betwijfel het.

Pixel perfect

Terug in Dalian is het duidelijk dat mensen beginnen te ontwaken voor het gevaar van deepfakes. De ochtend voordat ik Li ontmoette, was een Europese politicus het face-swap-hokje binnengestapt, alleen voor zijn oppassers om hem tegen te houden. Ze waren bang dat het systeem zijn gelijkenis in detail zou vastleggen, waardoor het voor iemand gemakkelijker zou worden om nepclips van hem te maken.

Een medewerker van Pinscreen demonstreert een live face-swap-systeem op de conferentie van het World Economic Forum in Dalian, China in juli. Met dank aan Hao Li

Terwijl hij kijkt hoe mensen de stand gebruiken, vertelt Li me dat er geen technische reden is waarom deepfakes detecteerbaar zouden moeten zijn. Video's zijn gewoon pixels met een bepaalde kleurwaarde, zegt hij.

Ze perfect maken is slechts een kwestie van tijd en middelen, en zoals zijn samenwerking met Farid laat zien, wordt het steeds gemakkelijker. We zijn getuige van een wapenwedloop tussen digitale manipulaties en het vermogen om die te detecteren, zegt hij, met vorderingen van op AI gebaseerde algoritmen die beide kanten katalyseren.

Het slechte nieuws, denkt Li, is dat hij uiteindelijk zal winnen. Over een paar jaar, schat hij, kunnen niet-detecteerbare deepfakes met een klik worden gemaakt. Wanneer dat punt komt, zegt hij, moeten we ons ervan bewust zijn dat niet elke video die we zien waar is.

zich verstoppen