Het nieuwe gezicht van Hollywood

Bovenop een verhoogde trein die door Downtown raast, zit de gemaskerde man in het rood met blauwe pak in de problemen.

Hij vecht niet alleen tegen een gekke wetenschapper die hem probeert te doden met robottentakels, maar hij moet ook de passagiers in de trein redden. Het is allemaal dagelijkse kost voor superheld Peter Parker, ook wel bekend als Spider-Man, maar het betekent maandenlang werk voor een eliteteam van grafische goeroes.

Dit verhaal maakte deel uit van ons nummer van september 2004

• Zie de rest van het probleem
• Abonneren

Deze actiescène uit de megahit Spider-Man 2 heeft deze zomer miljoenen bioscoopbezoekers verbluft. Kijk goed naar de schurk, Doctor Octopus (gespeeld door acteur Alfred Molina), en je zult hem maniakaal zien grijnzen en schreeuwen terwijl hij langs de bovenkant en zijkanten van de trein loopt. Later in de scène verliest Spider-Man (Tobey Maguire) zijn masker terwijl hij zich schrap zet tegen de voorkant van de trein, waardoor deze krijsend tot stilstand komt. Zijn uitzinnige gezichtsuitdrukkingen komen overtuigend natuurlijk over.

Met al het snelle doorsnijden tussen afbeeldingen van superheld en schurk, vermoedt het publiek waarschijnlijk niet dat de gezichten en figuren die vaak op het scherm verschijnen niet echt zijn. Het zijn eerder digitale brouwsels die in een computer zijn gemaakt bij Sony Pictures Imageworks in Culver City, CA.

We hebben een punt bereikt waarop we alles computergegenereerd kunnen maken. Alles, van het verbrijzelde glas in de trein tot alle gebouwen, sporen en mensen, zegt Mark Sagar, een grafisch supervisor bij Spider-Man 2 en de resident-expert van Imageworks op het gebied van digitale menselijke gezichten. Hij wijst naar de treinreeks die op zijn computerscherm wordt afgespeeld. Kijk wat de camera doet. Hier gaat het snel langs de trein, dan onder de artiesten door, dan voor hen, dan een wijd schot. Hoe zou je dat kunnen doen met een echte camera? Maar de digitale gezichten op de mensen zijn het laatste, cruciale stukje van deze puzzel. In het verleden vereiste het samenvoegen van beelden van echte acteurs in een digitale scène echte camera's, moeilijk stuntwerk en aanpassingen om het uiterlijk van de echte en digitale beelden overeen te laten komen; de mogelijkheid om door de computer gegenereerde alles te doen, inclusief menselijke gezichten, opent een schat aan creatieve mogelijkheden.

Fotorealistische digitale gezichten - die voor echt kunnen doorgaan in foto's of op het grote scherm - behoren tot de laatste grenzen van computergraphics. Tot voor kort zagen digitale gezichten er bij nader inzien nep uit en zijn daarom gedegradeerd tot snelle uitsnedes en achtergrondopnamen. Het probleem is dat we buitengewoon gevoelig zijn voor hoe menselijke gezichten eruit moeten zien; het is veel gemakkelijker om mensen voor de gek te houden met een computergegenereerde T. rex dan met een digitale mens. Maar dankzij de vooruitgang in het renderen van skins, het belichten van digitale scènes en het analyseren van beelden van echte acteurs ter referentie, kunnen artiesten en programmeurs nu de textuur en beweging van elk klein stukje pixels in een geautomatiseerd gezicht controleren. Het Sony-team hoopt dat het publiek het verschil tussen Tobey Maguire en zijn digitale dubbelganger niet zal kunnen zien – misschien wel de eerste keer dat een dergelijke waarheidsgetrouwheid is bereikt.

De inzet is enorm. Digitale effecten zijn een miljardenbusiness en groeien snel; tegenwoordig kan het budget van een typische blockbusterfilm $ 150 miljoen zijn, waarvan de helft naar effectenbedrijven gaat. Spider-Man 2 is inderdaad slechts één voorbeeld van Hollywoods toenemende gebruik van geavanceerd grafisch onderzoek om betere digitale acteurs te creëren, van stuntdubbels van Neo en de veelheid van Agent Smiths in de Matrix-films tot Gollum in de Lord of the Rings-serie . Het heeft het punt bereikt waarop de industrie grappen maakt over het vervangen van acteurs door computers (het uitgangspunt van de film S1m0ne uit 2002). En Sony Pictures Imageworks, opgericht in 1992 en met meer dan 40 speelfilms op zijn naam, behoort tot de voorhoede van effectenhuizen die strijden om de zaken van grote studio's (zie Making Faces).

Maar het echte voordeel van digitale acteurs is niet het vervangen van live-acteurs: het levert scènes op die kijkers naar plaatsen brengen waar geen echte acteur of camera-opstelling zou kunnen komen. Het geeft regisseurs meer flexibiliteit en stelt hen in staat om acties uit te voeren die ze niet kunnen doen met echte stuntmensen, zegt Scott Stokdyk, de supervisor voor visuele effecten bij Imageworks die verantwoordelijk is voor de Spider-Man-serie. In het verleden hebben regisseurs en redacteuren de snit rond verschillende snelle acties en camerahoeken gemasseerd om een ​​verhaal over te brengen, zegt Stokdyk. Nu hebben ze dat soort limieten niet. Zo bevrijd kunnen regisseurs synthetische acteurs volgen terwijl ze rond wolkenkrabbers vliegen en kogels ontwijken in meeslepende slow motion. Bovendien kunnen acteurs digitaal ouder worden of ouder worden, zonder dat ze uren in make-up hoeven te zitten. Lang overleden filmsterren zouden zelfs digitaal tot leven kunnen worden gewekt.

En films zijn nog maar het begin. Technieken voor het creëren van digitale mensen verleggen de bredere grens van computergraphics en interfaces. Deze inspanningen zouden kunnen leiden tot opvallend realistische simulaties van medische trainingen, levensechte avatars voor e-mail en internetchatrooms, en binnenkort veel boeiendere personages in games en interactieve films. De technologie, zegt Sagar, is absoluut klaar voor prime time.

Virtueel gezicht

Mark Sagar is altijd heen en weer geslingerd tussen kunst en wetenschap. Na zijn studie bracht hij drie jaar de wereld rond om portretten te schetsen voor de kost. Maar door de technologische snufjes keerde hij terug naar de graduate school in zijn geboorteland Nieuw-Zeeland om techniek te studeren. Ik had nooit gedacht dat ik jaren van mijn leven zou besteden aan het bestuderen van het menselijk gezicht, geeft hij toe, zittend in zijn kantoor bij Imageworks, omringd door boeken en papieren over visuele waarneming.

Het horen van Sagar die het menselijke gezicht beschrijft als een meerkanaals signaleringsapparaat suggereert dat de wetenschappelijke en technische kant van hem het heeft gewonnen. Door de wetenschap achter gezichten te begrijpen, zegt hij, kan hij de boodschap van een digitaal personage effectiever op het scherm overbrengen. Uitdrukkingen zoals neergeslagen ogen, een gefronst voorhoofd of een gekrulde lip duiden op iemands emotionele toestand en geven aanwijzingen voor zijn of haar bedoelingen.

Sagars pad naar Hollywood opende zich bijna per ongeluk. Halverwege de jaren negentig ontwikkelde hij als afgestudeerde student aan de Universiteit van Auckland en als postdoctoraal onderzoeker aan het MIT computersimulaties van het menselijk oog en gezicht waarmee artsen in opleiding chirurgische technieken konden leren. Zijn simulaties zagen er zo echt uit dat een team van dotcom-ondernemers hem ervan overtuigde om samen een grafische startup op te richten, LifeFX genaamd, in Newton, MA. Haar missie: software commercialiseren die iedereen, van filmmakers tot internetbedrijven en e-mailproviders, zou kunnen gebruiken om fotorealistische afbeeldingen van mensen te maken.

Sagar werd al snel een toonaangevende autoriteit op het gebied van digitale gezichten voor entertainment. In 1999 kwam hij naar Los Angeles om te werken aan

computergegenereerde gezichtsanimaties voor films, waaronder die van acteur Jim Carrey. Paul Debevec, een grafisch onderzoeker die naam maakte met het creëren van virtuele omgevingen en het bevorderen van digitale verlichtingstechnieken, zag Sagars films op een conferentie en was geïntrigeerd: hij had nog nooit nepgezichten gezien die er van dichtbij zo overtuigend uitzagen. Dat was het moment waarop ik de drempel overschreed om echt te geloven dat er in de komende vijf jaar een fotorealistisch computergrafisch gezicht zou verschijnen, zegt Debevec, die nu verbonden is aan het Institute for Creative Technologies aan de University of Southern California (zie Hollywood's Master of Light, TR maart 2004).

De twee wetenschappers gingen een samenwerking aan en gebruikten Debevec's verlichtingstechnieken om Sagars digitale gezichten weer te geven - een combinatie die hen snel naar de voorgrond van het veld katapulteerde. Het blijkt dat als je een gezicht probeert te simuleren, het een groot probleem is om de juiste verlichting te krijgen. In tegenstelling tot eerdere computersimulaties die er in verschillende contexten vreemd uitzagen en met vallen en opstaan ​​moesten worden aangepast, konden de gezichten van Sagar en Debevec worden aangepast aan de verlichting in elke scène. Dat komt omdat ze zijn gebouwd met behulp van een rijke database van echte gezichten gefotografeerd vanuit verschillende hoeken en verlicht door veel verschillende combinaties van licht. Toen LifeFX in 2002 stopte, greep Imageworks Sagar speciaal voor zijn expertise in gezichten.

Hij begon meteen te werken aan de eerste speelfilmtest van deze technieken: Spider-Man 2. De actiescènes in de film vereisten gedetailleerde en expressieve simulaties van de gezichten van bekende acteurs - een bijzonder lastig probleem, zegt Sagar. Het publiek is niet alleen snel geneigd om ersatz menselijke gezichten in het algemeen af ​​te wijzen, maar ze zijn ook bijzonder gevoelig voor gezichten die ze herkennen; elke discrepantie tussen digitaal en echt kan als nep worden beschouwd. Om de simulaties te laten werken, hadden de onderzoekers veel referentiebeelden nodig van de echte acteurs onder verschillende lichtomstandigheden.

Dus Maguire en Molina brachten elk een dag door in het laboratorium van Debevec. Onder toezicht van onderzoeksprogrammeur Tim Hawkins zaten ze in een speciaal apparaat dat een lichtpodium wordt genoemd, terwijl vier fotocamera's honderden beelden van hun hoofd en gezicht vastlegden en een verscheidenheid aan uitdrukkingen maakten en verlicht door flitsers vanuit elke mogelijke hoek. De acteurs lieten ook laserscans en gipsafdrukken maken van hun hoofd en gezicht, zodat digitale 3D-modellen met hoge resolutie van hun gelijkenissen op computers konden worden gebouwd.

Bij Imageworks schreven Sagar en zijn team gebruiksvriendelijke software zodat tientallen artiesten de gigabytes aan beeldgegevens konden gebruiken zonder te verzanden in technische details. Om de treinsequentie er goed uit te laten zien, combineerde Sagars software bijvoorbeeld beelden van Debevecs opstelling tot composieten die overeenkwamen met de echte verlichting op de filmset, en bracht de composieten vervolgens in kaart op 3D-computermodellen van de acteurs. Om de gezichten te laten bewegen, manipuleerden animators de modellen frame voor frame, waarbij ze bestaande foto's en video's van de acteurs als een ruwe gids gebruikten. De software berekende lichtveranderingen op basis van hoe de gezichtsmodellen vervormden - en verlichtte de digitale huid dienovereenkomstig. Het resultaat: synthetische acteurs die eruitzien als Maguire en Molina (afgewisseld met de acteurs van vlees en bloed) zoeven door de lucht, rond wolkenkrabbers, over treinen en onder water, de hele tijd emotie.

Imageworks is een goed voorbeeld van hoe effecthuizen nieuw onderzoek sneller in hun productiepijplijnen integreren dan een paar jaar geleden. (Hoewel het publiek misschien versteld staat van wat er de laatste tijd op de multiplex is verschenen, is de fundamentele grafische technologie in films in de jaren negentig niet veel veranderd.) Vroeger was er een zeer lange vertraging. Er zou iets worden ontwikkeld, en dan zou je tien jaar wachten tot een softwarebedrijf het commercialiseert, zegt J.P. Lewis, een expert op het gebied van graphics en animatie aan het Computer Graphics and Immersive Technology-lab van de University of Southern California. Nu denk ik dat bedrijven zich veel meer bewust zijn van onderzoek en dat ze er veel sneller op inspringen.

Tijdens een wandeling door de donkere gangen van Imageworks dit voorjaar is het team druk bezig om de laatste hand te leggen aan de meer dan 800 effectshots voor Spider-Man 2. Het is een jong, hip publiek met een modieuze bril en aandenkens uit de film op hun bureau. – foto's, actiefiguren, een afgietsel van Tobey Maguire's gezicht. Op de dag dat hij zijn laatste opname voor de film verzendt, betreurt supervisor voor visuele effecten Stokdyk dat er geen tijd meer is. De grootste uitdaging, zegt hij, was het vermengen van Molina's soms echte, soms digitale gezicht met zijn Doc Ock-kostuum en stripboekachtige omgeving. De werkelijkheid evenaren, verzucht hij, is bijna onmogelijk.

Zet je gamegezicht op

Inderdaad, ondanks de miljoenen dollars die aan het probleem zijn gegooid, hebben digitale menselijke gezichten nog een lange weg te gaan. Wat er nog moet gebeuren, lijken misschien incrementele stappen - oogbewegingen minder robotachtig maken, veranderingen in de bloedstroom vastleggen zodat de wangen rood worden, de huid op de juiste manier laten rimpelen tijdens een glimlach - maar ze kloppen. De laatste 20 procent zou 80 procent van onze tijd kunnen kosten om het goed te doen - maar we zitten zeker in die laatste 20 procent, zegt Darin Grant, directeur technologie bij Digital Domain in Venice, CA, die karakteranimaties deed voor deze zomer's I, Robot.

Uiteindelijk zal het commerciële publiek beslissen over de waarde van deze digitale dubbels. De ultieme test van wat we doen, is hoe het eruit ziet op het scherm en hoe het zich vertaalt naar productie, zegt Grant. Zijn collega Brad Parker, een supervisor voor visuele effecten en regisseur bij Digital Domain, stelt dat digitale mensen steeds meer winst zullen gaan opleveren voor filmmakers - en voor de grafische gemeenschap. Het is een groot probleem, zegt hij. Het combineert alles wat moeilijk is aan computergraphics.

Waarom het zo'n moeilijk probleem is - precies wat onze ogen als verkeerd detecteren bij een digitale mens - is nog niet goed begrepen. Maar de grafische onderzoekers van de Universiteit van Zuid-Californië, Lewis en Ulrich Neumann, proberen erachter te komen. In recente experimenten toonde hun groep een glimp van echte en digitale gezichten aan vrijwilligers om te zien of ze het verschil konden zien. De resultaten waren opvallend – en frustrerend. We hebben een jaar aan deze gezichten gewerkt, maar we konden mensen geen kwart seconde voor de gek houden, zegt Lewis. Hij voorspelt dat dit werk zal leiden tot statistische modellen van hoe echte menselijke gezichten zich gedragen, wat op zijn beurt zal resulteren in softwaretools die kunstenaars kunnen gebruiken om personages hun ogen net zo te laten bewegen of om uitdrukkingen te veranderen op andere subtiele manieren die van vitaal belang kunnen zijn voor de geloofwaardigheid.

Dergelijke vorderingen zouden een dramatische impact moeten hebben. Steve Sullivan, directeur van onderzoek en ontwikkeling bij Industrial Light and Magic in San Rafael, CA, zegt dat we waarschijnlijk over 10 jaar terugkijken en denken dat de digitale dubbelgangers van vandaag er vreselijk primitief uitzien.

En het zullen niet alleen films zijn die een facelift krijgen. Dezelfde grafische simulatietools die filmmakers beginnen te beheersen, zullen ook helpen de volgende grote markt voor digitale gezichten te voeden: videogames. De games van vandaag bieden oogverblindende wezens en landschappen, maar hun menselijke karakters komen niet eens in de buurt van fotorealistisch. Het is gewoon niet praktisch om in elke kijkhoek en uitdrukking te programmeren die zich kan voordoen tijdens een interactief spel met meerdere niveaus.

Dat is waar George Borshukov om de hoek komt kijken. Borshukov, een computerwetenschapper die ultramoderne digitale mensen ontwierp voor de Matrix-films (al die Smiths in Reloaded en Revolutions zijn van zijn team), past nu gezichtstechnologie toe op games. Borshukov, een voormalig technologiesupervisor bij ESC Entertainment in Alameda, CA, is onlangs verhuisd naar de videogame-krachtpatser Electronic Arts in Redwood City, CA. Hij zegt dat gaming-hardware van de volgende generatie in de buurt zal komen van het in realtime demonstreren van technieken voor fotorealistische gezichten, maar dat compromissen, benaderingen en datacompressie nodig zullen zijn om dit mogelijk te maken.

Het probleem is dat bij games alles on-the-fly moet gebeuren. Toch duurt het nog steeds een paar uur om een ​​enkel frame van de beste digitale gezichten van vandaag weer te geven. Dat is werkbaar als je maanden hebt om de scènes te produceren, zoals in een film. In een game of interactieve film bestaat de gevraagde afbeelding mogelijk pas als de gebruiker deze met een beweging van een joystick bestelt. Om dit praktisch te maken, is software nodig die duizenden keren sneller is.

Vijf jaar later, zeggen experts, zou een hybride tussen een game en een film kijkers/spelers in staat kunnen stellen hun eigen films te ontwerpen en te regisseren en zelfs in actie te komen. Je zou de film eerst kunnen casten door foto's van echte mensen te scannen - jij en je vrienden bijvoorbeeld - en software te gebruiken die fotorealistische 3D-modellen van die mensen zou maken. Vervolgens kun je in realtime de actie van de film sturen via een handheld-controller of toetsenbord - alles van het zoomen van de camera rond de personages tot het laten rennen van de hoofdrolspeler in een bepaalde richting. Interactief entertainment, zegt Borshukov, is waar de echte toekomst ligt.

De toekomst onder ogen zien

Terug bij Imageworks wervelt een storm van activiteit rond Mark Sagar. Kunstenaars zijn in de crunch-modus voor een ander project met digitale acteurs, The Polar Express dit najaar, gebaseerd op het populaire kinderboek. Maar Sagar, die niet direct betrokken is bij die inspanning, is gefascineerd door wat verder op de weg ligt: ​​een elegantere benadering van digitale gezichten op basis van onderliggende wetenschappelijke principes. Ik zie het werk van vandaag als een tussenfase waarin we nog veel data moeten vastleggen, zegt hij. Uiteindelijk zal alles wiskundige modellen gebruiken van hoe dingen bewegen en hoe ze licht reflecteren.

Sagar ziet ook veel bredere toepassingen van digitale mensen in medische grafische afbeeldingen, coöperatieve trainingssimulaties voor reddingswerkers en mens-computerinterfaces die gebruikers kunnen helpen effectiever te communiceren met zowel machines als andere mensen. Buiten de entertainmentindustrie doen grote organisaties zoals Microsoft en Honda onderzoek naar geavanceerde grafische afbeeldingen en menselijke modellering, inclusief software waarmee je realistische virtuele personages en digitale avatars kunt maken op basis van slechts een foto. Gerelateerde algoritmen kunnen computers ook helpen om gezichten te herkennen en uitdrukkingen te interpreteren, hetzij voor beveiligingsdoeleinden, hetzij om de behoeften van een gebruiker te voorspellen.

We bevinden ons op een interessante leeftijd waarop we mensen tot in het kleinste detail kunnen nabootsen, zegt Sagar. Er zit een zekere ironie in zijn verklaring. Want als digitale mensen eenmaal goed zijn gedaan, zijn ze niet te onderscheiden van het echte werk; het publiek zal niet eens beseffen dat artiesten en wetenschappers zoals Sagar het gezicht van entertainment - en de samenleving - hebben veranderd.

Gregory T. Huang is een TR associate editor.

zich verstoppen