We worden overspoeld door digitaal licht

In een boek van Pixar-medeoprichter Alvy Ray Smith krijgt de bescheiden pixel de aandacht die hij verdient.

Door

• Chris Turner archiefpagina

27 oktober 2021

Andrea Daquino

De computerwetenschapper Alvy Ray Smith was medeoprichter van zowel de computergraphics-divisie van Lucasfilm als de Pixar Animation Studios. Alleen al vanwege die prestaties is hij een van de belangrijkste technologische vernieuwers in de cinema sinds in ieder geval het einde van de Tweede Wereldoorlog. Maar Smith is geen Hollywood-man, en zijn intrigerende, fundamentele nieuwe boek Een biografie van de pixel is geen Tinseltown-boek. Er zijn slechts de kleinste stukjes roddels (Steve Jobs was een moeilijke man om mee samen te werken- bevestigd! ), en de enige beroemdheid die met enige regelmaat in het verhaal van Smith voorkomt, is George Lucas. Smith is niet geïnteresseerd in roem. Hij jaagt diepere thema's na, met het argument dat het geweldige project waar hij deel van uitmaakte - de uitvinding en ontwikkeling van computergraphics - veel belangrijker is dan alles wat ooit in Hollywood is gebeurd.

Smith is wat vroeger een grijsbaard werd genoemd in computerprogrammeerkringen. Hij is van die generatie ingenieurs en programmeurs die het digitale tijdperk hebben zien oprijzen uit de moerassen van geheime militaire projecten en het ruimteprogramma om de wereld te veroveren. Hij heeft machinetaal gesproken. Hij verwonderde zich over de eerste ruwe graphics die beweging vertoonden op groen-zwarte schermen. En hij was een van de eersten die het hernieuwde vermogen van een stylus demonstreerde om een ​​vloeiende curve van digitale verf te volgen.

Dit verhaal maakte deel uit van ons nummer van november 2021

• Zie de rest van het nummer
• Abonneren

In Een biografie van de pixel , Het doel van Smith is om het traject van twee belangrijke, met elkaar verweven verhalen duidelijk vast te leggen. Het eerste verhaal is de ontwikkeling van computerbeelden, van oorsprong tot digitale alomtegenwoordigheid. Volgens Smith ontbreken er veel namen, plaatsen en doorbraken in de plaat, en hij heeft de taak op zich genomen om ze weer toe te voegen met het oog van een ingenieur voor precisie. Het tweede verhaal, dat zich parallel ontvouwt, gaat over de impact van die beelden - een transformerende kracht die Smith Digital Light noemt. Het omvat eigenlijk alles wat we via schermen ervaren, en hij stelt overtuigend dat het een van de belangrijkste innovaties in de menselijke communicatie is sinds de eerste eenvoudige afbeeldingen van het dagelijks leven op de muren van grotten werden geëtst.

De bescheiden pixel

Zoals Smith herhaaldelijk aantoont, is er veel te veel krediet toegekend aan de vermeende tovenarij van individuele genieën. De realiteit is een modderige, overlappende geschiedenis van groepen uitvinders, die afwisselend in competitie en in samenwerking werken, vaak ad hoc en onder aanzienlijke commerciële of politieke druk.

Thomas Edison en de Franse broers Lumière waren bijvoorbeeld grote promotors en uitbuiters van de vroege filmtechnologie. Beiden vertoonden volledige systemen rond 1895 en wilden graag de volledige eer opeisen, maar geen van beiden bouwde het eerste complete systeem van camera, film en projector helemaal (of zelfs grotendeels) alleen. Het echte antwoord op de vraag wie films heeft uitgevonden, schrijft Smith, is een briar patch van concurrerende lijnen, met delen van het systeem ontwikkeld door voormalige partners van Edison en soortgelijke onderdelen door een handvol Franse uitvinders die met de Lumières werkten.

Tot de cruciale figuren die naar de vuilnisbak van de geschiedenis werden verwezen, behoorden William Kennedy Laurie Dickson (een vreemde Europese aristocraat die de eerste filmcamera voor Edison ontwierp en bouwde) en Georges Demenÿ (wiens ontwerp zonder eer werd gekopieerd door de Lumières). Smith toont misschien te veel van zijn uitputtende werk bij het redden van deze ingewikkelde oorsprongsverhalen - er zijn soortgelijke verwarde warbossen in elke belangrijke fase in de ontwikkeling van computers en grafische afbeeldingen - maar zijn poging om het historische record recht te zetten is bewonderenswaardig.

Het belangrijkste nadeel van al dit gekibbel met de ego's en hebzucht van verschillende generaties krachtige mannen (het zijn helaas vrijwel allemaal mannen) is dat het Smiths focus soms afleidt van zijn grotere thema, namelijk dat de dageraad van Digital Light dergelijke een zeldzame verschuiving in de manier waarop mensen leven die het verdient te worden beschreven als baanbrekend.

Digital Light, in de eenvoudigste definitie van Smith, is elke afbeelding die is samengesteld uit pixels. Maar die technische uitdrukking onderschat de volledige betekenis van het enorme nieuwe rijk van de verbeelding dat door zijn opkomst is gecreëerd. Dat rijk omvat Pixar-films, ja, maar ook videogames, smartphone-apps, besturingssystemen voor laptops, gekke GIF's die via sociale media worden verhandeld, bloedserieuze MRI-beelden die zijn beoordeeld door oncologen, de aanraakschermen bij de plaatselijke supermarkt en de digitale modellen die worden gebruikt om Mars-missies plannen die vervolgens nog meer digitaal licht terugsturen in de vorm van adembenemende beelden van het oppervlak van de rode planeet.

En dat begint nauwelijks alles te dekken. Een opvallend aspect van Smith's boek is dat het ons uitnodigt om net ver genoeg terug te stappen van de constante stroom van pixels waar velen van ons de meeste van onze wakkere uren naar kijken om te zien wat een torenhoge technologische prestatie en krachtige culturele kracht al dit digitale licht is. vertegenwoordigt.

Fourier bracht het inzicht dat alles wat we zien kan worden beschreven als de som van een reeks golven. Of, zoals Smith het poëtischer formuleert: The world is music. Het zijn allemaal golven.

De technologische doorbraak die dit alles mogelijk heeft gemaakt, is, zoals de titel van Smith suggereert, de bescheiden pixel. Het woord zelf is een samentrekking van beeldelement. Simpel genoeg. Maar de pixel is in populair gebruik verkeerd gekarakteriseerd om te verwijzen naar de wazige, blokkerige veronderstelde minderwaardigheid van slecht weergegeven digitale afbeeldingen. Smith wil dat we begrijpen dat het eerder de bouwsteen is van al het digitale licht - een wonderbaarlijk, onmogelijk gevarieerd, eindeloos repliceerbaar stukje informatietechnologie dat letterlijk heeft veranderd hoe we de wereld zien.

Het misverstand begint, legt Smith uit, met het feit dat een pixel geen vierkant is en niet naast andere pixels op een netjes raster is gerangschikt. Pixels kunnen als zodanig op beeldschermen worden weergegeven, maar de pixel zelf is een voorbeeld van een gezichtsveld ... dat in bits is gedigitaliseerd. Het onderscheid klinkt misschien esoterisch, maar het is cruciaal voor Smiths argument voor de revolutionaire impact van de pixel. De pixel is opgeslagen informatie die elk apparaat kan weergeven als Digital Light. En digitale apparaten kunnen dit omdat pixels geen benaderingen zijn, maar zorgvuldig gekalibreerd monsters van een visueel veld, dat voor digitaal gebruik is vertaald in een verzameling overlappende golven. Deze pixels, schrijft Smith, zijn niet zozeer verkleiningen van het gezichtsveld als wel een buitengewoon slimme herverpakking van oneindigheid.

De nieuwe golf

Het proces waarmee een pixel digitaal licht genereert - in de vorm van woorden op een scherm of een pictogram op een smartphone of een Pixar-film op het grote scherm - is gebaseerd op drie wiskundige doorbraken die dateren van vóór de moderne computer. De eerste hiervan werd bereikt door Jean Joseph Fourier, een Franse aristocraat en regionale gouverneur onder Napoleon in het begin van de 19e eeuw. Fourier droeg bij tot het fundamentele inzicht dat niet alleen geluid, maar ook warmte en alles wat we zien en nog veel meer kan worden beschreven als de som van een reeks golven, die verschillende frequenties en amplituden vertegenwoordigen. Of, zoals Smith het poëtischer formuleert: The world is music. Het zijn allemaal golven.

Verwant verhaal

Pixar's pioniers op het gebied van computergraphics hebben de Turing Award van $ 1 miljoen gewonnen

Meer dan een eeuw later bouwde een Sovjet-ingenieur genaamd Vladimir Kotelnikov voort op het Fourier-golfprincipe met het tweede cruciale element voor het creëren van digitaal licht: de bemonsteringsstelling. Kotelnikov toonde aan dat een signaal - of het nu een muziekstuk of een visuele scène is - kan worden vastgelegd door met bepaalde tussenpozen snapshots (samples) te maken. Neem voldoende monsters van een bepaald aspect van een gezichtsveld - bijvoorbeeld de kleurgradatie of verschuivingen van voorgrond naar achtergrond - en het is mogelijk om het geheel van de informatie te reconstrueren. Smith erkent dat Amerikaanse computerwetenschappers geleerd hebben dat de steekproefstelling afkomstig is van Harry Nyquist en Claude Shannon, maar het geweldige idee ... werd voor het eerst duidelijk, netjes en volledig verklaard door Kotelnikov in 1933.

Het derde element dat Digital Light mogelijk heeft gemaakt, is het bekendste en meest recent ontwikkelde artikel: Alan Turing's document uit 1936 waarin de universele computermachine wordt geschetst, wiens grote innovatie het vermogen was om elk systematisch proces uit te voeren, zolang het maar de juiste begeleidende set instructies heeft ( die we nu software noemen). Een Turing-machine, de basis van de moderne computer, kan worden geprogrammeerd om het proces te begrijpen waarmee de Fourier-golven werden bemonsterd door de stelling van Kotelnikov, en om ze te reproduceren op elke andere Turing-machine. Deze drie elementen samen hebben Digital Light voortgebracht.

Digital Light op zichzelf was echter een beperkte kracht. De vroegste manifestaties waren eenvoudige pictogrammen op de digitale grotmuur van een tv-scherm. In december 1951 toonde de Whirlwind-computer van MIT bijvoorbeeld een reeks witte stippen op een zwart scherm voor het CBS-programma Zie het nu , georganiseerd door Edward R. Murrow. De stippen gespeld Hallo meneer Murrow, langzaam vervagen en dan weer ophelderen , zoals een Lite-Brite op een dimmerschakelaar. Slim, zelfs wonderbaarlijk voor zijn tijd, maar niet de omwenteling die de kern van Smiths boek vormt. Daarvoor had Digital Light nog een element nodig: onvoorstelbare snelheid.

Computergraphics, legt Smith uit, zijn gewoon waanzinnig lange lijsten met getallen die overeenkomen met grafische coördinaten - tegenwoordig pixels, maar duizenden en duizenden kleine in elkaar grijpende driehoekjes in de vroegste manifestaties - die in de digitale ruimte zijn samengevoegd tot de driedimensionale vorm van een Pixar-cartoon karakter of iets anders. (De eerste 3D-computerafbeelding die uit deze driehoeken werd samengesteld, was, zoals bekend, een theepot.)

De grote digitale convergentie

Wonderen als 3D-animatie waren echter pas mogelijk toen de rekenkracht van de computer explodeerde. Smith vertelt over de daaropvolgende transformatie met een boeiende mix van technische details, diepgaand onderzoek en persoonlijke herinneringen. Verschillende generaties wiskundigen, codeurs en laboratoriumratten hebben bijgedragen aan de ontwikkeling van computergraphics, het bouwen van nieuwe gereedschappen en machines, aangezien de wet van Moore het snel gemakkelijker maakte om de golven van Fourier en Kotelnikovs monsters om te zetten in geometrische vormen, eenvoudige afbeeldingen en basisbewegingen op een scherm . Disney en Lucasfilm en Stanford University doemden natuurlijk op, maar dat geldt ook voor NASA en General Motors en Boeing (die pionierden met computerondersteund industrieel ontwerp), evenals minder bekende bijenkorven van genie op het gebied van computergraphics, zoals de University of Utah en de New York Instituut voor Technologie (NYIT).

Smith's eigen overgang van eenvoudige pixels naar digitale films begon begin jaren zeventig bij NYIT. Daar hielp hij bij het opzetten van een van 's werelds eerste grafische computerlabs, samen met een aantal van de andere medeoprichters van Pixar, voordat hij de technologie introduceerde bij Lucasfilm. (Hij werkte aan de allereerste computergeanimeerde sequentie die Lucasfilm produceerde, een sequentie met speciale effecten voor de film) Star Trek II: The Wraak van Khan .)

Gedurende de hele reis bleef Smith gefocust op de ultieme prijs: het produceren van een volledige digitale film. Hij wilde dat deze gereedschappen zouden worden gebruikt om geweldige kunst te maken, om vorm te geven aan het creatieve genie van geesten over de hele wereld. Pixar bereikte dat doel met de release van 1995 Toy Story , de eerste langspeelfilm die volledig met de computer is geanimeerd. En niet lang daarna werd een nog gedenkwaardigere prestatie bereikt: het cruciale moment dat Smith de Grote Digitale Convergentie noemt.

Wat er is gebeurd, is zowel gemakkelijk uit te leggen als moeilijk te begrijpen. Wat er gebeurde was dat mensen ermee begonnen te rotzooien.

Dit is het punt, ergens rond het jaar 2000, waarop alle (bewegende) beelden universeel kunnen worden weergegeven door pixels. Rustig en onopgemerkt, schrijft hij, kwamen alle mediatypen samen in één: het universele digitale medium, bits.

Toen ik Smiths verslag van deze convergentie las, moest ik denken aan een beroemd citaat dat wordt toegeschreven aan de Franse schrijver en filmmaker Jean Cocteau. Film zal pas een kunst worden, zei Cocteau, als de materialen zo goedkoop zijn als potlood en papier. Dit is gedeeltelijk waar Smith naar op zoek is als hij ons vraagt ​​met ontzag te kijken naar de kracht van de pixel. En die herinnering bracht me - onverbiddelijk eigenlijk - aan het denken over de Steamed Hams-meme.

Voor niet-ingewijden werd Steamed Hams geboren als een kort vignet in een aflevering van het zevende seizoen van The Simpsons , 22 Short Films About Springfield, die voor het eerst werd uitgezonden in 1996: de sullige directeur Skinner van de Springfield Elementary School ontvangt zijn baas, hoofdinspecteur Chalmers, voor een lunch bij hem thuis. De twee minuten en 42 seconden van het vignet ontvouwen zich als een escalerende reeks van kleine rampen, waardoor Skinner naar Krusty Burger sluipt en vervolgens de fastfoodmaaltijd als zijn eigen maaltijd claimt. Nadat hij de hoofdinspecteur gestoomde mosselen had beloofd, verdedigt Skinner zijn list door te beweren dat hij eigenlijk had gezegd dat hij gestoomde hammen maakte, wat volgens hem regionaal jargon is voor hamburgers in de staat New York.

Het is een dwaas stukje uit een ongebruikelijke simpsons aflevering, en het kreeg geen bijzondere aandacht totdat de Grote Digitale Convergentie de instrumenten voor het maken van digitale films in handen gaf van vrijwel iedereen met een computer en een internetverbinding. En dan is wat er gebeurde zowel gemakkelijk uit te leggen als moeilijk om volledig te begrijpen. Wat er gebeurde was dat mensen ermee begonnen te rotzooien.

De creatieve kracht ontketend

De geboorte van de Steamed Hams-meme lijkt een korte clip uit het vignet, gereproduceerd met een tekst-naar-film-app en in maart 2010 op YouTube geplaatst. In de jaren daarna, toen de digitale hulpmiddelen voor het produceren en verspreiden van korte video's in de razend tempo van de wet van Moore verbeterden, verspreidde de meme zich enorm . De clip is op zichzelf gestapeld, het YouTube-scherm is verdeeld in 10 dozen, die elk met een korte vertraging Steamed Hams spelen, alsof ze in een ronde worden gezongen, totdat het oplost in een brullende kakofonie. Het is ingesteld op een breed scala aan popsongs - mijn favoriet is er een waarin Auto-Tune-software (zelf een product van de convergentie) is gebruikt om de dialoog te buigen en te morphen zodat deze op de een of andere manier houdt vast aan de melodie van Green Day's hit Basket Case. Het is gelaagd over verschillende videogames. Een ondernemende Steamed Hams-fan haalde acteur Jeff Goldblum over om het hele script van het vignet in zijn kenmerkende dictie te lezen; de resulterende YouTube-clip snijdt vakkundig van Goldblum's live-lezing naar de originele animatie, soms in split-screen. Er is een soort remake van Steamed Hams waarin een andere animator wordt elke 13 seconden van het vignet weergegeven in een geheel andere stijl. Dit is slechts een kleine greep uit de hoogtepunten. De meme is enorm.

Als ik ooit zou worden gevraagd om les te geven in postmoderne kunst, zou ik de hele meme voorhouden als een kenmerkend voorbeeld van de verbluffende creatieve kracht die is ontketend door de Grote Digitale Convergentie. Dankzij tools die niet zo veel moeilijker te verkrijgen zijn dan een pen en potlood, herbergt het internet nu een onmogelijke overvloed aan inventieve riffs: GIF's en clips, supercuts en mashups, reboots en remixes. Een hele wereld van casual makers die digitale films maken, met behulp van gloednieuwe tools die al zo gewoon zijn geworden dat we ze nauwelijks opmerken. Wij zijn thuis in Digitaal Licht.

Cocteau's wereld van alomtegenwoordige filmische creatie, dat wil zeggen, zou hier heel goed kunnen zijn. Dit is waar Alvy Ray Smith een halve eeuw naar toe bouwde op zoek naar die eerste digitale film. We zijn gearriveerd. We zijn allemaal auteurs. Ga spelen.

Chris Turner is een auteur en essayist gevestigd in Calgary, Alberta. Zijn meest recente boek is The Patch: The People, Pipelines, and Politics of the Oilsands.

zich verstoppen