Claude Shannon: aarzelende vader van het digitale tijdperk

Pak een favoriete cd. Laat het nu op de grond vallen. Smeer het in met je vingerafdrukken. Schuif hem vervolgens in de sleuf op de speler en luister terwijl de muziek er net zo kristalhelder uitkomt als op de dag dat u de plastic behuizing voor het eerst opende. Denk, voordat u verder gaat met de rest van uw dag, even na aan de man wiens revolutionaire ideeën dit wonder mogelijk hebben gemaakt: Claude Elwood Shannon.

Shannon, die in februari stierf na een lange ziekte, was een van de grootste reuzen die het informatietijdperk heeft gecreëerd. John von Neumann, Alan Turing en vele andere visionairs gaven ons computers die informatie konden verwerken. Maar het was Claude Shannon die ons het moderne concept van informatie gaf - een intellectuele sprong die hem een ​​plaats opleverde op het hightech-equivalent van Mount Rushmore dat ooit is gevestigd.

Dit verhaal maakte deel uit van ons nummer van juli 2001

• Zie de rest van het nummer
• Abonneren

De hele wetenschap van informatietheorie is voortgekomen uit één opwindend artikel dat Shannon in 1948 publiceerde, toen hij een 32-jarige onderzoeker was bij Bell Laboratories. Shannon liet zien hoe de eens zo vage notie van informatie met absolute precisie kon worden gedefinieerd en gekwantificeerd. Hij demonstreerde de essentiële eenheid van alle informatiemedia door erop te wijzen dat tekst, telefoonsignalen, radiogolven, afbeeldingen, film en elke andere vorm van communicatie gecodeerd kon worden in de universele taal van binaire cijfers of bits - een term die zijn artikel was de eerste die in druk wordt gebruikt. Shannon bracht het idee naar voren dat zodra informatie digitaal werd, deze foutloos kon worden verzonden. Dit was een adembenemende conceptuele sprong die direct leidde tot bekende en robuuste objecten als cd's. Shannon had een blauwdruk geschreven voor het digitale tijdperk, zegt MIT-informatietheoreticus Robert Gallager, die nog steeds onder de indruk is van de krant uit 1948.

En dan hebben we het nog niet eens over de masterproef die Shannon tien jaar eerder had geschreven - die waarin hij de principes achter alle moderne computers verwoordde. Claude heeft zoveel gedaan om moderne technologie mogelijk te maken dat het moeilijk is om te weten waar te beginnen en te eindigen, zegt Gallager, die in de jaren zestig met Shannon samenwerkte. Hij had deze verbazingwekkende helderheid van zicht. Einstein had het ook - dit vermogen om een ​​gecompliceerd probleem aan te pakken en de juiste manier te vinden om ernaar te kijken, zodat dingen heel eenvoudig worden.

Knutselen op weg naar morgen

Voor Shannon was het allemaal gewoon een andere manier om plezier te hebben. Claude hield van lachen en dingen bedenken die ongebruikelijk waren, zegt de gepensioneerde Bell Labs-wiskundige David Slepian, die in de jaren vijftig een medewerker van Shannon was. Shannon deed wiskunde als een toneelgoochelaar die zijn vingervlugheid oefende: hij cirkelde rond en viel het probleem aan vanuit een richting waar je nooit aan had gedacht, zegt Slepian, alleen om je te verbazen met een antwoord dat recht voor je neus had gestaan. de hele tijd gezicht. Maar Shannon had ook een groot repertoire aan echte kaarttrucs. Hij leerde zichzelf op een eenwieler rijden en werd beroemd omdat hij er 's nachts mee door de gangen van Bell Labs reed, terwijl hij jongleerde. (Hij was turnster geweest op de universiteit, dus hij was er beter in dan je misschien had gedacht, zegt zijn vrouw Betty, die hem de fiets in 1949 als kerstcadeau gaf.)

Thuis bracht Shannon zijn vrije tijd door met het bouwen van allerlei bizarre machines. Er was de Throbac (ZUIVERE ROMAN-numerical Backward-looking Computer), een rekenmachine die rekende met Romeinse cijfers. Er was Theseus, een levensgrote mechanische muis die zijn weg kon vinden door een doolhof. En misschien wel het meest bekende was de Ultimate Machine - een doos met een grote schakelaar aan de zijkant. Zet de schakelaar aan en het deksel zou langzaam omhoog gaan, een mechanische hand onthullend die naar beneden zou reiken, de schakelaar zou uitschakelen en de doos zou terugtrekken zoals hij was.

Ik was altijd geïnteresseerd in het bouwen van dingen met grappige bewegingen, legde Shannon uit in een interview in 1987 met Omni magazine (een van de weinige keren dat hij in het openbaar over zijn leven sprak). In zijn geboorteplaats Gaylord in het noorden van Michigan, herinnerde hij zich, bracht hij zijn vroege jaren door met het samenstellen van modelvliegtuigen, radiocircuits, een radiografisch bestuurbare modelboot en zelfs een telegraafsysteem. En toen hij in 1932 naar de Universiteit van Michigan ging, aarzelde hij niet om elektrotechniek te gaan studeren.

Na zijn afstuderen in 1936 ging Shannon rechtstreeks naar het MIT om een ​​werk-studiepositie op zich te nemen die hij had gezien op een ansichtkaart die op een prikbord op de campus was geplakt. Hij zou de helft van zijn tijd besteden aan het behalen van een master in elektrotechniek en de andere helft aan het werken als laboratoriumassistent voor computerpionier Vannevar Bush, MIT's vice-president en decaan van engineering. Bush gaf Shannon de verantwoordelijkheid voor de Differential Analyzer, een uitgebreid systeem van tandwielen, katrollen en stangen dat het grootste deel van een grote ruimte in beslag nam - en dat op dat moment misschien wel de machtigste computer ter wereld was ( zien Computeren na silicium , TR mei/juni 2000 ).

De Differential Analyzer, die eind jaren twintig door Bush en zijn studenten werd bedacht en voltooid in 1931, was een analoge computer. Het vertegenwoordigde geen wiskundige variabelen met enen en nullen, zoals digitale computers doen, maar door een continue reeks waarden: de fysieke rotatie van de staven. Het was Shannons taak om bezoekende wetenschappers te helpen bij het programmeren van hun problemen op de analysator door de mechanische verbindingen tussen de staven te herschikken, zodat hun bewegingen overeenkwamen met de juiste wiskundige vergelijkingen.

Shannon had geen baan kunnen vragen die meer paste bij zijn liefde voor grappige bewegingen. Hij werd vooral aangetrokken door het wonderbaarlijk gecompliceerde regelcircuit van de analysator, dat bestond uit ongeveer honderd relais-schakelaars die automatisch konden worden geopend en gesloten door een elektromagneet. Maar wat hem vooral intrigeerde, was hoe sterk de werking van de relais leek op de werking van symbolische logica, een onderwerp dat hij net had bestudeerd tijdens zijn laatste jaar in Michigan. Elke schakelaar was gesloten of open - een keuze die overeenkwam
precies naar de binaire keuze in logica, waar een bewering waar of onwaar was. Bovendien realiseerde Shannon zich al snel dat schakelaars die in circuits zijn gecombineerd, standaardoperaties van symbolische logica kunnen uitvoeren. De analogie was blijkbaar nog nooit eerder herkend. Dus Shannon maakte er het onderwerp van zijn masterscriptie van en besteedde het grootste deel van 1937 aan het uitwerken van de implicaties. Later vertelde hij een interviewer dat hij daar meer plezier aan beleefde dan aan al het andere in mijn leven.

Waar of niet waar?

Zijn proefschrift, A Symbolic Analysis of Relay and Switching Circuits, zorgt zeker voor een boeiende lezing, vooral gezien wat er is gebeurd in de meer dan 60 jaar sinds het werd geschreven. Even terzijde tegen het einde, bijvoorbeeld, wees Shannon erop dat de logische waarden waar en onwaar evengoed kunnen worden aangeduid met de numerieke cijfers 1 en 0. Deze realisatie betekende dat de relais de toen mysterieuze bewerkingen van binaire rekenkunde konden uitvoeren . Dus, schreef Shannon, is het mogelijk om complexe wiskundige bewerkingen uit te voeren door middel van relaiscircuits. Als illustratie liet Shannon het ontwerp zien van een circuit dat binaire getallen kan toevoegen.

Wat nog belangrijker is, Shannon realiseerde zich dat zo'n circuit ook vergelijkingen kon maken. Hij zag de mogelijkheid van een apparaat dat alternatieve acties zou kunnen ondernemen afhankelijk van de omstandigheden - zoals in, als het getal X gelijk is aan het getal Y, voer dan operatie A uit. Shannon gaf een eenvoudige illustratie van deze mogelijkheid in zijn proefschrift door te laten zien hoe relais schakelaars kunnen zo worden opgesteld dat ze een slot produceren dat opengaat als en alleen als een reeks knoppen in de juiste volgorde wordt ingedrukt.

De implicaties waren ingrijpend: een schakelcircuit kon beslissen - een vermogen dat ooit uniek leek voor levende wezens. In de komende jaren zou het vooruitzicht van besluitvormingsmachines het hele gebied van kunstmatige intelligentie inspireren, de poging om het menselijk denken via de computer te modelleren. En misschien niet toevallig zou dat vakgebied Claude Shannon de rest van zijn leven fascineren.

Maar vanuit een directer oogpunt was het vermogen van een schakelcircuit om te beslissen wat de digitale computers die na de Tweede Wereldoorlog opkwamen iets fundamenteel nieuws zou maken. Het waren niet per se hun wiskundige vaardigheden die tijdgenoten zo verrassend vonden (hoewel de machines zeker erg snel waren); zelfs in de jaren veertig was de wereld vol elektromechanische bureaucalculators die eenvoudig konden optellen en aftrekken. Het verbazingwekkende was het vermogen van de nieuwe computers om te werken onder de controle van een intern programma, te kiezen tussen verschillende alternatieven en zelf complexe reeksen opdrachten uit te voeren.

Dit alles is de reden waarom A Symbolic Analysis of Relay and Switching Circuits, gepubliceerd in 1938, de belangrijkste masterproef van de 20e eeuw wordt genoemd. Toen hij begin twintig was, had Claude Shannon het inzicht dat cruciaal was voor het organiseren van de interne activiteiten van een moderne computer - bijna een decennium voordat dergelijke computers zelfs maar bestonden. In de tussenliggende jaren is de schakeltechnologie geëvolueerd van elektromechanische relais naar microscopisch kleine transistoren geëtst op silicium. Maar tot op de dag van vandaag praten en denken microchipontwerpers nog steeds in termen van de interne logica van hun chips - een concept dat grotendeels voortkomt uit het werk van Shannon.

Perfecte informatie

Met de aanmoediging van Vannevar Bush besloot Shannon zijn mastergraad te vervolgen met een doctoraat in de wiskunde - een taak die hij in slechts anderhalf jaar voltooide. Niet lang na het behalen van deze graad in het voorjaar van 1940 trad hij in dienst bij Bell Labs. Aangezien de deelname van de VS aan de Tweede Wereldoorlog duidelijk slechts een kwestie van tijd was, ging Shannon onmiddellijk aan de slag met militaire projecten zoals luchtafweergeschut en cryptografie (code maken en breken).

Desalniettemin vond Shannon altijd tijd om te werken aan de fundamentele theorie van communicatie, een onderwerp dat zijn interesse enkele jaren eerder had gewekt. Af en toe, Shannon had in februari 1939 aan Bush geschreven, in een brief die nu wordt bewaard in de archieven van de Library of Congress, heb ik gewerkt aan een analyse van enkele van de fundamentele eigenschappen van algemene systemen voor de overdracht van inlichtingen, waaronder telefonie, radio, televisie, telegrafie, enz. Om vooruitgang te boeken in de richting van dat doel, had hij een manier nodig om te specificeren wat er tijdens de communicatie werd uitgezonden.

Voortbouwend op het werk van Bell Labs-ingenieur Ralph Hartley, formuleerde Shannon een rigoureuze wiskundige uitdrukking voor het concept informatie. In de eenvoudigste gevallen, zei Shannon, was de informatie-inhoud van een bericht het aantal binaire enen en nullen dat nodig was om het te coderen. Als je van tevoren wist dat een bericht een simpele keuze zou bevatten - ja of nee, waar of niet waar - dan zou één binair cijfer voldoende zijn: een enkele één of één nul vertelde je alles wat je moest weten. Het bericht zou dus worden gedefinieerd om één informatie-eenheid te hebben. Een ingewikkelder bericht daarentegen zou meer cijfers vergen om te coderen en zou zoveel meer informatie bevatten; denk aan de duizenden of miljoenen enen en nullen waaruit een tekstverwerkingsbestand bestaat.

Zoals Shannon besefte, had deze definitie zijn perverse aspecten. Een bericht kan slechts één binaire informatie-eenheid bevatten - ja - maar een wereld van betekenis - zoals in: Ja, ik zal met je trouwen. Maar het was de taak van de ingenieurs om de gegevens van hier naar daar te krijgen met een minimum aan vervorming, ongeacht de inhoud. En daarvoor was de digitale definitie van informatie ideaal, omdat het een nauwkeurige wiskundige analyse mogelijk maakte. Wat zijn de grenzen aan de capaciteit van een communicatiekanaal? Hoeveel van die capaciteit kun je in de praktijk gebruiken? Wat zijn de meest efficiënte manieren om informatie te coderen voor verzending in de onvermijdelijke aanwezigheid van ruis?

Afgaande op zijn opmerkingen vele jaren later, had Shannon zijn antwoorden op dergelijke vragen in 1943 uiteengezet. Vreemd genoeg leek hij echter geen urgentie te hebben gevoeld om die inzichten te delen; enkele van zijn naaste medewerkers zweren destijds dat ze geen idee hadden dat hij aan informatietheorie werkte. Hij had ook geen haast om te publiceren en zo de eer voor het werk veilig te stellen. Ik werd meer gemotiveerd door nieuwsgierigheid, legde hij uit in zijn interview in 1987, eraan toevoegend dat het proces van schrijven voor publicatie pijnlijk was. Maar uiteindelijk overwon Shannon zijn tegenzin. Het resultaat: het baanbrekende artikel A Mathematical Theory of Communication, dat verscheen in de nummers van juli en oktober 1948 van de Bell systeem technisch journaal .

Shannons ideeën explodeerden met de kracht van een bom. Het was als een donderslag bij heldere hemel, herinnert John Pierce zich, een van Shannons beste vrienden bij Bell Labs, en toch net zo verrast door Shannons paper als iedereen. Ik ken geen andere theorie die in een dergelijke complete vorm kwam, met heel weinig antecedenten of geschiedenis. Er was inderdaad iets aan dit idee van het kwantificeren van informatie dat de verbeelding van mensen prikkelde. Het was een openbaring, zegt Oliver Selfridge, die toen een afgestudeerde student was aan het MIT. Rond MIT was de reactie: Briljant! Waarom heb ik daar niet aan gedacht?'

Een groot deel van de kracht van Shannons idee lag in de eenwording van wat een diverse reeks technologieën was geweest. Tot die tijd was communicatie geen verenigde wetenschap, zegt Gallager van MIT. Er was één medium voor spraakoverdracht, een ander medium voor radio en weer andere voor data. Claude toonde aan dat alle communicatie in wezen hetzelfde was - en bovendien dat je elke bron kon nemen en deze door digitale gegevens kon weergeven.

Dat inzicht alleen zou Shannons paper tot een van de grote analytische prestaties van de 20e eeuw hebben gemaakt. Maar er was meer. Stel dat u probeert een verjaardagsgroet te verzenden via een telegraaflijn, of via een draadloze verbinding, of zelfs in de Amerikaanse post. Shannon kon aantonen dat elk dergelijk communicatiekanaal een snelheidslimiet had, gemeten in binaire cijfers per seconde. Het slechte nieuws was dat boven die snelheidslimiet perfecte betrouwbaarheid onmogelijk was: hoe slim je je bericht ook codeerde en comprimeerde, je kon het gewoon niet sneller laten gaan zonder wat informatie weg te gooien.

Het verbijsterende goede nieuws was echter dat onder deze snelheidslimiet de transmissie potentieel perfect was. Niet alleen heel goed: perfect. Shannon gaf een wiskundig bewijs dat er codes moesten bestaan ​​die je tot aan de limiet zouden brengen zonder enige informatie te verliezen. Bovendien demonstreerde hij dat perfecte transmissie mogelijk zou zijn, hoeveel ruis en vervorming er ook in het communicatiekanaal zou zijn, en hoe zwak het signaal ook zou zijn. Het kan natuurlijk zijn dat je elke letter of pixel moet coderen met een enorm aantal bits om te garanderen dat er genoeg doorkomen. En misschien moet je allerlei mooie foutcorrectieschema's bedenken, zodat beschadigde delen van het bericht aan de andere kant kunnen worden gereconstrueerd. En ja, in de praktijk zouden de codes uiteindelijk zo lang worden en de communicatie zo traag dat je zou moeten opgeven en de ruis zou moeten laten winnen. Maar in principe zou je de foutkans zo dicht mogelijk bij nul kunnen brengen als je wilde.

Deze fundamentele stelling van de informatietheorie, zoals Shannon het noemde, had zelfs hem verrast toen hij het ontdekte. De verovering van het lawaai leek alle gezond verstand te schenden. Maar voor zijn tijdgenoten in 1948, die de stelling voor het eerst zagen, was het effect opwindend. Om de kans op fouten zo klein te maken als u wilt? Niemand had daar ooit aan gedacht, verbaast Robert Fano van MIT, die zelf in de jaren vijftig een vooraanstaand informatietheoreticus werd - en die nog steeds een eerbiedige foto van Shannon in zijn kantoor heeft hangen. Hoe hij aan dat inzicht kwam, hoe hij zoiets zelfs maar is gaan geloven, ik weet het niet. Maar bijna alle moderne communicatietechniek is op dat werk gebaseerd.

Shannons werk hangt boven alles wat we doen, beaamt Robert Lucky, corporate vice president of Applied Research bij Telcordia, de spin-off van Bell Labs die voorheen bekend stond als Bellcore. Hij merkt op dat de fundamentele stelling van Shannon inderdaad heeft gediend als een ideaal en een uitdaging voor volgende generaties. 50 jaar lang hebben mensen gewerkt om de kanaalcapaciteit te bereiken die volgens hem mogelijk was. Pas sinds kort zijn we dichtbij gekomen. Zijn invloed was diepgaand.

En, voegt Lucky toe, het werk van Shannon inspireerde de ontwikkeling van al onze moderne foutcorrigerende codes en algoritmen voor gegevenscompressie. Met andere woorden: geen Shannon, geen Napster.

De stelling van Shannon legt uit hoe we nonchalant met compact discs kunnen rondslingeren op een manier die niemand zou hebben gedurfd met lang spelende vinylplaten: die foutcorrigerende codes stellen de cd-speler in staat om ruis als gevolg van krassen en vingerafdrukken praktisch te elimineren voordat we het ooit horen . De stelling van Shannon legt ook uit hoe computermodems gecomprimeerde gegevens kunnen verzenden met tienduizenden bits per seconde via gewone, ruis geteisterde telefoonlijnen. Het legt uit hoe NASA-wetenschappers in staat waren om beelden van de planeet Neptunus terug naar de aarde te krijgen over drie miljard kilometer interplanetaire ruimte. En het verklaart in grote mate waarom het woord digitaal synoniem is geworden met de hoogst mogelijke standaard in datakwaliteit.

Uitschakelen

De lofbetuigingen voor het werk van Shannon kwamen snel binnen. Warren Weaver, directeur van de afdeling Natuurwetenschappen van de Rockefeller Foundation, verklaarde dat informatietheorie alle procedures omvat waarmee de ene geest de andere kan beïnvloeden, waaronder niet alleen schriftelijke en mondelinge spraak, maar ook muziek, beeldende kunst, theater, ballet , en in feite al het menselijk gedrag. Het tijdschrift Fortune kon zijn enthousiasme nauwelijks bevatten en noemde de informatietheorie een van de meest trotse en zeldzaamste creaties van de mens, een grote wetenschappelijke theorie die de kijk van de mens op de wereld ingrijpend en snel zou kunnen veranderen. Shannon zelf moest al snel een hele kamer in zijn huis opzij zetten om al zijn citaten, plaquettes en getuigenissen te bewaren.

Binnen een jaar of twee na de publicatie van zijn paper was Shannon echter geschokt toen hij ontdekte dat de informatietheorie populair begon te worden. Mensen zeiden belachelijke dingen over de hoeveelheid informatie die uit de zon komt, of zelfs de informatie-inhoud van ruis. Wetenschappers dienden subsidieaanvragen in die verwezen naar informatietheorie, of hun voorstellen er nu iets mee te maken hadden of niet. Informatietheorie werd een modewoord, net als kunstmatige intelligentie, chaos en complexiteit in de jaren tachtig en negentig. En Shannon haatte het. In een paper uit 1956 getiteld The Bandwagon, in het tijdschrift Transacties op informatietheorie , verklaarde hij dat de informatietheorie enorm werd oververkocht. Het is misschien gegroeid tot een belang dat verder gaat dan de werkelijke prestaties, schreef hij.

In plaats van door te gaan met vechten waarvan hij wist dat het een verloren strijd was, haakte Shannon af. Hoewel hij een tijdlang zijn onderzoek naar informatietheorie voortzette, sloeg hij bijna alle eindeloze uitnodigingen om lezingen te geven of kranteninterviews te geven af; hij wilde geen beroemdheid zijn. Hij stopte ook met het reageren op veel van zijn e-mail. Correspondentie van belangrijke figuren in de wetenschap en de overheid belandde vergeten en onbeantwoord in een dossiermap die hij noemde Brieven die ik te lang heb uitgesteld. Met het verstrijken van de jaren begon Shannon zich niet alleen terug te trekken uit het publieke oog, maar ook uit de onderzoeksgemeenschap - een houding die zijn collega's aan het MIT, die hem in 1958 bij Bell Labs hadden ingehuurd, zorgen baarde. Hij schreef prachtige papers - toen hij schreef, zegt Fano van MIT. En hij hield mooie toespraken - toen hij een toespraak hield. Maar hij haatte het om het te doen.

Van tijd tot tijd bleef Shannon publiceren. Een opmerkelijk voorbeeld, voordat hij te zeer geschokt werd door zijn beroemdheid en zich vollediger terugtrok, was een baanbrekend artikel uit 1950 voor Wetenschappelijke Amerikaan beschrijft hoe een computer kan worden geprogrammeerd om te schaken. Maar hij verdween langzaam uit de academische wereld, herinnert Peter Elias zich, een andere leider van de MIT-informatietheoriegroep. Claude's visie op lesgeven was om een ​​reeks lezingen te geven over onderzoek waar niemand anders vanaf wist. Maar dat tempo was erg veeleisend; in feite kwam hij elke week met een onderzoekspaper. Halverwege de jaren zestig, herinnert Elias zich, was Shannon gestopt met lesgeven.

Na zijn officiële pensionering in 1978, op 62-jarige leeftijd, trok Shannon zich gelukkig terug in zijn huis in de buitenwijk Winchester, MA in Boston. Geld was geen probleem; dankzij zijn kennis van de hightech-industrieën die opkwamen rond Boston's Route 128, had hij een aantal slimme investeringen in de aandelenmarkt gedaan. Ook leek er geen vermindering van zijn vindingrijkheid te zijn. Hij bouwde nog steeds dingen! herinnert zich Betty Shannon met een lach. Een daarvan was een... figuur van W.C. Fields die drie ballen op een trommelvel liet stuiteren. Het maakte een hels lawaai, laat me je vertellen!
Toch kwam er een tijd rond 1985 dat hij en Betty bepaalde fouten begonnen op te merken. Hij zou gaan rijden en vergeten hoe hij naar huis moest. In 1992, toen het Institute of Electrical and Electronics Engineers voorbereidingen trof om zijn verzamelde papers te publiceren, realiseerde Shannon zich tot zijn verontrusting dat hij zich niet kon herinneren dat hij er veel had geschreven. En halverwege 1993, toen zijn toestand voor iedereen duidelijk werd, bevestigde de familie wat velen begonnen te vermoeden: Claude Shannon had de ziekte van Alzheimer. Later dat jaar plaatste zijn familie hem met tegenzin in een verpleeghuis.

In 1998, toen zijn geboorteplaats Gaylord, MI, de 50e verjaardag van de informatietheorie herdacht door een buste van de maker ervan in een stadspark te onthullen, bedankte Betty Shannon de stad in zijn plaats. Lichamelijk, zegt ze, ging het bijna tot het einde goed met hem, toen alles tegelijk leek in te storten. Maar op 24 februari, slechts twee maanden voor Shannons 85ste verjaardag, kwam het einde. De reacties op zijn dood zijn overweldigend, zegt ze. Ik denk dat het hem zou hebben verbaasd.

zich verstoppen