211service.com
De nerd
Chris Schmandt '73, SM '80, speelde vier decennia rond in het Media Lab en bedacht interactieve spraakinterfaces voor computers en het eerste navigatiesysteem voor in de auto dat bestuurders vertelde waar ze heen moesten. 24 april 2019
Foto van Christopher Shcmandt Jake Belcher
Toen Chris Schmandt in 1977 een student aan het MIT was, zag hij een advertentie voor een campusbaan voor grafisch programmeren in PL/I. Het betaalde hetzelfde bedrag als zijn hamburger-flipping-optreden in de kantine, hij had de PL/I-programmeertaal geleerd als hoofdvak computerwetenschappen en techniek, en hij hield van het idee van een baan waarbij je aan het eind niet hoefde te douchen van elke dienst. Dus ging hij aan de slag bij Nicholas Negroponte’s Architecture Machine Group (AMG), de voorloper van het MIT Media Lab.
De taak omvatte het programmeren van een Model 85 framebuffer, een van de eerste grafische computersystemen die een frame van gekleurde pixels kon weergeven, waardoor de machine tekst, afbeeldingen, diagrammen en zelfs kleurenfoto's kon weergeven. Maar eerst moest iemand de microcode op laag niveau schrijven voor de controller van de framebuffer. Iemand moest lettertypen aanschaffen en ze ook coderen. Die persoon was Schmandt. Ik begon pixels op het scherm te schilderen en ik was verslaafd, zegt hij.
Die baan had enorme gevolgen, niet alleen voor Schmandt maar voor ons allemaal: zijn werk leidde uiteindelijk tot de ontwikkeling van moderne navigatiesystemen zoals de Garmin GPS en Google Maps, evenals de spraakinterfaces die mensen steeds vaker gebruiken om met computers te communiceren .
The Audio Notebook, dat rond 1997 door het laboratorium van Schmandt werd ontwikkeld, koppelde aantekeningen op papier die tijdens een evenement waren gemaakt, aan een digitale geluidsopname ervan. Met dank aan MIT Media Lab
Ik herinner me heel duidelijk dat Nicholas iedereen vertelde dat op een dag elke computer een van deze zou hebben ingebouwd, zei Schmandt over de framebuffer tijdens zijn pensioenfeest in december 2018. Het was vooruitziend, maar hij zei niet dat elke telefoon zou hebben een!
Een omslachtige route naar het lab
Schmandts baanbrekende werk om spraak en computergebruik te integreren, kwam er bijna niet. Hij begon in 1969 aan het MIT en als hij in 1973 met zijn eerste klas was afgestudeerd, was hij de framebuffer misschien nooit tegengekomen. Maar in 1971 had hij een major in stadsstudies verklaard, verliefd geworden op taalkunde en bijna een humaniora-graad voltooid ... en deed hij meteorologisch onderzoek via het MIT Undergraduate Research Opportunities Program (UROP). Ik besloot dat ik niet wist wat ik deed, zegt hij.
Dus trok hij zich terug van school om erachter te komen en maakte van zijn UROP een voltijdbaan op de afdeling meteorologie, waarbij hij ponskaarten in een winkelwagentje naar het computercentrum vervoerde. Het duurde niet lang of hij had genoeg geleerd over programmeren om typefouten op de kaarten te corrigeren, waardoor hij niet voor de tweede keer over de campus moest slenteren, zodat zijn baas ze kon corrigeren. Maar Schmandt kreeg al snel reislust en begon aan wat een reis van vijf jaar zou worden. Hij reisde - voornamelijk liftend - van Londen naar Spanje, Marokko, Algerije, Niger, Kameroen, Zaïre, Oeganda en Kenia, waar hij door de politie werd uitgescholden omdat hij geen Swahili sprak, en klauterde tot 19.000 voet op een heuvelrug die leidde naar de top van de Everest. Je hebt nog nooit zoiets gezien: enorme, besneeuwde toppen om je heen, die neerkijken op drie gletsjers, zegt hij. En 's nachts zingen en kreunen de gletsjers terwijl ze langzaam de valleien afslijpen.
Tijdens zijn reis langs wat bekend stond als de Hippie Trail in India, ontmoette hij enkele Britse en Australische programmeurs, die hem ervan overtuigden dat programmeren een goed levensonderhoud is dat je overal kunt nastreven. Dus in 1977 keerde hij terug naar MIT en schreef hij zich opnieuw in als hoofdvak elektrotechniek en computerwetenschappen.
Aan de slag met de framebuffer overtuigde Schmandt ervan dat dit een goede beslissing was geweest. De framebuffer was een van de eerste grafische computersystemen die niet flitste wanneer het beeld op het scherm complexer werd - een prestatie die het leverde door het hele scherm in een speciaal geheugen te bufferen of op te slaan. Met 400 rijen van elk 512 pixels had de framebuffer meer dan 200.000 bytes willekeurig toegankelijk geheugen nodig, wat destijds enorm duur was. Dus Schmandt moest een programma schrijven om Model 85 te laten draaien dat zou passen in het beperkte geheugen dat het beschikbaar had.
Dit was echt geeky spul, zelfs voor de AMG, herinnert Schmandt zich. Om hem te berispen, hackte een van zijn labgenoten uiteindelijk de synthesizer van het lab, programmeerde deze om een korte muzikale fanfare te produceren en zei Geek! toen Schmandt inlogde. Vrolijk nam hij zijn nieuwe bijnaam aan.
Het laboratorium van Negroponte creëerde een computeromgeving genaamd het Spatial Data Management System (SDMS), waarmee een persoon blik, gebaren en stem kan gebruiken om te communiceren met een database met tekst, foto's, kaarten en zelfs video. Gevestigd in het Department of Architecture en goed ondersteund door het Amerikaanse Defense Advanced Research Projects Agency (DARPA) en bedrijfssponsors, liep de AMG over van apparatuur, ideeën en geld. Dus toen Schmandt in 1979 zijn bachelordiploma behaalde, bleef hij in 1980 om een master in architectuur te behalen.
Het lab had een heleboel echt coole dingen vanwege het SDMS-project en de steun van DARPA, zegt hij. De NEC DP-100 stemherkenning was $ 100K. Niemand wist wat de lichtklep - het was het eerste videoprojectiesysteem - kostte. Ik zou kunnen zitten en spelen met een miljoen dollar aan hardware.
In een demo van Put That There uit 1980 bestuurt Schmandt een computer met stem en gebaren. Met dank aan MIT Media Lab
Zet dat daar
De leercurve die nodig was om elk apparaat in de AMG onder de knie te krijgen, was steil, dus Negroponte wees elk apparaat een moeder toe die verantwoordelijk zou zijn voor het schrijven van de software of het bouwen van de hardware om het te helpen uitgroeien tot iets nuttigs. Voor zijn masterscriptie adopteerde Schmandt een doosje dat, wanneer het om je pols werd vastgemaakt, de interactieve computer van het lab zou vertellen waar je pols was en waar hij naar wees. Het stond bekend als een apparaat met zes vrijheidsgraden en was ontwikkeld om op de helmen van helikopterpiloten te monteren, die ze gebruikten in simulators voor training en over het slagveld om te richten; tegenwoordig zijn er goedkope versies in veel virtual reality-headsets.
Eric Hulteen ’80, SM ’82, kreeg de opdracht om software te ontwikkelen voor de NEC voice herkenner. Door samen te werken, creëerden Schmandt en Hulteen Zet dat daar , een tekensysteem bestuurd door stem en gebaren dat ze voor het eerst demonstreerden in 1979.
Om Put That There uit te voeren, zou je in een leren Eames-stoel zitten in het geluiddichte laboratorium media Kamer en wijs met je hand naar het achterprojectiescherm van de kamer, dat werd verlicht door de lichtklep, een projector aan de andere kant van de muur. Met de sensor en de microfoons ingesteld, zou je kunnen zeggen Zet een gele cirkel Daar , en de computer zou gehoorzamen. Als je niet opgeeft waar de cirkel heen moet, vraagt de computer Waar? en wacht tot je wijst en zegt Daar! Schmandt zegt dat het een van de twee eerste conversatiesystemen was die ooit zijn geschreven.
In 1980 gaven Schmandt en Hulteen Put That There een upgrade: ze veranderden de achtergrond in een kaart van het Caribisch gebied en leerden de computer te reageren op commando's als Maak daar een groen vrachtschip en verplaats het cruiseschip ten noorden van de Dominicaanse Republiek. Dit maakte het programma nog populairder bij de militaire sponsors van het lab, die in de Eames-stoel konden zitten en fantasieën konden naspelen zoals Cuba omringen met slagschepen en fregatten.
Jerry Wiesner was president van MIT en zijn kantoor was een verdieping onder ons, herinnerde Negroponte zich tijdens het pensioneringsdiner van Schmandt. Als hij uit eten ging, nam hij zijn vrienden en gasten mee en zei: 'O, laten we even langsgaan om de Architectuurmachine te zien.'... Ik weet niet hoeveel mensen in die stoel zaten, maar het waren er veel .
Schmandt had geen interesse om te promoveren. (Ik wilde geen twee jaar aan een project werken, zegt hij.) Maar het onderzoek hield hem aan het MIT. Hij trad toe tot de staf van AMG en was al snel een onderzoeksgroep begonnen die zich richtte op het ontwikkelen van manieren waarop mensen via spraak met computers kunnen communiceren. Het doel was om computertechnologie beschikbaar te maken buiten een kantooromgeving.
Jake Belcher
Achterbank rijder
In 1985 veranderde AMG in het Media Lab. Als stichtend lid heeft Schmandt in de loop der jaren veel studenten gehad. Maar een project met een van de eersten, Jim Davis ’77, PhD ’89, zou een van de meest verstrekkende blijken te zijn. Davis had in de jaren zeventig ook een UROP bij de AMG en werkte bij een paar bedrijven voordat hij in 1985 terugkeerde naar het Media Lab. Tijdens een periode bij de Cambridge-supercomputer-startup Thinking Machines, de zomer na het begin van zijn doctoraat, ontwikkelde hij een programma genaamd Direction Assistance die een gedetailleerde plattegrond van een stad, een startpunt en een bestemming kan geven, en stapsgewijze instructies in het Engels kan geven voor een efficiënte route. Dus het logische voor Davis om te doen in het lab was om Direction Assistance in een auto te laten rijden en aanwijzingen te geven met behulp van een synthetische stem.
In die tijd was GPS alleen beschikbaar voor het leger, zegt Davis; burgers hadden toegang tot een versie met verminderde precisie. NEC, een laboratoriumsponsor, had een autonavigatiesysteem ontwikkeld dat gebruikmaakte van gegist bestek in plaats van GPS: het registreerde de afgelegde afstand en paste de bewegingen van de auto aan op een geautomatiseerde kaart .
Het werkte alleen met de Acura Legend, een high-end auto, zegt Davis. Dus om het onderzoek te doen, had het Media Lab een Acura Legend nodig! Dat was een hele stap voor hen: Schmandt reed in een Datsun 210 stationwagen zodat hij zijn ski's kon vervoeren, en Davis had niet eens een auto.
NEC installeerde de apparatuur, die een kaart weergaf met een stip die de locatie van de auto weergeeft op een scherm dat in het midden van het dashboard is ingebouwd. Dat is verschrikkelijk, legt Schmandt uit. Want als er iets beweegt in je perifere gezichtsveld, heb je een zeer sterke reflex om ernaar te kijken - het kan een wild dier zijn dat op het punt staat je te bespringen! Schmandt vreesde dat een bewegend scherm bestuurders zou afleiden om hun ogen op de weg te houden. Het was het zien van [de NEC-kaart] die me ervan overtuigde dat dit de plek zou zijn waar spraak het zou halen, zegt hij. En we hadden gelijk - slechts 30 jaar vooruit.
Schmandt, hier met een vroege mobiele telefoon, ontwikkelde een futuristisch voicemailsysteem genaamd Telefoon Slaaf in 1980. Met dank aan MIT Media Lab
Het systeem dat Schmandt en Davis bouwden, stuurde de positie van de auto (zoals bepaald door de NEC-kaart) per mobiele telefoon naar een programma dat op een krachtige computer in het Media Lab draaide. Het programma berekende de volgende reeks vereiste straataanwijzingen, rekening houdend met de positie van de bestuurder, de snelheid van de auto en hoe lang het zou duren om de berekende uiting uit te spreken. Deze aanwijzingen werden vervolgens ingevoerd in een vroege spraaksynthesizer, een DECtalk genaamd, en via een tweede mobiele telefoon teruggestuurd naar de auto. De vlekkerige betrouwbaarheid van de mobiele dekking veroorzaakte veel problemen, dus de tweede versie van het systeem verplaatste de computer rechtstreeks naar de kofferbak. Schmandt en Davis noemden het systeem Back Seat Driver.
Ik ben erg blij dat we Back Seat Driver hebben gedaan, zegt hij. Het was een lieve toepassing van stem. Het patent dat hij en Davis erop hebben ingediend - waarvan hij zegt dat het royaal is overgenomen uit het proefschrift van Davis - was in februari 2019 door 523 andere patenten geciteerd, volgens het US Patent and Trademark Office. Het was een tijdlang het meest geciteerde patent in de portefeuille van MIT, zegt hij. Toch hebben ze er nooit geld aan verdiend. Alle patenten die de hunne aanhaalden, doen er alles aan om uit te leggen hoe ze van elkaar verschillen, zegt hij, en hij legt uit dat het patentspel zo wordt gespeeld.
Je weet niet altijd waar geweldige ideeën vandaan komen, zegt Schmandt, eraan toevoegend dat hij door de jaren heen heeft geleerd naar de studenten te luisteren. Het is mijn taak om hen te helpen hun ideeën aan te scherpen - erachter te komen welk deel van het idee het goede deel is. Waar is de echte nieuwigheid? Hoe kun je dit bouwen, hoe kun je dit verklaren?
Cindy Hsin-Liu Kao, PhD '18, zegt dat de aanmoediging van Schmandt cruciaal was voor haar onderzoek, waarbij gebruikersinterfaces betrokken waren die zich met huidvriendelijke materialen aan het lichaam hechten. Bedankt dat je altijd in me hebt geloofd, zei ze tijdens zijn pensioendiner, dat ze virtueel bijwoonde, met behulp van een draagbare computer met ingebouwde spraakherkenning, vanaf de top van de Sint-Pietersbasiliek in Rome. Toen ik erover dacht om in een conventionelere richting te gaan of iets heel raars te onderzoeken, zei je altijd dat je iets raars moest gaan doen. Tegenwoordig is Kao een assistent-professor ontwerp en omgevingsanalyse aan de Cornell University. En haar draadloze videofeed tijdens het diner van Schmandt verraste niemand: tegenwoordig heeft iedereen inderdaad een framebuffer op zak.