Microsoft's magische pen

Als Jian Wang zijn zin zou krijgen, zou alles digitaal zijn.

Ik heb een hekel aan printers - ze zetten digitale dingen om in analoog, grapt hij, terwijl hij door een zee van hokjes waadt bij Microsoft Research Asia in Peking, China. Veertig en slungelig, de computerwetenschapper is gespecialiseerd in het uitvinden van nieuwe computerinterfaces om de kloof tussen analoog en digitaal te overbruggen. Zijn eigen interface is echter een brede glimlach, die een aanvulling is op zijn spijkerhemd en gemakkelijke manier van doen.

Dit verhaal maakte deel uit van ons nummer van mei 2004

• Zie de rest van het probleem
• Abonneren

Wang stopt bij een bureau, pakt een rechthoekige, zilverkleurige pen ter grootte van een magische stift en krabbelt wat correcties op een papieren document. Maar dit is geen gewone pen. Een paar seconden later verschijnen zijn opmerkingen op een computerscherm in de buurt, bovenop de elektronische versie van het document, precies op de plek waar hij het op de papieren versie heeft geschreven. Wang's pen legt handschrift vast en laat gebruikers wijzigingen aanbrengen in digitale bestanden op papier.

Deze universele pen, zoals Wang het noemt, zou de manier waarop mensen omgaan met computers kunnen veranderen. In tegenstelling tot gadgets die op computerschermen of speciale blokken papier schrijven, gebruikt Wang's uitvinding gewone inkt, werkt met gewoon papier en stelt gebruikers in staat handgeschreven tekst en diagrammen te combineren met digitale inhoud van rapporten, tijdschriften en webpagina's. Een leidinggevende die op een vliegreis is, kan bijvoorbeeld een papieren exemplaar van een rapport markeren en de wijzigingen later automatisch naar het bestand op zijn of haar computer overbrengen.

De digitale pen van Wang weerspiegelt ook een voortdurende transformatie in het proces van uitvindingen in een aantal grote bedrijfslaboratoria, een kruising tussen de eenzame uitvinder en traditionele bedrijfs-R&D. Wang is de belangrijkste uitvinder van de pen, en het zijn zijn inzicht, durf en creativiteit die de inspanningen om de pen te ontwikkelen grotendeels hebben gedreven. Maar tegelijkertijd had hij niet zo'n snelle vooruitgang kunnen boeken zonder de collectieve expertise van Microsoft op het gebied van patroonherkenningsalgoritmen, computervisie, handschrifttechnologieën en tekstbewerkingssoftware. Persoonlijk ben ik er erg enthousiast over, zegt Rick Rashid, senior vice president van Microsoft Research, wiens hoofdvestiging zich in Redmond, WA bevindt. Het is een voorbeeld van een nieuw soort productincubatie die we doen, ... een die mensen met veel verschillende vaardigheden samenbrengt om een ​​uniek probleem op te lossen.

Microsoft Bellen

Stapels papieren uit de Himalaya vullen Wangs kantoor, ondanks zijn uitgesproken afkeer van afdrukken. Temidden van deze herinneringen aan de analoge wereld beschrijft de uitvinder het begin van het penproject. Als hoogleraar technische psychologie aan de Zhejiang University in Hangzhou, China, had Wang naam gemaakt in mens-computerinterfaces en virtual reality-systemen. Toen, in 1998, op het hoogtepunt van zijn academische carrière, ontving hij een cryptische e-mail van Kai-Fu Lee, een gerenommeerd onderzoeker die net het laboratorium van Microsoft in Beijing begon. Lee stelde voor om af te spreken, maar had het te druk om uit te leggen waarom. Ik weet niet hoe hij aan mijn naam kwam, lacht Wang, en hij legde niet uit wie hij was.

Wang voelde zich avontuurlijk en ging toch. Hij ontdekte al snel dat hij en Lee de ambitie deelden om een ​​gebruikersinterface voor computers te maken die gebaseerd was op handschrift. Het penproject werd gedeeltelijk geïnspireerd door Wang's wens om mobiele computers in staat te stellen om handgeschreven Aziatische talen te verwerken. Maar uit zijn academisch onderzoek naar 3D-interfaces had hij geleerd dat als technologie niet is ontworpen om praktisch en aantrekkelijk te zijn voor een verscheidenheid aan gebruikers, deze niet op grote schaal zal worden toegepast. We wilden een doorbraak maken, geen verbeteringen, zegt hij, eraan toevoegend dat hij in Microsoft een perfecte partner had gevonden. Ik realiseerde me dat dit de plek is waar je moet zijn als je wilt dat je uitvinding door miljoenen mensen wordt gebruikt in plaats van door een paar. Met die motivatie verliet Wang de Zhejiang University en trad in de herfst van 1999 toe tot het laboratorium in Peking.

Onmiddellijk begonnen Wang, Lee en een kerngroep onderzoekers met dagelijkse brainstormsessies om de doelen van het project glad te strijken, waarbij uiteindelijk hun topbaas betrokken was. Toen we met Bill [Gates] over deze technologie spraken, zeiden Wang, realiseerden we ons dat we een nieuw soort document aan het uitvinden zijn, niet alleen een pen. De kerngedachte, die past bij Microsofts bedrijf om kantoorcomputers nuttiger te maken, was dat een document digitaal kon worden bewaard, zelfs als het werd afgedrukt, met de juiste peninterface en software.

Het kostte het grootste deel van vier jaar om het te laten werken. Microsoft bleef niet alleen bij Wang, maar het stelde hem ook in staat een team van ongeveer 20 onderzoekers op te bouwen, waardoor hij toegang kreeg tot de vaardigheden op het gebied van programmeren en hardware die hij nodig had om de pen te ontwerpen. Na een paar valse starts, waaronder een omslachtige versie die uit de bewegingen van de pen afleidde wat de gebruiker aan het schrijven was, profiteerde het team van Wang van de vooruitgang in algoritmen voor computervisie en baseerde het de waarneming van de pen op een eenvoudige digitale camera.

De eerste uitdaging van de onderzoekers was het vinden van een manier om de positie van de pen op de pagina te bepalen. Hun oplossing omvat speciale software die een nauwelijks zichtbaar achtergrondpatroon, zoals een watermerk, op standaard kopieerpapier plaatst terwijl een document wordt afgedrukt (zie Pen op... Computer zetten, hieronder). Zo kan de computer niet alleen precies zien waar de pen zich ten opzichte van het document bevindt, maar ook welk document wordt gewijzigd, want elke pagina heeft een unieke code. Een druksensor in de pen activeert een kleine ingebouwde camera, die foto's maakt van het schrijven van de gebruiker. De afbeeldingen worden in de pen opgeslagen op een geheugenchip zoals die in digitale camera's wordt aangetroffen; wanneer deze binnen een paar meter van een pc of laptop wordt gebracht waarop de juiste software is geïnstalleerd, verzendt de pen de afbeeldingen draadloos via een Bluetooth-verbinding.

Pen op ... computer zetten

De pen bevat een digitale camera, een druksensor, een Bluetooth-radio en een geheugenchip. Terwijl de gebruiker op papier schrijft, maakt de camera kleine afbeeldingen van de inkt.
De krant heeft een achtergrondpatroon, zoals een watermerk, dat samen met het document wordt afgedrukt. De computer gebruikt deze code om erachter te komen waar de inkt zich precies op de pagina bevindt.
De computer ontvangt draadloos de reeks beelden en reconstrueert het handschrift op de juiste plaats in het digitale documentbestand. Met speciale bewerkingssoftware kan de gebruiker het handschrift vervolgens manipuleren en opmaken.

Het interpreteren van die afbeeldingen en het verwerken ervan in digitale bestanden bleek een lastiger probleem. De truc, legt Wang uit, is om de computer verschillende soorten schrift en tekeningen te laten herkennen - om te weten wat een doos is, wat een zin is en wat een doodle is - gewoon uit een reeks foto's. Ten eerste classificeren computervisie-algoritmen reeksen tekens als woorden, diagrammen of vormen, die allemaal kunnen worden gemanipuleerd. Dan geeft tekenherkenningssoftware - het onderwerp van jarenlang intensief onderzoek bij Microsoft en elders - betekenis aan de handgeschreven tekst. Op het computerscherm verschijnen de markeringen van de gebruiker als handschrift dat in het document is ingesloten. Softwaretools kunnen het schrift vervolgens omzetten in getypte tekst en gerenderde afbeeldingen; met deze tools kan de gebruiker bijvoorbeeld vakken en tekst manipuleren vanuit een handgetekend stroomschema.

Behalve dat gebruikers met de pen handgeschreven tekst, tabellen en grafieken kunnen importeren en manipuleren, stelt Wang, stelt de pen meerdere medewerkers in staat om opmerkingen te maken over afzonderlijke afdrukken van een document; de computer zou ze dan allemaal in hetzelfde bestand kunnen integreren. Het eindresultaat, zegt Wang, zal een interface zijn zoals een draagbare scanner, maar een die slim genoeg is om de beelden te begrijpen die hij vastlegt en om de droom van de uitvinder te vervullen om bergen analoog papier terug in digitale bestanden te veranderen.

doordringende pennen

Weg van het laboratorium, onder het genot van een maaltijd van gehaktballensoep in Shanghai-stijl en gestoomde vis, legt Wang uit hoe de cultuur van het laboratorium uitvindingen bevordert. Naast het delen van een work hard, eat hard mentaliteit, zegt hij, zijn de leden en leiders van het lab ervaren onderzoekers die begrijpen dat doorbraken tijd kosten. Je hoeft je niet altijd in een maand of zelfs een jaar te bewijzen, zegt Wang. Onderzoekers hebben dus de flexibiliteit om verschillende benaderingen uit te proberen, die belangrijk zijn voor ambitieuze projecten zoals het opnieuw uitvinden van de pen.

Microsoft Research Asia is een groot zakelijk laboratorium, met 150 fulltime onderzoekers in dienst, maar het heeft verrassend weinig bureaucratie, zegt Wang. Geen speciale goedkeuringsprocedures. Geen hardhandige mandaten van bovenaf. Het bedrijf probeert uitvindingen te koesteren door zijn ingenieurs de vrijheid te geven om interessante wegen voor langetermijnonderzoek te verkennen, terwijl het gefocust blijft op resultaten op korte termijn door mijlpalen te stellen en een paar keer per jaar projectbeoordelingen uit te voeren. Dat maakt het meer een academische setting, zegt Wang. We publiceren papers, gaan naar conferenties en ontvangen veel gastprofessoren. Het is een open omgeving.

Waarnemers zeggen dat deze openheid essentieel is voor de productiviteit van het laboratorium, vooral in een land met een beperkte geschiedenis van bedrijfsonderzoek. Ze zijn een succes geweest vanwege hun banden met de academische wereld, zegt Shiqiang Yang, executive vice-voorzitter van het Department of Computer Science and Technology aan de Tsinghua University, een van de toonaangevende technische scholen in Peking. De vrije uitwisseling van ideeën met studenten en professoren heeft de positie van het lab in de academische gemeenschap versterkt - en dat helpt het om enkele van China's beste studenten en computerwetenschappers te rekruteren.

De hechte banden werpen hun vruchten af: meer dan 70 technologieën die in het laboratorium in Peking zijn ontwikkeld, hebben hun weg gevonden naar Microsoft-producten op het gebied van videogamegraphics en spraakherkenning voor dicteren. Wat de digitale pen van Wang betreft, deze zou hele nieuwe markten voor Microsoft kunnen openen. Hoewel commercialisering nog een paar jaar weg is, is het team van Wang in gesprek met de productontwikkelingsgroepen van het bedrijf in Redmond. Specifieke productplannen zijn er nog niet, zegt Rashid, maar het levert veel spannende ideeën op over wat er mogelijk zou kunnen zijn.

In feite werpen de technologieën die door de groep van Wang zijn ontwikkeld in de loop van het penproject al vruchten af ​​voor het bedrijf. Software die handschrift op een scherm kan herkennen en manipuleren, is een kenmerk van het besturingssysteem voor tablet-pc's dat Microsoft in 2002 heeft uitgebracht. De Aziatische markt zou het eerste toegangspunt kunnen zijn voor interfaces zoals de digitale pen vanwege de vraag naar software om Tekens in Aziatische talen, waardoor het alleen al vanwege het grote aantal vervelend is om met toetsenborden in te voeren.

Bij elke nieuwe uitvinding zijn er talloze uitdagingen bij het transformeren van een opwindend prototype in een echt product; maar hier zou Wangs opleiding in psychologie en menselijke factoren hem goed van pas moeten komen. De pen en de bijbehorende software moeten gebruiksvriendelijker worden gemaakt, zegt hij; klanten tolereren geen extra complexiteit. Met de resterende knikken opgelost, heeft de uitvinding echter het potentieel om alomtegenwoordig te worden, vanwege de vertrouwdheid en het gemak van gewone pennen. De pen is zo doordringend, zo expressief en een van de beste uitvindingen, zegt Wang. Dus ik denk dat de pen in de toekomst een heel goed computerapparaat kan zijn.

Uiteindelijk, zegt Wang, zal alles op je bureau - boeken, tijdschriften, afdrukken - een digitale verbinding met je computer hebben. Het is wat hij noemt het sluiten van de lus tussen analoog en digitaal. En met de toename van rekenkracht en geheugen, zou een apparaat als de pen van Wang de belangrijkste computerinterface kunnen worden die mensen onderweg gebruiken. Wang stelt zich voor dat gebruikers niet alleen gegevens kunnen invoeren en opslaan, maar ook, met een draadloze handcomputer, toegang kunnen krijgen tot informatie in bijvoorbeeld een tijdschriftartikel door woorden te onderstrepen die kunnen worden herkend en opgezocht op het web.

Met zoveel te doen heeft Wang echter geen tijd te verliezen. Hij mag dan voor een van 's werelds grootste bedrijven werken, hij heeft nog steeds de lange nachtelijke uren van een eenzame uitvinder. Na het eten, terwijl het grootste deel van Peking donker en stil is, gaat hij weer aan het werk, met de bedoeling de toekomst van mens-computerinterfaces vast te leggen.

zich verstoppen