De algoritmen van Akamai

Jij doet de wiskunde. Tom Leighton, een professor aan MIT's Laboratory for Computer Science, of LCS, bezit bijna 10 miljoen aandelen in Akamai Technologies, een bedrijf dat hij mede-oprichtte in augustus 1998. Afgelopen oktober ging Akamai naar de beurs, met prijzen bij de beursintroductie (IPO ) beginnend bij $26 per aandeel; tegen het einde van de dag hadden beleggers de prijs geboden tot $ 145 per aandeel. Een maand later werd het aandeel verkocht voor $ 327 per aandeel. Het maakt niet uit hoeveel wiskundeangst je hebt, je snapt het wel: Tom Leighton was een zeer rijk man geworden.

Als academicus wiens expertise ligt in parallelle algoritmen en toegepaste wiskunde, is Leighton op het eerste gezicht een onwaarschijnlijke kandidaat voor een internet-tweeds-to-riches-succesverhaal. Maar bij nader inzien is het volkomen logisch. Leighton onderzoekt al jaren hoe complexe netwerken werken en hoe ze kunnen worden geoptimaliseerd. Dus, vijf jaar geleden, toen Tim Berners-Lee (de uitvinder van het World Wide Web) door de hal van LCS kwam op zoek naar manieren om de escalerende verkeersstroom op internet beter te beheren, waren Leighton en zijn team van afgestudeerde studenten een voor de hand liggende plek om binnen te vallen.

Dit verhaal maakte deel uit van ons nummer van september 2000

• Zie de rest van het probleem
• Abonneren

In de daaropvolgende jaren probeerden Leighton en een mix van MIT-studenten en -studenten een betere manier te bedenken om inhoud via het web te beheren en te verspreiden. Begin 1998 deed de groep, met inbegrip van afgestudeerde student Daniel Lewin (die samen met Leighton en Jonathan Seelig, een student aan MIT's Sloan School, Akamai oprichtte), deel aan de MIT $ 50K Entrepreneurship Competition. Het team was finalist, maar won niet. Toch klopten de durfkapitalisten aan. En de rest is internetgeschiedenis. Tegenwoordig beheert het bedrijf een wereldwijd netwerk van meer dan 4.000 servers die webcontent distribueert voor klanten als Yahoo!, CNN en C-SPAN; als een pc-gebruiker bijvoorbeeld videostreaming van de website van C-SPAN aanvraagt, helpt het Akamai-serversysteem om die inhoud te leveren, waardoor knelpunten op de gecentraliseerde site van C-SPAN worden vermeden. Het gedistribueerde netwerk maakt de levering van inhoud via het web sneller en betrouwbaarder.

Ondanks het winnen van de IPO-jackpot, vertoont de zachtaardige MIT-professor (momenteel met verlof van LCS) weinig openlijke tekenen van materieel succes. Op het nieuwe hoofdkantoor van Akamai naast de MIT-campus, heeft Leighton, de hoofdwetenschapper van het bedrijf, een bescheiden hoekkantoor dat toezicht houdt op een doolhof van hokjes. Het is heel erg het kantoor van een professor, en Leighton spreekt in de geduldige en precieze woorden van iemand die gewend is om uit te leggen hoe dingen werken. TR Senior Editor David Rotman ging onlangs langs voor een les over het beheren van verkeer op het internet van vandaag.

TR: Wanneer kwam het bij u op dat u algoritmen kon gebruiken om de levering van inhoud op het web te optimaliseren?
LEIGHTON: De eerste keer dat ik ooit aan internet dacht, was in 1995. Mijn kantoor [bij het LCS van het MIT] bevindt zich in de hal van Tim Berners-Lee en het Web Consortium. In de loop van de tijd hebben we gesproken over enkele van de problemen waarmee internet wordt geconfronteerd. Dit zijn het soort grootschalige netwerkproblemen waar onze groep aan werkte en waar ik al lange tijd in geïnteresseerd ben. Dus namen we er een paar op als onderzoeksprojecten.

TR: In zekere zin is internet echt de ultieme netwerkuitdaging, nietwaar?
LEIGHTON: Ja. Dat is juist.

TR: Wat was het probleem waarmee je in '95 begon?
LEIGHTON: We waren op zoek naar manieren om met flash crowding en hot-spotting om te gaan. Dat is waar veel mensen naar één site tegelijk gaan en de site overspoelen en het netwerk eromheen neerhalen - en iedereen ongelukkig maken.

TR: Kun je uitleggen welke technologieën je hebt ontwikkeld?
LEIGHTON: Tegenwoordig zijn we waarschijnlijk een van 's werelds grootste gedistribueerde netwerken. Op hoog niveau serveren we content of verwerken we applicaties voor eindgebruikers, en dat doen we vanaf servers die dicht bij de eindgebruikers staan. Sluiten is iets dat dynamisch verandert, op basis van netwerkomstandigheden, serverprestaties en belasting. Omdat we dichtbij zijn, kunnen we veel van de hangups, vertragingen en pakketverlies vermijden die je zou kunnen ervaren als je ver weg bent. Vroeger had u uw interactie meestal met een centrale website. En dat was meestal ver weg. Nu heb je meestal veel van je interacties - niet allemaal, maar veel - met een Akamai-server die bij jou in de buurt is en in realtime wordt geselecteerd.

TR: Wat zijn de trucs en uitdagingen om dit gedistribueerde systeem te laten werken?
LEIGHTON: Het is een extreem moeilijk gebied; je kunt niet zomaar een stel servers naar buiten gooien en ze allemaal met elkaar laten werken. De servers zelf gaan het begeven. Processoren gaan het begeven. Het internet heeft allerlei eigen problemen en faalwijzen. Dus al dit soort dingen moeten worden ingebouwd in de algoritmische benadering. Hoe ontwikkel je een decentraal algoritme met imperfecte informatie dat toch gaat werken? Dat is een enorme uitdaging. Maar het is duidelijk wat je moet doen. Je kunt geen centraal storingspunt hebben of het systeem valt uit. Ik kan geen onderdeel of een stuk hardware bedenken dat op een bepaald moment of ergens niet heeft gefaald. Het is dus een gegeven [dat je een gedistribueerd systeem nodig hebt].

Wanneer een klant bij een van onze klanten komt op zoek naar content, moeten we uitzoeken waar die klant is, vanuit welke van onze locaties op dat moment de klant het beste kan worden bediend en wat de beladingstoestanden zijn, zodat we niet iets overbelasten. We moeten omgaan met flash-menigten die zowel geografisch als inhoudelijk specifiek zijn. We moeten de inhoud onmiddellijk repliceren om al dat soort problemen op te lossen, maar je kunt het je niet veroorloven om overal kopieën van te hebben. U moet deze beslissingen nemen en binnen milliseconden reageren op de klanten. We moeten automatisch zijn. En als stukken falen, moet je dat automatisch compenseren.

TR: Dat noem je fouttolerant?
LEIGHTON: Ja, en u moet in alle opzichten fouttolerant zijn. Dan zijn er ook nog de niet voor de hand liggende zaken. Zoals facturering. We serveren miljarden hits per dag en we factureren voor elke hit. We moeten uitzoeken wiens inhoud het was en hoeveel bytes het heeft, en ze daarvoor factureren. Bovendien hebben we een service die we onze klanten aanbieden, waarbij ze binnen 60 seconden kunnen zien hoeveel hits we in de afgelopen 60 seconden voor hen hebben gedaan. Daarnaast kunnen we voor onze klanten per land of staat uitsplitsen waar de hits vandaan komen. Het is een uitdagend algoritmisch probleem. Hoe doe je dat eigenlijk? En het laten werken met een eindige hoeveelheid hardware en middelen?

TR: Hardware is hier niet echt de sleutel tot, toch?
LEIGHTON: Het is niet eens een belangrijk onderdeel. Ik wil onze hardwarepartners niet kleineren, maar de sleutel hier is de algoritmische en software-infrastructuur. Het is van cruciaal belang.

TR: Wat is uw concurrentie in het aanbieden van een gedistribueerd netwerk voor het leveren van inhoud?
LEIGHTON: Er is niet echt veel daarbuiten. We bevinden ons in een tijd waarin er veel bedrijfsplannen zijn en veel verhalen. Er is niet veel in de weg van echte diensten die vandaag beschikbaar zijn. Vrijwel de enige concurrent in onze ruimte is Digital Island, dat onlangs Sandpiper [Networks] heeft overgenomen. Er zijn anderen die [bedrijfsplannen] hebben aangekondigd, maar nog niet actief verkeer vervoeren. Een van de dingen die Akamai onderscheidt, is de hoeveelheid onderzoek, engineering en R&D-inspanningen die zijn gestoken in het ontwerpen van het systeem. Het is niet zomaar een stapel dozen naar buiten gooien. Er zijn bedrijven die hebben geprobeerd dat te doen zonder gedistribueerd systeem. De bedrijven die twee of drie jaar geleden diensten aankondigden op basis van die aanpak, zijn niet meer actief. Dat doen werkte niet.

TR: Wat zijn de komende uitdagingen voor de technologie? Is het om content sneller te leveren?
LEIGHTON: Dat is een onderdeel. We proberen de belofte van internet waar te maken. Er is het idee dat er een enorme revolutie gaande is met betrekking tot internet. Tegelijkertijd is er frustratie vanwege de beperkingen. Wat we proberen te doen, is het internet nuttiger te maken. En een onderdeel daarvan is het sneller en betrouwbaarder maken. Een ander onderdeel, enigszins verwant, is het mogelijk maken van meer verrijkende, meer stimulerende inhoud. Als we streaming beter kunnen maken, en in dit geval is snelheid niet zozeer het probleem, het is bandbreedte en geen pakketverlies, dan krijg je een veel beter beeld op je scherm; je zult er meer mee doen, en meer mensen gaan het gebruiken om inhoud en informatie over te brengen. En dat is van onschatbare waarde voor het verrijken van de kracht van internet.

Maar niet alles is een duwtje in de rug. Akamai biedt diensten aan voor mogelijkheden zoals internetconferenties die bijvoorbeeld afstandsonderwijs mogelijk maken. Met deze diensten kunnen contentproviders of zakelijke klanten effectief content leveren en communiceren met een klein of groot publiek op het web via live audio en video; er zijn functies voor het delen van presentaties, opiniepeilingen en het modereren van berichten.

TR: Als je bijvoorbeeld een nieuwe functie als conferencing introduceert, welke eisen stelt dat dan aan het netwerk?
LEIGHTON: Hoe ga je het implementeren? Hoe ga je het integreren in dit enorme gedistribueerde platform? Hoe ga je het onderhouden voor duizenden klanten? Je hebt duizenden klanten en honderden miljoenen mensen die toegang hebben tot die klanten, en wij zitten er tussenin. En het moet allemaal vanzelf gaan. Je kunt niet rondhangen. Vergaderen klinkt eenvoudig. Maar het is niet zo eenvoudig als je het over dit soort schaal hebt. Wanneer mensen aan streaming denken, denken ze aan één enkele bron waar de inhoud vandaan komt, en dan vertakt het zich in een boom via internet. Die plekken kunnen kapot gaan en dan hebben al die mensen stroomafwaarts pech. We hebben een geheel nieuwe manier ontwikkeld om dit aan te pakken, zodat er geen kritiek punt van mislukking is. Als de bron sterft, zit je vast. Maar zodra [de inhoud] uit de bron is, repliceren we deze en verspreiden we deze door het systeem. Het is dus geen boom.

TR: Hoe ziet het eruit?
LEIGHTON: Het is moeilijk te beschrijven. De manier om erover na te denken is dat er tussen de bron en de bestemming meerdere transmissies plaatsvinden, zodat je inhoud op die paden kunt verliezen; je kunt pakketverlies hebben op een of alle van hen, maar op het eindpunt heb je genoeg informatie die van die locaties binnenkomt, zodat je het signaal kunt reconstrueren. Dus als er onderweg iets wordt gedood, zoals een pad, wordt niemand getroffen.

TR: We hebben allemaal wel eens frustraties ervaren met videostreaming. Wat is er nodig om de technologie betrouwbaarder te maken? Wanneer kunnen we webcasts net zo gemakkelijk als tv op volledig scherm bekijken?
LEIGHTON: Om videostreaming betrouwbaarder te maken, heb je een contentdistributieservice nodig om de bits betrouwbaar aan de rand van het netwerk te leveren, en dan moet je een betrouwbare last-mile-verbinding met internet hebben. Als u video van hoge kwaliteit wilt, kunt u beter een verbinding met internet met hoge bandbreedte hebben. Het zal nog wel even duren voordat je op grote schaal videostreams van tv-kwaliteit kunt krijgen.

We hebben een megabit-per-seconde livestream gedemonstreerd. Onlangs hebben we zelfs duizenden streams van één megabit per seconde naar live-klanten gestuurd die toegang hadden tot een keynote-toespraak van Steve Jobs [CEO van Apple Computer] op de conferentie. Dit is een belangrijke mijlpaal voor internet. Met die technologie krijg je een videostream van zeer hoge kwaliteit. Als de laatste mijl breedband is, bent u helemaal klaar om te gaan. Een ding waar we aan werken, is bandbreedteprofilering. Het idee is om automatisch de bandbreedte van de laatste mijl te detecteren. Heeft de klant een breedbandverbinding, een 28K-modem, of is het smalband, een mobiele telefoon of zoiets? Dan leveren we de content in functie daarvan. Dus als je merkt dat de client een hoge bandbreedte heeft, krijgen ze de versie met hoge bandbreedte, de gestreamde versie in plaats van de statische versie. Of in het geval van een smalle bandbreedte, krijgt u een gedrukte versie in plaats van de grafische versie.

TR: De aard van het web lijkt te veranderen met functies als videostreaming en conferenties. Waar gaat Akamai over vijf jaar aan werken? Hoe denk je dat het internet er dan uit zal zien?
LEIGHTON: Dingen gaan zo snel, het is echt moeilijk te voorspellen. Mensen die proberen te voorspellen, eten hun woorden op. Ik denk dat we nog maar aan het begin staan ​​van de internetrevolutie. Ik denk dat we nog niet eens zijn begonnen na te denken over alle dingen die we op internet kunnen doen. Ik kan je niet vertellen wat de hete service over vijf jaar zal zijn. Ik weet het niet. Ik zou tegen die tijd hopen dat bijvoorbeeld de kwaliteit van streaming veel beter is. Dat het deel uitmaakt van het dagelijks leven. Ik zou op zijn minst verwachten dat de typische webervaring rijker, efficiënter en betrouwbaarder zou worden dan nu het geval is.

TR: Je wordt door velen gezien als een voorbeeld van een academicus die het groot maakt als ondernemer in de nieuwe economie. Wat zeg je tegen degenen die jouw succes willen evenaren?
LEIGHTON: Ik heb nooit de ambitie gehad om ondernemer te worden. Ik hou van academici en heb Akamai mede opgericht omdat we vonden dat dit de beste manier was om onze technologie van een onderzoeksomgeving naar de praktijk over te brengen. Het voelde heel fijn om technologie, vooral technologie, uit een universiteit te halen en er een verschil mee te maken. Dat is waarschijnlijk de grootste beloning. Het duurt vaak 10 tot 20 jaar voordat een technologie op een universiteit zich echt manifesteert in de praktijk. En deze keer zijn we in staat om die tijd drastisch in te korten. Ik ben heel gelukkig met het schrijven van een paper dat maar vijf mensen lezen. Vrij slimme mensen zullen het lezen, en daar krijg ik een kick van. Het is wat ik mijn hele leven heb gedaan. Maar dit is iets met een kans om het verschil te maken.

TR: Mis je wel eens de dagen dat je, zoals je zelf zegt, je tijd besteedde aan het schrijven van papers die misschien vijf mensen konden lezen en begrijpen?
LEIGHTON: Ja, hoewel ik niet veel tijd heb om erover na te denken.

zich verstoppen