211service.com
Zich schrap zetten voor de datastroom
Van Facebook tot het Department of Motor Vehicles, de wereld is gecatalogiseerd in databases. Niemand weet het beter dan MIT-adjunct-professor en ondernemer Michael Stonebraker , die de afgelopen 25 jaar de technologie heeft ontwikkeld die dit mogelijk heeft gemaakt. Hij kreeg zijn grote doorbraak door technologie uit te vinden en te commercialiseren die ten grondslag ligt aan de meeste databases, ook wel relationele databases genoemd, die tegenwoordig de regel zijn. Maar Stonebraker noemt zijn eerdere uitvindingen nu gelukkig grotendeels achterhaald. Hij werkt aan een nieuwe generatie databasetechnologie die de stroom aan digitale gegevens aankan die de gevestigde methoden beginnen te overweldigen.
Relationele databases zijn alomtegenwoordig als de oplossing voor bedrijfsgegevens. Ze zijn fabelachtig succesvol geweest, zegt Stonebraker. Maar hij zegt dat de grootste databaseleveranciers, waaronder Oracle, IBM en Microsoft, nog steeds dergelijke producten verkopen als geschikt voor elk bedrijf. Stonebraker heeft een andere mening: dat er nieuwe databasetechnologieën nodig zijn om de exponentiële toename van de informatie die bedrijven moeten verwerken, aan te kunnen. Stonebraker, 67, vindt al succes met verschillende van zijn eigen nieuwe benaderingen.
Een daarvan is een databasesysteem genaamd C-Store . In tegenstelling tot de meeste systemen die tegenwoordig in gebruik zijn, slaat het gegevens kolom voor kolom op schijf op, niet rij voor rij. Die simpele aanpassing vereiste een volledige herschrijving van hoe databases hebben gewerkt, maar het sluit perfect aan bij zowel de manier waarop het computergeheugen werkt als de manier waarop databases worden benaderd. Dat levert veel snellere prestaties en meer gecomprimeerde gegevens op.
Die tweak en andere gemaakt door Stonebraker en collega's van MIT, Brown, Brandeis, Yale en de University of Massachusetts maakten de lancering mogelijk van Verticaal , een bedrijf dat C-Store commercialiseerde en klanten hielp om grote databases bijna in realtime te doorzoeken. Vertica werd in februari overgenomen door Hewlett-Packard en heeft klanten als Comcast, dat het gebruikt om de miljoenen apparaten te monitoren die deel uitmaken van zijn tv- en internetnetwerken, en Groupon, dat het gebruikt om de acties van zijn miljoenen abonnees te analyseren.
Een gerelateerd systeem van Stonebraker en enkele van dezelfde academische collega's, H-Store , bouwt voort op dezelfde ideeën met extra verbeteringen, zoals volledig draaien in het geheugen van een computer, niet op schijf; deze methode is met name handig bij het verwerken van online transacties. De code van H-Store is open source, maar de technologie wordt gecommercialiseerd door venture-backed VoltDB , met Stonebraker als CTO. Hij stelt dat dit soort gebruiksspecifieke, op snelheid gebouwde databasesystemen de meeste ondernemingen vroeg of laat zullen moeten gebruiken om de stroom aan digitale gegevens het hoofd te bieden.
Sommige organisaties zitten al in die vloed. Denk aan Facebook. Facebook is al gastheer voor meer digitale foto's dan enig ander bedrijf en bouwt zo snel als het kan een nieuwe opslag- en verwerkingsinfrastructuur. Toch drijft het de databasetechnologie die het gebruikt tot het uiterste, door zijn beroemde sociale grafiek te splitsen over 4.000 databases die allemaal als één moeten samenwerken, zegt Stonebraker. Ze sterven gewoon onder de belasting van de managementlaag die nodig is om dit systeem in stand te houden, zegt hij. Ze hebben het grootste databaseprobleem ter wereld en er is geen systeem dat aan hun behoeften kan voldoen.
Oplossingen die Stonebraker bouwt voor een heel andere sector die al verdrinkt in gegevens, kunnen uiteindelijk helpen. Een paar jaar geleden hoorde hij van de problemen waarmee de Grote synoptische onderzoekstelescoop in aanbouw in Chili. Het gaat 100 petabyte aan ruwe data en afgeleide data verzamelen, zegt Stonebraker, en ze hadden geen idee wat ze met zoveel moesten doen.
Stonebraker en medewerker David DeWitt, verbonden aan de Universiteit van Wisconsin-Madison, hebben een uniek databasesysteem gebouwd met de naam SciDB . Het open-sourceproject heeft nu durfsteun en een grote gemeenschap van vrijwilligers uit de wetenschap. Maar Stonebraker denkt dat functies van SciDB uiteindelijk de gunst zullen vinden buiten de academische wereld.
Alle wetenschappelijke gegevens zijn onzeker en hebben foutbalken, in tegenstelling tot de gegevens in een salarisdatabase, zodat SciDB aandacht kan besteden aan onzekerheid. Het kan ook niet overschrijven, want wetenschappers willen nooit iets weggooien, zegt hij. Die functies verschillen niet zo veel van de behoefte aan krachtige, statistiek-intensieve analyses of datawetenschap die steeds meer de kern vormen van succesvolle, door technologie geleide bedrijven. Een voorbeeld is online advertentieplaatsing: om elke persoon afzonderlijk te targeten, is een rekenintensieve analyse vereist om vergelijkbare mensen bij elkaar te brengen.
Stonebraker beweert echter niet dat nieuwe databasesystemen zoals die waaraan hij werkt een wondermiddel kunnen zijn voor bedrijven die plotseling de grenzen van meer gevestigde technologieën leren kennen. Het groeiende belang van gegevensopslag en -verwerking voor allerlei soorten bedrijven zal van beide bedrijven een grotere zakelijke prioriteit maken. Als je een bedrijf runt, moet je vanaf het begin op schaal bouwen, zegt hij, want je zult het ongetwijfeld later nodig hebben.