211service.com
Opslagsysteem voor 'Big Data' versnelt drastisch de toegang tot informatie
Naarmate computers steeds meer gebieden van ons dagelijks leven betreden, is de hoeveelheid gegevens die ze produceren enorm gegroeid.
Maar om deze big data bruikbaar te maken, moeten ze eerst worden geanalyseerd, wat betekent dat ze zo moeten worden opgeslagen dat ze snel toegankelijk zijn wanneer dat nodig is.
Voorheen werden alle gegevens die snel moesten worden geopend, opgeslagen in het hoofdgeheugen van een computer, of dynamisch willekeurig toegankelijk geheugen (DRAM), maar de omvang van de datasets die nu worden geproduceerd, maakt dit onmogelijk.
In plaats daarvan wordt informatie meestal opgeslagen op meerdere harde schijven op een aantal machines via een Ethernet-netwerk. Deze opslagarchitectuur verlengt echter aanzienlijk de tijd die nodig is om toegang te krijgen tot de informatie, volgens Sang-Woo Jun, een afgestudeerde student in het Computer Science and Artificial Intelligence Laboratory ( CSAIL ) aan het MIT.
Foto met dank aan de onderzoekers
Het opslaan van gegevens via een netwerk is traag omdat er een aanzienlijke extra tijdsvertraging is bij het beheren van gegevenstoegang over meerdere machines in zowel software als hardware, zegt Jun. En als de gegevens niet in DRAM passen, moet je naar secundaire opslag gaan - harde schijven, mogelijk verbonden via een netwerk - wat inderdaad erg traag is.
Nu hebben Jun, medestudent Ming Liu van CSAIL, en Arvind, de Charles W. en Jennifer C. Johnson hoogleraar Elektrotechniek en Computerwetenschappen, een opslagsysteem ontwikkeld voor big-data-analyse dat de tijd die nodig is om toegang tot informatie.
Het systeem, dat in februari zal worden gepresenteerd op het International Symposium on Field-Programmable Gate Arrays in Monterey, Californië, is gebaseerd op een netwerk van flash-opslagapparaten.
Flash-opslagsystemen presteren beter bij taken waarbij willekeurige stukjes informatie uit een grote dataset worden gevonden dan andere technologieën. Ze kunnen meestal willekeurig worden geopend in microseconden. Dit is vergelijkbaar met de gegevenszoektijd van harde schijven, die gewoonlijk vier tot twaalf milliseconden is bij het op aanvraag openen van gegevens vanaf onvoorspelbare locaties.
Flash-systemen zijn ook niet-vluchtig, wat betekent dat ze geen informatie verliezen die ze bevatten als de computer wordt uitgeschakeld.
In het opslagsysteem, bekend als BlueDBM - of Blue Database Machine - is elk flashapparaat verbonden met een FPGA-chip (field-programmable gate array) om een individueel knooppunt te creëren. De FPGA's worden niet alleen gebruikt om het flash-apparaat te besturen, maar zijn ook in staat om bewerkingen op de gegevens zelf uit te voeren, zegt Jun.
Dit betekent dat we enige verwerking kunnen doen in de buurt van waar de gegevens [worden opgeslagen], dus we hoeven niet altijd alle gegevens naar de machine te verplaatsen om eraan te werken, zegt hij.
Bovendien kunnen FPGA-chips aan elkaar worden gekoppeld met behulp van een krachtig serieel netwerk, dat een zeer lage latentie of tijdvertraging heeft, wat betekent dat informatie van elk van de knooppunten binnen enkele nanoseconden toegankelijk is. Dus als we al onze machines via dit netwerk verbinden, betekent dit dat elk knooppunt toegang heeft tot gegevens van elk ander knooppunt met zeer weinig prestatievermindering, [en] het zal voelen alsof de externe gegevens hier lokaal staan, zegt Jun.
Door meerdere nodes te gebruiken, kan het team dezelfde bandbreedte en prestaties uit hun opslagnetwerk halen als veel duurdere machines, voegt hij eraan toe.
Het team heeft al een prototypenetwerk met vier knooppunten gebouwd. Deze is echter gebouwd met 5 jaar oude onderdelen en is daardoor vrij traag.
Dus bouwen ze nu een veel sneller prototypenetwerk met 16 knooppunten, waarin elk knooppunt met 3 gigabyte per seconde zal werken. Het netwerk krijgt een capaciteit van 16 tot 32 terabyte.
Met behulp van de nieuwe hardware bouwt Liu ook een databasesysteem dat is ontworpen voor gebruik in big data-analyse. Het systeem zal de FPGA-chips gebruiken om berekeningen uit te voeren op de gegevens zoals deze worden gebruikt door de hostcomputer, om het proces van het analyseren van de informatie te versnellen, zegt Liu.
Als we snel genoeg zijn, als we het juiste aantal knooppunten toevoegen om ons voldoende bandbreedte te geven, kunnen we wetenschappelijke gegevens met een hoog volume analyseren met ongeveer 30 frames per seconde, waardoor we vragen van gebruikers met zeer lage latenties kunnen beantwoorden, waardoor het systeem lijken realtime, zegt hij. Dat zou ons een interactieve database opleveren.
Als voorbeeld van het soort informatie waarop het systeem kan worden gebruikt, heeft het team gewerkt met gegevens van een simulatie van het universum, gegenereerd door onderzoekers van de Universiteit van Washington. De simulatie bevat gegevens over alle deeltjes in het heelal, op verschillende tijdstippen.
Wetenschappers moeten deze nogal enorme dataset bevragen om bij te houden welke deeltjes met welke andere deeltjes interageren, maar het uitvoeren van dat soort vragen is tijdrovend, zegt Jun. We hopen een realtime interface te bieden die wetenschappers kunnen gebruiken om de informatie gemakkelijker te bekijken.
Kees Vissers van programmeerbare chipfabrikant Xilinx, gevestigd in San Jose, Californië, zegt dat flash-opslag begint te worden gezien als een vervanging voor zowel DRAM als harde schijven. Historisch gezien moest computerarchitectuur een bepaalde geheugenhiërarchie hebben - cache op de processors, DRAM off-chip en vervolgens harde schijven - maar die hele lijn wordt nu vervaagd door nieuwe mechanismen van flash-technologie.
Het werk bij MIT is vooral interessant omdat het team het hele systeem heeft geoptimaliseerd om met flash te werken, inclusief de ontwikkeling van nieuwe hardware-interfaces, zegt Vissers. Dit betekent dat je een voordeel op systeemniveau krijgt, zegt hij.