211service.com
IBM bouwt grootste datadrive ooit
Onderzoekers van IBM's Almaden, Californië, onderzoekslaboratorium bouwen een gegevensopslag die bijna 10 keer groter is dan ooit tevoren. De schijf van 120 petabyte - dat is 120 miljoen gigabyte - bestaat uit 200.000 conventionele harde schijven die samenwerken. De gigantische datacontainer zal naar verwachting ongeveer een biljoen bestanden bevatten en zou de ruimte moeten bieden die nodig is om krachtigere simulaties van complexe systemen mogelijk te maken, zoals die worden gebruikt om weer en klimaat te modelleren.
Een schijf van 120 petabyte kan 24 miljard typische MP3-bestanden van vijf megabyte bevatten of gemakkelijk 60 exemplaren van de grootste back-up van het web, de 150 miljard pagina's waaruit het internetarchief bestaat WayBack-machine .
De gegevensopslaggroep op IBM Almaden ontwikkelt het recordbrekende opslagsysteem voor een niet nader genoemde klant die een nieuwe supercomputer nodig heeft voor gedetailleerde simulaties van fenomenen in de echte wereld. De nieuwe technologieën die zijn ontwikkeld om zo'n grote opslagplaats te bouwen, kunnen echter vergelijkbare systemen voor meer conventionele commerciële computers mogelijk maken, zegt Bruce Hillsberg , directeur opslagonderzoek bij IBM en leider van het project.
Dit systeem van 120 petabyte bevindt zich nu in de marge, maar over een paar jaar kan het zijn dat alle cloudcomputingsystemen er zo uitzien, zegt Hillsberg. Alleen al het bijhouden van de namen, typen en andere kenmerken van de bestanden die in het systeem zijn opgeslagen, kost ongeveer twee petabyte van de capaciteit.
Steve Conway, een vice-president van onderzoek bij het analistenbureau IDC dat gespecialiseerd is in high-performance computing (HPC), zegt dat de repository van IBM aanzienlijk groter is dan eerdere opslagsystemen. Een opslagarray van 120 petabye zou gemakkelijk de grootste zijn die ik ben tegengekomen, zegt hij. De grootste arrays die tegenwoordig beschikbaar zijn, zijn ongeveer 15 petabyte groot. Problemen met supercomputers die zouden kunnen profiteren van meer gegevensopslag, zijn onder meer weersvoorspellingen, seismische verwerking in de aardolie-industrie en moleculaire studies van genomen of eiwitten, zegt Conway.
De ingenieurs van IBM ontwikkelden een reeks nieuwe hardware- en softwaretechnieken om zo'n grote stijging van de gegevensopslagcapaciteit mogelijk te maken. Het was een uitdaging om een manier te vinden om de duizenden harde schijven waaruit het systeem is opgebouwd efficiënt te combineren. Zoals in de meeste datacenters, bevinden de schijven zich in horizontale laden die in hoge rekken zijn gestapeld. Toch moesten de onderzoekers van IBM die aanzienlijk breder maken dan normaal om meer schijven in een kleiner gebied te passen. De schijven moeten worden gekoeld met circulerend water in plaats van met standaardventilatoren.
De onvermijdelijke storingen die regelmatig optreden in zo'n grote verzameling schijven vormen een andere grote uitdaging, zegt Hillsberg. IBM gebruikt de standaardtactiek om meerdere kopieën van gegevens op verschillende schijven op te slaan, maar het maakt gebruik van nieuwe verfijningen waardoor een supercomputer op bijna volle snelheid kan blijven werken, zelfs als een schijf kapot gaat.
Wanneer een eenzame schijf sterft, haalt het systeem gegevens van andere schijven en schrijft deze langzaam naar de vervanging van de schijf, zodat de supercomputer kan blijven werken. Als er meer storingen optreden bij schijven in de buurt, wordt het herbouwproces versneld om de mogelijkheid te voorkomen dat er nog een storing optreedt en worden sommige gegevens permanent gewist. Hillsberg zegt dat het resultaat een systeem is dat een miljoen jaar lang geen gegevens mag verliezen zonder concessies te doen aan de prestaties.
Het nieuwe systeem profiteert ook van een bestandssysteem dat bekend staat als GPFS en dat is ontwikkeld door IBM Almaden om supercomputers snellere gegevenstoegang mogelijk te maken. Het verspreidt individuele bestanden over meerdere schijven, zodat veel delen van een bestand tegelijkertijd kunnen worden gelezen of geschreven. GPFS stelt een groot systeem ook in staat om zijn vele bestanden bij te houden zonder moeizaam door alle bestanden te hoeven scannen. Vorige maand gebruikte een team van IBM GPFS om 10 miljard bestanden te indexeren in 43 minuten, waarmee het vorige record van een miljard gescande bestanden in drie uur moeiteloos werd verbroken.
Softwareverbeteringen zoals die worden ontwikkeld voor GPFS en schijfherstel zijn cruciaal voor het mogelijk maken van dergelijke gigantische datadrives, zegt Hillsberg, omdat ze om praktisch te zijn niet alleen groter, maar ook sneller moeten worden. Harde schijven worden niet sneller of betrouwbaarder in verhouding tot de vraag naar meer opslagruimte, dus software moet het verschil maken.
IDC's Conway is het ermee eens dat snellere toegang tot grotere dataopslagsystemen cruciaal wordt voor supercomputing, ook al worden supercomputers het vaakst publiekelijk vergeleken op hun processorsnelheid, zoals het geval is met de wereldwijde TOP500-lijst die wordt gebruikt om internationale opscheprechten vast te stellen. Big drives worden belangrijk omdat simulaties groter worden en veel problemen worden aangepakt met behulp van zogenaamde iteratieve methoden, waarbij een simulatie duizenden keren wordt uitgevoerd en de resultaten worden vergeleken, zegt Conway. Checkpointing, een techniek waarbij een supercomputer snapshots van zijn werk opslaat voor het geval de taak niet met succes wordt voltooid, is ook gebruikelijk. Deze trends hebben geleid tot een data-explosie in de HPC-gemeenschap, zegt Conway.