Grafische chips helpen bij het verwerken van grote datasets in milliseconden

Nieuwe software kan de grafische processors op gewone computers gebruiken om gegevensstromen sneller te verwerken dan normaal mogelijk is, waardoor nieuwe manieren ontstaan ​​om alles visueel te verkennen, van Twitter-berichten tot politieke donaties.

Regenmaker : Nieuwe visualisatietechnologie heeft slechts enkele milliseconden nodig om tientallen of honderden miljoenen datapunten om te zetten in kaarten en animaties zoals dit voorbeeld die de frequentie van het woord regen in tweets in het hele land laten zien.

Bekend als KaartD , of massaal parallelle database, de nieuwe technologie behaalt grote snelheidswinsten door de gegevens op te slaan in het interne geheugen van grafische verwerkingseenheden (GPU's) in plaats van in centrale verwerkingseenheden (CPU's), zoals gebruikelijk is. Het gebruik van een enkele krachtige GPU-kaart kan de gegevensverwerking tot 70 keer sneller maken.

Op dit moment wordt de prototypetechnologie gedemonstreerd op tweets; het kan laten zien hoe een meme zich in realtime verspreidt op regionale of wereldkaarten (bekijk Big data visualiseren in milliseconden op goedkope computers). Veel grootschalige Twitter-visualisaties, waaronder geanimeerde kaarten en grafieken, hebben enkele seconden of langer nodig om gegevens te verwerken voordat deze kunnen worden weergegeven. Met MapD kan een gebruiker zoektermen en andere parameters aanpassen, zoals tijdsbestek of geografische regio, en direct een nieuwe visualisatie zien, zonder te hoeven wachten tot elke nieuwe kaart en animatie is berekend en geladen.

Deze openbare interface kan worden gebruikt om 50 miljoen geocodeerde tweets te visualiseren die tussen 28 september en 6 oktober zijn gepost. De tool stelt gebruikers in staat om verschillende zoektermen te verkennen, brede geografische trends te onderzoeken en in te zoomen op elke tweet. Voor elk van de 30 frames per seconde die het genereert bij het animeren van Twitter, scant Map-D alle tweets die op de GPU's zijn geladen, en maakt visualisaties zoals kaarten van hoe woordgebruik, waaronder vermeldingen van een productnaam of nieuwsitem - verspreidt zich in realtime over een regio of over de hele wereld.

De [bestaande Twitter-visualisaties] die we kennen, zijn 'ingeblikt' - gebaseerd op een eerdere berekening van een kaart of afbeelding, in plaats van echt interactief te zijn, zegt Samuel Madden , een professor in computerwetenschappen aan het MIT. We hebben een nieuw soort databasesysteem gebouwd. Het zal elk verzoek beantwoorden en ook in kaart brengen door elke tweet in de database te scannen, wat in slechts enkele milliseconden kan worden gedaan. Het systeem kan het tempo bijhouden, zelfs als de database honderden miljoenen tweets bevat.

De technologie werd vorig jaar bedacht door Todd Mostak, toen een afgestudeerde student aan de Harvard-universiteit in het Midden-Oosten, die gefrustreerd was door de trage verwerking die hij tegenkwam toen hij sociale-mediadatasets uit Egypte en elders in het Midden-Oosten probeerde te kraken. Door een tool te bouwen om dit soort datasets op een echt interactieve manier te verkennen, met latenties gemeten in milliseconden in plaats van seconden of minuten, hopen we een computationeel knelpunt te verwijderen uit het proces van het formuleren, testen en verfijnen van hypothesen, zegt Mostak.

De technologie zou het gemakkelijker kunnen maken om inzichten te verkrijgen uit het enorme corpus aan informatie van Twitter. Het combineren van volkstellingsgegevens met tweets zou bijvoorbeeld kunnen laten zien hoe de vermelding van het woord McDonald's in tweets met geotags verband houdt met variabelen zoals inkomen of werkloosheidsniveaus.

Een early adopter is de Stichting Sunlight , die openheid in de financiering van campagnes bevordert. Die organisatie voert 22 jaar aan Amerikaanse staats- en federale campagnedonatiegegevens aan MapD, wat manieren zal bieden om snel visualisaties te variëren die meer dan 20 miljoen donaties opsplitsen op basis van donor, regio, gekozen ambtenaar en andere parameters. Elk nieuw type zoekopdracht genereert in slechts milliseconden een nieuwe visualisatie.

Met bestaande methoden kan het seconden duren voordat een visualisatie is geladen, omdat het zo lang duurt om de informatie in een database op te vragen. Snellere toegang stelt onderzoekers in staat om sneller hypothesen te testen en visualisaties te verfijnen. Dat zou big datasets nuttiger kunnen maken. Veel laptops bevatten zelfs vrij krachtige GPU's - snel genoeg om de interactieve verkenning van middelgrote datasets van pakweg 20 miljoen tweets drastisch te versnellen, zegt Mostak.

De technologie van MapD belooft nieuwe soorten realtime zoekopdrachten mogelijk te maken, zegt Bob Lannon, een ontwikkelaar bij Zonlichtlabs , dat data-analysetools ontwikkelt voor de Sunlight Foundation. Binnenkort kunt u snel grote hoeveelheden gegevens verkennen en deze draaien, filteren en samenvatten op manieren die voorheen niet beschikbaar waren. We zijn benieuwd wat het voor onze gebruikers kan betekenen.

Nvidia, een van de toonaangevende fabrikanten van GPU's, is van plan om MapD op een aanstaande conferentie te demonstreren op meer dan een miljard tweets met acht GPU's. De onderzoekers zijn ook van plan om een ​​gezamenlijke demo te doen met Gnip, de toonaangevende reseller van sociale-mediagegevens van bronnen als Twitter, Foursquare en Facebook. Elaine Ellis, een woordvoerster van Gnip, zei dat het bedrijf niet klaar was om over de samenwerking te praten.

Twitter meldde onlangs dat het 215 miljoen maandelijkse actieve gebruikers heeft die meer dan 400 miljoen tweets per dag uitzenden. Hiervan bevatten ongeveer zeven miljoen tweets GPS-geolocatietags, meestal van mobiele apparaten. Het in realtime kunnen visualiseren van enorme stromen geografisch identificeerbare sociale-media- en mobiele-telefoongegevens kan grote gevolgen hebben voor de epidemiologie en rampenbestrijding (zie Big Data van goedkope telefoons).

Naast het gebruik van grafische chips, werken Madden en Mostak samen met onderzoekers van Intel om MapD te laten profiteren van de nieuwe massaal parallelle processors evenals de gewone X86-processors die de meeste computers aandrijven.

zich verstoppen