211service.com
Supercomputer verwerkt Twitter in realtime
Het bepalen van de meest invloedrijke gebruikers van Twitter is waarschijnlijk niet wat de makers van de Cray XMT supercomputer in gedachten had toen ze hun machine ontwierpen. Maar als je zoveel rekenkracht inpakt, ga je waar de grootste problemen zijn. Twitter, Facebook en de rest van het sociale web zijn het moderne equivalent van de waterkoeler geworden, zij het met een automatische transcriptionist. En het verwerken van alle gegevens die een gesprek genereert, blijkt een heel moeilijk probleem te zijn.
Cray XMT supercomputer beleefdheid Cray
In februari 2010 telde Facebook bijvoorbeeld 400 miljoen actieve gebruikers met elk gemiddeld 120 vriendenverbindingen, die allemaal samen 5 miljard stukjes informatie in één maand deelden.
Om erachter te komen wie de influencers zijn in zo'n enorme sociale netwerken, moet je een gigantische sociale grafiek maken, waarbij elke gebruiker een hoekpunt is en de verbindingen ertussen lijnen zijn. Het rangschikken van gebruikers binnen zo'n grafiek vereist een bepaling van hun centrale positie. Dat wil zeggen, hoeveel andere mensen zijn met hen verbonden, en hoeveel mensen zijn met hen verbonden, enzovoort, totdat je bij de stam van de boomstructuur komt die ten grondslag ligt aan verbondenheid op een dienst als Twitter.
Het blijkt dat dit niet het soort probleem is dat gemakkelijk kan worden opgelost, zelfs niet door de gebruikelijke werkstations van de wetenschappelijke supercomputerwereld - de GPGPU-aangedreven supercomputers die gebruikmaken van de grafische chips die gewoonlijk worden gebruikt om weelderige 3D-omgevingen in videogames weer te geven. Deze GPGPU-werkstations bieden simpelweg niet genoeg controle over hoeveel processen parallel lopen om efficiënt door sociale grafieken te bladeren die zo groot zijn als die van Twitter of Facebook.
Daarom is David Ediger van Georgia Tech, met de hulp van een lange lijst van medewerkers , wendde zich tot de 128-CPU Cray XMT die is gehuisvest in het Pacific Northwest National Laboratory. De XMT is een favoriet van supercomputing hot-rodders en uber-geeks die zijn fijnkorrelige massaal multithreaded afstembaarheid waarderen. Deze machine wordt meestal ingezet voor het oplossen van problemen zoals hiërarchische Bayesiaanse modellering voor tekstanalyse of analyse van de stabiliteit van het Amerikaanse elektriciteitsnet , maar Ediger liet het nadenken over elke verdwaalde gedachte van de waarde van een enkele dag Twitter brandweerslang .
The Cray maakte korte metten met Twitter en wist in minder dan een uur een hele dag aan verbindingen te verwijderen. De resultaten zullen niemand verbazen - op Twitter wordt een klein deel van de bronnen op grote schaal geretweet, meestal door de overheid en de media, terwijl de rest van de service bestaat uit mensen die in kleine groepen praten of letterlijk tegen zichzelf praten.
Het punt is echter dat het gooien van een fijn afgestelde Cray met Ediger's aangepaste software - GraphCT - op Twitter de onderzoekers in staat stelde de service in zoiets als realtime te verwerken. Dat is precies het soort capaciteit dat inlichtingendiensten, marketeers en misschien zelfs Twitter zelf zouden willen hebben.
Volg Mims op Twitter of neem contact met hem op via e-mail .