De 70 online databases die onze planeet definiëren

In april hebben we gekeken naar een ambitieus Europees plan om de hele planeet te simuleren. Het idee is om de enorme hoeveelheden gegevens die worden gegenereerd door financiële markten, gezondheidsdossiers, sociale media en klimaatmonitoring te gebruiken om het klimaat, de samenlevingen en de economie van de planeet te modelleren. De visie is dat een dergelijk systeem kan helpen om crises te begrijpen en te voorspellen voordat ze zich voordoen, zodat overheden vooraf passende maatregelen kunnen nemen.

Hier liggen tal van uitdagingen. Niemand heeft nog de rekenkracht die nodig is voor een dergelijke taak, en er zijn ook geen modellen die zelfs veel kleinere systemen nauwkeurig kunnen modelleren. Maar voordat dat mogelijk is, moeten onderzoekers de economische, sociale en technologische gegevens verzamelen die nodig zijn om deze machine te voeden.

Vandaag krijgen we een uitgebreide rondleiding door deze uitdaging van Dirk Helbing en Stefano Balietti van het Zwitserse Federale Instituut voor Technologie in Zürich. Helbing is de drijvende kracht achter dit project en de man die het zal leiden als hij de 1 miljard euro krijgt die hij nodig heeft van de Europese Commissie.

Het blijkt dat er al talloze gegevensbronnen zijn die de nodige brandstof kunnen leveren om Helbing's Earth Simulator van stroom te voorzien. In het verleden werd het verzamelen van gegevens over menselijke activiteiten grotendeels belemmerd door financiële, technologische en ethische kwesties, zeggen Helbing en Balietti. Dat is niet langer het geval.

Hoewel goede gegevens uit sociaalwetenschappelijke experimenten in het verleden moeilijk te verkrijgen waren, worden onderzoekers er momenteel door overspoeld dankzij een nieuwe generatie laboratoriumexperimenten, webexperimenten en de studie van massale online games voor meerdere spelers.

Deze en andere bezigheden produceren nu enorme hoeveelheden gegevens, waarvan vele vrij beschikbaar zijn op internet.

Een van de gevaren van een dergelijke benadering is natuurlijk dat alle ethische kwesties waarschijnlijk worden overspoeld door deze vloedgolf van getallen. Dit moet dringend worden aangepakt. Terwijl Helbing en collega's overtuigend schrijven over de mogelijke voordelen van een Earth Simulator, is het moeilijk te geloven dat ze evenveel aandacht hebben besteed aan de mogelijke risico's.

Dus in het belang van het stimuleren van dit debat, reproduceer ik hier Helbing's lijst met websites die potentiële gegevensbronnen zijn voor een Earth Simulator. Het zorgt voor fascinerend, zij het zenuwslopend, lezen:

Internet en historische snapshots
Internetarchief / Wayback-machine
Het internetarchief biedt permanente toegang voor onderzoekers, historici, wetenschappers, mensen met een handicap en het grote publiek tot historische collecties die in digitaal formaat bestaan. Het internetarchief, opgericht in 1996, bevat nu teksten, audio, bewegende beelden en software, evenals gearchiveerd

Wikipedia
Wikipedia is de bekendste coöperatief bewerkte encyclopedie. Omdat elke wijziging wordt opgeslagen, kan de geschiedenis van webpagina's een gedetailleerd, op onderwerpen gebaseerd overzicht bieden van de belangrijkste referenties uit het verleden.

De kenniscentra
Een verzameling links naar andere bronnen voor het vinden van webpagina's zoals ze in het verleden bestonden.

wanneer geleden
Whenago biedt snelle toegang tot historische informatie over wat er in het verleden op een bepaalde dag is gebeurd.

Wereld Digitale Bibliotheek
De World Digital Library (WDL) stelt op internet gratis en in meertalig formaat belangrijke primaire materialen uit landen en culturen over de hele wereld beschikbaar.

Engines voor het ophalen van informatie
vrije basis
Freebase is een open, Creative Commons-gelicentieerde opslagplaats van gestructureerde gegevens van meer dan 12 miljoen entiteiten. Het biedt samenwerkingstools om entiteiten aan elkaar te koppelen en up-to-date te houden.

Wolfram Alpha Computational Knowledge Engine
Een poging om te berekenen wat er over alles kan worden berekend. Het is bedoeld om één enkele bron te bieden waarop iedereen kan vertrouwen voor definitieve antwoorden op feitelijke vragen.

Tekstmining op het web
Google trends
Google Trends toont visuele statistieken over hoe vaak er in de loop van de tijd op zoekwoorden is gezocht op Google. Google Trends laat ook zien hoe vaak onderwerpen in Google Nieuws-verhalen zijn verschenen en in welke geografische regio's mensen er het meest naar hebben gezocht.

Google Grieptrends
Google Grieptrends gebruikt geaggregeerde zoekgegevens van Google om griepactiviteit te schatten. Gegevens ook beschikbaar om te downloaden.

Het Observatorium
Het Observatorium-project richt zich op de complexe netwerkdynamiek op internet en stelt voor om de evolutie ervan in realtime te volgen, met als algemene doelstelling een beter begrip van de processen van kennisgeneratie en opiniedynamiek.

We voelen ons goed
Een database van enkele miljoenen menselijke gevoelens, verzameld uit blogs en sociale pagina's op het web. Met behulp van een reeks speelse interfaces kunnen de gevoelens worden doorzocht en gesorteerd over een aantal demografische segmenten. Web-API ook beschikbaar.

CyberEmoties
Het CyberEmotions-project richt zich op de rol van collectieve emoties bij het creëren, vormen en opbreken van ecommunities. Het stelt drie datasets beschikbaar voor download met nieuws en opmerkingen van het BBC News-forum, Digg en MySpace, alleen voor academisch onderzoek en alleen na het indienen van een aanvraagformulier.

Delen van sociale gegevens
Gelinkte gegevens
Gekoppelde gegevens gaat over het gebruik van internet om gerelateerde gegevens te verbinden die voorheen niet waren gekoppeld, of het gebruik van internet om de drempel te verlagen om gegevens te koppelen die momenteel met andere methoden zijn gekoppeld.

Dataverse-netwerkproject
Het Dataverse Network is een applicatie om onderzoeksgegevens te publiceren, delen, raadplegen, extraheren en analyseren. Het vergemakkelijkt het beschikbaar stellen van gegevens aan anderen en maakt het mogelijk om het werk van anderen te repliceren. Onderzoekers en gegevensauteurs krijgen krediet, uitgevers en distributeurs krijgen krediet, aangesloten instellingen krijgen krediet.

Data360
Data360 is een open-source, collaboratieve en gratis website. De site herbergt een gemeenschappelijke en gedeelde database die elke persoon of organisatie die zich inzet voor neutraliteit en onpartijdigheid (wat betekent dat de gegevens spreken), kan gebruiken voor presentaties en visualisaties.

draaibaar
Swivel is een website waar mensen rapporten van grafieken en cijfers delen. Het is gratis voor openbare gegevens en brengt een maandelijks bedrag in rekening voor mensen die het privé willen gebruiken.

Veel ogen
Een IBM-initiatief waarmee gebruikers hun datasets kunnen uploaden en een verzameling tools kunnen gebruiken om zinvolle visualisaties van hen te verkrijgen. Elke visualisatie wordt openbaar opgeslagen op een speciale pagina, waar gebruikers deze kunnen becommentariëren, beoordelen en taggen. Hergebruik van de gegevens is mogelijk en wordt aangemoedigd.

Conflictgegevens
CSCW-gegevens over gewapende conflicten
CSCW en het Uppsala Conflict Data Program (UCDP) van het Department of Peace and Conflict Research, Uppsala University, hebben samengewerkt bij de productie van een dataset van gewapende conflicten, zowel intern als extern, in de periode van 1946 tot heden. Momenteel waarschijnlijk de meest uitgebreide dataset-repository die beschikbaar is, met name voor historische gegevens.

WarViews
Het doel van het WarViews-project is om een ​​gebruiksvriendelijke front-end te creëren voor de verkenning van GIS-gegevens over conflicten. Het kan in een webbrowser worden uitgevoerd of het kan worden weergegeven met Google Earth.

De volgende gegevenssets zijn specifiek voor de burgeroorlog met aanvullende empirische informatie:
Locatiegegevensset etnische groepen
Gegevensset etnische machtsbalansen
Verzameling van bijgewerkte datasets en codeboeken van het Uppsala Conflict Data Program (UCDP) .

ACLED
ACLED (Armed Conflict Location and Events Dataset) is gedeeltelijk opgenomen in de PRIO-dataset en is ontworpen voor uitgesplitste conflictanalyse en crisiskartering. Deze dataset codeert de locatie van alle gerapporteerde conflictgebeurtenissen in 50 landen in de derde wereld. Gegevens worden momenteel gecodeerd van 1997 tot 2009 en het project gaat door met het antidateren van conflictinformatie voor Afrikaanse staten tot het jaar van onafhankelijkheid.

CERAC
Het Centrum voor conflictanalyse biedt onderdak aan verschillende gegevensreeksen over conflicten tussen landen en enkele gegevensreeksen van bepaalde landen. Repositories hebben ook datasets van politieke instabiliteit en conflicten.

Het grensoverschrijdende tijdreeksgegevensarchief
Het Cross-National Time-Series Data Archive biedt jaarlijkse gegevens voor een reeks landen van 1815 tot heden. Het wordt vaak aangehaald en is volgens Robert Bates van de Harvard University een van de toonaangevende datasets over politiek geweld. Het is mogelijk de meest gebruikte dataset voor gebeurtenissen volgens Henrik Urdal, International Peace Research Institute, Oslo (PRIO).

Landspecifieke opslagplaatsen: Irak , Afghanistan
Verzameling van datasets van terroristische daden .

Gegevens in economie en financiën
Bloomberg
Internationale realtime dataprovider voor beslissers in financiën, bedrijfsleven en overheid.

Maddison-gegevens
Historische statistieken over BBP en bevolkingsgegevens.

UNCTAD-statistieken
Het UNCTAD-handboek voor statistieken online levert tijdreeksen van economische gegevens en ontwikkelingsindicatoren, die in sommige gevallen teruggaan tot 1950; de online database met grondstofprijsstatistieken; de UNCTAD-TRAINS op internet (Trade Analysis and Information System) voor handelscontrolemaatregelen en importstromen naar herkomst voor meer dan 130 landen; de database voor directe buitenlandse investeringen (FDI).

OESO-statistiekportaal
Grote verzameling datasets over economie, demografie. Extracten zijn vrij beschikbaar, volledige toegang vereist een abonnement.

EUROSTAT
Gedetailleerde statistieken over de EU en kandidaat-landen, en diverse statistische publicaties te koop.

Waar is George?
Ruimtelijk volgsysteem voor Amerikaanse en Canadese dollars.

Eurobilltracker
Ruimtelijk volgsysteem voor eurobankbiljetten.

Wetenschappelijke samenwerkingsgegevens
ISI Web of Knowledge
Uitgebreide bron van informatie in de wetenschappen, sociale wetenschappen, kunst en geesteswetenschappen. Het omvat verschillende datasets, waarvan de volgende misschien wel de meest opvallende zijn:
Journal citatie rapporten. Het stelt je in staat tijdschriften te evalueren en te vergelijken met behulp van citatiegegevens uit meer dan 7.500 wetenschappelijke en technische tijdschriften;
Web van de wetenschap. Het bestaat uit zeven databases met informatie die is verzameld uit duizenden wetenschappelijke tijdschriften, boeken, boekenreeksen, rapporten, conferenties en meer.

Google geleerde
Google Scholar is een zoekmachine gespecialiseerd in wetenschappelijke literatuur. Het indexeert verschillende bronnen (artikelen, boeken, abstract, proefschrift, etc.) uit verschillende disciplines en sorteert ze op aantal citaties, auteur en tijdschrift impact factor.

Scholarometer
Scholarometer is een sociaal hulpmiddel om citatie-analyse te vergemakkelijken en de impact van publicaties van een auteur te helpen evalueren. Het werkt als een software-plug-in voor de Firefox-browser.

Scopus
Scopus is een zeer grote database met abstracts en citaten van onderzoeksliteratuur. Het is alleen beschikbaar voor geregistreerde gebruikers.

Levende wetenschap
Living Science is een realtime wereldwijd wetenschappelijk observatorium gebaseerd op publicaties die zijn ingediend bij arXiv.org. Het omvat realtime (dagelijkse) inzendingen van publicaties op uiteenlopende gebieden als natuurkunde, astronomie, informatica, wiskunde en kwantitatieve biologie. Momenteel wordt de inhoud elke dag dynamisch bijgewerkt. Living Science is een krachtig analyse-instrument om de omvang en impact van wetenschappelijk werk wereldwijd te identificeren.

Sociale wetenschappen
ICPSR van de Universiteit van Michigan
ICPSR biedt meer dan 500.000 digitale bestanden met sociaalwetenschappelijke onderzoeksgegevens. Disciplines vertegenwoordigd zijn onder meer politieke wetenschappen, sociologie, demografie, economie, geschiedenis, gerontologie, strafrecht, volksgezondheid, buitenlands beleid, terrorisme, gezondheid en medische zorg, vroege opvoeding, onderwijs, raciale en etnische minderheden, psychologie, recht, drugsmisbruik en mentale gezondheid en meer.

UK Data Center van de Universiteit van Essex
De grootste verzameling digitale onderzoeksgegevens van het VK op het gebied van sociale en geesteswetenschappen.

Berkeley's UC DATA Archief
De gegevensbezit van UC DATA bevinden zich voornamelijk op het gebied van politieke, sociale en gezondheidswetenschappen.

De Economische en Sociale Gegevensdienst (ESDS)
De Economic and Social Data Service (ESDS) is een nationale dataservice die toegang biedt tot en ondersteuning biedt voor een uitgebreid scala aan belangrijke economische en sociale gegevens, zowel kwantitatief als kwalitatief, en die vele disciplines en thema's bestrijkt. Het bevat een kaart met aanvullende datasets uit verschillende Europese landen.

CESSDA
Brede gegevensverzamelingen, waaronder sociologische onderzoeken, verkiezingsonderzoeken, longitudinale onderzoeken, opiniepeilingen en volkstellingsgegevens. Tot de materialen behoren internationale en Europese gegevens zoals de European Social Survey, de Eurobarometers en het International Social Survey Programme.

Gapminder-gegevens
Gapminder is een populaire technologie en webtoepassing voor cross-visualisatie van trends in tijdreeksen van gegevens. Het opent ook een archief met meerdere datasets over diverse sociaal-economische indicatoren.

Wereldwaarde-enquête
De World Value Survey levert gegevens over waarden en culturele veranderingen in samenlevingen over de hele wereld.

Stedelijke gegevens
Global Urban Observatory-database
De Global Urban Observatory (GUO) biedt beleidsgerichte stedelijke indicatoren, statistieken en andere stedelijke informatie.

Stedelijk Observatorium
In de VS gebaseerde datasets over rijkdom, innovatie en misdaad in steden.

Verkeersgegevens
rijbewijs
Het Next Generation Simulation (NGSIM)-programma is geïnitieerd door het United States Department of Transportation (US DOT). Het programma ontwikkelde een kern van open gedragsalgoritmen ter ondersteuning van verkeerssimulatie, en verzamelde primaire spoor- en trajectgegevens van hoge kwaliteit ter ondersteuning van het onderzoek en testen van de nieuwe algoritmen.

Zwitserse federale wegendienst FEDRO
Het Swiss Federal Roads Office biedt een uitgebreid overzicht van de verkeersstromen in Zwitserland. Gegevens worden verzameld door permanente automatische verkeerstelstations en sinds 1961 aangevuld met regelmatige handmatige controle.

Verkeersgegevens
Het doel van het project International Traffic Database (ITDb) is om verkeersgegevens te verstrekken aan verschillende groepen (onderzoekers, praktijkmensen, openbare entiteiten) in een formaat dat is afgestemd op hun specifieke behoeften, gaande van ruwe meetgegevens tot statistische analyse. ITDb promoot een flexibel formaat voor het verstrekken van verkeersgegevens op basis van gebruikersbehoeften en standaardgewoonten.

Verrekenkamer voor vervoersgegevens
Het Clearing House for Transport Data in het German Aerospace Center is het eerste aanspreekpunt voor een snel overzicht van de beschikbare data. Het is zowel gericht op organisaties die vervoerrelevante gegevens verzamelen als op degenen die de resultaten van dergelijk onderzoek willen gebruiken. De aangeboden informatie omvat het opstellen van gedetailleerde metadata over de datasets, evenals aantekeningen over mogelijk gebruik en bronnen.

Verder het Regiolab Delft
Het initiatief regiolab-delft begon net na 2000 als een gezamenlijk project onder leiding van de TU Delft in samenwerking met de gemeente Delft, onderzoeksschool TRAIL, de Provincie Zuid-Holland, het Ministerie van Verkeer en Waterstaat en enkele industriële partners. De gearchiveerde dataset bestaat uit meer dan 6 jaar 1 minuut gemiddelde snelheids- en geaggregeerde stroomgegevens van dicht op elkaar liggende inductielussen op het snelwegnetwerk in de provincie Zuid-Holland en andere gegevens van kruispuntcontrollers, kentekenplaatdetectiecamera's en nog veel meer.

RITA
De Research and Innovative Technology Administration (RITA) van het U.S. Department of Transportation biedt verschillende datasets over maritieme, vracht-, luchtvaart-, passagiers-, enz. verkeersstatistieken.

ETH Reisgegevensarchief (ETHTDA)
Het ETH Travel Data Archive (ETHTDA) is een virtueel platform waarmee eindgebruikers door de gearchiveerde reisgegevens kunnen bladeren via het web en waarmee eenvoudige statistische analyse mogelijk is.

Archief Metropolitan Travel Survey
Het Metropolitan Travel Survey Archive om reisonderzoeken van grootstedelijke gebieden, staten en plaatsen via internet op te slaan, te bewaren en openbaar beschikbaar te maken.

Infoblu
Infoblu is een particulier bedrijf dat realtime verkeersmonitoringdiensten levert voor Italië. Alle diensten zijn beschikbaar tegen betaling.

Kaarten openen
Google Maps
Wereldberoemde kaartenservice. Het biedt verschillende aanvullende diensten, zoals: Street View, door gebruikers geüploade inhoud (foto's, opmerkingen en beoordelingen) en gepersonaliseerde overlays via service-API's.

OpenStraatkaart
OpenStreetMap (door UCL) is een gratis bewerkbare kaart van de hele wereld. Met OpenStreetMap kunt u geografische gegevens op een collaboratieve manier bekijken, bewerken en gebruiken vanaf elke plek op aarde.

Tracksource Brazilië
Tracksource is een samenwerkingsproject gericht op het creëren en distribueren van gratis kaarten van Brazilië.

Logistieke gegevens
Nationale enquête voor huishoudelijke reizen
De National Household Travel Survey (NHTS) verzamelt gegevens over zowel langeafstands- als lokale reizen door het Amerikaanse publiek. Het gezamenlijke onderzoek verzamelt reisgerelateerde gegevens zoals vervoerwijze, duur, afstand en doel van de reis. Het verzamelt ook demografische, geografische en economische gegevens voor analysedoeleinden. Het maakt deel uit van RITA.

Grondstoffenstroomonderzoek
De Commodity Flow Survey (CFS) is de primaire bron van gegevens op nationaal en staatsniveau over binnenlandse vrachtzendingen door Amerikaanse vestigingen in de mijnbouw, productie, groothandel, hulpbedrijven en geselecteerde detailhandelssectoren. Er worden gegevens verstrekt over de soorten, herkomst en bestemmingen, waarden, gewichten, vervoerswijzen, verzonden afstanden en ton-mijlen verzonden goederen. Het maakt deel uit van RITA en wordt om de vijf jaar uitgevoerd (laatste bemonstering in 2007).

Klimaatgegevens
Julich
Klimaatgegevens van het Julich Research Center.

Google.org
Google introduceert zijn datagestuurde filantropische projecten, waaronder twee milieusatellietobservatoria:
de Earth Engine: voor het volgen van trends in ontbossing in de wereld;
de Crisis Response: voor het monitoren van de olieramp vanaf het gezonken platform Deep Horizon.

Realiteit mijnbouw
Realiteit Mijnbouw
Gedragsgegevens verzameld van 100 mobiele telefoons gedurende 9 maanden. Bevat statistieken voor zowel nabijheid als telefoongebruik. Twee geanonimiseerde datasets beschikbaar: single user (MySQL) en global (Matlab).

Andere open data-initiatieven
Data.gov
Brede verzameling openbare Amerikaanse datasets beschikbaar voor onderzoek.

Data.gov.uk
Brede verzameling openbare Britse datasets beschikbaar voor onderzoek.

Duiken in gegevens
Het is gelanceerd door de National Science Foundation (NSF) en biedt een verzameling verschillende gegevensopslagplaatsen.

Blog over gegevens van de voogd
Initiatief voor datajournalistiek dat datasets van algemeen belang (voornamelijk relevant voor het VK) samen met hun analyse plaatst. Ook zijn er enkele samenwerkingen met datavisualisatiekunstenaars aanwezig.

Google openbare gegevens
Google biedt verschillende grote datasets over diverse sociaal-economische indicatoren in de wereld en biedt tools voor eenvoudige visualisatie.

Referentie: arxiv.org/abs/1012.0178 : Van sociale datamining tot het voorspellen van sociaal-economische crises

zich verstoppen