211service.com
De opkomende valkuilen van nowcasting met big data
Eerder dit jaar hield de Europese Centrale Bank een tweedaagse workshop over big data en hoe deze kunnen worden gebruikt voor prognoses. De hoofdspreker was Hal Varian, hoofdeconoom bij Google en een nummerverkenner van de status van rockster.
Varian schetste de kracht van Google Trends en Google Correlate, de big data-tools van het bedrijf. Met Google Trends typt u een zoekopdracht en krijgt u een gegevensreeks van activiteiten terug. Met Google Correlate voer je een gegevensreeks in en krijg je een lijst met zoekopdrachten terug waarvan de gegevensreeks een vergelijkbaar patroon volgt, zegt Google op zijn Correlate-website. Met andere woorden, Google Correlate is als Google Trends omgekeerd.
Varian liet allerlei interessante trends en verbanden zien. Zoekopdrachten naar het woord kater stijgen bijvoorbeeld aanzienlijk op zaterdag, pieken op zondag en nemen duidelijk af op maandag. En het patroon is vergelijkbaar met het patroon van zoekopdrachten naar het woord wodka, zij het met een dag (of waarschijnlijker, een nacht en een ochtend erna).
In een ander voorbeeld liet hij zien hoe het invoeren van de gegevens over de eerste aanvragen voor werkloosheidsuitkeringen in de VS een lijst van 100 zoekopdrachten opleverde die een vergelijkbaar patroon volgden, inclusief de zin aanmelden voor werkloosheid.
Er zijn natuurlijk grenzen. Hij toonde tussen 2004 en 2012 een valse correlatie aan tussen autoverkopen in de VS en de zoekopdracht Indiase restaurants. Waarom deze twee datasets dezelfde trends volgen, is niet duidelijk, maar zoals elke statisticus je zal vertellen, betekent correlatie geen oorzakelijk verband.
De boodschap was duidelijk. Zoekopdrachtgegevens zijn enorm krachtig, maar moeten met enige zorg en voorzichtigheid worden behandeld.
Vandaag zeggen Paul Ormerod van University College London en een paar vrienden dat er andere redenen zijn om voorzichtig te zijn. Deze jongens hebben gegevens van Google Grieptrends bestudeerd waarin Google het aantal griepgerelateerde zoekopdrachten gebruikt om nu de incidentie van griep in verschillende delen van de wereld op een bepaald moment te voorspellen.
Ormerod en co zeggen dat er verschillende indrukwekkende voorbeelden zijn waar Google het aantal griepgevallen nauwkeurig heeft geschat, bijvoorbeeld in de VS in 2011/12, Zwitserland 2007/8, Duitsland 2005/6 en België 2007/8. Deze mogelijkheid om griep te monitoren heeft veel media-aandacht gekregen.
Minder bekend zijn de gevallen waarin Google Trends het werkelijke aantal griepgevallen aanzienlijk overschatte. Dit gebeurde in de VS tijdens de winter van 2012/13, in Zwitserland in 2008/9, Duitsland in 2008/9 en België in 2008/9.
Waarom het verschil? Ormerod en co veronderstellen dat mensen die griepgerelateerde zoekopdrachten uitvoeren in twee categorieën vallen. De eerste zijn degenen die aan griepsymptomen lijden en de tweede groep zoekt alleen omdat andere mensen ook zoeken, bijvoorbeeld vanwege de sterke media-aandacht voor griep.
De bruikbare gegevens komen natuurlijk van de eerste groep die griep heeft. Hun reden om te zoeken is intern gegenereerd en onafhankelijk van de externe wereld - ze voelen zich ziek. Hun zoekpatroon zou dus anders moeten zijn dan dat van mensen die zoeken vanwege externe invloeden zoals krantenberichten. Dit proces van sociaal zoeken dient gewoon om de cijfers op te blazen.
Dus hoe kun je deze twee groepen van elkaar onderscheiden? Ormerod en co veronderstellen dat het patroon van onafhankelijke zoekopdrachten in de loop van de tijd aanzienlijk zal verschillen van sociale zoekopdrachten. In het bijzonder zeggen ze dat onafhankelijke zoekopdrachten snel zouden moeten toenemen naarmate de griep door de bevolking raast en langzaam zou afnemen naarmate de ziekte uitsterft. Daarentegen zijn sociale zoekopdrachten meer symmetrisch.
De symmetrie in de gegevens is dus een maat voor het niveau van sociaal zoeken. Ze laten inderdaad zien dat deze symmetrie duidelijk duidelijker is in de jaren waarin Google Grieptrends de gevallen aanzienlijk overschatte in vergelijking met jaren waarin het nauwkeuriger was.
Dat is een interessant voorbeeld van het soort valkuilen waar statistici over moeten onderhandelen bij het analyseren van big data. Google Trends is slechts een voorbeeld: de wereld wordt steeds meer overspoeld met grote datasets en met statistici die hun lippen likken.
Het lijdt geen twijfel dat met de juiste tools belangrijke informatie met betrekking tot economie, gezondheid en andere zaken uit big data kan worden gehaald. Maar hoe dit precies en betrouwbaar moet gebeuren, is nog steeds het onderwerp van veel discussie.
Dat is niet geheel anders dan de situatie die bestaat met de huidige economische gegevens, die over het algemeen minstens een maand achterblijven bij de reële economie en vaak later worden herzien wanneer de cijfers duidelijker zijn. De onbetrouwbaarheid van deze cijfers als een bron van grote zorg voor beleidsmakers.
Het lijkt duidelijk dat overheidsinstanties, bedrijven en bijna iedereen die met de cijfers wil spelen, in de toekomst aanzienlijke waarde zullen kunnen halen uit de gegevens van zoekopdrachten.
Maar wees gewaarschuwd, er is veel zorg nodig. Het is niet alleen wodka die de volgende ochtend een nare smaak in de mond achterlaat. Menig economische kater is veroorzaakt door te veel toegeeflijkheid aan onbetrouwbare gegevens.
Referentie: arxiv.org/abs/1408.0699 : Nowcasting economische en sociale gegevens: wanneer en waarom zoekmachinegegevens mislukken, een illustratie met behulp van Google Grieptrends