211service.com
Geïnspireerd door Wikipedia creëren sociale wetenschappers een revolutie in online enquêtes
Het verzamelen van gegevens over menselijke voorkeuren en activiteiten is de basis van veel onderzoek in de sociale wetenschappen. Maar hoe deze gegevens het beste kunnen worden verzameld, is al lang onderwerp van felle discussies.
Sociale wetenschappers hebben in wezen twee keuzes. Enerzijds zijn er opiniepeilingen op basis van een reeks meerkeuzevragen, een zogenaamde gesloten benadering. Anderzijds zijn er open benaderingen in de vorm van vrije interviews waarin respondenten vrij zijn om hun mening te uiten. Er zijn duidelijk belangrijke voor- en nadelen van elke methode.
Vandaag schetsen Matthew Salganik van de Princeton University in New Jersey en Karen Levy van de New York University een geheel nieuwe manier om gegevens te verzamelen, geïnspireerd door een nieuwe generatie informatie-aggregatiesystemen zoals Wikipedia. Net zoals Wikipedia in de loop van de tijd evolueert op basis van bijdragen van deelnemers, stellen we ons een evoluerend onderzoek voor dat wordt aangedreven door bijdragen van respondenten, zeggen ze.
Ze zeggen dat de nieuwe aanpak inzichten kan opleveren die met andere methoden moeilijk te verkrijgen zijn. Maar het biedt ook uitdagingen voor sociale wetenschappers, vooral als het gaat om het analyseren van de op deze manier verzamelde gegevens.
Projecten zoals Wikipedia zijn het resultaat van op grote schaal door gebruikers gegenereerde inhoud. De vraag die Salganik en Levy stellen, is of enquêtes, althans gedeeltelijk, ook door respondenten zelf kunnen worden samengesteld.
Om daar achter te komen, hebben deze jongens een nieuw type gegevensverzamelingsmechanisme ontwikkeld dat ze een wiki-enquête noemen. Dit begint met een reeks startvragen, maar stelt respondenten in staat hun eigen vragen toe te voegen naargelang de enquête.
Deze wiki-enquête heeft een bepaalde vorm waarin respondenten wordt gevraagd tussen twee opties te kiezen: geven ze bijvoorbeeld de voorkeur aan item A of item B. Maar cruciaal is dat ze ook een nieuw item kunnen toevoegen dat aan toekomstige deelnemers zal worden gepresenteerd. Dus naarmate de tijd verstrijkt, neemt het aantal items om uit te kiezen toe naarmate respondenten hun eigen ideeën aandragen.
Dit soort paarsgewijs onderzoek heeft een aantal voordelen. Salganik en Levy wijzen erop dat deelnemers met dit format op zoveel keuzes kunnen reageren als ze willen. Ze noemen deze eigenschap hebzucht.
Met dit soort onderzoek kunnen respondenten ook nieuwe items bijdragen wanneer ze maar willen, en het is dus een unieke samenwerking. Ten slotte kunnen de paren die aan nieuwe deelnemers worden gepresenteerd, worden geselecteerd op een manier die het leren maximaliseert op basis van eerdere antwoorden, zodat een wiki-enquête kan worden aangepast naarmate deze zich ontwikkelt.
Om het idee te testen, hebben Salganik en Levy een gratis website gemaakt met de naam www.allourideas.org waarop iedereen een paarsgewijze wiki-enquête kan maken en respondenten uit een doelgroep kan verzamelen die wordt aangemoedigd om deel te nemen. Sinds 2010 heeft deze website zo'n 5.000 paarsgewijze wiki-enquêtes gehost met 200.000 items en 5 miljoen reacties.
Salganik en Levy bespreken in detail het voorbeeld van een onderzoek door het Office of Long-Term Planning and Sustainability van de burgemeester van New York. Deze organisatie wilde de ideeën van bewoners over het duurzaamheidsplan van de stad begrijpen en nieuwe gedachten integreren.
Het kantoor van de burgemeester begon met een lijst van 25 seed-items die het mensen vroeg om paarsgewijs te vergelijken, terwijl het de deelnemers ook aanmoedigde om hun eigen ideeën toe te voegen. Zo werd mensen gevraagd om te kiezen tussen Open schoolpleinen in de stad als openbare speelplaatsen en Meer gerichte aanplant van bomen in buurten met hoge astmacijfers.
In vier maanden tijd droegen 1.436 respondenten meer dan 30.000 reacties en 464 nieuwe ideeën bij aan de enquête. Aan het einde van de enquête waren acht van de 10 best scorende ideeën door de respondenten zelf ingebracht.
Deze omvatten ideeën die waarschijnlijk niet naar voren zouden zijn gekomen via andere methoden voor het verzamelen van gegevens, zoals Houd het drinkwater van NYC schoon door fracking in het stroomgebied van NYC te verbieden en Sluit schepen aan op het elektriciteitsnet zodat ze niet stilliggen in de haven - vermindering van de uitstoot gelijk aan 12.000 auto's per schip.
Salganik en Levy wijzen er snel op dat hun methode substantieel nader onderzoek vereist.
Ze moeten met name de consistentie en validiteit van de reacties die ze genereren beter begrijpen. Dat zou kunnen door de resultaten te vergelijken met die van andere vormen van gegevensverzameling.
Bovendien is het analyseren van de gegevens van paarsgewijze wiki-enquêtes nog steeds een statistisch experiment. En ze vormen een uitdaging voor de statistische gemeenschap om de meest efficiënte manieren te vinden om informatie uit dit soort processen te halen.
Dat is een interessante nieuwe benadering waarmee gegevens kunnen worden verzameld die met andere methoden moeilijk te verkrijgen zijn. Het maakt het in het bijzonder mogelijk om gegevens te verzamelen op een manier die de bekende lange-staartverdeling van bijdragers weerspiegelt.
Op Wikipedia is de meeste informatie bijvoorbeeld intuïtief door een klein deel van de redacteuren. Als Wikipedia 10 en slechts 10 bewerkingen per redacteur zou toestaan - vergelijkbaar met een enquête waarbij respondenten slechts één formulier moeten invullen - zou dat ongeveer 95% van de bijgedragen bewerkingen uitsluiten, zeggen Salganik en Levy.
Natuurlijk moet met dit soort vooroordelen rekening worden gehouden als het gaat om gegevensanalyse. En daar ligt een belangrijke uitdaging. Tijd voor de statistici om aan de slag te gaan.
Referentie: arxiv.org/abs/1202.0500 Wiki-enquêtes: open en kwantificeerbare verzameling van sociale gegevens