211service.com
Wij zijn de woorden
Gebaseerd op de technieken van genomica heeft een team van onderzoekers een tool ontwikkeld die kwantitatieve gegevens levert over hoe cultuur in de loop van de tijd verandert. Genomics-onderzoek analyseert enorme hoeveelheden data om te bestuderen hoe genen functioneren en veranderen; de nieuwe tool gebruikt een grootschalige benadering om de frequentie van woordgebruik in de loop van de tijd te bestuderen.
De aanpak is logisch als woorden worden beschouwd als een eenheid van cultuur, zegt Erez Lieberman Aiden, een van de projectleiders. Het genoom bevat erfelijke informatie, die van generatie op generatie wordt doorgegeven, zegt hij. De woorden die we gebruiken in de boeken die we schrijven, worden ook van generatie op generatie doorgegeven.
Lieberman Aiden en Jean-Baptiste Michel , beide bij Harvard Programma voor evolutionaire dynamiek , leidde het project, dat ze culturomics hebben genoemd - een samentrekking die cultuur en genomics combineert. De eerste vrucht van hun werk was een gigantische database van de woorden in ongeveer 5,2 miljoen boeken die tussen 1800 en 2000 zijn gepubliceerd - ongeveer vier procent van alle gepubliceerde boeken. Deze kwamen van het Google Books-project, waarvan de bibliotheek 15 miljoen boeken bevat.
In de uitgave van het tijdschrift van vandaag Wetenschap, de onderzoekers stellen hun project voor samen met enkele van de eerste resultaten die ze uit de gegevens hebben afgeleid. In verband met de publicatie rolt Google een applicatie uit (at www.culturomics.org ) waarmee iedereen de voltooide database kan openen en analyseren, die 2 miljard woorden en zinnen bevat.
De onderzoekers zeggen dat sociale wetenschappers, computerwetenschappers en wiskundigen door de frequentie van woordgebruik te volgen, de opkomst en evolutie van culturele trends in de loop van de tijd kunnen observeren. De tool kan worden gebruikt om tijdlijnen van cultuur te maken, met pieken en dalen die overeenkomen met zwaar en schaars gebruik van bepaalde woorden.
Onderdrukking drukt bijvoorbeeld een stempel op de cultuurhistorie. In Duitstalige boeken die tussen 1936 en 1944 onder nazi-censuur zijn gepubliceerd, wordt nauwelijks melding gemaakt van bepaalde kunstenaars en filosofen wier namen voor en na die periode gebruikelijk waren.
De analyses identificeerden ook woorden die in gepubliceerde boeken bestonden maar geen plaats hadden in woordenboeken, waaronder verdroging (het uitdrogen van een regio) en verwijderbaar. Deze ongebonden woorden zijn geen uitzondering: toen de onderzoekers alle woorden in het Engelse lexicon optelden, telden ze meer dan een miljoen - het dubbele van het aantal in grote moderne woordenboeken. (De Oxford Engels woordenboek heeft bijvoorbeeld minder dan 500.000 vermeldingen.)
Lieberman Aiden zegt te hopen dat onderzoekers uit vele disciplines nieuwe manieren zullen vinden om de gegevens te exploiteren. Het is een ander hulpmiddel dat humanisten ter beschikking staan om inzicht te vergaren en vragen over de menselijke natuur te beantwoorden.
Hij en Michel begonnen in 2007 serieus aan het project te werken. Niet alle boeken in de digitale bibliotheek van Google bevinden zich in het publieke domein, dus de onderzoekers moesten oppassen dat ze het auteursrecht niet schenden. In wezen verwijderden ze de woorden uit de context van de boeken - terwijl ze metadata zoals de publicatiedatum intact hielden - en organiseerden ze de woorden in een enorme frequentietabel.
Ze pasten filters toe om hun dataset zo nauwkeurig mogelijk te maken, bijvoorbeeld boeken met onjuiste publicatiedatums of boeken waarvan de tekst slecht werd getranscribeerd door software voor optische tekenherkenning. Na filtering bleven er 5.195.769 boeken over met een tekst van meer dan 500 miljard woorden. Ongeveer 72 procent daarvan zijn Engelse woorden.
De intensieve berekeningen die nodig waren om die dataset te verkleinen tot één dataset op basis van de frequentie van elk woord, werden bij Google verdeeld over meerdere machines en snel voltooid.
Jon Kleinberg , een computerwetenschapper aan de Cornell University, zegt dat woordfrequentie een krachtig kwantitatief hulpmiddel kan zijn om trends in cultuur te identificeren. Kijken naar het gedrag van individuele woorden kan vaak een sterke eerste indicator zijn van een fenomeen in de loop van de tijd, zegt hij. Gescande materialen zijn echter nog maar het begin. Andere digitale teksten bieden rijke bronnen voor de kwantitatieve studie van culturele informatie. De analyse van Google-zoektermen kan bijvoorbeeld onthullen wat mensen interesseert. Of een grootschalige studie van Facebook-updates kan dienen als een realtime polsslag bij de massa.
We zien dingen die nooit eerder zijn opgeschreven, zegt hij. Op Twitter of Facebook zeggen miljoenen mensen: 'Ik voel me gelukkig' of 'Ik voel me verdrietig'. Waar kon je tot de afgelopen 10 jaar miljoenen mensen vinden die hun gevoelens opschreven?