211service.com
Datamining onthult historische gebeurtenissen in overheidsarchieven
De studie van de politieke geschiedenis ondergaat een revolutie. De drijvende kracht achter deze verandering is de beschikbaarheid van elektronische gegevens over overheidsactiviteiten en de mogelijkheid om deze gegevens te cijferen op manieren die nog nooit eerder mogelijk waren.
Historici hebben direct toegang tot actuele nieuwsberichten van belangrijke wereldgebeurtenissen. Maar deze rapporten moeten worden gekalibreerd door ze te vergelijken met overheidsgegevens uit die tijd, die op belangrijke en onbekende manieren kunnen verschillen. Maar deze gegevens worden meestal pas enkele jaren later openbaar gemaakt. Het grote aantal overheidsdocumenten maakt dit proces moeilijk, omdat het voor onderzoekers maar al te gemakkelijk is om iets belangrijks over het hoofd te zien.
Dus een geautomatiseerde manier om deze overheidsgegevens te doorzoeken op belangrijke gebeurtenissen zou enorm nuttig zijn.
Datamining onthult de piek in overheidscommunicatie tijdens de val van Saigon (boven), maar weinig significant met betrekking tot Finland (onder).
Tegenwoordig zeggen Yuanjun Gao van de Columbia University in New York en een paar vrienden dat ze een reeks statistische hulpmiddelen hebben ontwikkeld die dit werk kunnen doen. Ze hebben de techniek getest op elektronische archieven van de Amerikaanse overheid die zijn vrijgegeven door het Nationaal Archief en de resultaten vergeleken met hedendaagse nieuwsrecords.
Het werk wordt mogelijk gemaakt door het feit dat het Amerikaanse ministerie van Buitenlandse Zaken sinds 1973 gerubriceerde communicatie elektronisch opslaat. Veel van de records die dateren van 1973 tot 1977 zijn nu openbaar beschikbaar en bestaan uit 1,4 miljoen vrijgegeven kabels en de metadata die verband houden met 0,4 miljoen documenten geleverd door diplomatieke buidel.
Aan deze elektronische records zijn allemaal tags toegewezen die verband houden met hun onderwerp. Dus communicatie met betrekking tot Zuid-Vietnam is gelabeld met VS, die met betrekking tot de Algemene Vergadering van de Verenigde Naties met het label UNGA, met Finland met het label FI, enzovoort.
Dat stelt onderzoekers in staat om communicatie met betrekking tot specifieke onderwerpen te volgen zonder de details van de berichten zelf te kennen.
Door het aantal berichten in de loop van de tijd uit te zetten, worden enkele interessante patronen onthuld. Het onthult bijvoorbeeld een toename van communicatie met betrekking tot Zuid-Vietnam in april 1975, ten tijde van de val van Saigon.
De communicatie met betrekking tot de algemene vergadering van de VN piekt met regelmatige tussenpozen die overeenkomen met de data van de vergaderingen die elk jaar plaatsvinden. Dit patroon omvat een extra piek in april-mei 1974 die overeenkomt met een speciale VN-sessie waartoe Algerije had opgeroepen om zijn verzoeken om steun voor een nieuwe internationale economische orde te bespreken.
De tags die tussen 1973 en 1977 met Finland werden geassocieerd, vertonen daarentegen geen pieken of een speciaal patroon, wat de stabiliteit van de natie op dat moment weerspiegelt.
Grote pieken zijn relatief gemakkelijk visueel te zien, maar Gao en co hebben tools ontwikkeld om ze automatisch te herkennen en hun significantie te rangschikken door ze te vergelijken met het achtergrondniveau van de activiteit op dat moment.
Dat stelt het team in staat om een ranglijst te maken van de 30 belangrijkste evenementen in deze periode.
Niet al deze pieken komen overeen met belangrijke wereldgebeurtenissen. De twee belangrijkste pieken hebben bijvoorbeeld betrekking op administratieve zaken zoals transport en wijzigingen in het visumregistratiesysteem.
Maar de ranglijst vindt een breed scala aan andere belangrijke gebeurtenissen, zoals de prioriteitstelling van mensenrechten door de regering-Carter, de president van Egypte, het verrassingsbezoek van Anwar Sadat aan Israël in 1977, de Zuidoost-Aziatische Boat People-crisis van 1975-76, de Yom van 1973 Kippoeroorlog en de terugtrekking van Portugal uit Angola in 1975-76, enzovoort.
Dat is interessant werk dat de manier zou moeten veranderen waarop historici en sociale wetenschappers hun werk doen. En dit is nog maar het begin. Dit soort geautomatiseerde methoden kunnen ook laten zien hoe mensen het tagging-proces destijds gebruikten, hoe vaak er fouten werden gemaakt en of bepaalde soorten berichten mogelijk zijn verdwenen.
En naarmate meer gedetailleerde elektronische records worden vrijgegeven, zullen onderzoekers meer geavanceerde manieren kunnen ontwikkelen om ze te minen. De politieke geschiedenis zal nooit meer hetzelfde zijn.
Referentie: arxiv.org/abs/1712.07319 : Mijnbouwevenementen met vrijgegeven diplomatieke documenten