211service.com
Internetarcheologen reconstrueren verloren webpagina's
Het internet is aan het verdwijnen. En daarmee gaat een belangrijk deel van onze opgetekende geschiedenis mee. Dat was de conclusie van een onderzoek waar deze blog vorig jaar naar keek, waarin werd gemeten hoe snel links die via sociale-mediaplatforms zoals Twitter werden gedeeld, verdwenen.
De conclusie was dat deze gegevens binnen een jaar met 11 procent en binnen twee jaar met 27 procent verloren gaan.
Tegenwoordig onthullen de onderzoekers achter dit werk dat niet alles verloren is. Hany SalahEldeen en Michael Nelson van de Old Dominion University in Norfolk, Virginia, hebben een manier gevonden om verwijderd materiaal te reconstrueren en zeggen dat het redelijk goed werkt.
Eerst wat achtergrond. Deze jongens begonnen hun werk met het bestuderen van de duizenden tweets, blogposts en andere bronnen die werden gepubliceerd tijdens de 18 dagen van opstand in de Egyptische revolutie in 2011. Deze bronnen waren belangrijk, zeggen ze, omdat ze een waardevol verslag vormen van een historisch evenement.
Ze ontdekten echter ook dat sommige van deze berichten en andere op internet aan het verdwijnen waren en begonnen de snelheid te meten waarmee ze verdwenen. Vandaar bovenstaande cijfers.
Het nieuwe werk is hun poging om deze ontbrekende berichten en bronnen, althans gedeeltelijk, te reconstrueren uit de aanwijzingen die ze achterlaten op het web.
SalahEldeen en Nelson begonnen met een poging om de eerdere resultaten te bevestigen en dat zorgde voor een verrassing. Een interessant fenomeen deed zich voor toen een aantal van de middelen die eerder als vermist waren opgegeven, weer beschikbaar kwamen, zeggen ze.
Dat is mogelijk als de oorspronkelijke verdwijning het gevolg was van een verstoord domein of archief dat later werd hersteld, of een gebruikersaccount dat was opgeschort en later hersteld.
Dus SalahEldeen en Nelson vroegen zich af hoe het mogelijk zou zijn om dit herrezen materiaal te vinden, zelfs als het zich niet meer in de oorspronkelijke cyberbuurt bevindt. Ze wijzen erop dat de meeste gedeelde bronnen elders op internet sporen achterlaten, zoals retweets, hashtags, opmerkingen enzovoort.
Het idee dat SalahEldeen en Nelson bedachten, was om te proberen een ontbrekende bron te reconstrueren door te zoeken naar de sporen die op internet zijn achtergelaten. Daarvoor gebruikten ze de Twitter-zoekmachine Topsy, waarmee ze het adres van een ontbrekende bron kunnen invoeren en de tweets terugsturen die ernaar verwijzen. Dit is de tweet-handtekening van de bron.
Vervolgens extraheren ze de top vijf van meest voorkomende termen in deze handtekening en gebruiken deze als zoekopdracht in Google. Het resultaat is een lijst met mogelijke vervangingen voor de verloren bron.
Een belangrijke vraag is natuurlijk hoe goed de vervangende kandidaten overeenkomen met de oorspronkelijke resource. Om dit te testen, voerden SalahEldeen en Nelson hetzelfde proces uit voor middelen die niet verdwenen waren en vergeleken ze de vervangende kandidaten met de originelen. Ze zeggen dat de vervangingen ongeveer 40% van de tijd een tekstuele overeenkomst van 70% hadden met de oorspronkelijke bron.
Niet perfect natuurlijk, maar beter dan niets. En misschien wordt het na verloop van tijd mogelijk om het beter te doen.
Wat interessant is, is dat dit proces een soort internetarcheologie is die een historische webpagina reconstrueert vanuit de context waarin deze plaatsvond. Dat is een fascinerende nieuwe discipline.
In de echte wereld zijn archeologen en antropologen zeer bedreven geworden in het op deze manier reconstrueren van de natuurlijke historie. De conclusies die kunnen worden getrokken uit de ontdekking en analyse van bijvoorbeeld een enkele tand, zijn werkelijk verbluffend.
Er is geen reden waarom internetarcheologen niet net zo bekwaam kunnen worden.
Referentie: arxiv.org/abs/1309.2648 : Mijn revolutie nieuw leven inblazen: Social Link Neighborhood gebruiken om context te geven aan het verdwijnende web