211service.com
Kunnen geautomatiseerde redactionele hulpmiddelen het afnemende vrijwilligerspersoneel van Wikipedia helpen?
Het resultaat is een groot aantal artikelen van hoge kwaliteit over een enorm scala aan onderwerpen in meer dan 200 talen. Maar er zijn ook artikelen van slechte kwaliteit en twijfelachtige waarachtigheid.
Dit roept een belangrijke vraag op voor bezoekers van de site: hoe betrouwbaar is een bepaald artikel op Wikipedia?
Vandaag krijgen we een antwoord dankzij het werk van Xiangju Qin en Pádraig Cunningham aan het University College Dublin in Ierland. Deze jongens hebben een algoritme ontwikkeld dat de kwaliteit van Wikipedia-pagina's beoordeelt op basis van het gezag van de betrokken redacteuren en de levensduur van de bewerkingen die ze hebben gemaakt.
De hypothese is dat pagina's met significante bijdragen van gezaghebbende bijdragers waarschijnlijk pagina's van hoge kwaliteit zijn, zeggen ze. Met deze informatie zouden bezoekers van Wikipedia de kwaliteit van een artikel veel nauwkeuriger moeten kunnen beoordelen.
In het verleden hebben verschillende groepen onderzoek gedaan naar de kwaliteit van Wikipedia-artikelen en hoe deze te meten. Het nieuwe van dit werk is dat het bestaande maatregelen op een nieuwe manier combineert.
Qin en Cunningham beginnen met een standaard manier om de levensduur van een bewerking te meten. Het idee hier is dat een bewerking van hoge kwaliteit een grotere kans heeft om toekomstige herziening te overleven. Ze hebben dit berekend door de grootte van een bewerking door een bepaalde auteur te combineren en hoe lang deze bewerking duurt na andere revisies.
Vandalisme is een veelvoorkomend probleem op Wikipedia. Om dit te omzeilen, negeren Qin en Cunningham alle anonieme bijdragen en nemen ze ook een gemiddelde kwaliteitsmaatstaf die de impact van kwaadaardige bewerkingen vermindert.
Vervolgens meten ze de autoriteit van elke redacteur. Wikipedia staat erom bekend dat het een relatief klein aantal toegewijde redacteuren heeft die een fundamentele rol spelen in de gemeenschap. Deze mensen helpen bij het handhaven van verschillende redactionele normen en verspreiden deze kennis over de gemeenschap.
In deze gemeenschap gaan Qin en Cunningham ervan uit dat er een link bestaat tussen twee redacteuren als ze allebei co-auteur zijn van een artikel. Het is dus onvermijdelijk dat meer ervaren redacteuren beter verbonden zijn met het netwerk.
Er zijn verschillende manieren om autoriteit te meten. Qin en Cunningham kijken naar het aantal andere editors waaraan een bepaalde editor is gekoppeld. Ze beoordelen het aandeel van de kortste paden over het netwerk die door een bepaalde editor gaan. En ze gebruiken een iteratief Pagerank-type algoritme om autoriteit te meten. (Pagerank is het Google-algoritme waarin een webpagina als belangrijk wordt beschouwd als andere belangrijke webpagina's ernaar verwijzen.)
Ten slotte combineren Qin en Cunningham deze statistieken van levensduur en autoriteit om een maatstaf voor de kwaliteit van het artikel te produceren.
Om de effectiviteit van hun beoordeling te testen, gebruikten ze hun algoritme om de kwaliteit te beoordelen van meer dan 9.000 artikelen die al zijn beoordeeld door Wikipedia-editors. Ze zeggen dat de levensduur van een bewerking op zich al een goede indicator is voor de kwaliteit van een artikel. Door echter rekening te houden met de autoriteit van de redactie wordt de beoordeling over het algemeen beter.
Artikelen met significante bijdragen van gezaghebbende bijdragers zijn waarschijnlijk van hoge kwaliteit, en dat artikelen van hoge kwaliteit over het algemeen meer communicatie en interactie tussen bijdragers met zich meebrengen, concluderen ze.
Er zijn natuurlijk wel wat beperkingen. Een veelvoorkomend type bewerking, bekend als een terugkeer, wijzigt een artikel naar de vorige versie, waardoor een bewerking volledig wordt verwijderd. Dit wordt vaak gebruikt om vandalisme tegen te gaan. Op dit moment hebben we geen speciale behandeling voor teruggedraaide bewerkingen die geen nieuwe inhoud op een pagina introduceren, geven Qin en Cunningham toe. Er is dus werk aan de winkel in de toekomst.
De nieuwe aanpak zou echter een handig hulpmiddel kunnen zijn in het arsenaal van een Wikipedia-editor. Qin en Cunningham suggereren dat het zou kunnen helpen om nieuwe artikelen te identificeren die van relatief goede kwaliteit zijn en ook om bestaande artikelen te identificeren die van bijzonder lage kwaliteit zijn en daarom verdere aandacht vereisen.
Met de goed gedocumenteerde afname van het vrijwilligersbestand van Wikipedia, zijn geautomatiseerde redactionele tools duidelijk van waarde bij het verminderen van de werklast voor degenen die overblijven. Een bredere vraag is hoe goed deze tools kunnen worden en hoe ze moeten worden gebruikt in dit soort crowd-sourced inspanningen.
Referentie: arxiv.org/abs/1206.2517 : De kwaliteit van Wikipedia-pagina's beoordelen met behulp van de levensduur van bewerken en de centrale positie van bijdragers