211service.com
Dit algoritme bladert door Wikipedia om automatisch studieboeken te genereren
Wikipedia
Machine learning: de complete gids is een zwaar boekdeel. Met meer dan 6000 pagina's is dit boek een uitgebreide inleiding tot machine learning, met actuele hoofdstukken over kunstmatige neurale netwerken, genetische algoritmen en machine vision.
Maar dit is geen gewone publicatie. Het is een Wikibook, een leerboek dat iedereen kan openen of bewerken, samengesteld uit artikelen op Wikipedia, de enorme online encyclopedie.
Dat is een kracht. Crowdsourced-informatie wordt voortdurend bijgewerkt met de nieuwste ontwikkelingen en consequent bewerkt om fouten en dubbelzinnigheden te corrigeren.
Maar het is ook een zwakte. Wikipedia is enorm. Beslissen wat er in zo'n leerboek moet worden opgenomen, is een moeilijke taak, en dat is misschien de reden waarom het boek zo groot is. Met meer dan 550 hoofdstukken is het geen lichte lectuur.
Dat roept een interessante vraag op. Is er, gezien de vooruitgang in kunstmatige intelligentie in de afgelopen jaren, een manier om Wikipedia-inhoud automatisch te bewerken om een samenhangend geheel te creëren dat bruikbaar is als leerboek?
Betreed Shahar Admati en collega's van de Ben-Gurion Universiteit van de Negev in Israël. Deze jongens hebben een manier ontwikkeld om automatisch Wikibooks te genereren met behulp van machine learning. Ze noemen hun machine de Wikibook-bot. De nieuwigheid van onze techniek is dat het erop gericht is een heel Wikibook te genereren, zonder menselijke tussenkomst, zeggen ze.
De aanpak is relatief eenvoudig. De onderzoekers begonnen met het identificeren van een set bestaande Wikibooks die als trainingsdataset kunnen dienen. Ze begonnen met 6.700 Wikibooks die waren opgenomen in een dataset die door Wikipedia beschikbaar was gesteld voor dit soort academische studie.
Aangezien deze Wikibooks een soort gouden standaard vormen voor zowel training als testen, had het team een manier nodig om de kwaliteit ervan te waarborgen. We hebben ervoor gekozen om ons te concentreren op Wikibooks die minstens 1000 keer zijn bekeken, in de veronderstelling dat populaire Wikibooks van redelijke kwaliteit zijn, zeggen ze.
Dat liet 490 Wikibooks achter die ze verder filterden, gebaseerd op factoren zoals het hebben van meer dan 10 hoofdstukken. Er bleven 407 Wikibooks over die het team gebruikte om hun machines te trainen.
Het team verdeelde vervolgens de taak om een Wikibook te maken in verschillende delen, die elk een andere vaardigheid op het gebied van machine learning vereisen. De taak begint met een titel die door een mens is gegenereerd en die een of ander concept beschrijft, zoals: Machine learning: de complete gids .
De eerste taak is om de hele reeks Wikipedia-artikelen te doorzoeken om te bepalen welke relevant genoeg zijn om op te nemen. Deze taak is een uitdaging vanwege het enorme aantal artikelen op Wikipedia en de noodzaak om de meest relevante artikelen te selecteren uit miljoenen beschikbare artikelen, zeggen Admati en co.
Om bij deze taak te helpen, gebruikte het team de netwerkstructuur van Wikipedia: artikelen verwijzen vaak naar andere artikelen met behulp van hyperlinks. Het is redelijk om aan te nemen dat het gelinkte artikel waarschijnlijk relevant is.
Dus begonnen ze met een kleine kern van artikelen waarin het zaadconcept in de titel wordt genoemd. Vervolgens identificeerden ze op het netwerk alle artikelen die tot drie hop verwijderd zijn van deze zaden.
Maar hoeveel van deze gelinkte artikelen moeten worden opgenomen? Om daar achter te komen, begonnen ze met de titels van de 407 Wikibooks die door mensen zijn gemaakt en voerden ze de drie-hop-analyse uit. Vervolgens berekenden ze hoeveel van de inhoud in de door mensen gemaakte boeken werd opgenomen door de geautomatiseerde aanpak.
Het blijkt dat de geautomatiseerde aanpak vaak veel van de originele Wikibook-inhoud omvatte, maar aanzienlijk meer. Het team had dus een andere manier nodig om de inhoud verder te snoeien.
Nogmaals, netwerkwetenschap komt in het spel. Elk door mensen gegenereerd Wikibook heeft een eigen netwerkstructuur, bepaald door het aantal links dat naar andere artikelen verwijst, het aantal links dat naar verwijst, de paginaranglijst van de opgenomen artikelen, enzovoort.
Het team creëerde dus een algoritme dat elk automatisch geselecteerd artikel voor een bepaald onderwerp bekeek en vervolgens bepaalde of het opnemen ervan in een Wikibook de netwerkstructuur meer zou laten lijken op door mensen gegenereerde boeken of niet. Zo niet, dan wordt het artikel weggelaten.
De volgende stap is om de artikelen in hoofdstukken te ordenen. Dit is in wezen een clustertaak; om te kijken naar het netwerk gevormd door de hele reeks artikelen en uit te werken hoe het in coherente clusters kan worden verdeeld. Voor dit soort taken zijn verschillende clusteringalgoritmen beschikbaar.
De laatste stap is het bepalen van de volgorde waarin de artikelen in elk hoofdstuk moeten verschijnen. Om dit te doen, organiseert het team de artikelen in paren en gebruikt een netwerkgebaseerd model om te bepalen welke als eerste moet verschijnen. Door dit te herhalen voor alle combinaties van artikelparen, berekent het algoritme een voorkeursvolgorde voor de artikelen en daarmee de hoofdstukken.
Op deze manier was het team in staat om geautomatiseerde versies van Wikibooks te maken die al door mensen waren gemaakt. Hoe goed deze geautomatiseerde boeken zich verhouden tot de door mensen gegenereerde boeken, is moeilijk te beoordelen. Ze bevatten zeker veel van hetzelfde materiaal, vaak in een vergelijkbare volgorde, wat een goed begin is.
Maar Adamti en co hebben een plan om het nut van hun aanpak te bepalen. Ze zijn van plan een reeks Wikibooks te produceren over onderwerpen die nog niet worden behandeld door door mensen gegenereerde boeken. Vervolgens zullen ze de paginaweergaven en bewerkingen van deze boeken volgen om te zien hoe populair ze worden en hoe zwaar ze worden bewerkt, vergeleken met door mensen gegenereerde boeken. Dit wordt een echte test voor onze aanpak, zeggen ze.
Dat is interessant werk dat het potentieel heeft om waardevolle studieboeken te produceren over een breed scala aan onderwerpen, en zelfs om andere teksten te creëren, zoals congresverslagen. Hoe waardevol ze zullen zijn voor menselijke lezers, moet nog worden bepaald. Maar we zullen kijken om erachter te komen.
Referentie: arxiv.org/abs/1812.10937 : Wikibook-Bot—Automatisch genereren van een Wikipedia-boek