Onderzoekers worstelen om AI-onderzoeken te repliceren

Categorie: Kunstmatige intelligentie Geplaatst 16 februari

Ontbrekende code en gegevens maken het moeilijk om machine learning-werk te vergelijken - en dat kan de voortgang schaden.

Het probleem: Wetenschap rapporten dat uit een steekproef van 400 papers op top AI-conferenties in de afgelopen jaren, slechts 6 procent van de presentatoren code deelde. Slechts een derde deelde gegevens en iets meer dan de helft deelde samenvattingen van hun algoritmen, ook wel pseudocode genoemd.

Waarom het uitmaakt: Zonder toegang tot die informatie is het moeilijk om de bevindingen van een onderzoek te reproduceren. Dat maakt het vrijwel onmogelijk om nieuw ontwikkelde tools te benchmarken met bestaande, dus het is moeilijk voor onderzoekers om te weten in welke richting toekomstig onderzoek moet worden gestuurd.

Hoe het op te lossen: Soms kan een gebrek aan delen begrijpelijk zijn, bijvoorbeeld als intellectueel eigendom eigendom is van een particulier bedrijf. Maar er lijkt een wijdverbreide cultuur te bestaan ​​om details geheim te houden. Sommige bijeenkomsten en tijdschriften moedigen delen nu aan; misschien zouden er meer moeten volgen.