Een toonaangevende AI-conferentie probeert de reproduceerbaarheidscrisis van het veld op te lossen

Categorie: Kunstmatige intelligentie Geplaatst 09 april

Vorige week hebben de organisatoren van de Neural Information Processing Systems Conference (NeurIPS), een van 's werelds grootste jaarlijkse AI-onderzoeksconferenties, bijgewerkt hun beleid voor papieren inzendingen vereisen wat zij een reproduceerbaarheidschecklist noemen. Het is een kleine verschuiving in een groter gevecht om de groeiende reproduceerbaarheidscrisis in de wetenschap te beteugelen, waar een verontrustend aantal onderzoeksresultaten niet met succes wordt gerepliceerd door andere onderzoekers, wat twijfel doet rijzen over de geldigheid van de eerste bevindingen.

In februari waarschuwde een statisticus van de Rice University dat technieken voor machinaal leren die crisis waarschijnlijk zullen aanwakkeren, omdat de resultaten die ze opleveren moeilijk te controleren zijn. Het is een zorgwekkend probleem, aangezien machine learning steeds vaker wordt toegepast in belangrijke gebieden zoals gezondheidszorg en geneesmiddelenonderzoek.

De reproduceerbaarheidschecklist van NeurIPS probeert het probleem aan te pakken. Onderzoekers moeten onder meer een duidelijke beschrijving van hun algoritme geven; een volledige beschrijving van hun gegevensverzamelingsproces; een link naar elke simulatieomgeving die ze tijdens de training hebben gebruikt; en een uitgebreid overzicht van welke gegevens ze hebben bewaard, weggegooid en waarom. Het idee is om een ​​nieuwe standaard voor transparantie te creëren voor onderzoekers om te laten zien hoe ze tot hun conclusies zijn gekomen.

Als 's werelds belangrijkste AI-conferentie, schreef Jack Clark, de beleidsdirecteur van de non-profit OpenAI, in zijn wekelijkse nieuwsbrief Import AI, zal het beleid van NeurIPS 2019 [een] domino-effect hebben op [het] bredere AI-ecosysteem.

Dit verhaal verscheen oorspronkelijk in onze Webby-genomineerde AI-nieuwsbrief The Algorithm. Om het direct in je inbox te krijgen, kun je je hier gratis aanmelden.