AI worstelt met een replicatiecrisis

Techreuzen domineren het onderzoek, maar de grens tussen echte doorbraak en productpresentatie kan vaag zijn. Sommige wetenschappers hebben er genoeg van.





  • Will Douglas Heaven archiefpagina
12 november 2020

Vorige maand publiceerde Nature een vernietigende reactie geschreven door 31 wetenschappers aan a studie van Google Health dat eerder dit jaar in het tijdschrift was verschenen. Google beschreef succesvolle proeven van een AI die in medische beelden naar tekenen van borstkanker zocht. Maar volgens de critici gaf het Google-team zo weinig informatie over de code en hoe deze werd getest, dat het onderzoek niet meer was dan een promotie van propriëtaire technologie.

We konden er niet meer tegen, zegt Benjamin Haibe-Kains, de hoofdauteur van het antwoord, die computationele genomica bestudeert aan de Universiteit van Toronto. Het gaat niet in het bijzonder om deze studie - het is een trend die we al meerdere jaren zien en die ons echt begint te storen.

Haibe-Kains en zijn collega's behoren tot een groeiend aantal wetenschappers die zich verzetten tegen een vermeend gebrek aan transparantie in AI-onderzoek. Toen we dat artikel van Google zagen, realiseerden we ons dat het weer een ander voorbeeld was van een zeer spraakmakend tijdschrift dat een zeer opwindende studie publiceerde die niets met wetenschap te maken heeft, zegt hij. Het is meer een reclame voor coole technologie. We kunnen er eigenlijk niets mee.



Wetenschap is gebouwd op een fundament van vertrouwen, wat doorgaans inhoudt dat er voldoende details worden gedeeld over hoe onderzoek wordt uitgevoerd, zodat anderen het kunnen repliceren en de resultaten voor zichzelf kunnen verifiëren. Dit is hoe de wetenschap zichzelf corrigeert en resultaten verwijdert die niet standhouden. Replicatie stelt anderen ook in staat om voort te bouwen op die resultaten, wat helpt om het veld vooruit te helpen. Wetenschap die niet kan worden gerepliceerd, valt buiten de boot.

Tenminste, dat is het idee. In de praktijk worden maar weinig studies volledig gerepliceerd omdat de meeste onderzoekers meer geïnteresseerd zijn in het produceren van nieuwe resultaten dan in het reproduceren van oude. Maar op gebieden als biologie en natuurkunde - en informatica in het algemeen - wordt van onderzoekers doorgaans verwacht dat ze de informatie verstrekken die nodig is om experimenten opnieuw uit te voeren, zelfs als die herhalingen zeldzaam zijn.

Ambitieuze noob

AI voelt de hitte om verschillende redenen. Om te beginnen is het een nieuwkomer. Het is pas echt een experimentele wetenschap geworden in het afgelopen decennium, zegt Joelle Pineau, een computerwetenschapper bij Facebook AI Research en McGill University, die co-auteur van de klacht was. Vroeger was het theoretisch, maar we doen steeds meer experimenten, zegt ze. En onze toewijding aan gedegen methodologie blijft achter bij de ambitie van onze experimenten.



Het probleem is niet alleen academisch. Een gebrek aan transparantie verhindert dat nieuwe AI-modellen en -technieken goed worden beoordeeld op robuustheid, vooringenomenheid en veiligheid. AI gaat snel van onderzoekslaboratoria naar toepassingen in de echte wereld, met directe impact op het leven van mensen. Maar modellen voor machinaal leren die goed werken in het laboratorium, kunnen in het wild mislukken, met mogelijk gevaarlijke gevolgen. Replicatie door verschillende onderzoekers in verschillende settings zou problemen eerder blootleggen, waardoor AI voor iedereen sterker wordt.

Verwant verhaal

Kunstmatige algemene intelligentie: zijn we dichtbij, en heeft het zelfs zin om het te proberen?

Een machine die als een persoon zou kunnen denken, is sinds de vroegste dagen de leidende visie van AI-onderzoek geweest - en blijft het meest verdeeldheid zaaiende idee.

AI heeft al last van het blackbox-probleem: het kan onmogelijk zijn om precies te zeggen hoe of waarom een ​​machine learning-model de resultaten oplevert die het oplevert. Een gebrek aan transparantie in onderzoek maakt het nog erger. Grote modellen hebben zoveel mogelijk ogen nodig, meer mensen die ze testen en uitzoeken wat hen drijft. Zo maken we AI in de zorg veiliger, AI in politie eerlijker , en chatbots minder hatelijk.



Wat AI-replicatie ervan weerhoudt om te gebeuren zoals het zou moeten, is een gebrek aan toegang tot drie dingen: code, gegevens en hardware. Volgens de 2020 State of AI-rapport , een goed doorgelichte jaarlijkse analyse van het veld door investeerders Nathan Benaich en Ian Hogarth, deelt slechts 15% van de AI-onderzoeken hun code. Industrieonderzoekers zijn grotere daders dan die verbonden aan universiteiten. Met name, het rapport noemt OpenAI en DeepMind om code geheim te houden.

Dan is er de groeiende kloof tussen de haves en have-nots als het gaat om de twee pijlers van AI, data en hardware. Gegevens zijn vaak eigendom, zoals de informatie die Facebook over zijn gebruikers verzamelt, of gevoelig, zoals in het geval van persoonlijke medische dossiers. En techreuzen doen steeds meer onderzoek naar enorme, dure clusters van computers waar maar weinig universiteiten of kleinere bedrijven de middelen voor hebben.

Om een ​​voorbeeld te noemen, het trainen van de taalgenerator GPT-3 is: kosten geschat OpenAI $ 10 tot $ 12 miljoen - en dat is nog maar het uiteindelijke model, exclusief de kosten voor het ontwikkelen en trainen van de prototypes. Je zou dat cijfer waarschijnlijk met minstens één of twee ordes van grootte kunnen vermenigvuldigen, zegt Benaich, oprichter van Air Street Capital, een VC-bedrijf dat investeert in AI-startups. Slechts een klein handjevol grote technologiebedrijven kan zich dat soort werk veroorloven, zegt hij: Niemand anders kan zomaar enorme budgetten in deze experimenten steken.



Het tempo van de vooruitgang is duizelingwekkend, met duizenden artikelen die elk jaar worden gepubliceerd. Maar tenzij onderzoekers weten welke ze moeten vertrouwen, is het moeilijk voor het veld om vooruit te komen. Met replicatie kunnen andere onderzoekers controleren of de resultaten niet door de mand vallen en of nieuwe AI-technieken echt werken zoals beschreven. Het wordt steeds moeilijker om te bepalen welke betrouwbare resultaten zijn en welke niet, zegt Pineau.

Wat gedaan kan worden? Zoals veel AI-onderzoekers verdeelt Pineau haar tijd tussen universitaire en bedrijfslabs. De afgelopen jaren is zij de drijvende kracht geweest achter een verandering in de manier waarop AI-onderzoek wordt gepubliceerd. Zo hielp ze vorig jaar bij het invoeren van een checklist met dingen die onderzoekers moeten aanleveren, inclusief code en gedetailleerde beschrijvingen van experimenten, wanneer ze papers indienen bij NeurIPS, een van de grootste AI-conferenties.

Replicatie is zijn eigen beloning

Pineau heeft ook geholpen bij het lanceren van een handvol uitdagingen op het gebied van reproduceerbaarheid, waarbij onderzoekers de resultaten van gepubliceerde onderzoeken proberen te repliceren. Deelnemers selecteren papers die zijn geaccepteerd voor een conferentie en strijden om de experimenten opnieuw uit te voeren met behulp van de verstrekte informatie. Maar de enige prijs is een pluim.

Dit gebrek aan stimulans is een belemmering voor dergelijke inspanningen in de wetenschap, niet alleen in AI. Replicatie is essentieel, maar wordt niet beloond. Een oplossing is om studenten het werk te laten doen. De afgelopen jaren organiseerde Rosemary Ke, een PhD-student bij Mila, een onderzoeksinstituut in Montreal opgericht door Yoshua Bengio, een reproduceerbaarheid uitdaging waar studenten onderzoeken proberen te repliceren die zijn ingediend bij NeurIPS als onderdeel van hun cursus machine learning. Sommige succesvolle replicaties worden op hun beurt door vakgenoten beoordeeld en gepubliceerd in het tijdschrift ReScience.

Het kost nogal wat moeite om een ​​ander papier van de grond af te reproduceren, zegt Ke. De reproduceerbaarheidsuitdaging erkent deze inspanning en geeft erkenning aan mensen die goed werk leveren. Ke en anderen verspreiden het woord ook op AI-conferenties via workshops die zijn opgezet om onderzoekers aan te moedigen hun werk transparanter te maken. Dit jaar breidden Pineau en Ke de reproduceerbaarheidsuitdaging uit naar zeven van de beste AI-conferenties, waaronder ICML en ICLR.

Een ander streven naar transparantie is de Papieren met code project, opgezet door AI-onderzoeker Robert Stojnic toen hij aan de Universiteit van Cambridge zat. (Stojnic is nu een collega van Pineau bij Facebook.) Gelanceerd als een op zichzelf staande website waar onderzoekers een studie konden koppelen aan de bijbehorende code, startte Papers with Code dit jaar een samenwerking met arXiv, een populaire preprint-server. Sinds oktober zijn alle machine-learning papers op arXiv voorzien van een Papers with Code-sectie die rechtstreeks linkt naar code die auteurs beschikbaar willen stellen. Het doel is om van delen de norm te maken.

Maken dergelijke inspanningen een verschil? Pineau ontdekte dat vorig jaar, toen de checklist werd geïntroduceerd, het aantal onderzoekers inclusief code met papers die bij NeurIPS werden ingediend, steeg van minder dan 50% tot ongeveer 75% . Duizenden reviewers zeggen dat ze de code hebben gebruikt om de inzendingen te beoordelen. En het aantal deelnemers aan de reproduceerbaarheidsuitdagingen neemt toe.

De details zweten

Maar het is slechts een begin. Haibe-Kains wijst erop dat code alleen vaak niet voldoende is om een ​​experiment opnieuw uit te voeren. Bij het bouwen van AI-modellen moeten veel kleine wijzigingen worden aangebracht: hier parameters toevoegen, daar waarden aanpassen. Elk van deze kan het verschil maken tussen een werkend en niet werkend model. Zonder metadata die beschrijven hoe de modellen zijn getraind en afgestemd, kan de code nutteloos zijn. De duivel zit echt in de details, zegt hij.

Het is ook niet altijd duidelijk welke code u in de eerste plaats moet delen. Veel laboratoria gebruiken speciale software om hun modellen uit te voeren; soms is dit eigendom. Het is moeilijk om te weten hoeveel van die ondersteuningscode ook moet worden gedeeld, zegt Haibe-Kains.

Pineau maakt zich niet al te veel zorgen over dergelijke obstakels. We mogen echt hoge verwachtingen hebben van het delen van code, zegt ze. Gegevens delen is lastiger, maar ook hier zijn oplossingen voor. Als onderzoekers hun gegevens niet kunnen delen, kunnen ze aanwijzingen geven zodat anderen vergelijkbare datasets kunnen bouwen. Of je zou een proces kunnen hebben waarbij een klein aantal onafhankelijke auditors toegang heeft gekregen tot de gegevens en de resultaten voor alle anderen verifieert, zegt Haibe-Kains.

Hardware is het grootste probleem. Maar DeepMind beweert dat grootschalig onderzoek zoals AlphaGo of GPT-3 een doorsijpelend effect heeft, waarbij geld dat door rijke laboratoria wordt uitgegeven uiteindelijk leidt tot resultaten waar iedereen baat bij heeft. AI die in een vroeg stadium niet toegankelijk is voor andere onderzoekers, omdat het veel rekenkracht vereist, wordt vaak efficiënter – en dus toegankelijker – gemaakt naarmate het wordt ontwikkeld. AlphaGo Zero overtrof de originele AlphaGo met veel minder rekenkracht, zegt Koray Kavukcuoglu, vice-president onderzoek bij DeepMind.

In theorie betekent dit dat zelfs als replicatie wordt vertraagd, het in ieder geval nog steeds mogelijk is. Kavukcuoglu merkt op dat Gian-Carlo Pascutto, een Belgische codeur bij Mozilla die in zijn vrije tijd schaak- en Go-software schrijft, in staat was om een ​​versie van AlphaGo Zero genaamd Leela Zero opnieuw te maken, met behulp van algoritmen die door DeepMind in zijn papers zijn beschreven. Pineau denkt ook dat vlaggenschiponderzoek zoals AlphaGo en GPT-3 zeldzaam is. Het grootste deel van het AI-onderzoek wordt uitgevoerd op computers die beschikbaar zijn voor het gemiddelde laboratorium, zegt ze. En het probleem is niet uniek voor AI. Pineau en Benaich wijzen beide op deeltjesfysica, waar sommige experimenten alleen kunnen worden gedaan op dure apparaten zoals de Large Hadron Collider.

In de natuurkunde voeren universitaire laboratoria echter gezamenlijke experimenten uit op de LHC. Grote AI-experimenten worden doorgaans uitgevoerd op hardware die eigendom is van en wordt beheerd door bedrijven. Maar ook dat is aan het veranderen, zegt Pineau. Een groep genaamd Compute Canada stelt bijvoorbeeld computerclusters samen om universiteiten grote AI-experimenten te laten uitvoeren. Sommige bedrijven, waaronder Facebook, geven universiteiten ook beperkte toegang tot hun hardware. Het is er niet helemaal, zegt ze. Maar er gaan wat deuren open.

Haibe-Kains is minder overtuigd. Toen hij het Google Health-team vroeg om de code voor zijn kankerscreening-AI te delen, kreeg hij te horen dat er meer getest moest worden. Het team herhaalt deze motivering in a formeel antwoord op de kritiek van Haibe-Kains, ook gepubliceerd in Nature: We zijn van plan onze software aan uitgebreide tests te onderwerpen voordat deze in een klinische omgeving wordt gebruikt, waarbij we samenwerken met patiënten, zorgverleners en regelgevers om de werkzaamheid en veiligheid te waarborgen. De onderzoekers zeiden ook dat ze geen toestemming hadden om alle medische gegevens die ze gebruikten te delen.

Het is niet goed genoeg, zegt Haibe-Kains: als ze er een product van willen bouwen, dan begrijp ik heel goed dat ze niet alle informatie vrijgeven. Maar hij vindt dat als je in een wetenschappelijk tijdschrift of conferentie publiceert, je de plicht hebt om code vrij te geven die anderen kunnen gebruiken. Soms betekent dat het delen van een versie die is getraind op minder gegevens of die minder dure hardware gebruikt. Het geeft misschien slechtere resultaten, maar mensen kunnen er aan sleutelen. De grenzen tussen het bouwen van een product en het doen van onderzoek worden met de minuut vager, zegt Haibe-Kains. Ik denk dat we als veld gaan verliezen.

Onderzoeksgewoonten sterven moeilijk

Als bedrijven bekritiseerd zullen worden voor het publiceren, waarom zou je het dan überhaupt doen? Er is natuurlijk een zekere mate van public relations. Maar de belangrijkste reden is dat de beste corporate labs gevuld zijn met onderzoekers van universiteiten. Tot op zekere hoogte wordt de cultuur op plaatsen als Facebook AI Research, DeepMind en OpenAI gevormd door traditionele academische gewoonten. Techbedrijven winnen ook door deel te nemen aan de bredere onderzoeksgemeenschap. Alle grote AI-projecten in privélabs zijn gebaseerd op lagen en lagen van openbaar onderzoek. En weinig AI-onderzoekers hebben geen gebruik gemaakt van open-source machine learning-tools zoals PyTorch van Facebook of TensorFlow van Google.

Naarmate er meer intern onderzoek wordt gedaan bij gigantische technologiebedrijven, zullen bepaalde afwegingen tussen de concurrerende eisen van het bedrijfsleven en onderzoek onvermijdelijk worden. De vraag is hoe onderzoekers ze navigeren. Haibe-Kains zou graag zien dat tijdschriften als Nature wat ze publiceren opsplitsen in afzonderlijke stromen: reproduceerbare studies aan de ene kant en technische showcases aan de andere kant.

Maar Pineau is optimistischer. Ik zou niet bij Facebook werken als het geen open benadering van onderzoek had, zegt ze.

Andere grote bedrijfslaboratoria benadrukken ook hun toewijding aan transparantie. Wetenschappelijk werk vereist controle en herhaling door anderen in het veld, zegt Kavukcuoglu. Dit is een cruciaal onderdeel van onze benadering van onderzoek bij DeepMind.

OpenAI is uitgegroeid tot iets heel anders dan een traditioneel laboratorium, zegt Kayla Wood, een woordvoerder van het bedrijf. Dat roept natuurlijk wat vragen op. Ze merkt op dat OpenAI samenwerkt met meer dan 80 industriële en academische organisaties in het Partnership on AI om na te denken over publicatienormen voor de lange termijn voor onderzoek.

Pineau gelooft dat daar iets aan is. Ze denkt dat AI-bedrijven een derde manier van onderzoek laten zien, ergens tussen de twee stromen van Haibe-Kains in. Ze vergelijkt de intellectuele output van particuliere AI-labs met die van bijvoorbeeld farmaceutische bedrijven, die miljarden investeren in medicijnen en veel van het werk achter gesloten deuren houden.

De impact op lange termijn van de praktijken die door Pineau en anderen zijn ingevoerd, valt nog te bezien. Zullen gewoontes voorgoed worden veranderd? Welk verschil zal het maken voor de acceptatie van AI buiten onderzoek? Veel hangt af van de richting die AI inslaat. De trend naar steeds grotere modellen en datasets, waar bijvoorbeeld OpenAI de voorkeur aan geeft, zal het snijvlak van AI voor de meeste onderzoekers ontoegankelijk blijven maken. Aan de andere kant, nieuwe technieken, zoals modelcompressie en een paar keer leren , zou deze trend kunnen keren en meer onderzoekers in staat stellen met kleinere, efficiëntere AI te werken.

Hoe dan ook, AI-onderzoek zal nog steeds worden gedomineerd door grote bedrijven. Als het goed wordt gedaan, hoeft dat geen slechte zaak te zijn, zegt Pineau: AI verandert het gesprek over hoe industriële onderzoekslaboratoria werken. De sleutel zal zijn ervoor te zorgen dat het bredere veld de kans krijgt om deel te nemen. Want de betrouwbaarheid van AI, waar zoveel van afhangt, begint op het snijvlak.