211service.com
Te veel AI-onderzoekers denken dat problemen in de echte wereld niet relevant zijn
mevrouw Tech | Getty
Elke onderzoeker die zich richt op het toepassen van machinaal leren op problemen in de echte wereld, heeft waarschijnlijk een antwoord als dit gekregen: de auteurs presenteren een oplossing voor een origineel en zeer motiverend probleem, maar het is een toepassing en de betekenis lijkt beperkt voor het machine-leren gemeenschap.
Deze woorden komen rechtstreeks uit een recensie die ik heb ontvangen voor een paper dat ik heb ingediend bij de NeurIPS (Neural Information Processing Systems) conferentie , een toplocatie voor onderzoek naar machine learning. Ik heb het refrein keer op keer gezien in recensies van artikelen waarin mijn co-auteurs en ik een methode presenteerden die werd gemotiveerd door een toepassing, en ik heb soortgelijke verhalen gehoord van talloze anderen.
Dit doet me afvragen: als de gemeenschap van mening is dat het streven naar het oplossen van ingrijpende real-world problemen met machinaal leren van beperkte betekenis is, wat proberen we dan te bereiken?
De doel van kunstmatige intelligentie (pdf) is om de grens van machine-intelligentie te verleggen. Op het gebied van machine learning betekent een nieuwe ontwikkeling meestal een nieuw algoritme of procedure, of - in het geval van deep learning - een nieuwe netwerkarchitectuur. Zoals anderen al hebben opgemerkt, leidt deze hyperfocus op nieuwe methoden tot een plaag van artikelen die rapporteren marginale of incrementele verbeteringen op benchmarkgegevenssets en vertonen gebrekkige beurs (pdf) terwijl onderzoekers naar de top racen Scorebord .
Ondertussen presenteren veel artikelen die nieuwe toepassingen beschrijven zowel nieuwe concepten als resultaten met een grote impact. Maar zelfs een hint van het woord toepassing lijkt de krant te bederven voor recensenten. Als gevolg hiervan wordt dergelijk onderzoek gemarginaliseerd op grote conferenties. De enige echte hoop van hun auteurs is dat hun artikelen worden geaccepteerd in workshops, die zelden dezelfde aandacht van de gemeenschap krijgen.
Dit is een probleem omdat machine learning veelbelovend is voor het bevorderen van gezondheid, landbouw, wetenschappelijke ontdekkingen en meer. De eerste afbeelding van een zwart gat is gemaakt met behulp van machine learning. Het meest accuraat voorspellingen van eiwitstructuren , een belangrijke stap voor het ontdekken van medicijnen, worden gemaakt met behulp van machine learning. Als anderen in het veld prioriteit hadden gegeven aan toepassingen in de echte wereld, welke andere baanbrekende ontdekkingen zouden we dan nu hebben gedaan?
Dit is geen nieuwe openbaring. Om een klassiek artikel te citeren met de titel: Machine learning dat ertoe doet (pdf) , door NASA-computerwetenschapper Linker Wagstaff F : Veel van het huidige onderzoek naar machine learning heeft zijn verband verloren met problemen die van belang zijn voor de grotere wereld van wetenschap en samenleving. In hetzelfde jaar dat Wagstaff haar paper publiceerde, won een convolutioneel neuraal netwerk genaamd AlexNet een spraakmakende wedstrijd voor beeldherkenning, gericht op de populaire ImageNet dataset, wat leidde tot een explosie van interesse in diep leren . Helaas lijkt de verbroken verbinding die ze beschreef sindsdien nog erger te zijn geworden.
De verkeerde vragen
Het marginaliseren van toepassingsonderzoek heeft reële gevolgen. Benchmark datasets, zoals ImageNet of KOKOSNOOT , zijn de sleutel geweest tot het bevorderen van machine learning. Ze stellen algoritmen in staat om te trainen en te vergelijken op dezelfde gegevens. Deze datasets vooroordelen bevatten die in de resulterende modellen kunnen worden ingebouwd.
Meer dan de helft van de afbeeldingen in ImageNet (pdf) komen bijvoorbeeld uit de VS en Groot-Brittannië. Die onbalans leidt ertoe dat systemen afbeeldingen onnauwkeurig classificeren in categorieën die verschillen door: geografie (pdf) . Populaire gezichtsgegevenssets, zoals de AT&T-database met gezichten , voornamelijk lichte mannelijke proefpersonen bevatten, wat leidt tot systemen die moeilijk te herkennen zijn donkere en vrouwelijke gezichten .
Terwijl onderzoekers elkaar proberen te overtreffen op gekunstelde benchmarks, lijdt één op de negen mensen in de wereld honger.
Wanneer studies over toepassingen van machine learning in de echte wereld worden uitgesloten van de mainstream, is het voor onderzoekers moeilijk om de impact van hun vooringenomen modellen te zien, waardoor het veel minder waarschijnlijk is dat ze zullen werken om deze problemen op te lossen.
Een van de redenen waarom onderzoek naar toepassingen wordt geminimaliseerd, kan zijn dat anderen in machine learning denken dat dit werk simpelweg bestaat uit het toepassen van reeds bestaande methoden. In werkelijkheid vereist het aanpassen van tools voor machine learning aan specifieke problemen in de echte wereld echter veel algoritmisch en technisch werk. Machine learning-onderzoekers die dit niet beseffen en verwachten dat tools direct werken, eindigen vaak met het creëren van ineffectieve modellen. Ofwel evalueren ze de prestaties van een model met behulp van statistieken die niet vertalen naar echte impact, ofwel kiezen ze helemaal het verkeerde doel.
De meeste onderzoeken die deep learning toepassen op echocardiogramanalyse, proberen bijvoorbeeld het vermogen van een arts om ziekte te voorspellen te overtreffen. Maar voorspellen normaal hartfunctie (pdf) zou cardiologen juist meer tijd besparen door patiënten te identificeren die hun expertise niet nodig hebben. Veel onderzoeken die machine learning toepassen op de wijnbouw, hebben tot doel: druivenopbrengst optimaliseren (pdf) , maar wijnmakers willen de juiste hoeveelheden suiker en zuur, niet alleen veel grote waterige bessen, zegt Drake Whitcraft van Whitcraft Winery in Californië.
Meer kwaad dan goed
Een andere reden waarom onderzoek naar toepassingen belangrijk zou moeten zijn voor mainstream machine learning, is dat de benchmarkgegevenssets van het veld hopeloos geen contact hebben met de realiteit.
Nieuwe modellen voor machine learning worden gemeten aan de hand van grote, samengestelde datasets die geen ruis bevatten en goed gedefinieerde, expliciet gelabelde categorieën hebben (kat, hond, vogel). Diep leren is goed voor deze problemen omdat het gaat uit van een grotendeels stabiele wereld (pdf) .
Maar in de echte wereld veranderen deze categorieën voortdurend in de loop van de tijd of volgens de geografische en culturele context. Helaas is het antwoord niet geweest om nieuwe methoden te ontwikkelen die de problemen van real-world data aanpakken; in plaats daarvan is er een push geweest voor toepassingsonderzoekers om hun eigen benchmarkgegevenssets te maken.
Het doel van deze inspanningen is in wezen om problemen uit de echte wereld in het paradigma te persen dat andere onderzoekers op het gebied van machine learning gebruiken om prestaties te meten. Maar de domeinspecifieke datasets zullen waarschijnlijk niet beter zijn dan bestaande versies bij het weergeven van realistische scenario's. De resultaten kunnen meer kwaad dan goed doen. Mensen die misschien geholpen zijn door het werk van deze onderzoekers, zullen gedesillusioneerd raken door technologieën die: slecht presteren wanneer het er het meest toe doet.
Vanwege de misplaatste prioriteiten van het veld, profiteren mensen die proberen de grootste uitdagingen ter wereld op te lossen niet zoveel als ze zouden kunnen van de zeer reële belofte van AI. Terwijl onderzoekers elkaar proberen te overtreffen op gekunstelde benchmarks, een op de negen mensen in de wereld is aan het verhongeren . De aarde warmt op en zeespiegel stijgt in een alarmerend tempo.
Als neurowetenschapper en AI-gedachtenleider Gary Marcus ooit schreef (pdf) : AI's grootste bijdragen aan de samenleving ... kunnen en moeten uiteindelijk komen in domeinen als geautomatiseerde wetenschappelijke ontdekking, wat onder andere leidt tot veel geavanceerdere versies van geneeskunde dan momenteel mogelijk is. Maar om daar te komen, moeten we ervoor zorgen dat het veld als geheel niet eerst vast komt te zitten in een lokaal minimum.
Om de wereld te laten profiteren van machine learning, moet de gemeenschap zich opnieuw afvragen, zoals Wagstaff het ooit zei: wat is de objectieve functie van het veld? Als het antwoord is om een positieve impact in de wereld te hebben, moeten we de manier waarop we over applicaties denken veranderen.
Hannah Kerner is een assistent-onderzoeksprofessor aan de Universiteit van Maryland in College Park. Ze doet onderzoek naar methoden voor machinaal leren voor remote sensing-toepassingen in landbouwmonitoring en voedselzekerheid als onderdeel van de NASA Oogst programma.