211service.com
De manier waarop we AI trainen is fundamenteel gebrekkig
Getty Images
Het is geen geheim dat modellen voor machine learning zijn afgestemd en aangepast tot bijna perfect optreden in het laboratorium mislukken vaak in echte instellingen. Dit wordt meestal toegeschreven aan een mismatch tussen de gegevens waarop de AI is getraind en getest en de gegevens die het in de wereld tegenkomt, een probleem dat bekend staat als gegevensverschuiving. Een AI die is getraind om ziekteverschijnselen te herkennen in hoogwaardige medische beelden, zal bijvoorbeeld: worstelen met wazige of bijgesneden afbeeldingen vastgelegd door een goedkope camera in een drukke kliniek.
Nu heeft een groep van 40 onderzoekers in zeven verschillende teams bij Google vastgesteld een andere belangrijke oorzaak voor het veelvoorkomende falen van modellen voor machine learning . Onderspecificatie genoemd, het zou een nog groter probleem kunnen zijn dan gegevensverschuiving. We vragen meer van machine learning-modellen dan we kunnen garanderen met onze huidige aanpak, zegt Alex D'Amour, die het onderzoek leidde.
Verwant verhaal
De medische AI van Google was supernauwkeurig in een laboratorium. Het echte leven was een ander verhaal. Als AI echt een verschil gaat maken voor patiënten, moeten we weten hoe het werkt als echte mensen het in handen krijgen, in echte situaties.Onderspecificatie is een bekend probleem in statistieken, waar waargenomen effecten vele mogelijke oorzaken kunnen hebben. D’Amour, die een achtergrond heeft in causaal redeneren, wilde weten waarom zijn eigen machine learning-modellen in de praktijk vaak faalden. Hij vroeg zich af of onderspecificatie ook hier het probleem zou kunnen zijn. D'Amour realiseerde zich al snel dat veel van zijn collega's hetzelfde probleem opmerkten in hun eigen modellen. Het is eigenlijk een fenomeen dat overal voorkomt, zegt hij.
Het eerste onderzoek van D'Amour liep in een stroomversnelling en tientallen Google-onderzoekers hebben uiteindelijk gekeken naar een reeks verschillende AI-toepassingen, van beeldherkenning tot natuurlijke taalverwerking (NLP) naar ziekte voorspelling . Ze ontdekten dat onderspecificatie de oorzaak was van slechte prestaties bij allemaal. Het probleem ligt in de manier waarop machine learning-modellen worden getraind en getest, en er is geen gemakkelijke oplossing.
Het papier is een sloopkogel, zegt Brandon Rohrer, een machine learning-ingenieur bij iRobot, die eerder bij Facebook en Microsoft werkte en niet bij het werk betrokken was.
Hetzelfde maar anders
Om precies te begrijpen wat er aan de hand is, moeten we een beetje een back-up maken. Grof gezegd, het bouwen van een machine-learningmodel houdt in dat het wordt getraind op een groot aantal voorbeelden en het vervolgens wordt getest op een aantal vergelijkbare voorbeelden die het nog niet heeft gezien. Wanneer het model de test doorstaat, bent u klaar.
Waar de Google-onderzoekers op wijzen is dat deze lat te laag ligt. Het trainingsproces kan veel verschillende modellen produceren die allemaal de test doorstaan, maar - en dit is het cruciale onderdeel - deze modellen zullen op kleine, willekeurige manieren verschillen, afhankelijk van zaken als de willekeurige waarden die aan de knooppunten in een neuraal netwerk worden gegeven voordat de training begint , de manier waarop trainingsgegevens worden geselecteerd of weergegeven, het aantal trainingsruns, enzovoort. Deze kleine, vaak willekeurige, verschillen worden meestal over het hoofd gezien als ze geen invloed hebben op hoe een model het doet op de test. Maar het blijkt dat ze kunnen leiden tot enorme variatie in prestaties in de echte wereld.
Met andere woorden, het proces dat tegenwoordig wordt gebruikt om de meeste machine-learningmodellen te bouwen, kan niet zeggen welke modellen in de echte wereld zullen werken en welke niet.
Dit is niet hetzelfde als datashift, waarbij training geen goed model oplevert omdat de trainingsgegevens niet overeenkomen met praktijkvoorbeelden. Onderspecificatie betekent iets anders: zelfs als een trainingsproces een goed model kan opleveren, kan het nog steeds een slecht model uitspugen omdat het het verschil niet weet. Wij ook niet.
De onderzoekers keken naar de impact van onderspecificatie op een aantal verschillende toepassingen. In elk van de gevallen gebruikten ze dezelfde trainingsprocessen om meerdere machine learning-modellen te produceren en voerden die modellen vervolgens stresstests uit die waren ontworpen om specifieke verschillen in hun prestaties aan het licht te brengen.
Verwant verhaal
AI worstelt met een replicatiecrisis Techreuzen domineren het onderzoek, maar de grens tussen echte doorbraak en productpresentatie kan vaag zijn. Sommige wetenschappers hebben er genoeg van.Zo trainden ze 50 versies van een beeldherkenningsmodel op ImageNet, een dataset van afbeeldingen van alledaagse voorwerpen. Het enige verschil tussen trainingsruns waren de willekeurige waarden die bij de start aan het neurale netwerk werden toegekend. Maar ondanks het feit dat alle 50 modellen min of meer hetzelfde scoorden in de trainingstest - wat suggereert dat ze even nauwkeurig waren - varieerden hun prestaties enorm in de stresstest.
De stresstest maakte gebruik van ImageNet-C, een dataset van afbeeldingen van ImageNet die gepixeld zijn of waarvan de helderheid en het contrast zijn gewijzigd, en ObjectNet , een dataset van afbeeldingen van alledaagse voorwerpen in ongebruikelijke poses, zoals stoelen op hun rug, omgekeerde theepotten en T-shirts die aan haken hangen. Sommige van de 50 modellen deden het goed met pixelafbeeldingen, andere deden het goed met de ongewone poses; sommigen deden het over het algemeen veel beter dan anderen. Maar wat het standaard trainingsproces betreft, waren ze allemaal hetzelfde.
De onderzoekers voerden vergelijkbare experimenten uit met twee verschillende NLP-systemen en drie medische AI's voor het voorspellen van oogaandoeningen op basis van retinale scans, kanker van huidlaesies en nierfalen uit patiëntendossiers. Elk systeem had hetzelfde probleem: modellen die even nauwkeurig hadden moeten zijn, presteerden anders wanneer ze werden getest met gegevens uit de echte wereld, zoals verschillende netvliesscans of huidtypes.
We moeten misschien heroverwegen hoe we neurale netwerken evalueren, zegt Rohrer. Het prikt een aantal belangrijke gaten in de fundamentele veronderstellingen die we hebben gemaakt.
D'Amour is het daarmee eens. Het grootste, onmiddellijke voordeel is dat we veel meer moeten testen, zegt hij. Dat zal echter niet gemakkelijk zijn. De stresstests werden specifiek op elke taak afgestemd, waarbij gebruik werd gemaakt van gegevens uit de echte wereld of gegevens die de echte wereld nabootsten. Dit is niet altijd beschikbaar.
Sommige stresstests staan ook op gespannen voet met elkaar: modellen die goed waren in het herkennen van gepixelde afbeeldingen, waren bijvoorbeeld vaak slecht in het herkennen van afbeeldingen met een hoog contrast. Het is misschien niet altijd mogelijk om één model te trainen dat alle stresstests doorstaat.
Meerkeuze
Een mogelijkheid is om een extra fase te ontwerpen voor het training- en testproces, waarin veel modellen tegelijk worden geproduceerd in plaats van slechts één. Deze concurrerende modellen kunnen vervolgens opnieuw worden getest op specifieke taken in de echte wereld om de beste voor de taak te selecteren.
Dat is veel werk. Maar voor een bedrijf als Google, dat grote modellen bouwt en implementeert, kan het de moeite waard zijn, zegt Yannic Kilcher, een machine learning-onderzoeker bij ETH Zürich. Google zou 50 verschillende versies van een NLP-model kunnen aanbieden en applicatieontwikkelaars zouden degene kunnen kiezen die het beste voor hen werkte, zegt hij.
D'Amour en zijn collega's hebben nog geen oplossing, maar onderzoeken manieren om het trainingsproces te verbeteren. We moeten beter worden in het specificeren van precies wat onze eisen zijn aan onze modellen, zegt hij. Want wat er vaak gebeurt, is dat we deze vereisten pas ontdekken nadat het model in de wereld heeft gefaald.
Een oplossing is essentieel als AI buiten het lab net zoveel impact wil hebben als binnen. Wanneer AI in de echte wereld ondermaats presteert, zijn mensen minder bereid om het te willen gebruiken, zegt co-auteur Katherine Heller, die bij Google werkt aan AI voor de gezondheidszorg: we hebben veel vertrouwen verloren als het gaat om de geweldige applicaties , dat is belangrijk vertrouwen dat we willen terugwinnen.