211service.com
Nieuwe normen voor klinische proeven met AI zullen helpen om slangenolie en hype op te sporen
Kyle McDonald / Flickr
Het nieuws: Een internationaal consortium van medische experts heeft de eerste officiële standaarden geïntroduceerd voor klinische proeven waarbij kunstmatige intelligentie is betrokken. De stap komt op een moment dat de hype rond medische AI op een hoogtepunt is, met opgeblazen en niet-geverifieerde beweringen over de effectiviteit van bepaalde tools die het vertrouwen van mensen in AI in het algemeen dreigen te ondermijnen.
Wat het betekent: aangekondigd in Natuurgeneeskunde , het British Medical Journal en de Lancet, breiden de nieuwe normen twee reeksen richtlijnen uit over hoe klinische proeven worden uitgevoerd en gerapporteerd die al over de hele wereld worden gebruikt voor de ontwikkeling van geneesmiddelen, diagnostische tests en andere medische interventies. AI-onderzoekers zullen nu de vaardigheden moeten beschrijven die nodig zijn om een AI-tool te gebruiken, de setting waarin de AI wordt geëvalueerd, details over: hoe mensen omgaan met de AI , de analyse van foutgevallen en meer.
Waarom het uitmaakt: Gerandomiseerde gecontroleerde onderzoeken zijn de meest betrouwbare manier om de effectiviteit en veiligheid van een behandeling of klinische techniek aan te tonen. Ze ondersteunen zowel de medische praktijk als het gezondheidsbeleid. Maar hun betrouwbaarheid hangt af van de vraag of onderzoekers zich houden aan strikte richtlijnen in hoe hun proeven worden uitgevoerd en gerapporteerd. De afgelopen jaren zijn er veel nieuwe AI-tools ontwikkeld en beschreven in medische tijdschriften, maar de effectiviteit ervan is moeilijk te vergelijken en te beoordelen omdat de kwaliteit van de onderzoeksopzet varieert. In maart, een studie in de BMJ waarschuwde dat slecht onderzoek en overdreven beweringen over hoe goed AI was in het analyseren van medische beelden een risico vormden voor miljoenen patiënten.
Piekhype: Een gebrek aan gemeenschappelijke normen heeft particuliere bedrijven ook in staat gesteld te kraaien over de effectiviteit van hun AI zonder de toetsing te ondergaan die wordt toegepast op andere soorten medische interventies of diagnoses. Bijvoorbeeld het in het VK gevestigde digitale gezondheidsbedrijf Babylon Gezondheid kwam in 2018 onder vuur te liggen omdat hij aankondigde dat zijn diagnostische chatbot vergelijkbaar was met menselijke artsen, op basis van een test dat volgens critici misleidend was.
Babylon Health is verre van alleen. Ontwikkelaars beweren al geruime tijd dat medische AI's beter presteren dan het menselijk vermogen of deze evenaren, en de pandemie heeft deze trend in een stroomversnelling gebracht nu bedrijven strijden om hun tools opgemerkt te krijgen. In de meeste gevallen gebeurt de evaluatie van deze AI's in eigen beheer en onder gunstige voorwaarden.
Toekomstige belofte: Dat wil niet zeggen dat AI menselijke artsen niet kan verslaan. In feite was de eerste onafhankelijke evaluatie van een AI-diagnostisch hulpmiddel dat beter presteerde dan mensen bij het opsporen van kanker op mammogrammen pas vorige maand gepubliceerd . Uit de studie bleek dat een hulpmiddel dat door Lunit AI is gemaakt en dat in bepaalde ziekenhuizen in Zuid-Korea wordt gebruikt, midden in de groep radiologen eindigde waartegen het werd getest. Het was zelfs nog nauwkeuriger in combinatie met een menselijke arts. Door het goede van het slechte te scheiden, zullen de nieuwe normen dit soort onafhankelijke evaluatie gemakkelijker maken, wat uiteindelijk zal leiden tot betere en betrouwbaardere medische AI.