Een realiteitscheck voor de AI-ambities van IBM

IBM, nummer 39 op onze lijst van de 50 slimste bedrijven, heeft zijn machine-learningsysteem Watson overhyped, maar het bedrijf zou nog steeds de beste toegang kunnen hebben tot het soort gegevens dat nodig is om medicijnen veel slimmer te maken. Door

• David H. Freedman archiefpagina

27 juni 2017

Leonard Greco

Paul Tang lag met zijn vrouw in het ziekenhuis net na haar knievervangende operatie, een procedure die elk jaar bij ongeveer 700.000 mensen in de VS wordt uitgevoerd. De chirurg kwam langs en Tang, die zelf huisarts is, vroeg wanneer hij verwachtte dat ze haar normale routine weer zou oppakken, gezien zijn ervaring met patiënten zoals zij. De chirurg bleef vage non-antwoorden geven. Eindelijk drong het tot me door, zegt Tang. Hij wist het niet. Tang zou al snel ontdekken dat de meeste artsen niet weten hoe hun patiënten het doen in de normale levensstandaard, thuis en op het werk — de maatregelen die voor patiënten het belangrijkst zijn.

Tang ziet patiënten nog steeds als een arts, maar hij is ook chief health transformation officer voor IBM's Watson Health (zie '50 Smartest Companies 2017'). Dat is de businessgroep die toepassingen voor de gezondheidszorg ontwikkelt voor Watson, het machine-learningsysteem dat IBM in wezen is zijn toekomst inzetten. Watson zou informatie kunnen leveren die artsen nu niet krijgen, zegt Tang. Het zou bijvoorbeeld een arts kunnen vertellen hoe lang het duurde voordat patiënten die op Tang's vrouw leken pijnloos konden lopen of traplopen. Het kan zelfs helpen bij het analyseren van afbeeldingen en weefselmonsters en het bepalen van de beste behandelingen voor een bepaalde patiënt.

Dit verhaal maakte deel uit van ons nummer van juli 2017

• Zie de rest van het nummer
• Abonneren

Vanwege dit soort mogelijkheden is de gezondheidszorg een van de populairste segmenten van de markt voor machine learning-technologieën. Onderzoeksbureau CB Insights telt maar liefst 106 startups die sinds 2013 zijn ontstaan ​​en nog steeds bestaan.

Geen van die bedrijven heeft de aandacht gekregen die Watson heeft, dankzij de overwinning in de tv-quizshow Gevaar! in 2011 en ijverige marketing door IBM sindsdien. Maar de laatste tijd is een groot deel van de pers voor Watson slecht. Een sterk gepromoot samenwerking met het M.D. Anderson Cancer Center in Houston liep dit jaar spaak. Omdat de inkomsten van IBM zijn bezwijmd en de aandelenkoers is geschommeld, hebben analisten zich afgevraagd wanneer Watson daadwerkelijk veel waarde zal leveren. Watson is een grap, zei Chamath Palihapitiya, een invloedrijke tech-investeerder die het durfkapitaalbedrijf Social Capital oprichtte. CNBC in mei.

De meeste kritiek op Watson, zelfs van M.D. Anderson, lijkt echter niet geworteld te zijn in een bepaald gebrek in de technologie. In plaats daarvan is het een reactie op de te optimistische beweringen van IBM over hoe ver Watson nu zou zijn. In feite lijkt het nog steeds waarschijnlijk dat Watson Health een leider zal zijn in het toepassen van AI op de problemen van de gezondheidszorg. Als Watson in die zin nog niet veel heeft bereikt, is een belangrijke reden dat het bepaalde soorten gegevens nodig heeft om te worden getraind. En in veel gevallen zijn dergelijke gegevens zeer schaars of moeilijk toegankelijk. Dat is geen uniek probleem voor Watson. Het is een catch-22 waarmee het hele veld van machine learning voor de gezondheidszorg wordt geconfronteerd.

Hoewel het probleem van ontbrekende en ontoegankelijke gegevens Watson kan vertragen, kan het de concurrenten van IBM meer schaden. Dat komt omdat de beste gok voor het verkrijgen van de gegevens ligt in nauwe samenwerkingen met grote zorgorganisaties die over het algemeen technologisch conservatief zijn. En een ding dat IBM nog steeds heel goed doet in vergelijking met startups, of zelfs gigantische rivalen zoals Apple en Google, is het vertrouwen winnen van executives en IT-managers bij grote organisaties. Ondanks de specifieke problemen met het MD Anderson-project heeft IBM een cruciaal voordeel. Het zorgt ervoor dat Watson toegang krijgt tot een breed scala van medische centra, zorgadministratiegroepen en life-science-bedrijven, die allemaal gepositioneerd zijn om de kritieke gegevens te leveren die nodig zijn om de toekomst van AI in de geneeskunde vorm te geven.

Onrealistische tijdlijnen

De breuk met MD Anderson leek IBM te laten stikken in zijn eigen hype over Watson.

Het kankercentrum en IBM gingen in 2012 een partnerschap aan. Het doel was dat Watson gegevens over de symptomen, gensequenties en pathologierapporten van elke patiënt zou lezen, deze zou combineren met aantekeningen van artsen over de patiënt en relevante tijdschriftartikelen, en vervolgens artsen zou helpen bij het bedenken van diagnoses en behandelingen. Maar zowel IBM als M.D. Anderson hebben de verwachtingen voor de technologie te hoog opgedreven. IBM beweerde in 2013 dat een nieuw computertijdperk is aangebroken en dat Forbes de indruk dat Watson pakt nu klinische proeven aan en zou binnen enkele maanden in gebruik zijn bij patiënten. In 2015 heeft de Washington Post citeerde een IBM Watson-manager die beschreef hoe Watson bezig was met het opzetten van een collectief intelligentiemodel tussen machine en mens. De Na zei dat het computersysteem samen met artsen trainde om te doen wat ze niet kunnen.

Gezondheidszorg is een beschamend late adoptant van technologie, zegt Manish Kohli, een arts en informatica-expert in de gezondheidszorg bij de Cleveland Clinic.

In februari van dit jaar kondigde de Universiteit van Texas, die MD Anderson runt, aan het project te hebben stopgezet, waardoor het medisch centrum 39 miljoen dollar aan betalingen aan IBM overlaat. — voor een project dat oorspronkelijk was gecontracteerd voor $ 2,4 miljoen. Na vier jaar had het nog geen instrument voor gebruik bij patiënten geproduceerd dat klaar was om verder te gaan dan piloottests. M.D. Anderson wilde me niet specifiek iets zeggen over Watson, maar het lijkt erop dat de problemen voornamelijk voortkwamen uit interne strijd over de manier waarop het project werd beheerd en gefinancierd.

Dat wil niet zeggen dat IBM geen problemen heeft met Watson. Ze zijn inderdaad groter dan wat een implementatie onthult.

Om te begrijpen wat de voortgang vertraagt, moet je begrijpen hoe machine learning-systemen zoals Watson worden getraind. Watson leert door voortdurend zijn interne verwerkingsroutines te herschikken om het hoogst mogelijke percentage juiste antwoorden op een aantal problemen te produceren, zoals welke radiologische beelden kanker onthullen. De juiste antwoorden moeten al bekend zijn, zodat het systeem kan worden verteld wanneer het iets goed doet en wanneer het iets fout doet. Hoe meer trainingsproblemen het systeem kan kauwen, hoe beter het slagingspercentage wordt.

Dat is relatief eenvoudig als het gaat om het trainen van het systeem om maligniteiten op röntgenfoto's te identificeren. Maar voor potentieel baanbrekende puzzels die veel verder gaan dan wat mensen al doen, zoals het detecteren van de relaties tussen genvariaties en ziekte, heeft Watson een kip-en-ei-probleem: hoe traint het op gegevens die geen enkele expert al heeft doorzocht en goed heeft georganiseerd ? Als je een zelfrijdende auto leert, kan iedereen een boom of een bord labelen zodat het systeem het kan leren herkennen, zegt Thomas Fuchs, een computerpatholoog bij Memorial Sloan-Kettering, een kankercentrum in New York. Maar in een gespecialiseerd domein in de geneeskunde heb je misschien tientallen jaren getrainde experts nodig om de informatie die je naar de computer stuurt correct te labelen.

Een versie van dat struikelblok duikt op in elk domein waarin IBM Watson hoopt te laten bijdragen — net als voor de machine learning-oplossing van elk bedrijf. Om Watson te trainen om door gigantische hoeveelheden gegevens te gaan en de paar stukjes informatie die belangrijk zijn voor een enkele patiënt eruit te halen, moet iemand het eerst met de hand doen, voor duizenden en duizenden gevallen. Om genen te herkennen die verband houden met ziekte, heeft Watson duizenden dossiers nodig van patiënten met specifieke ziekten en van wie het DNA is geanalyseerd. Maar die combinaties van genen en patiëntendossiers kunnen moeilijk te verkrijgen zijn. In veel gevallen bestaan ​​de gegevens gewoon niet in het juiste formaat — of in welke vorm dan ook. Of de gegevens kunnen verspreid zijn over tientallen verschillende systemen en moeilijk zijn om mee te werken.

Denk bijvoorbeeld aan het doel om de eerstelijnszorg te verbeteren door betere data binnen handbereik van clinici te brengen. Wanneer artsen kansen missen om relatief kleine zorgen te behandelen tijdens een routinebezoek aan de eerste lijn, voordat een meer geavanceerd probleem patiënten naar een eerstehulpafdeling of een specialist stuurt, lijdt hun gezondheid en exploderen de kosten. Ongeveer een derde van elke dollar die aan gezondheid wordt uitgegeven, is waarschijnlijk niet nodig, zegt Anil Jain, Chief Medical Officer van IBM Watson Health, die ook een praktiserend huisarts is. Machine learning wordt algemeen erkend als een kans om dat probleem aan te pakken.

Om artsen echt te helpen betere resultaten voor patiënten te krijgen, zal Watson verbanden moeten vinden tussen wat er in gezondheidsdossiers staat en wat Tang alle sociale determinanten van gezondheid noemt. Die factoren zijn onder meer of patiënten drugsvrij zijn, het verkeerde voedsel vermijden, schone lucht inademen, enzovoort. Maar Tang geeft toe dat tegenwoordig bijna geen ziekenhuizen of medische praktijken die gegevens betrouwbaar krijgen voor een aanzienlijk percentage van de patiënten. Een deel van het probleem is dat ziekenhuizen traag zijn met het overnemen van moderne, datagestuurde praktijken. Gezondheidszorg is een beschamend late adoptant van technologie, zegt Manish Kohli, een arts en informatica-expert in de gezondheidszorg bij de Cleveland Clinic.

Waar de gegevens wel bestaan, is IBM er vaak gewoon op uit gegaan om ze te kopen. Het heeft bedrijven overgenomen zoals Truven Health Analytics, Explorys en Phytel, die allemaal actief waren in het omgaan met grote datasets in ziekenhuizen en patiëntenpopulaties. En zelfs na de teloorgang van de M.D. Anderson-deal heeft IBM een aantal cruciale partnerschappen die de toegang tot patiëntgegevens bevorderen.

Een daarvan is bij Atrius Health, een netwerk van bijna 900 voornamelijk eerstelijnsartsen in de omgeving van Boston. Het partnerschap heeft tot doel een op Watson gebaseerd systeem te ontwikkelen en te testen dat in staat is om klompjes informatie te halen die van cruciaal belang zijn voor een individuele patiënt uit een oceaan van aantekeningen, dossiers en artikelen. Het zoeken naar alle relevante informatie is een zware taak voor artsen in de eerste lijn, zoals de dingen tegenwoordig bestaan, zegt Joe Kimura, Chief Medical Officer van Atrius. Elektronische medische dossiers hebben het probleem misschien nog erger gemaakt, voegt hij eraan toe, omdat de komst van dergelijke systemen de hoeveelheid gegevens die bij elk bezoek wordt gegenereerd enorm heeft vergroot, zonder een standaardformaat te bieden om gemakkelijk terug te vinden.

Kritiek is dat veel van de belangrijkste aantekeningen in patiëntendossiers zinnen zijn die een conventioneel IT-systeem niet kan begrijpen. Maar Watson kan de natuurlijke taalverwerkingsvaardigheden toepassen die zijn ontwikkeld voor Gevaar! om er betekenis uit te halen. Idealiter zou het dan kunnen voorstellen hoe artsen patiënten kunnen helpen de behoefte aan uitgebreide zorg te vermijden. Waarom zouden we ons er alleen op concentreren om ervoor te zorgen dat we zo goed mogelijk werk hebben geleverd met patiënten die een heup breken, vraagt ​​Kimura zich af, wanneer we kunnen proberen te voorspellen welke patiënten het risico lopen te vallen en hen kunnen helpen de heup helemaal niet te breken ? We moeten onze zorg stroomopwaarts duwen.

Een leukemie-arts bij M.D. Anderson, Courtney DiNardo, gebruikte IBM's Watson-systeem tijdens overleg met een patiënt in 2013.

IBM kondigde in 2015 aan dat de diagnostische capaciteiten van Watson zouden worden versterkt door gegevens die zijn verkregen van Merge Healthcare, een bedrijf voor het beheer van medische beeldvorming dat IBM voor ongeveer $ 1 miljard heeft gekocht.

Watson Health werkt ook samen met de Central New York Care Collaborative, een door de staat gefinancierde instantie die samenwerkt met zo'n 2.000 zorgverleners in zes provincies. Het partnerschap is bedoeld om het doel te ondersteunen van een vermindering van 25 procent van het aantal opnames op de spoedeisende hulp en heropnames in ziekenhuizen, wanneer patiënten die uit een ziekenhuis zijn ontslagen, moeten terugkeren om gerelateerde problemen aan te pakken. Het biedt ook potentiële toegang tot grote hoeveelheden patiëntgegevens.

Er zijn andere manieren om aan dergelijke gegevens te komen. Een van de zusterbedrijven van Google probeert het rechtstreeks van patiënten zelf te krijgen. Verily Life Sciences, een gezondheidsdivisie van Alphabet, werkt samen met Duke en Stanford om een ​​zeer gestructureerde gezondheidsdatabase te ontwikkelen van zo'n 10.000 vrijwilligers. De database zal niet alleen worden gevuld met informatie van hun klinische bezoeken, maar ook van draagbare apparaten voor gezondheidsbewaking. Dat zou een veelbelovende sprong voorwaarts kunnen zijn in de toegang tot gegevens, hoewel het een decennium of langer kan duren om zeer bruikbare resultaten te produceren.

De groep van Fuchs bij Memorial Sloan-Kettering hoopt een AI-systeem te trainen om dia's met weefselvlekken te lezen, een proces dat een grote bibliotheek van digitaal geannoteerde dia's met bevestigde diagnoses en andere kritieke gegevens vereist. De groep maakt zich dus op om in haar eentje 40.000 van dergelijke dia's per maand te produceren. Dat is veel meer dan wie dan ook, zegt Fuchs. Het is een enorme opgave vanwege alle variabiliteit in de biologie.

Zelfs M.D. Anderson zet, ondanks het lot van het Watson-project, een groot programma voort dat rond dezelfde tijd begon, gericht op het verzamelen van 1700 soorten klinische gegevens over elke patiënt die binnenkomt. Andy Futreal, de wetenschapper die het programma leidt, zegt dat het combineren van patiëntinformatie met onderzoeksgegevens cruciaal zal zijn voor het soort mogelijkheden dat systemen als Watson zouden kunnen bieden. Zodra we de gegevens op hun plaats hebben, kun je nu beginnen met AI-machine learning en die factoren blootleggen die bepalen wie wel en niet goed presteert met verschillende behandelingen, zegt Futreal.

IBM, van zijn kant, blijft gegevens verzamelen uit partnerschappen. Alleen al voor kankerdiagnose en -zorg werkt het bedrijf samen met Memorial Sloan-Kettering, de Mayo Clinic, het aan Harvard en MIT gelieerde Broad Institute en medisch-testgigant Quest Diagnostics. De samenwerking tussen Memorial Sloan-Kettering heeft al een systeem opgeleverd dat tijdschriftliteratuur doorzoekt om behandelbeslissingen te onderbouwen, en het is uitgerold naar het Jupiter Medical Center in Florida en een ziekenhuisketen in India. Op het gebied van het ontdekken van geneesmiddelen werkt Watson Health samen met het Barrow Neurological Institute, waar Watson hielp bij het vinden van vijf genen die verband houden met ALS die nooit eerder met de ziekte in verband werden gebracht, en met het Ontario Brain Institute, waar Watson 21 veelbelovende potentiële geneesmiddelen identificeerde. kandidaten.

Zal Watson uiteindelijk het verschil maken in het verbeteren van de gezondheidsresultaten en het verlagen van de kosten? Waarschijnlijk, zegt Stephen Kraus, een partner bij het VC-bedrijf Bessemer Venture Partners die zich richt op gezondheidszorg en heeft geïnvesteerd in startups in de AI-gezondheidszorg. Het is allemaal echt, zegt Kraus. Dit gaat niet over het uitbrengen van vaporware om de aandelenkoersen te verhogen. Maar Kraus voegt zich bij de meeste experts in het waarschuwen tegen onrealistische tijdlijnen of beloften — waarvan sommige afkomstig zijn van IBM zelf. Dit is moeilijk, zegt hij. Het gebeurt niet vandaag, en het gebeurt misschien ook niet over vijf jaar. En het zal de artsen niet vervangen.

zich verstoppen