Hoe een AI-tool voor het bestrijden van ziekenhuissterfte in de echte wereld werkte

Getty

In november 2018 ging een nieuwe deep-learningtool online op de afdeling spoedeisende hulp van het Duke University Health System. Het werd Sepsis Watch genoemd en is ontworpen om artsen te helpen vroege tekenen van een van de belangrijkste oorzaken van sterfgevallen in ziekenhuizen wereldwijd te herkennen.

Sepsis treedt op wanneer een infectie een ontsteking van het hele lichaam veroorzaakt en er uiteindelijk voor zorgt dat organen worden uitgeschakeld. Het kan worden behandeld als het vroeg genoeg wordt gediagnosticeerd, maar dat is een notoir moeilijke taak omdat de symptomen gemakkelijk worden aangezien voor tekenen van iets anders.

Sepsis Watch beloofde daar verandering in te brengen. Het product van drie en een half jaar ontwikkeling (waaronder het digitaliseren van medische dossiers, het analyseren van 32 miljoen datapunten en het ontwerpen van een eenvoudige interface in de vorm van een iPad-app), beoordeelt patiënten op uurbasis op hun kans op het ontwikkelen van de voorwaarde. Vervolgens worden degenen met een gemiddeld of hoog risico gemarkeerd en degenen die al aan de criteria voldoen. Zodra een arts de diagnose bevestigt, krijgen de patiënten onmiddellijk aandacht.

In de twee jaar sinds de introductie van de tool heeft anekdotisch bewijs van de ziekenhuismanagers en clinici van Duke Health gesuggereerd dat Sepsis Watch echt werkt. Het heeft het aantal door sepsis veroorzaakte sterfgevallen bij patiënten drastisch verminderd en maakt nu deel uit van een federaal geregistreerde klinische studie die naar verwachting de resultaten in 2021 zal delen.

Op het eerste gezicht is dit een voorbeeld van een grote technische overwinning. Door zorgvuldige ontwikkeling en testen heeft een AI-model met succes het vermogen van artsen om ziekten te diagnosticeren vergroot. Maar een nieuw rapport van onderzoeksinstituut Data & Society zegt dat dit maar het halve verhaal is. De andere helft is de hoeveelheid geschoolde sociale arbeid die de clinici die het project leidden, moesten uitvoeren om de tool in hun dagelijkse workflows te integreren. Dit omvatte niet alleen het ontwerpen van nieuwe communicatieprotocollen en het creëren van nieuw trainingsmateriaal, maar ook het navigeren door de politiek op de werkplek en machtsdynamiek.

De casestudy is een eerlijke weerspiegeling van wat er echt nodig is om AI-tools in de echte wereld te laten slagen. Het was echt complex, zegt coauteur Madeleine Clare Elish, een cultureel antropoloog die de impact van AI onderzoekt.

Innovatie herstellen

Innovatie zou disruptief moeten zijn. Het schudt oude manieren om dingen te doen om betere resultaten te bereiken. Maar zelden wordt in gesprekken over technologische disruptie erkend dat disruptie ook een vorm van breuk is. Bestaande protocollen raken verouderd; sociale hiërarchieën worden vervormd. Om de innovaties binnen bestaande systemen te laten werken, is wat Elish en haar co-auteur Elizabeth Anne Watkins reparatiewerk noemen.

Tijdens het tweejarige onderzoek van de onderzoekers naar Sepsis Watch bij Duke Health, documenteerden ze talloze voorbeelden van deze verstoring en reparatie. Een belangrijk probleem was de manier waarop de tool de diepgewortelde machtsdynamiek tussen artsen en verpleegkundigen in de medische wereld uitdaagde.

In de vroege stadia van het ontwerpen van instrumenten werd het duidelijk dat verpleegkundigen van het Rapid Response Team (RRT) de primaire gebruikers zouden moeten zijn. Hoewel behandelend artsen doorgaans verantwoordelijk zijn voor het evalueren van patiënten en het stellen van sepsis-diagnoses, hebben ze geen tijd om continu een andere app te volgen naast hun bestaande taken op de afdeling spoedeisende hulp. Daarentegen is de hoofdverantwoordelijkheid van een RRT-verpleegkundige is om het welzijn van de patiënt continu te bewaken en waar nodig extra hulp te bieden. Het controleren van de Sepsis Watch-app paste natuurlijk in hun workflow.

Maar hier kwam de uitdaging. Zodra de app een patiënt markeerde als een hoog risico, zou een verpleegster de behandelende arts moeten bellen (in medische termen bekend als SEH-assistenten). Niet alleen hadden deze verpleegkundigen en verzorgenden vaak geen eerdere relatie omdat ze hun dagen in totaal verschillende delen van het ziekenhuis doorbrachten, maar het protocol betekende een volledige omkering van de typische commandostructuur in elk ziekenhuis. Maak je een grapje? een verpleegster herinnerde zich dat ze dacht nadat ze had geleerd hoe dingen zouden werken. We gaan bellen ED aanwezigen ?

Maar dit was inderdaad de beste oplossing. Dus het projectteam ging op verschillende grote en kleine manieren aan de slag om de verstoring te herstellen. De hoofdverpleegkundigen organiseerden informele pizzafeesten om opwinding en vertrouwen over Sepsis Watch op te bouwen onder hun collega-verpleegkundigen. Ze ontwikkelden ook communicatietactieken om hun gesprekken met de aanwezigen te vergemakkelijken. Ze besloten bijvoorbeeld om slechts één keer per dag te bellen om meerdere risicopatiënten tegelijk te bespreken, op een tijdstip waarop de artsen het het minst druk hadden.

Bovendien begonnen de projectleiders regelmatig de impact van Sepsis Watch te rapporteren aan de klinische leiding. Het projectteam ontdekte dat niet elke ziekenhuismedewerker geloofde dat door sepsis veroorzaakte dood een probleem was bij Duke Health. Vooral artsen, die geen overzicht hadden van de statistieken van het ziekenhuis, waren veel meer bezig met de noodsituaties waarmee ze dagelijks te maken hadden, zoals gebroken botten en ernstige psychische aandoeningen. Als gevolg hiervan vonden sommigen Sepsis Watch hinderlijk. Maar voor de klinische leiding was sepsis een enorme prioriteit, en hoe meer ze Sepsis Watch aan het werk zagen, hoe meer ze hielpen de versnellingen van de operatie te smeren.

Veranderende normen

Elish identificeert twee belangrijke factoren die Sepsis Watch uiteindelijk hebben geholpen te slagen. Eerst werd de tool aangepast voor een hyperlokale, hyperspecifieke context: hij werd ontwikkeld voor de spoedafdeling van Duke Health en nergens anders. Deze echt op maat gemaakte ontwikkeling was de sleutel tot het succes, zegt ze. Dit druist in tegen de typische AI-normen.

Ten tweede vroeg het team tijdens het ontwikkelingsproces regelmatig feedback van verpleegkundigen, artsen en ander personeel in de hiërarchie van het ziekenhuis. Dit maakte de tool niet alleen gebruiksvriendelijker, maar cultiveerde ook een kleine groep toegewijde medewerkers om het succes ervan te helpen verdedigen. Het maakte ook verschil dat het project werd geleid door de eigen clinici van Duke Health, zegt Elish, in plaats van door technologen die waren gedropt vanuit een softwarebedrijf. Als je geen verklaarbaar algoritme hebt, moet je vertrouwen op andere manieren opbouwen, zegt ze.

Deze lessen zijn heel bekend bij Marzyeh Ghassemi, een nieuwe assistent-professor aan het MIT die machine learning-toepassingen voor de gezondheidszorg bestudeert. Alle machine learning-systemen die ooit bedoeld zijn om te worden geëvalueerd op of gebruikt door mensen, moeten sociaal-technische beperkingen hebben, zegt ze. Vooral in klinische omgevingen, die worden bestuurd door menselijke besluitvormers en waarbij mensen op hun kwetsbaarst moeten worden verzorgd, zijn de beperkingen waar mensen zich bewust van moeten zijn echt menselijke en logistieke beperkingen, voegt ze eraan toe.

Elish hoopt dat haar casestudy van Sepsis Watch onderzoekers overtuigt om te heroverwegen hoe medisch AI-onderzoek en AI-ontwikkeling in het algemeen moeten worden aangepakt. Zoveel van het werk dat nu wordt gedaan, is gericht op wat AI macht zijn of kunnen doen in theorie , ze zegt. Er is te weinig informatie over wat er daadwerkelijk op de grond gebeurt. Maar om AI zijn belofte waar te maken, moeten mensen evenzeer nadenken over sociale integratie als over technische ontwikkeling.

Haar werk roept ook serieuze vragen op. Verantwoorde AI moet aandacht vragen voor de lokale en specifieke context, zegt ze. Mijn lezing en training leert me dat je niet zomaar één ding op de ene plek kunt ontwikkelen en het dan ergens anders kunt uitrollen.

De uitdaging is dus om erachter te komen hoe we die lokale specificiteit behouden terwijl we op schaal proberen te werken, voegt ze eraan toe. Dat is de volgende grens voor AI-onderzoek.

zich verstoppen