Dit is het Stanford-vaccinalgoritme dat eerstelijnsartsen buitenliet

Yichuan Cao/Sipa VS

Toen artsen in het Stanford Medical Center – van wie velen in de frontlinie van de covid-19-pandemie werken – ontdekten dat slechts zeven van de meer dan 1.300 van hen prioriteit hadden gekregen voor de eerste 5.000 doses van het covid-vaccin, waren ze geschokt . Toen ze vervolgens zagen wie er nog meer op de lijst stonden, inclusief beheerders en artsen die patiënten op afstand vanuit huis zagen, werden ze boos.

Tijdens een geplande fotosessie om de eerste vaccinaties te vieren op vrijdag 18 december, minimaal 100 inwoners kwamen opdagen om te protesteren. De ziekenhuisleiding verontschuldigde zich voor het feit dat ze geen prioriteit hadden gegeven en beschuldigde de fouten van een zeer complex algoritme.

Ons algoritme, waar de ethici, experts op het gebied van infectieziekten weken aan hebben gewerkt … werkte duidelijk niet goed, vertelde Tim Morrison, de directeur van het ambulante zorgteam, aan de bewoners tijdens het evenement in een video die werd geplaatst online .

Inwoners van Stanford protesteren tegen een foto om de komst van een vaccin te vieren.

MET DANK AAN WILLIAM FITZGERALD

Velen zagen dat als een excuus, vooral omdat de ziekenhuisleiding... dinsdag op de hoogte gebracht van het probleem — toen slechts vijf bewoners de lijst maakten — en reageerden niet door het algoritme te corrigeren, maar door nog twee bewoners toe te voegen voor een totaal van zeven.

Een van de belangrijkste attracties van algoritmen is dat ze de machtigen in staat stellen een zwarte doos de schuld te geven van politiek onaantrekkelijke resultaten waarvoor ze anders verantwoordelijk zouden zijn, schreef Roger McNamee, een prominente insider uit Silicon Valley die criticus werd. op Twitter. Maar *mensen* besloten wie het vaccin zou krijgen, getweet Veena Dubal, een professor in de rechten aan de Universiteit van Californië, Hastings, die onderzoek doet naar technologie en samenleving. Het algoritme heeft zojuist hun wil uitgevoerd.

Maar wat was de wil van Stanford precies? We hebben het algoritme bekeken om erachter te komen wat het moest doen.

Hoe het algoritme werkt

De dia die het algoritme beschrijft, was afkomstig van bewoners die het van hun afdelingsvoorzitter hadden gekregen. Het is geen complex algoritme voor machinaal leren (dat vaak zwarte dozen wordt genoemd), maar een op regels gebaseerde formule om te berekenen wie het eerst het vaccin zou krijgen op Stanford. Het beschouwt drie categorieën: op werknemers gebaseerde variabelen, die te maken hebben met leeftijd; op werk gebaseerde variabelen; en richtlijnen van het California Department of Public Health. Per categorie kreeg het personeel een bepaald aantal punten, met een totaal mogelijke score van 3,48. Vermoedelijk geldt: hoe hoger de score, hoe hoger de prioriteit van de persoon in de rij. (Stanford Medical Center heeft dit weekend niet gereageerd op meerdere verzoeken om commentaar op het algoritme.)

De werknemersvariabelen verhogen de score van een persoon lineair met de leeftijd, en extra punten worden toegevoegd aan 65-plussers of jonger dan 25 jaar. Dit geeft prioriteit aan het oudste en jongste personeel, wat in het nadeel is van bewoners en andere eerstelijnswerkers die doorgaans midden in de leeftijd zijn bereik.

Functievariabelen dragen het meest bij aan de totaalscore. Het algoritme telt de prevalentie van covid-19 onder de functies en afdelingen van werknemers op twee verschillende manieren, maar het verschil tussen beide is niet helemaal duidelijk. Noch de bewoners, noch twee niet-gelieerde experts die we vroegen om het algoritme te beoordelen, begrepen wat deze criteria betekenden, en Stanford Medical Center reageerde niet op een verzoek om commentaar. Ze houden ook rekening met het percentage tests dat per functie is afgenomen als percentage van het totale aantal verzamelde tests van het medisch centrum.

Verwant verhaal

We hebben misschien maar enkele weken om te handelen voordat een variant van het coronavirus de VS domineert. Een stam van covid-19 die zich sneller lijkt te verspreiden, botst met de campagne om Amerikanen te vaccineren.

Waar deze factoren geen rekening mee houden, is blootstelling aan patiënten met covid-19, zeggen bewoners. Dat betekent dat het algoritme geen onderscheid maakte tussen degenen die covid hadden gekregen van patiënten en degenen die het via de gemeenschap hadden gekregen, inclusief werknemers die op afstand werkten. En, als eerst gemeld door ProPublica kregen bewoners te horen dat, omdat ze tussen afdelingen rouleren in plaats van één enkele opdracht te behouden, ze punten misliepen die verband hielden met de afdelingen waar ze werkten.

De derde categorie van het algoritme verwijst naar de Richtlijnen voor de toewijzing van vaccins van het California Department of Public Health . Deze richten zich op blootstellingsrisico als de hoogste factor voor het prioriteren van vaccins. De richtlijnen zijn in de eerste plaats bedoeld voor provinciale en lokale overheden om te beslissen hoe prioriteit moet worden gegeven aan het vaccin, in plaats van hoe ze prioriteit moeten geven tussen de afdelingen van een ziekenhuis. Maar ze omvatten wel specifiek bewoners, samen met de afdelingen waar ze werken, in de hoogste prioriteit.

Het kan zijn dat de CDPH-bereikfactor bewoners een hogere score geeft, maar nog niet hoog genoeg om de andere criteria tegen te gaan.

Waarom deden ze het zo?

Stanford probeerde met veel meer variabelen rekening te houden dan andere medische instellingen, maar Jeffrey Kahn, de directeur van het Johns Hopkins Berkman Institute of Bioethics, zegt dat de aanpak te ingewikkeld was. Hoe meer er verschillende gewichten zijn voor verschillende dingen, hoe moeilijker het wordt om te begrijpen: 'Waarom hebben ze het zo gedaan?' zegt hij.

Kahn, die in de 20-koppige commissie van Johns Hopkins voor de toewijzing van vaccins zat, zegt dat zijn universiteit vaccins heeft toegewezen simpelweg op basis van baan en risico op blootstelling aan covid-19.

Hij zegt dat die beslissing was gebaseerd op discussies die doelbewust verschillende perspectieven behelsden - inclusief die van bewoners - en in coördinatie met andere ziekenhuizen in Maryland. Ergens anders, het plan van de Universiteit van Californië in San Francisco is gebaseerd op een vergelijkbare beoordeling van het risico op blootstelling aan het virus. Mass General Brigham in Boston deelt werknemers in in vier groepen op basis van afdeling en functielocatie, volgens een interne e-mail die is beoordeeld door MIT Technology Review.

Er is zo weinig vertrouwen in zoveel verband met de pandemie, dat we het niet kunnen verspillen.

Het is echt belangrijk [voor] elke benadering als deze om transparant en openbaar te zijn ... en niet iets dat heel moeilijk te achterhalen is, zegt Kahn. Er is zo weinig vertrouwen in zoveel verband met de pandemie, dat we het niet kunnen verspillen.

Algoritmen worden vaak gebruikt in de gezondheidszorg om patiënten te rangschikken op risiconiveau in een poging om zorg en middelen eerlijker te verdelen. Maar hoe meer variabelen er worden gebruikt, hoe moeilijker het is om te beoordelen of de berekeningen mogelijk onjuist zijn.

Zo is anno 2019 bijv. een studie gepubliceerd in Science toonde aan dat 10 veelgebruikte algoritmen voor het verdelen van zorg in de VS uiteindelijk de voorkeur gaven aan blanke patiënten boven zwarte. Het probleem, zo bleek, was dat de ontwerpers van de algoritmen ervan uitgingen dat patiënten die meer aan gezondheidszorg besteedden, zieker waren en meer hulp nodig hadden. In werkelijkheid zijn degenen die meer uitgeven ook rijker en hebben ze meer kans om blank te zijn. Als gevolg hiervan wees het algoritme minder zorg toe aan zwarte patiënten met dezelfde medische aandoeningen als blanke.

Irene Chen, een MIT-promovendus die het gebruik van eerlijke algoritmen in de gezondheidszorg bestudeert, vermoedt dat dit is wat er bij Stanford is gebeurd: de ontwerpers van de formule kozen variabelen waarvan zij dachten dat ze zouden dienen als goede proxy's voor het niveau van covid-risico van een bepaalde stafmedewerker. Maar ze hebben niet geverifieerd dat deze proxy's tot verstandige resultaten leidden, of reageerden op een zinvolle manier op de input van de gemeenschap toen het vaccinplan vorige week dinsdag aan het licht kwam. Het is niet erg dat mensen er achteraf over nadachten, zegt Chen. Het is dat er geen mechanisme was om het te repareren.

Een kanarie in de kolenmijn?

Na de protesten vaardigde Stanford een formeel uit: verontschuldiging , zeggende dat het zijn distributieplan zou herzien.

Vertegenwoordigers van ziekenhuizen reageerden niet op vragen over wie ze zouden opnemen in nieuwe planningsprocessen, of dat het algoritme zou blijven worden gebruikt. Een interne e-mail met een samenvatting van het antwoord van de medische school, gedeeld met MIT Technology Review, stelt dat noch programmahoofden, afdelingsvoorzitters, behandelend artsen of verplegend personeel betrokken waren bij het oorspronkelijke ontwerp van het algoritme. Nu proberen sommige faculteiten echter een grotere rol te spelen, waarbij de resultaten van de algoritmen volledig worden geëlimineerd en in plaats daarvan afdelingshoofden en voorzitters de bevoegdheid krijgen om beslissingen te nemen voor hun eigen teams.

Andere afdelingsvoorzitters hebben bewoners aangemoedigd om zich eerst te laten vaccineren. Sommigen hebben zelfs de faculteit gevraagd om bewoners mee te nemen wanneer ze worden gevaccineerd, of hun schoten uit te stellen zodat anderen als eerste kunnen gaan.

Sommige bewoners omzeilen de universitaire gezondheidszorg volledig. Nuriel Moghavem, een neuroloog die als eerste de problemen op Stanford bekendmaakte, tweette vrijdagmiddag dat hij eindelijk zijn vaccin had gekregen - niet in Stanford, maar in een openbaar provincieziekenhuis in Santa Clara County.
Ik ben vandaag gevaccineerd om mezelf, mijn familie en mijn patiënten te beschermen, hij twitterde . Maar ik had alleen de kans omdat mijn openbare ziekenhuis van mening is dat bewoners cruciale eerstelijnsaanbieders zijn. Dankbaar.

zich verstoppen