Lessen van de superster datawetenschapper van de pandemie, Youyang Gu

mevrouw Tech | Hoffelijkheidsfoto

De datawetenschapper Youyang Gu beschouwt zichzelf als een realist - hij verklaart het in zijn... Twitter-profiel : Presentator van onpartijdige takes. Realist.

Toen hij afgelopen lente de verspreide covid-19-projecties opmerkte - een model voorspelde 2 miljoen Amerikaanse sterfgevallen tegen de zomer, een ander voorspelde 60.000 - Gu vroeg zich af of dat zo goed was als de modellering zou kunnen zijn. Hij besloot een poging te wagen om zelf een covid-19-model te maken. Mijn hele doel was om een ​​zo nauwkeurig mogelijk model te maken, zegt Gu, vanuit zijn appartement in Manhattan. Geen 'als dit' of 'als dat'. Kortom, geen 'als'. Het maakt niet echt uit wat de scenario's zijn. Ik wilde het gewoon uitleggen: 'Dit is de meest waarschijnlijke of realistische voorspelling voor wat er gaat gebeuren.'

Binnen een week had hij een machine learning-model gebouwd en zijn COVID-19 Projecties website . Hij liet het model elke dag draaien – het kostte maar een uur op zijn laptop – en postte prognoses van de dood door covid-19 voor 50 Amerikaanse staten, 34 provincies en 71 landen.

Verwant verhaal

Kan covid leiden tot een levenslange auto-immuunziekte?

Er komen steeds meer aanwijzingen dat bij sommige mensen covid-infecties auto-antilichamen produceren die zich richten op de organen van het lichaam. Als het waar is, kan het voor velen jaren van aanhoudende ziekte en ellende betekenen.

Tegen het einde van april trok hij de aandacht - uiteindelijk controleerden miljoenen dagelijks zijn website. Carl Bergstrom, een professor in de biologie aan de Universiteit van Washington, merkte dit op en... heeft gereageerd op Twitter dat Gu's model voorspellingen deed die net zo goed leken als ik ooit heb gezien.

Ik kan een beetje een ML-scepticus zijn. Maar laat je in dit geval niet door de tekst ‘machine learning’ voor de gek houden door te denken dat dit slangenolie is, tweette Bergstrom.

Een MIT-afgestudeerde met een master in elektrotechniek en informatica (plus een graad in wiskunde), Gu, 27, werkte aan een startup voor sportanalyse toen de pandemie toesloeg. Maar hij zette die onderneming op pauze toen de Major League-sport stopte. En toen, door simpelweg de epidemiologie te googelen, begon hij zijn zoektocht naar covid-19-modellering.

Ik had geen achtergrond in het modelleren van infectieziekten, zegt hij. Maar hij had wel een paar jaar ervaring als datawetenschapper in financiën, waarbij hij werkte met statistische modellen - modellen die, op basis van bepaalde statistische aannames, gegevens analyseren en prognoses maken over bijvoorbeeld waar de prijs van een aandeel in de toekomst zal zijn .

Het blijkt dat veel modellering van infectieziekten in feite statistische modellering is, zegt Gu. En het winstgedreven doel van nauwkeurigheid van de financiële sector kwam hem goed van pas in het epidemiologische domein. Als je in de financiële wereld geen nauwkeurig model kunt maken, heb je geen baan meer, zegt hij. Daarentegen is het doel in de academische wereld - althans vanuit Gu's perspectief - niet zozeer om nauwkeurige modellen te maken, maar eerder om papers te publiceren en openbaar beleid te informeren. Dat wil niet zeggen dat ze geen nauwkeurige modellen maken, alleen dat ze niet specifiek optimaliseren voor nauwkeurigheid, zegt hij.

Gu's model combineert machine learning met een klassieke infectieziektesimulator, een SEIR-model genaamd (rekening houdend met individuen in de populatie die vatbaar zijn, blootgesteld, besmettelijk, hersteld of verwijderd vanwege overlijden).

De SEIR-component gebruikt als invoer een gesimuleerde set parameters - een best-guess-bereik voor variabelen zoals het basisreproductiegetal (de snelheid waarmee nieuwe gevallen optreden in een volledig gevoelige populatie aan het begin van een uitbraak, vóór interventies of immuniteit) , infectiegraad, lockdowndatum, heropeningsdatum en effectief reproductienummer (de snelheid waarmee nieuwe gevallen ontstaan ​​​​na sommige interventies). In termen van output berekent de SEIR-simulator eerst de infecties in de tijd en vervolgens de sterfgevallen (vermenigvuldiging van infecties met het sterftecijfer van de infectie).

Gu's machine learning-laag genereert vervolgens duizenden verschillende combinaties voor die parametersets in een poging om de real-life parameters voor elke geografische regio te vinden. Het leert welke parameters de meest nauwkeurige sterfteprojecties genereren door de SEIR-voorspellingen te vergelijken met echte gegevens over dagelijkse sterfgevallen van de Johns Hopkins University. Het probeert erachter te komen welke parametersets sterfgevallen genereren die het meest overeenkomen met de daadwerkelijk waargenomen gegevens, terugkijkend, zegt Gu. En dan gebruikt het die parameters om voorspellingen te doen en voorspellingen te doen over sterfgevallen in de toekomst.

De voorspellingen bleken opmerkelijk accuraat. Op 3 mei verscheen hij bijvoorbeeld op CNN vanavond en deelde de projecties van zijn model dat de VS 70.000 doden zou bereiken op 5 mei, 80.000 doden op 11 mei, 90.000 doden op 18 mei en 100.000 doden op 27 mei. Op 28 mei schreef hij getweet , covid19-projections.com kreeg alle 4 de datums precies correct. Met wat afronding was dat waar.

Ik zeg niet dat ik het afgelopen jaar perfect ben geweest. Ik heb het vaak mis. Maar ik denk dat we allemaal kunnen leren om wetenschap te benaderen als een methode om de waarheid te vinden, in plaats van de waarheid zelf.

Youyang Gu

Het model was natuurlijk niet perfect, maar het maakte indruk op Nicholas Reich, een biostatisticus en onderzoeker naar infectieziekten aan de Universiteit van Massachusetts, Amherst, wiens laboratorium, in samenwerking met de Amerikaanse Centers for Disease Control and Prevention, aggregeert resultaten van ongeveer 100 internationale modellenteams. Van alle geaggregeerde modellen, merkte Reich op, behoorde het model van Gu consequent tot de top.

Op 6 oktober plaatste Gu zijn laatste voorspelling van het overlijden, net voor de herfstgolf. Het model voorspelde dat er tegen 1 november 231.000 doden in de VS zouden zijn. Het totaal geregistreerd op die datum: 230.995.

Gu sloot zijn eerste model begin oktober af omdat er tegen die tijd veel teams waren die goede sterftevoorspellingen deden. In plaats daarvan wendde hij zich tot het modelleren van echte infecties versus gerapporteerde infecties. En toen begon hij in december de uitrol van vaccins en het ongrijpbare pat h om immuniteit te hoeden -die hij begin 2021 bijstelde naar het pad naar normaliteit. Terwijl kudde-immuniteit wordt bereikt wanneer een voldoende deel van de bevolking immuun is voor het virus, waardoor verdere verspreiding wordt beperkt, definieert Gu normaliteit als het opheffen van alle covid-19-gerelateerde beperkingen voor de meeste Amerikaanse staten.

Verwant verhaal

Hoe een klein mediabedrijf mensen helpt zich te laten vaccineren

Nu veel mensen in New York nog steeds moeite hebben om covid-opnamen te maken, heeft een lokale nieuwsbrief gefungeerd als een matchmaker voor vaccins.

Het werd duidelijk dat we in 2021 de kudde-immuniteit niet zullen bereiken, in ieder geval zeker niet in het hele land, zegt hij. En ik denk dat het belangrijk is, vooral als je vertrouwen probeert te wekken, dat we verstandige wegen bewandelen naar wanneer we weer normaal kunnen worden. We moeten dat niet koppelen aan een onrealistisch doel, zoals het bereiken van kudde-immuniteit. Ik ben nog steeds voorzichtig optimistisch dat mijn oorspronkelijke voorspelling in februari, voor een terugkeer naar normaal in de zomer, geldig zal zijn.

Begin maart had hij de winkel helemaal ingepakt - hij dacht dat hij had gedaan wat hij kon. Ik wilde een stapje terug doen en de andere modelbouwers en experts hun werk laten doen, zegt hij. Ik wil de ruimte niet vertroebelen.

Hij houdt de gegevens nog steeds in de gaten, doet onderzoek en analyseert de varianten, de uitrol van het vaccin en de vierde golf. Als ik iets zie dat bijzonder verontrustend of zorgwekkend is waarvan ik denk dat mensen het niet over hebben, zal ik het zeker posten, zegt hij. Maar voorlopig richt hij zich op andere projecten, zoals YOLO-aandelen , een analyseplatform voor aandelenkoersen. Zijn belangrijkste pandemische werk is als lid van de technische adviesgroep van de Wereldgezondheidsorganisatie voor de beoordeling van sterfte door covid-19, waar hij de expertise van zijn buitenstaander deelt.

Ik heb het afgelopen jaar zeker veel geleerd, zegt Gu. Het was erg eye-openend.

Les #1: Focus op de basis

Vanuit het perspectief van datawetenschap hebben mijn modellen het belang van eenvoud aangetoond, dat vaak wordt ondergewaardeerd, zegt Gu. Zijn model voor het voorspellen van de dood was niet alleen eenvoudig in ontwerp - de SEIR-component met een machine-learninglaag - maar ook in zijn zeer uitgepuurde, bottom-up benadering met betrekking tot invoergegevens. Bottom-up betekent beginnen bij het absolute minimum en zo nodig complexiteit toevoegen, zegt hij. Mijn model gebruikt alleen sterfgevallen uit het verleden om toekomstige sterfgevallen te voorspellen. Het gebruikt geen andere echte gegevensbron.

Gu merkte op dat andere modellen gebruik maakten van een eclectische verscheidenheid aan gegevens over gevallen, ziekenhuisopnames, testen, mobiliteit, maskergebruik, comorbiditeiten, leeftijdsverdeling, demografie , seizoensgebondenheid van longontsteking, jaarlijks sterftecijfer door longontsteking, bevolkingsdichtheid, luchtvervuiling, hoogte, rookgegevens, zelfgerapporteerde contacten, passagiersverkeer van vliegtuigpassagiers, zorgpunt, slimme thermometers, Facebook-berichten, Google-zoekopdrachten en meer.

Er is een overtuiging dat als je meer gegevens aan het model toevoegt, of het geavanceerder maakt, het model het beter zal doen, zegt hij. Maar in echte situaties zoals de pandemie, waar gegevens zo luidruchtig zijn, wil je de dingen zo eenvoudig mogelijk houden.

Ik besloot al vroeg dat sterfgevallen uit het verleden de beste voorspeller zijn van toekomstige sterfgevallen. Het is heel eenvoudig: invoer, uitvoer. Als u meer gegevensbronnen toevoegt, wordt het alleen maar moeilijker om het signaal uit de ruis te halen.

Les #2: Minimaliseer aannames

Gu is van mening dat hij een voordeel had bij het benaderen van het probleem met een schone lei. Mijn doel was om gewoon de gegevens over covid te volgen om meer te weten te komen over covid, zegt hij. Dat is een van de belangrijkste voordelen van het perspectief van een buitenstaander.

Maar omdat hij geen epidemioloog was, moest Gu er ook zeker van zijn dat hij geen onjuiste of onnauwkeurige aannames deed. Mijn rol is om het model zo te ontwerpen dat het de aannames voor mij kan leren, zegt hij.

Wanneer er nieuwe gegevens binnenkomen die tegen onze overtuigingen ingaan, hebben we soms de neiging om die nieuwe gegevens over het hoofd te zien of te negeren, en dat kan later gevolgen hebben, merkt hij op. Ik merkte dat ik daar zeker het slachtoffer van werd, en ik weet dat veel andere mensen dat ook hebben gedaan.

Dus ons bewust zijn van de mogelijke vooringenomenheid die we hebben en deze herkennen, en onze prioriteiten kunnen aanpassen - onze overtuigingen aanpassen als nieuwe gegevens ze weerleggen - is erg belangrijk, vooral in een snel veranderende omgeving zoals wat we hebben gezien met covid .

Les #3: Test de hypothese

Wat ik de afgelopen maanden heb gezien, is dat iedereen beweringen kan doen of gegevens kan manipuleren om te passen bij het verhaal van waar ze in willen geloven, zegt Gu. Dit benadrukt het belang van het eenvoudig maken van toetsbare hypothesen.

Voor mij is dat de hele basis van mijn projecties en prognoses. Ik heb een aantal aannames, en als die aannames waar zijn, dan is dit wat we voorspellen dat er in de toekomst zal gebeuren, zegt hij. En als de aannames niet kloppen, dan moeten we natuurlijk toegeven dat de aannames die we maken niet kloppen en dienovereenkomstig aanpassen. Als je geen toetsbare hypothesen maakt, is er geen manier om aan te tonen of je echt gelijk hebt of niet.

Les #4: Leer van fouten

Niet alle projecties die ik maakte waren correct, zegt Gu. In mei 2020 voorspelde hij begin augustus 180.000 doden in de VS. Dat is veel hoger dan we zagen, herinnert hij zich (er waren ongeveer 155.000 doden). Zijn toetsbare hypothese bleek onjuist - en dat dwong me mijn veronderstellingen bij te stellen.

Gu gebruikte destijds een vast infectiesterftecijfer van ongeveer 1% als constante in de SEIR-simulator. Toen hij in de zomer het sterftecijfer voor infecties verlaagde tot ongeveer 0,4% (en later tot ongeveer 0,7%), keerden zijn prognoses terug naar een meer realistisch bereik.

Les #5: Betrek critici erbij

Niet iedereen zal het met mijn ideeën eens zijn, en dat juich ik toe, zegt Gu, die Twitter gebruikte om zijn projecties en analyses te posten. Ik probeer zoveel mogelijk op mensen te reageren, mijn standpunt te verdedigen en met mensen te debatteren. Het dwingt je na te denken over wat je aannames zijn en waarom je denkt dat ze juist zijn.

Het gaat terug naar de vooringenomenheid van de bevestiging, zegt hij. Als ik niet in staat ben om mijn standpunt naar behoren te verdedigen, is het dan echt de juiste claim en moet ik deze beweringen doen? Het helpt me te begrijpen, door samen te werken met andere mensen, hoe ik over deze problemen moet nadenken. Wanneer andere mensen bewijs presenteren dat mijn standpunten tegenspreekt, moet ik kunnen erkennen dat ik in sommige van mijn veronderstellingen onjuist ben. En dat heeft me echt enorm geholpen bij het verbeteren van mijn model.

Les #6: Oefen gezond scepticisme

Ik sta nu veel sceptischer tegenover wetenschap - en dat is geen slechte zaak, zegt Gu. Ik vind het belangrijk om resultaten altijd in vraag te stellen, maar wel op een gezonde manier. Het is een fijne lijn. Omdat veel mensen wetenschap gewoon afwijzen, en dat is ook niet de manier om het aan te pakken.

Maar ik denk dat het ook belangrijk is om niet alleen blindelings op de wetenschap te vertrouwen, vervolgt hij. Wetenschappers zijn niet perfect. Het is passend, zegt hij, als er iets niet klopt, om vragen te stellen en uitleg te zoeken. Het is belangrijk om verschillende perspectieven te hebben. Als er iets is dat we het afgelopen jaar hebben geleerd, is het dat niemand altijd 100% gelijk heeft.

Ik kan niet voor alle wetenschappers spreken, maar het is mijn taak om alle ruis te doorbreken en de waarheid te achterhalen, zegt hij. Ik zeg niet dat ik het afgelopen jaar perfect ben geweest. Ik heb het vaak mis. Maar ik denk dat we allemaal kunnen leren om wetenschap te benaderen als een methode om de waarheid te vinden, in plaats van de waarheid zelf.

zich verstoppen