211service.com
De natuurlijke experimentator
Josh Angrist is een veelgeprezen experimentator die niet in een laboratorium werkt. De econoom heeft een bescheiden kantoor in MIT's Building E52, waar het meest prominente object vaak een tegen een muur leunende fiets is. Compact en atletisch, bruin en grijzend, Angrist, 52, rijdt de meeste ochtenden naar zijn werk. De afgelopen jaren heeft hij weekenden doorgebracht met het verscheuren van mountainbikeroutes met ruiters die half zo oud zijn.
Vanuit deze informele vertrekken heeft Angrist een soort virtueel economisch laboratorium gebouwd, waar hij precieze antwoorden genereert op moeilijke maatschappelijke vragen. Net als elke andere geleerde heeft hij het idee gepopulariseerd dat micro-economisch onderzoek de omstandigheden van laboratoriumexperimenten kan en moet imiteren. Veel andere micro-economen baseren hun werk op modellen die grote veronderstellingen maken over menselijk gedrag. Maar Angrist gebruikt alleen empirische gegevens die causale verbanden in de samenleving belichten.
Overweeg een kwestie waar Angrist de laatste tijd veel over nadenkt: de effectiviteit van middelbare scholen. Om scholen te evalueren, kunt u testscores, afstudeercijfers of acceptatiegegevens van universiteiten vergelijken. Toch zou het zomaar kunnen dat de best beoordeelde schooldistricten een groter aandeel gezinnen trekken met goed voorbereide leerlingen.
Geleerden kunnen dit soort vragen niet beantwoorden door studenten zelf willekeurig aan scholen toe te wijzen en de resultaten te bestuderen. Dus om grip te krijgen op dergelijke glibberige problemen, vertrouwt Angrist op natuurlijke experimenten - gevallen waarin twee overigens vergelijkbare groepen mensen door één bepaalde omstandigheid zijn onderscheiden. Als bijvoorbeeld de lijn van een schooldistrict opnieuw wordt getekend, waarbij een groep leerlingen onmiddellijk naar een nieuwe school wordt overgebracht, kan dit leiden tot wat economen een zuivere identificatie van oorzaak en gevolg noemen, waardoor de eigen impact van de school wordt geïsoleerd.
Meer dan twee decennia hebben de natuurlijke experimenten van Angrist hem tot een prominente figuur binnen de economie gemaakt. In augustus was hij een van de 100 meest geciteerde economen ter wereld, volgens de Federal Reserve Bank of St. Louis, die gegevens bijhoudt over meer dan 33.000 auteurs. Tot zijn bekendste artikelen behoren studies over de relatie tussen opleidingsduur en inkomen; het effect van militaire dienst op het inkomen; en het verband tussen klasgrootte en leerlingprestaties.
Angrist heeft zijn quasi-experimentele methoden niet uitgevonden; ze werden vanaf de jaren tachtig grotendeels gepopulariseerd door een groep prominente economen, waaronder Alan Krueger (momenteel voorzitter van de Council of Economic Advisers van het Witte Huis), met wie Angrist co-auteur is van meerdere papers; Lawrence Katz van de universiteit van Harvard; David Card, nu verbonden aan de University of California, Berkeley, die een van de studieadviseurs van Angrist was; en de belangrijkste mentor van Angrist, Orley Ashenfelter van Princeton University. Maar niemand is een meer fervent voorstander van lab-achtige economie geweest.
Hij heeft een enorme invloed gehad, zegt Whitney Newey, PhD '83, voorzitter van MIT's Department of Economics, die een van Angrists graduate-schooladviseurs was.
De citatierangschikking van Angrist binnen de economie onderschat die invloed waarschijnlijk. Biostatistici, die oorzaak en gevolg bestuderen in geneeskunde en biologisch onderzoek, citeren regelmatig zijn methoden, en ook politicologen en sociologen hebben natuurlijke experimenten als basisonderzoeksinstrument aangenomen. Esther Duflo, PhD '99, een prominente anti-armoede-onderzoeker aan het MIT die Angrist adviseerde toen ze afstudeerde, zegt dat zijn niet-aflatende concentratie op het probleem van selectiebias, bijvoorbeeld de mogelijkheid dat de beter gewaardeerde middelbare school bevolkt is met betere studenten - spoorde haar aan om verder te gaan dan zijn technieken en daadwerkelijke veldexperimenten uit te voeren. Als je de vraag goed stelt, kun je je afvragen wat het ideale experiment is om die vraag te beantwoorden, legt ze uit. Josh [is] een voorvechter van natuurlijke experimenten, maar dat is ook het werk dat velen van ons ertoe heeft gebracht te denken dat echte gerandomiseerde experimenten een veelbelovende weg zouden kunnen zijn.
Maar als het cv van Angrist de markeringen draagt van een academische ster - PhD uit Princeton, eerste baan aan Harvard en een genoemde leerstoel aan MIT, waar hij de Ford Professor of Economics is - had zijn leven er heel anders uit kunnen zien. Angrist verliet de middelbare school na de 11e klas, nadat hij het absolute minimum aan cursussen had voltooid die nodig waren om af te studeren. Hij nam vrij voordat hij besloot naar de universiteit te gaan, stopte met de middelbare school en diende vervolgens in het Israëlische leger voordat hij een doctoraat in economie behaalde.
Ik heb veel geluk gehad in mijn leven, zegt hij.
Angrist denkt niet dat zijn onderzoeksagenda, met de nadruk op het verschil dat onderwijs maakt, is gedreven door zijn eigen verleden. In de economie, zegt hij, is het een vergissing om van je eigen ervaring te leren in plaats van je te laten leiden door gegevens en de wens om belangrijke onderwerpen te bestuderen. Toch helpt het om iets over Angrist te weten om zijn werk beter te begrijpen, deels omdat hij graag onderzoekt naar het idee dat toevallige sociale omstandigheden vergelijkbare mensen op verschillende paden kunnen zetten. Hij had immers zelf nog een paar andere richtingen kunnen inslaan - iets dat mijn kijk op de wereld kleurt, erkent hij.
De kronkelende weg naar economie
Angrist groeide op in Pittsburgh, met ouders die les gaven aan Carnegie Mellon. Ik kom uit een hoogopgeleide familie, zegt hij. Zijn vader was een ingenieur die schrijver werd voor Forbes en de Wall Street Journal ; zijn moeder was een socioloog die in de particuliere sector ging werken. Voor de lol sprong Angrist op de goederentreinen die door de Carnegie Mellon-campus denderden (waarschijnlijk niet de veiligste activiteit, denkt hij), en als tiener raakte hij meer geïnteresseerd in auto's dan in het klaslokaal. Hij behaalde zijn middelbareschooldiploma nadat hij had voldaan aan de eisen van de staat op het gebied van Engels, gezondheid en gym. Terwijl zijn voormalige klasgenoten nog op school zaten, kreeg hij een baan in een psychiatrisch ziekenhuis om een auto te betalen. Zijn ouders dachten dat het erger had kunnen aflopen, herinnert hij zich.
Na een jaar solliciteerde Angrist naar de universiteit en haalde Oberlin over om hem van de wachtlijst te halen: ik ging daarheen en bepleitte mijn zaak, en ze zagen dat ik er echt zin in had, zegt hij. Daar begon hij eindelijk te bloeien als student; als senior schreef hij een honoursscriptie waarin hij modelleert hoe werkloosheid de loonverdeling beïnvloedt. Om scripties dat jaar te helpen beoordelen, haalde Oberlin Ashenfelter binnen, een vooraanstaande arbeidseconoom uit Princeton. Hij was zo onder de indruk van Angrist dat hij hem uitnodigde om een van zijn promovendi te worden.
Hij was duidelijk een zeer goede student en hij was al op zeer jonge leeftijd in aanraking gekomen met onderzoek, herinnert Ashenfelter zich.
Opportunity klopte, maar in plaats daarvan ging Angrist naar Israël. Hij begon aan een master economie aan de Hebreeuwse Universiteit in Jeruzalem, maar het ging niet goed met mij en ik stopte ermee, zegt hij. Daar leerde hij zijn vrouw Mira kennen.
In plaats van te proberen Princeton binnen te komen, werd Angrist een Israëlisch staatsburger en werd hij opgeroepen voor het leger. Als parachutist zag hij actieve dienst tegen het einde van de oorlog met Libanon die in 1982 was begonnen; hij was een van de laatste troepen die Libanon in 1985 verliet. Militaire training was soms leuk, zegt hij, maar gevechten waren nog ontmoedigend: een goede vriend werd doodgeschoten in Beiroet. Angrist zelf had het geluk, zegt hij, dat het ergste dat me ooit is overkomen, was dat ik bang was. Ten slotte, voordat hij werd ontslagen, schreef hij Ashenfelter om te zien of zijn aanbod nog steeds geldig was. Een plek in de economieopleiding was snel geconcretiseerd.
Angrist ontvangt de strepen van zijn sergeant in het Israëlische leger, voorjaar 1985.
Op een dag in Princeton, herinnert Angrist zich, vertelde Ashenfelter aan een klas vol afstudeerders dat onderzoekers van de Universiteit van Californië, San Francisco, een natuurlijk experiment hadden ontwikkeld om de effecten te evalueren van dienst in Vietnam op de mortaliteit van voormalige soldaten die waren opgeroepen . Vanwege de willekeurige loterij konden de onderzoekers aannemen dat die mannen niet eerder vatbaarder waren voor zelfmoord of dodelijke ongevallen dan de algemene bevolking, die als controlegroep van het onderzoek diende.
Orley zei: 'Dat is zo'n geweldig idee - iemand zou dat moeten doen voor de inkomsten van [voormalige soldaten]', herinnert Angrist zich. Ik moest die middag werken.
De studie werd het proefschrift van Angrist, zij het pas na een langdurig proces van het extraheren van informatie uit oude overheidscomputers. Zeer weinig mensen in leven, waaronder ikzelf, zouden dat voor elkaar hebben gekregen, zegt Ashenfelter. Het was als tunnelen onder de grens of zoiets - slechts een van deze eindeloze, vervelende taken. Uiteindelijk ontdekte Angrist dat blanke mannen die in het begin van de jaren zeventig waren opgeroepen en gediend, in het begin van de jaren tachtig ongeveer 15 procent minder verdienden dan hun tegenhangers die niet waren opgeroepen en nooit hadden gediend.
Gewoon de feiten, man
De scriptie van Angrist leverde hem een baan op Harvard op. Kort daarna, in 1991, publiceerden hij en Krueger een artikel over de relatie tussen opleiding en inkomen, dat een schoolvoorbeeld blijft van een natuurlijk experiment - het komt zelfs in meerdere schoolboeken voor. Veel staten, zo merkten ze op, dwongen kinderen om naar school te gaan in het kalenderjaar waarin ze zes werden en stonden hen toe om te vertrekken als ze 16 werden. Dat betekende dat niet alle voortijdige schoolverlaters evenveel tijd op school doorbrachten: kinderen die in december geboren voorafgaand aan september, ongeveer op de leeftijd van vijf en driekwart. Degenen die in januari zijn geboren, beginnen in september, ongeveer op de leeftijd van zes en tweederde.
Zo moesten later in het kalenderjaar geboren drop-outs, die jonger naar school gingen, meer tijd in de klas doorbrengen voordat ze de leeftijd van 16 jaar bereikten - en gingen ze zelfs gemiddeld langer naar school. Bij het onderzoeken van geaggregeerde gegevens over verschillende decennia van geboorten, te beginnen met de jaren 1920, ontdekten Angrist en Krueger dat een extra jaar onderwijs ongeveer 7,5 procent meer waard was aan jaarinkomen. Als een natuurlijk experiment werkt de studie omdat mensen die op 16-jarige leeftijd stopten, willekeurig per geboortemaand werden toegewezen om verschillende hoeveelheden scholing te ontvangen.
Angrist is bedreven in het vinden van veel verschillende instrumenten, zoals economen de variabelen noemen die ze gebruiken om natuurlijke experimenten te construeren. Overweeg een andere vraag: hoe beïnvloedt de klasgrootte de prestaties van studenten?
De woedende en econoom Victor Lavy gebruikte een politieke gril om licht op deze kwestie te werpen en publiceerde de resultaten in een paper uit 1999. In Israël zijn de lessen beperkt tot 40 studenten. Als een school 38 vierdeklassers heeft, hebben die kinderen allemaal één leraar, terwijl in een verder vergelijkbare school met 42 vierdeklassers de kinderen worden opgesplitst in twee klassen met een gemiddelde grootte van 21 studenten. Bij het onderzoeken van de testscores van 1991 van leerlingen uit meer dan 4.000 klassen van het vierde en vijfde leerjaar in Israël, ontdekten Angrist en Lavy dat kleinere klassen significante en substantiële winsten opleverden in wiskunde en leesprestaties bij de vijfdeklassers en kleinere winsten in lezen bij de vierdeklassers.
Angrist heeft ook belangrijk methodologisch werk geproduceerd over de omstandigheden waaronder natuurlijke experimenten zinvolle resultaten opleveren, waaronder een artikel uit 1994 met Guido Imbens van Harvard over lokale gemiddelde behandelingseffecten. De paper formaliseerde het idee dat het gemiddelde effect van bijvoorbeeld een nieuw regeringsbeleid het best kan worden gemeten aan de invloed ervan op mensen die zich anders nooit zouden hebben bevonden in de omstandigheden die het aanmoedigde. Zo kan het gemiddelde effect van de dienst in Vietnam op de inkomsten bijvoorbeeld alleen worden bepaald voor dienstplichtigen; vrijwilligers werden uitgesloten van het natuurlijke experiment van Angrist met de verdiensten van veteranen.
Op zijn beurt stelt dit soort schattingen beleidsmakers in staat om de potentiële effecten van onder meer uitbreiding van onderwijs- of gezondheidszorgprogramma's beter te voorspellen.
Dat is waarschijnlijk een van de allerbeste publicaties in de econometrie over een periode van 10 jaar, zegt Newey, zelf een vooraanstaand econometrist. In 2009 publiceerden Angrist en Jörn-Steffen Pischke van de London School of Economics ook een goed ontvangen boek, Mostly Harmless Econometrics, waarin een groot deel van hun onderzoek naar empirische methoden in de economie werd samengevat.
Al dit werk heeft ertoe bijgedragen dat het idee van natuurlijke experimenten van de vergetelheid naar de mainstream is gebracht. Josh was zijn tijd vooruit in termen van willen dat de wereld transparant was terwijl andere mensen dat niet waardeerden, zegt MIT-econoom David Autor, verwijzend naar de aandrang van Angrist om empirisch bewijs te zoeken in plaats van voornamelijk te vertrouwen op modellen die beladen zijn met aannames. Door dat werk, voegt Autor eraan toe, heeft Angrist ontdekt hoe vragen te beantwoorden waarvan andere mensen dachten dat ze niet in empirische termen konden worden beantwoord.
Angrist van zijn kant zegt dat hij niet gekant is tegen op modellen gebaseerd werken om bijvoorbeeld de effecten van een beleidsverandering te voorspellen. Maar hij handhaaft een experimentele mentaliteit en is van mening dat dergelijke modellen gebaseerd moeten zijn op aanzienlijke hoeveelheden empirische gegevens.
Zeker, veel economen, zoals Card het stelt, zien hun vakgebied nog steeds als een soort wiskundige filosofie die gebaseerd is op ideeën over rationaliteit en voorspelbare reacties op prikkels. Deze geleerden vinden puur empirisme zeer vervreemdend. En sommige jongere economen die werken in de modus van Angrist, Card en Krueger hebben kritiek gekregen; ze worden soms afgeschilderd als opportunisten die op zoek zijn naar een onderwerp dat een duidelijke conclusie kan opleveren, zelfs over iets dat schijnbaar onbelangrijk is als het gebruik van een sportschoollidmaatschap. Een artikel uit 2007 in de Nieuwe Republiek bekritiseerde het academische gezelschapsspel gespeeld door nieuwe geleerden met behulp van natuurlijke experimenten.
Er is de afgelopen 10 jaar enige tegenwerking geweest, dat jongens zoals ik, of mijn studenten, of mijn denkrichting - dat het ons allemaal om de tools gaat en niet om de vragen, zegt Angrist. Maar dat vind ik niet eerlijk. Hij voegt eraan toe: De reden dat de conceptloterij een goed onderwerp was, is niet alleen omdat loterijen cool zijn. Het is omdat er iets inhoudelijks is: jongens worden opgeroepen, hun carrière wordt onderbroken. Over het algemeen, zegt hij, is het de combinatie van een coole tool toegepast op een centrale vraag die leidt tot goed onderzoek.
Voorbeeld: een andere econoom die Angrist hielp adviseren, MIT-professor Jonathan Gruber '87, gebruikte in de jaren negentig natuurlijke experimenten om te bestuderen hoe mensen werden beïnvloed door verschillende zorgverzekeringspolissen en -programma's, en gebruikte die resultaten om te voorspellen wat er zou gebeuren als ze betaalbaar waren. verzekeringen waren voor iedereen beschikbaar. Het werk van Gruber speelde een sleutelrol bij het vormgeven van de Affordable Care Act van 2010 van de regering-Obama. Josh had een enorme invloed op mij op de middelbare school, zegt Gruber. Hij is een van de sleutelfiguren op dit hele gebied [van natuurlijke experimenten].
In ieder geval laat Angrist zich zelden door een beetje weerstand overrompelen. Een van de geheimen van zijn succes is zijn vasthoudendheid, zegt Card. Hij is bereid om heel hard te werken en kritiek af te wenden ... Je kunt veel verder gaan in een moeilijk veld als economie als je daar een beetje van hebt.
Een nieuwe koers uitstippelen
Onlangs heeft Angrist zijn focus op onderwijs geïntensiveerd. In 2011 lanceerde hij samen met Autor en mede-econoom Parag Pathak van het MIT het School Effectiveness and Inequality Initiative (SEII) om zaken te analyseren zoals de effectiviteit van handvestscholen en de invloed van financiële hulp op de prestaties van de universiteit. Het idee is om laboratoriumonderzoek te injecteren in dit burgerdebat. Schoolkwaliteit en menselijk kapitaal zijn belangrijke onderwerpen op de Amerikaanse beleidsagenda, zegt hij.
Hoe ver Angrist met dit onderzoek kan gaan, hangt mogelijk af van hoeveel schooldistricten nuttige gegevens met hem zullen delen. Boston en Massachusetts, zegt hij, zijn ongebruikelijk omdat we een geweldige data-infrastructuur hebben en een geweldige samenwerking met de stad, de scholen en de staat.
Die openheid stelde hem, Pathak en andere medewerkers in staat enkele recente artikelen te produceren die hij als een van zijn beste beschouwt. Boston heeft een loterijsysteem gebruikt om te bepalen welke geïnteresseerde studenten charterscholen zullen bezoeken; wanneer het aantal kandidaten voor een school groter is dan de beschikbare ruimte, kunnen de onderzoekers de prestaties van studenten die zijn toegelaten tot een charterschool vergelijken met die van even gemotiveerde studenten die niet zijn gekozen. In een rapport uit 2009 ontdekten ze dat bepaalde handvestscholen in Boston een gemiddelde winst van ongeveer 15 percentielpunten hadden behaald voor middelbare scholieren op de staatsexamens wiskunde.
Twee jaar later ontdekten Angrist en collega's echter dat in de districten van Massachusetts buiten Boston, handvestschoolstudenten het gemiddeld niet beter deden dan studenten op andere openbare scholen. Angrist denkt dat handvestscholen te veel van elkaar kunnen verschillen om ingrijpende conclusies te rechtvaardigen over de vraag of ze beter onderwijs bieden, ook al lijken de besten zich te houden aan de formule van langere instructietijd, een focus op kernwiskunde en leesvaardigheid, en een nadruk op goed gedrag.
Het idee van de handvestscholen is: 'Laat duizend bloemen bloeien', zegt Angrist. Nou, veel van die bloemen zijn paardebloemen ... Handvestscholen zijn erg heterogeen.
De SEII-onderzoekers benadrukken dat ze neutraal zijn ten aanzien van handvestscholen, wat politiek geladen is omdat de scholen gebruikmaken van publieke middelen, maar grotendeels gebruik maken van niet-vakbondsdocenten. We zijn geen voorstanders van charters, zei Pathak nadat de eerste krant was uitgebracht. Onze houding is, laat de gegevens spreken.
De gegevens spreken misschien meer aan in de regio van New Orleans, waar een loterijsysteem studenten toewijst aan een mix van handvestscholen die volgens verschillende principes worden gerund. Dat kan de SEII-wetenschappers helpen om meer conclusies te trekken over welke soorten handvestscholen het beste lijken te werken. Angrist en Pathak zijn ook een verwant onderzoek gestart naar handvestscholen in de Rio Grande Valley in Texas. In een andere geest analyseert een SEII-team onder leiding van Angrist en Autor de effecten van een groot studiebeursprogramma voor Nebraska-studenten, gefinancierd door de Susan Thompson Buffett Foundation.
Vooralsnog wordt algemeen aangenomen dat de studie uit 2009 over stadshandvestscholen een aanzienlijke lokale impact heeft gehad. Zowel de gouverneur van Massachusetts, Deval Patrick, als de burgemeester van Boston, Thomas Menino, namen kort na de publicatie van het onderzoek meer handvestvriendelijke standpunten in; Massachusetts beperkt het aantal studenten dat charterscholen kan bezoeken, maar een staatswet van 2010 verhoogde dat aantal in districten met lage testscores. Op dit moment zijn er over de hele staat meer dan 70 handvestscholen.
En toevallig onderzoeken afgestudeerde studenten de effecten van die uitbreiding en verbreden ze het scala aan SEII-onderzoeken. Een van de PhD-kandidaten van Angrist, Christopher Walters, heeft een paper voltooid waarin hij schat wat er zou gebeuren als Boston het aantal charter-scholen snel zou vergroten. Hij concludeert dat het de raciale prestatiekloof van de stad met 5 tot 10 procent zou verkleinen. Maar terwijl voorheen slecht presterende studenten het meest profiteren van handvestscholen, merkt Walters op, is de kans het kleinst dat ze op hen van toepassing zijn.
Om tot zijn conclusies te komen, nam Walters empirische gegevens van eerdere onderzoeken en, ja, bouwde hij een model dat toekomstige resultaten projecteerde. Josh stond erg open voor het idee [de gegevens te combineren met een model], zegt hij. Ik denk dat dat verrassend zou zijn voor zijn collega's die hem kennen als de koning van het natuurlijke experiment.
Angrist is ook bereid om een ruimere conclusie te suggereren die uit zijn recente werk naar voren komt: dat studenten veel kunnen leren in hun latere schooljaren. We laten dramatische winsten zien op de middelbare school en later voor kinderen die met een zeer lage baseline binnenkomen, merkt hij op van het onderzoek naar stedelijke charterscholen. Het idee dat kinderen de nadelen waarmee ze vroeg in hun leven worden geconfronteerd niet kunnen compenseren, is een boeiend verhaal, zegt hij, maar het is niet waar.
Op dit punt is Angrist meer dan alleen een vooraanstaand pleitbezorger van economie als een grotendeels empirische discipline. Zijn ervaring heeft hem ook uit de eerste hand laten zien hoe hoog de inzet is als het gaat om het veranderen van onverschillige studenten in laatbloeiers zoals hijzelf. De mening van Angrist dat secundair onderwijs het leven van studenten kan veranderen, wordt toevallig gedeeld door zijn kinderen. Zijn dochter, Adie, geeft les aan een Boston-charterschool, en zijn zoon, Noam, een hoofdvak economie aan het MIT, was medeoprichter van een atletisch en academisch mentorprogramma voor middelbare scholieren uit Boston met een laag inkomen.
Even nadenkend voordat hij op de fiets stapt voor de rit naar huis, vat Angrist zijn onverwachte carrière in de economie samen: Ik heb geluk dat ik tot de conclusie kwam dat ik beter af zou zijn als ik naar de universiteit zou gaan.