Hoe de datamining van mislukkingen ons de geheimen van succes kan leren

Mevr. Tech | Edison: Library of Congress, Bulb: Pixabay

Thomas Edison wordt vaak omschreven als Amerika's grootste uitvinder. Zijn successen zijn onder meer de opwekking van elektriciteit, geluidsopname en de elektrische gloeilamp.

Maar Edison was geen onbekende in mislukking. Hij testte op beroemde wijze 1.000 verschillende ontwerpen voordat hij zich vestigde op de koolstofgloeidraad die de eerste commercieel succesvolle gloeilamp werd. Deze vasthoudendheid onderscheidde hem. Veel van de mislukkingen van het leven zijn mensen die zich niet realiseerden hoe dicht ze bij succes waren toen ze het opgaven, zei hij.

Veel groepen en individuen hebben de aard van succes bestudeerd. Deze onderzoeken hebben verschillende gradaties van inzicht opgeleverd. De keerzijde - de aard van falen - is veel minder goed bestudeerd, maar misschien wel belangrijker. Er is weinig bekend over de mechanismen die de dynamiek van falen bepalen.

Vandaag verandert dat, althans gedeeltelijk, dankzij het werk van Yian Yin aan de Northwestern University in Evanston, Illinois, en collega's. Dit team heeft de aard van het falen geanalyseerd in drie enorme datasets over het wel en wee van startende bedrijven, onderzoekers die geld proberen te krijgen en terroristische aanslagen. Het werk onthult de dynamiek van mislukking en een verborgen signatuur die dreigende mislukkingen in een vroeg stadium kan scheiden van successen.

De methode van het team is gebaseerd op de analyse van drie datasets. De eerste is een verzameling van alle gezondheidsgerelateerde onderzoeksvoorstellen die tussen 1985 en 2015 zijn ingediend bij de Amerikaanse National Institutes of Health.

De NIH is 's werelds grootste financier van biomedisch onderzoek, dus deze dataset is enorm, bestaande uit 776.721 aanvragen van 139.091 onderzoekers. Het bevat ook informatie over het al dan niet gefinancierd zijn van elk voorstel; met andere woorden, of het wel of niet gelukt is.

De tweede database is van investeringsrecords in startende bedrijven van VentureXpert, de officiële database voor de National Venture Capital Association. Dit volgt het lot van elke startup die tussen 1970 en 2017 door durfkapitalisten werd gefinancierd - in totaal 58.111 bedrijven met 253.579 innovators.

In dit geval wordt een startup als succesvol beschouwd als deze binnen vijf jaar na de oprichting een beursgang of hoogwaardige fusie en overname heeft bereikt.

De laatste dataset is afkomstig uit de Global Terrorism Database, die 170.350 terroristische aanslagen registreert door 3.178 terroristische organisaties tussen 1970 en 2017. In dit geval is een succesvolle aanval er een die minstens één leven eist, terwijl mislukkingen die zijn die niemand doden.

Een belangrijk kenmerk van deze datasets is dat ze Yin en co in staat stellen het lot te volgen van onderzoekers, innovators en terroristische groeperingen die talloze pogingen doen om hun doel te bereiken. Een belangrijke vraag die ze onderzoeken is hoe pogingen veranderen in de tijd en welke factoren bij deze veranderingen betrokken zijn.

Yin en co bestuderen specifiek twee factoren waarvan wordt gedacht dat ze een belangrijke rol spelen bij succes en falen: toeval en leren. Ze kijken eerst naar het toeval, het idee dat willekeurige gebeurtenissen een belangrijke rol spelen om de kans op succes te belemmeren of te vergroten.

Dat leidt tot een eenvoudig model. Als toeval de sleutelfactor is die het succes bepaalt, dan heeft elke poging een eindige kans om te slagen. Uiteindelijk zal succes optreden als er maar genoeg pogingen worden ondernomen. Dit suggereert dat het aantal pogingen voordat een succes een exponentiële verdeling zou moeten volgen.

Om deze theorie te testen, bestudeerden Yin en co de opeenvolging van mislukkingen door dezelfde individuen of teams voordat ze een succes boekten. Het blijkt dat deze reeksen niet het soort verdeling volgen dat door een toevalsmodel wordt voorspeld.

Yin en co evalueerden ook de eerste en voorlaatste pogingen in deze faalreeksen en vergeleken ze vervolgens om te zien hoe ze zijn veranderd. Als geluk het enige is dat telt, zou er geen significant verschil moeten zijn.

Maar de voorlaatste pogingen zijn beduidend beter dan de eerste pogingen, zegt het team. Dit suggereert dat er een ander mechanisme in het spel moet zijn: de betrokkenen moeten leren. Met andere woorden, de ervaring van falen leert waardevolle lessen die kunnen worden gebruikt om de volgende keer de prestaties te verbeteren.

Aangezien leren het aantal pogingen moet verminderen dat nodig is om succes te behalen, zou het moeten leiden tot een smallere verdeling van faalstrepen dan de exponentiële vorm die door het kansmodel wordt voorspeld.

Maar tot verbazing van Yin en co volgen de faalstrepen dit patroon ook niet. In feite hebben ze een veel dikkere staartverdeling. Deze observaties tonen aan dat noch het toeval, noch het leren alleen de empirische patronen kunnen verklaren die ten grondslag liggen aan mislukkingen, zeggen de onderzoekers.

Dus welke andere factoren zijn belangrijk? Om daar achter te komen, hebben Yin en co gemodelleerd hoe mensen leren van ervaring en hoe dit hun volgende poging beïnvloedt. Ze modelleerden met name of mensen rekening houden met al hun eerdere ervaringen of slechts met enkele.

Het resulterende model houdt rekening met een compleet scala aan leren - van agenten die rekening houden met al hun ervaringen uit het verleden tot degenen die geen rekening houden met hun ervaringen uit het verleden, en alles daartussenin.

Het team zegt dat het model een faseverandering in het gedrag voorspelt die overeenkomt met de empirische gegevens. Wanneer het niveau van leren uit ervaring onder een bepaalde drempel ligt, worden toekomstige pogingen nooit goed genoeg om te slagen. Groepen kunnen inderdaad de kwaliteit van hun werk verminderen.

Maar wanneer het niveau van leren uit ervaring boven deze drempel ligt, worden toekomstige pogingen steeds beter totdat ze uiteindelijk slagen. En de belangrijkste factor is de manier waarop mensen leren.

Dat heeft belangrijke implicaties. Het betekent bijvoorbeeld dat het leerproces van een team een ​​goede indicator is of het op een gegeven moment wel of niet zal lukken. Onze bevindingen onthullen identificeerbare maar voorheen onbekende vroege signalen die ons in staat stellen om de faaldynamiek te identificeren die zal leiden tot de uiteindelijke overwinning of nederlaag, zeggen Yin en co.

De volgende stap is het analyseren van succesvol leren ter plaatse zodat het kan worden onderscheiden van niet-succesvol leren en uiteindelijk systematisch kan worden onderwezen.

Dat kan een cruciale manier zijn voor teams om een ​​voorsprong op de concurrentie te krijgen. En aangezien er zoveel op het spel staat op het gebied van financiering en investeringen, hebben succesvolle leerlingen genoeg prikkels om harder hun best te doen. Edison zou zeker onder de indruk zijn.

Referentie: arxiv.org/abs/1903.07562 : Kwantificering van de dynamiek van mislukkingen in wetenschap, startups en beveiliging

zich verstoppen