211service.com
Datawetenschap en statistiek: kansen en uitdagingen
geleverd door MIT Professioneel Onderwijs
We leven nu in een wereld waar het lijkt alsof alles over ons wordt (of binnenkort zal worden) bijgehouden en vastgelegd: wat we eten, wat we kijken, hoe we socialiseren, wat we wel en niet leuk vinden, onze vitale gezondheidsstatistieken - en de lijst gaat verder.
Dergelijke ongekende toegang tot persoonlijke gegevens biedt potentieel enorme kansen om bijvoorbeeld overheidsfunctionarissen te helpen betere beleidsbeslissingen te nemen, bedrijven in staat te stellen efficiënter en winstgevender te werken, het gebruik van openbare middelen te stroomlijnen, meer gepersonaliseerde gezondheidszorg en medicijnontwerp te ondersteunen en anderszins te verbeteren de algehele kwaliteit van leven in onze samenleving. De sleutel tot het grijpen van deze kansen ligt in ons vermogen om de beschikbare gegevens om te zetten in belangrijke beslissingen.
Datawetenschap en statistiek: kansen en uitdagingen
Deze nieuwe online cursus van 6 weken begint op 4 oktober.
Registreer vandaag!
Een komende zes weken durende online MIT Professional Education-cursus, Datawetenschap: gegevens naar inzichten , aangeboden in samenwerking met het MIT Institute for Data, Systems, and Society ( IDSS ), zal zich richten op analyses. Maar het zal ook ingaan op zorgen als de nieuwste trends op het gebied van machine learning: hoe u zinvolle inzichten en voorkeuren uit klantgegevens in het algemeen kunt halen en hoe u de juiste vragen kunt stellen om betere zakelijke beslissingen te nemen.
De uitdaging
In de afgelopen decennia hebben we een infrastructuur gebouwd die enorme hoeveelheden gegevens kan opslaan en verwerken. We missen echter nog steeds het kritische vermogen om verschillende stukjes gegevens naadloos samen te voegen om zinvolle voorspellingen te doen die leiden tot beslissingen met een grote impact. Gezien de eindeloze mogelijkheden die kunnen worden ontsloten door deze tekortkoming aan te pakken, geloof ik dat dit een van de bepalende uitdagingen van onze tijd is.
Onderwijsinstellingen kunnen een leidende rol spelen bij het aanpakken van deze belangrijke uitdaging. Bij MIT, het IDSS en zijn nieuwe Statistics and Data Science Center ( SDSC ) zal helpen de uitdaging aan te gaan om gegevens om te zetten in echte beslissingen met een tweeledige aanpak:
- Onze studenten opleiden om met grote hoeveelheden data te kunnen werken en de tools te gebruiken om er zinvolle informatie uit te halen. Anders gezegd, we moeten studenten in alle disciplines opleiden tot zowel datawetenschappers en statistici. Dit vereist dat instellingen een gestroomlijnd, interdisciplinair onderwijsprogramma ontwerpen dat elementen uit de techniek, wiskundige wetenschappen en sociale wetenschappen omvat.
- Een onderzoeksprogramma ontwikkelen dat levert uiteindelijk een statistisch gegevensverwerkingssysteem op dat gemakkelijk kan worden gebruikt om allerlei nauwkeurige voorspellingen te doen. Zo'n systeem moet werken met heterogene gegevensbronnen, op schaal werken en leiden tot voorspellingen die effectief kunnen worden geïnterpreteerd. Dit ambitieuze programma zou kunnen helpen bij het mobiliseren van een interdisciplinaire en opwindende intellectuele inspanning in datawetenschap en statistiek voor het komende decennium of daarna.
Nadenken over beslissingen
Laten we eens kijken hoe beslissingen worden genomen. In een typische organisatie hangen operationele basistaken af van beslissingen over hoe beschikbare middelen te investeren in verschillende concurrerende opties, met het oog op een of meer doelstellingen.
De Amerikaanse regering neemt bijvoorbeeld dergelijke beslissingen terwijl ze haar begroting ontwikkelt. Een handelsonderneming belegt geld in verschillende financiële instrumenten om portefeuilles te creëren met een hoog rendement en mogelijk goed begrepen risico's. Een retailorganisatie neemt beslissingen over welke goederenaankopen hoge inkomsten en winsten zullen genereren. Een huishouden neemt beslissingen over hoe het maximale uit het gezinsinkomen kan worden gehaald. Een rationeel individu neemt beslissingen over wat te eten (en wat) niet eten) om voldoende energie binnen te krijgen en gezond te blijven.
Al dergelijke beslissingen komen in een notendop neer op het maken van voorspellingen en het uitvoeren van bepaalde optimalisatieactiviteiten met behulp van die voorspellingen.
Hoe het werkt: een voorbeeld uit de detailhandel
Laten we nu eens kijken naar een concreet voorbeeld van een kledingretailer. Het primaire operationele probleem van de retailer is uitzoeken welke producten ze aan klanten moeten presenteren, gezien verschillende operationele beperkingen, zoals het budget voor het kopen van voorraad, de limieten van de schapruimte van zijn winkels en de planningen van zijn leveranciers. De vraag welke producten moeten worden tentoongesteld, rijst op verschillende tijdstippen voor verschillende soorten beslissingen, zoals beslissen welke producten in de winkelketen worden gekocht, die naar verschillende locaties vanuit distributiecentra worden verzonden, welke producten worden afgeprijsd, welke worden gepromoot via e-mail en die aan klanten moeten worden getoond wanneer ze winkels of e-commercesites bezoeken.
Al deze vragen vereisen in wezen een begrip van wat mensen wel en niet leuk vinden. Sommige bestaande systemen bieden deze inzichten en kunnen er bijvoorbeeld op wijzen dat blauwe shirts trending zijn, terwijl rode shorts niet meer verkopen. Maar hoe zetten we deze inzichten om in actie?
Gegevensgestuurde besluitvorming
Conceptueel gezien vereist datagedreven besluitvorming het verbinden van beslissingsvariabelen en opties aan data, en vervolgens het oplossen van een optimalisatieprobleem met verschillende doelstellingen. Operationeel vereist dit het bouwen van een gegevensverwerkingssysteem dat extreem grootschalig kan zijn en dat mogelijk in realtime moet werken met drie hoogwaardige componenten: interfaces, infrastructuur en algoritmen.
interfaces. Deze bieden manieren om informatie aan eindklanten te leveren en sensoren om informatie te verzamelen. Met webgebaseerde (browser)interfaces of mobiele applicaties kan bijvoorbeeld informatie worden verzameld over online klantactiviteiten. Evenzo kunnen dergelijke interfaces een besluitvormer in een detailhandelorganisatie helpen om te communiceren met gegevens en inzichten, en om ondersteuning bij het nemen van beslissingen te verkrijgen. De standaardisatie van dergelijke interfaces heeft het afgelopen decennium enorme innovatie op dit gebied mogelijk gemaakt.
Infrastructuur. De rol van infrastructuur is om een middel te bieden voor het naadloos opslaan en verwerken van enorme hoeveelheden gegevens. De behoefte aan een dergelijke infrastructuur ontstond op natuurlijke wijze aan het eind van de jaren negentig, toen het internettijdperk op stoom kwam. Het is geen verrassing dat bedrijven die op internet zoeken pioniers zijn geweest op het gebied van basisinnovaties. Interessant is dat zoeken op het web, een schijnbaar eenvoudige functie, heeft geleid tot de ontwikkeling van een generieke schaalbare opslag- en rekeninfrastructuur. Dat was op zijn beurt de belangrijkste reden voor recente opwindende innovaties op het gebied van schaalbare berekeningen en gegevensverwerking.
Algoritmen. Algoritmen voor gegevensverwerking zetten de verzamelde onbewerkte gegevens om in waardevolle inzichten en beslissingen. Passende modellen worden gebruikt om die gegevens te koppelen aan beslissingsvariabelen. Wanneer onbewerkte gegevens bijvoorbeeld door mensen worden gegenereerd, kan het zinvol zijn om een gedragsmodel te gebruiken om die waargenomen gegevens te koppelen aan beslissingsvariabelen. De resulterende algoritmen gebruiken de reken- en opslaginfrastructuur, gebaseerd op de gegevens die via de interface zijn verkregen, en produceren eindresultaten die via de interface aan de eindgebruiker kunnen worden geleverd.
Maar een grote uitdaging is het mogelijk maken van de ontwikkeling van gegevensverwerkingsalgoritmen voor: iedereen. In tegenstelling tot de beschikbaarheid van gestandaardiseerde interfaces of een generieke reken- en opslagarchitectuur, hebben we nog lang geen generieke, gegevensverwerkende, algoritmische architectuur.
Laten we het bovenstaande voorbeeld van de detailhandel opnieuw bekijken. Overweeg met name de beslissingstaak welke producten aan klanten moeten worden getoond wanneer ze de e-commercesite bezoeken, dat wil zeggen, hoe kunnen we personaliseren de ervaring van elke klant? Uiteraard is dit afhankelijk van gegevens over de specifieke klant, maar ook van de gegevens die over anderen zijn verzameld.
Die gegevens worden verzameld via de browsegeschiedenis van een klant en klikken op de e-commercewebsite, eerdere aankopen en andere online activiteiten die zijn verzameld via onze web- en mobiele interfaces. Het is waarschijnlijk opgeslagen in een opslaginfrastructuur. Het wordt omgezet in realtime, gepersonaliseerde beslissingen via potentieel geavanceerde gegevensverwerkingsalgoritmen die gedragsmodellen uit de sociale wetenschappen gebruiken, samen met methoden uit de wiskundige statistiek en machine learning. De gegevensverwerkingsalgoritmen gebruiken de rekeninfrastructuur om dergelijke beslissingen in realtime te kunnen nemen. Op deze manier worden gepersonaliseerde beslissingen via de interface aan de klant geleverd.
De sleutel tot het bouwen van dit type personalisatie- of aanbevelingssysteem is toegang hebben tot een bekwaam team van datawetenschappers en statistici die geschikte statistische methoden en gedragsmodellen kunnen identificeren om gegevensverwerkingsalgoritmen te ontwikkelen. Ze kunnen vervolgens mensvriendelijke interfaces ontwerpen die nuttige gegevens kunnen verzamelen en vervolgens beslissingen kunnen nemen. Hoewel dit een dure onderneming is, hebben enkele van de grootste retailers deze route al genomen.
Aan de andere kant heeft het personalisatie-/aanbevelingssysteem specifieke functies die in organisaties een zeer vergelijkbare vorm aannemen. Die gelijkenis heeft de ontwikkeling mogelijk gemaakt van generieke aanbevelingssystemen. Daarom kopen veel detailhandelaren dergelijke systemen van externe leveranciers die het personalisatiesysteem eenvoudig via de interfaces aansluiten.
Het sluiten van de lus
Zoals eerder besproken, is het een grote uitdaging om van data naar beslissingen te gaan. We hebben al veel gegevens - en we hebben een goede infrastructuur om deze op te slaan en te verwerken - maar we moeten erachter komen hoe verwerk het. De bespreking van het personalisatie-/aanbevelingssysteem verklaart precies de twee benaderingen die we tegelijkertijd kunnen gebruiken om deze uitdaging aan te gaan.
Ten eerste moeten we organisaties in staat stellen hun team van bekwame datawetenschappers op te bouwen. Ten tweede moeten we een generieke algoritmische architectuur voor gegevensverwerking ontwikkelen. Deze gegevensverwerkingsarchitectuur moet zich met name richten op het ontwikkelen van een generiek voorspellingssysteem. Dat komt omdat een besluitvormingssysteem in feite twee componenten heeft: het voorspellen van de onbekenden en het gebruiken van de voorspellingen om optimalisatie uit te voeren. In de afgelopen decennia is er aanzienlijke vooruitgang geboekt bij het ontwikkelen van de theorie en praktijk van optimalisatie. We kunnen echter nog steeds niet definiëren wat het generieke en universele voorspellingsprobleem is.
IDSS, SDSC en 'Data Science'
MIT lanceerde de IDSS om maatschappelijke vraagstukken aan te pakken die zich in de komende eeuw zullen voordoen. Hoewel bij veel van deze problemen meerdere disciplines betrokken zijn, zijn ze allemaal met elkaar verbonden door één gemeenschappelijke uitdaging: datagestuurde beslissingen. Om een educatief programma te ontwikkelen en onderzoek op het gebied van datawetenschap en statistiek bij de IDSS mogelijk te maken, heeft MIT de SDSC opgericht onder de IDSS-paraplu.
We zullen helpen de uitdaging aan te gaan om gegevens om te zetten in beslissingen door de twee benaderingen mogelijk te maken die ik heb beschreven via zowel de SDSC als de IDSS. In het bijzonder zal de SDSC geavanceerde datawetenschappers en statistici opleiden via interdisciplinaire educatieve programma's. De IDSS zal een interdisciplinaire onderzoeksomgeving bieden die haar leden in staat zal stellen ambitieuze onderzoeksprogramma's op het gebied van statistiek en datawetenschap uit te voeren.
Ondertussen is onze nieuwe online cursus van zes weken, Datawetenschap: gegevens naar inzichten , dat op 4 oktober begint, zal de laatste informatie delen over manieren om datawetenschapstechnieken toe te passen om de vele uitdagingen van uw organisatie effectiever aan te pakken. Ga voor meer informatie over het creëren van de toekomst voor data-analyse van uw bedrijf naar: de cursusregistratiepagina .
Dankbetuigingen: De auteur bedankt Munther Dahleh en Philippe Rigollet voor het geven van feedback op een eerdere versie van dit artikel, en Stefanie Koperniak en Myriam Joseph voor het proeflezen en bewerken ervan.
Devavrat Shah, mededirecteur van de Data Science: Data to Insights-cursus, is een professor aan de afdeling Electrical Engineering and Computer Science van het MIT, directeur van de SDSC en een kernfaculteitslid bij de IDSS. Hij is ook lid van MIT's Laboratory for Information and Decision Systems (LIDS) en het Operations Research Centre (ORC).