AI heeft een belangrijke wiskundige puzzel gekraakt om onze wereld te begrijpen

wiskundig gegenereerd landschap

mevrouw Tech | Wetenschapsfotobibliotheek via AP





Tenzij je een natuurkundige of een ingenieur bent, is er echt niet veel reden om iets te weten over partiële differentiaalvergelijkingen. Ik weet. Na jaren van over hen te hebben nagedacht tijdens mijn studie werktuigbouwkunde, heb ik ze sindsdien nooit meer in de echte wereld gebruikt.

Maar partiële differentiaalvergelijkingen, of PDE's, zijn ook een beetje magisch. Ze zijn een categorie wiskundige vergelijkingen die heel goed zijn in het beschrijven van verandering in ruimte en tijd, en dus erg handig voor het beschrijven van de fysieke verschijnselen in ons universum. Ze kunnen worden gebruikt om alles te modelleren, van planetaire banen tot platentektoniek tot de luchtturbulentie die een vlucht verstoort, wat ons op zijn beurt in staat stelt praktische dingen te doen, zoals seismische activiteit voorspellen en veilige vliegtuigen ontwerpen.

De vangst is dat PDE's notoir moeilijk op te lossen zijn. En hier wordt de betekenis van oplossen misschien het best geïllustreerd door een voorbeeld. Stel dat u luchtturbulentie probeert te simuleren om een ​​nieuw vliegtuigontwerp te testen. Er is een bekende PDE genaamd Navier-Stokes die wordt gebruikt om de beweging van een vloeistof te beschrijven. Door Navier-Stokes op te lossen, kunt u op elk moment een momentopname maken van de beweging van de lucht (ook wel windomstandigheden genoemd) en modelleren hoe deze zal blijven bewegen of hoe deze eerder bewoog.



Deze berekeningen zijn zeer complex en rekenintensief. Daarom vertrouwen disciplines die veel PDE's gebruiken vaak op supercomputers om de wiskunde te doen. Het is ook de reden waarom het AI-veld speciale interesse heeft in deze vergelijkingen. Als we deep learning zouden kunnen gebruiken om het proces van het oplossen ervan te versnellen, zou dat heel veel goeds kunnen doen voor wetenschappelijk onderzoek en engineering.

Nu hebben onderzoekers van Caltech geïntroduceerd een nieuwe diepgaande leertechniek voor het oplossen van PDE's die veel nauwkeuriger is dan eerder ontwikkelde methoden voor diep leren. Het is ook veel generaliseerbaarder, in staat om hele families van PDE's op te lossen - zoals de Navier-Stokes-vergelijking voor elk type vloeistof - zonder dat hertraining nodig is. Ten slotte is het 1000 keer sneller dan traditionele wiskundige formules, wat onze afhankelijkheid van supercomputers zou vergemakkelijken en onze rekencapaciteit zou vergroten om nog grotere problemen te modelleren. Dat is juist. Laat maar komen.

Hamer tijd

Voordat we ingaan op hoe de onderzoekers dit hebben gedaan, laten we eerst de resultaten waarderen. In onderstaand gif zie je een indrukwekkende demonstratie. De eerste kolom toont twee snapshots van de beweging van een vloeistof; de tweede laat zien hoe de vloeistof in het echte leven bleef bewegen; en de derde laat zien hoe het neurale netwerk voorspelde dat de vloeistof zou bewegen. Het ziet er in principe hetzelfde uit als de tweede.



Het papier heeft gekregen veel geroezemoes op Twitter, en zelfs een shout-out van rapper MC Hammer . Ja echt.

Oké, terug naar hoe ze het deden.



Wanneer de functie past

Het eerste dat u hier moet begrijpen, is dat neurale netwerken in wezen functiebenaderingen zijn. (Zeg wat?) Wanneer ze trainen op een dataset van gepaarde inputs en outputs, berekenen ze in feite de functie, of reeks wiskundige bewerkingen, die de ene in de andere zullen transponeren. Denk na over het bouwen van een kattendetector. Je traint het neurale netwerk door het veel afbeeldingen te geven van katten en dingen die geen katten zijn (de inputs) en elke groep te labelen met respectievelijk een 1 of 0 (de outputs). Het neurale netwerk zoekt vervolgens naar de beste functie die elke afbeelding van een kat kan omzetten in een 1 en elke afbeelding van al het andere in een 0. Zo kan het naar een nieuwe afbeelding kijken en u vertellen of het een kat is of niet. Het gebruikt de functie die het heeft gevonden om zijn antwoord te berekenen - en als de training goed was, zal het het meestal goed doen.

Handig is dat dit functiebenaderingsproces is wat we nodig hebben om een ​​PDE op te lossen. We proberen uiteindelijk een functie te vinden die, laten we zeggen, de beweging van luchtdeeltjes over fysieke ruimte en tijd het beste beschrijft.

Nu is hier de kern van het papier. Neurale netwerken zijn meestal getraind om functies tussen inputs en outputs te benaderen die zijn gedefinieerd in de Euclidische ruimte, uw klassieke grafiek met x-, y- en z-assen. Maar deze keer besloten de onderzoekers om de inputs en outputs te definiëren in de Fourier-ruimte, een speciaal type grafiek voor het plotten van golffrequenties. De intuïtie die ze putten uit werk op andere gebieden is dat zoiets als de beweging van lucht eigenlijk kan worden beschreven als een combinatie van golffrequenties, zegt Anima Anandkumar, een Caltech-professor die samen met haar collega's, professoren Andrew Stuart en Kaushik toezicht hield op het onderzoek. Bhattacharya. De algemene richting van de wind op macroniveau is als een lage frequentie met zeer lange, lethargische golven, terwijl de kleine wervelingen die zich op microniveau vormen, zijn als hoge frequenties met zeer korte en snelle golven.



Waarom is dit van belang? Omdat het veel gemakkelijker is om een ​​Fourier-functie in de Fourier-ruimte te benaderen dan te ruziën met PDE's in de Euclidische ruimte, wat de taak van het neurale netwerk aanzienlijk vereenvoudigt. Zorg voor grote nauwkeurigheids- en efficiëntiewinsten: naast het enorme snelheidsvoordeel ten opzichte van traditionele methoden, bereikt hun techniek een 30% lager foutenpercentage bij het oplossen van Navier-Stokes dan eerdere deep-learningmethoden.

Het geheel is buitengewoon slim en maakt de methode ook meer generaliseerbaar. Eerdere deep-learning-methoden moesten voor elk type vloeistof apart worden getraind, terwijl deze slechts één keer hoeft te worden getraind om ze allemaal te verwerken, zoals de experimenten van de onderzoekers bevestigen. Hoewel ze nog niet hebben geprobeerd dit uit te breiden naar andere voorbeelden, zou het ook in staat moeten zijn om elke aardsamenstelling aan te kunnen bij het oplossen van PDE's die verband houden met seismische activiteit, of elk materiaaltype bij het oplossen van PDE's die verband houden met thermische geleidbaarheid.

Supersimulatie

De hoogleraren en hun promovendi deden dit onderzoek niet alleen voor de theoretische lol. Ze willen AI naar meer wetenschappelijke disciplines brengen. Door met verschillende medewerkers in klimaatwetenschap, seismologie en materiaalkunde te praten, besloot Anandkumar voor het eerst de PDE-uitdaging met haar collega's en studenten aan te gaan. Ze werken nu samen met andere onderzoekers van Caltech en het Lawrence Berkeley National Laboratory om hun methode in de praktijk te brengen.

Een onderzoeksonderwerp waar Anandkumar bijzonder enthousiast over is: klimaatverandering. Navier-Stokes is niet alleen goed in het modelleren van luchtturbulentie; het wordt ook gebruikt om weerpatronen te modelleren. Het hebben van goede, fijnmazige weersvoorspellingen op wereldwijde schaal is zo'n uitdagend probleem, zegt ze, en zelfs op de grootste supercomputers kunnen we het vandaag niet op wereldwijde schaal doen. Dus als we deze methoden kunnen gebruiken om de hele pijplijn te versnellen, zou dat een enorme impact hebben.

Er zijn ook veel, veel meer toepassingen, voegt ze eraan toe. In die zin is the sky the limit, aangezien we een algemene manier hebben om al deze applicaties te versnellen.

zich verstoppen