211service.com
De buitengewone link tussen diepe neurale netwerken en de aard van het heelal
In de afgelopen jaren hebben deep learning-technieken de wereld van kunstmatige intelligentie getransformeerd. Een voor een beginnen de vaardigheden en technieken waarvan mensen zich ooit voorstelden dat ze uniek waren van onszelf, ten onder te gaan aan de aanval van steeds krachtigere machines. Diepe neurale netwerken zijn nu beter dan mensen in taken als gezichtsherkenning en objectherkenning. Ze hebben het eeuwenoude Go-spel onder de knie en hebben de beste menselijke spelers verslagen.
Maar er is een probleem. Er is geen wiskundige reden waarom in lagen gerangschikte netwerken zo goed zouden zijn in deze uitdagingen. Wiskundigen zijn verbijsterd. Ondanks het enorme succes van diepe neurale netwerken, weet niemand precies hoe ze hun succes bereiken.
Vandaag verandert dat dankzij het werk van Henry Lin aan de Harvard University en Max Tegmark aan het MIT. Deze jongens zeggen dat de reden waarom wiskundigen zich zo schamen, is dat het antwoord afhangt van de aard van het universum. Met andere woorden, het antwoord ligt eerder in het regime van de natuurkunde dan in de wiskunde.
Laten we eerst het probleem opzetten met behulp van het voorbeeld van het classificeren van een megabit-grijswaardenafbeelding om te bepalen of het een kat of een hond laat zien.
Zo'n afbeelding bestaat uit een miljoen pixels die elk een van de 256 grijswaarden kunnen aannemen. Dus in theorie kunnen er 2561000000 mogelijke afbeeldingen zijn, en voor elk moet worden berekend of het een kat of een hond laat zien. En toch kunnen neurale netwerken, met slechts duizenden of miljoenen parameters, deze classificatietaak op de een of andere manier gemakkelijk aan.
In de taal van de wiskunde werken neurale netwerken door complexe wiskundige functies te benaderen met eenvoudigere. Als het gaat om het classificeren van afbeeldingen van katten en honden, moet het neurale netwerk een functie implementeren die als invoer een miljoen grijswaardenpixels neemt en de waarschijnlijkheidsverdeling uitvoert van wat het zou kunnen vertegenwoordigen.
Het probleem is dat er orden van grootte meer wiskundige functies zijn dan mogelijke netwerken om ze te benaderen. En toch krijgen diepe neurale netwerken op de een of andere manier het juiste antwoord.
Nu zeggen Lin en Tegmark dat ze hebben uitgezocht waarom. Het antwoord is dat het universum wordt bestuurd door een kleine subset van alle mogelijke functies. Met andere woorden, als de wetten van de fysica wiskundig worden opgeschreven, kunnen ze allemaal worden beschreven door functies die een opmerkelijke reeks eenvoudige eigenschappen hebben.
Dus diepe neurale netwerken hoeven geen enkele mogelijke wiskundige functie te benaderen, slechts een kleine subset ervan.
Om dit in perspectief te plaatsen, beschouwen we de volgorde van een polynoomfunctie, die de grootte is van zijn hoogste exponent. Dus een kwadratische vergelijking zoals y=x2 heeft orde 2, de vergelijking y=x24 heeft orde 24, enzovoort.
Het is duidelijk dat het aantal orden oneindig is en toch verschijnt er slechts een kleine subset van polynomen in de wetten van de fysica. Om redenen die nog steeds niet volledig worden begrepen, kan ons universum nauwkeurig worden beschreven door polynomiale Hamiltonianen van lage orde, zeggen Lin en Tegmark. Typisch hebben de polynomen die de natuurwetten beschrijven een volgorde van 2 tot 4.
De wetten van de fysica hebben nog andere belangrijke eigenschappen. Ze zijn bijvoorbeeld meestal symmetrisch als het gaat om rotatie en translatie. Draai een kat of hond 360 graden rond en het ziet er hetzelfde uit; vertaal het met 10 meter of 100 meter of een kilometer en het ziet er hetzelfde uit. Dat vereenvoudigt ook de taak om het proces van kat- of hondherkenning te benaderen.
Deze eigenschappen betekenen dat neurale netwerken geen oneindig aantal mogelijke wiskundige functies hoeven te benaderen, maar slechts een kleine subset van de eenvoudigste.
Er is nog een eigenschap van het universum die door neurale netwerken wordt misbruikt. Dit is de hiërarchie van zijn structuur. Elementaire deeltjes vormen atomen die op hun beurt moleculen, cellen, organismen, planeten, zonnestelsels, sterrenstelsels, enz. vormen, zeggen Lin en Tegmark. En complexe structuren worden vaak gevormd door een opeenvolging van eenvoudigere stappen.
Daarom is ook de structuur van neurale netwerken belangrijk: de lagen in deze netwerken kunnen elke stap in de causale reeks benaderen.
Lin en Tegmark geven het voorbeeld van de kosmische microgolfachtergrondstraling, de echo van de oerknal die het heelal doordringt. De afgelopen jaren hebben verschillende ruimtevaartuigen deze straling in steeds hogere resolutie in kaart gebracht. En natuurlijk hebben natuurkundigen zich afgevraagd waarom deze kaarten de vorm aannemen die ze hebben.
Tegmark en Lin wijzen erop dat wat de reden ook is, het ongetwijfeld het resultaat is van een causale hiërarchie. Een reeks kosmologische parameters (de dichtheid van donkere materie, enz.) bepaalt het vermogensspectrum van dichtheidsfluctuaties in ons universum, wat op zijn beurt het patroon bepaalt van kosmische microgolfachtergrondstraling die ons bereikt vanuit ons vroege universum, dat wordt gecombineerd met voorgrondradio geluid van onze melkweg om de frequentieafhankelijke luchtkaarten te produceren die zijn opgenomen door een op satellieten gebaseerde telescoop, zeggen ze.
Elk van deze causale lagen bevat steeds meer data. Er zijn slechts een handvol kosmologische parameters, maar de kaarten en de ruis die ze bevatten, bestaan uit miljarden getallen. Het doel van natuurkunde is om de grote getallen te analyseren op een manier die de kleinere onthult.
En wanneer fenomenen deze hiërarchische structuur hebben, maken neurale netwerken het analyseproces aanzienlijk eenvoudiger.
We hebben aangetoond dat het succes van diep en goedkoop leren niet alleen afhangt van wiskunde, maar ook van natuurkunde, wat de voorkeur geeft aan bepaalde klassen van uitzonderlijk eenvoudige kansverdelingen waarvoor diep leren bij uitstek geschikt is om te modelleren, concluderen Lin en Tegmark.
Dat is interessant en belangrijk werk met aanzienlijke implicaties. Kunstmatige neurale netwerken zijn beroemd gebaseerd op biologische. De ideeën van Lin en Tegmark verklaren dus niet alleen waarom deep learning-machines zo goed werken, ze verklaren ook waarom menselijke hersenen het universum kunnen begrijpen. Evolutie heeft zich op de een of andere manier gevestigd op een hersenstructuur die bij uitstek geschikt is om de complexiteit van het universum uit elkaar te halen.
Dit werk maakt de weg vrij voor aanzienlijke vooruitgang op het gebied van kunstmatige intelligentie. Nu we eindelijk begrijpen waarom diepe neurale netwerken zo goed werken, kunnen wiskundigen aan de slag om de specifieke wiskundige eigenschappen te onderzoeken waardoor ze zo goed kunnen presteren. Versterking van het analytische begrip van deep learning kan wijzen op manieren om het te verbeteren, zeggen Lin en Tegmark.
Deep learning heeft de afgelopen jaren enorme vooruitgang geboekt. Met dit verbeterde inzicht zal het tempo van vooruitgang ongetwijfeld versnellen.
Referentie: arxiv.org/abs/1608.08225 : Waarom werkt diep en goedkoop leren zo goed?