211service.com
Deep learning zou kunnen onthullen waarom de wereld werkt zoals hij werkt
Een afbeelding van omvallende dominostenen Getty
Deze week is de AI-onderzoeksgemeenschap bijeengekomen in New Orleans voor de Internationale conferentie over leerrepresentaties (ICLR, uitgesproken eye-clear), een van de belangrijkste jaarlijkse conferenties. Er zijn meer dan 3.000 aanwezigen en 1.500 papieren inzendingen, waardoor het een van de belangrijkste forums is voor het uitwisselen van nieuwe ideeën binnen het vakgebied.
Dit jaar zijn de gesprekken en geaccepteerde papers sterk gericht op het aanpakken van vier grote uitdagingen in deep learning: eerlijkheid, veiligheid, generaliseerbaarheid en causaliteit. Als je de berichtgeving van MIT Technology Review hebt gevolgd, zul je de eerste drie herkennen. We hebben het gehad over hoe algoritmen voor machine learning in hun huidige staat bevooroordeeld zijn, vatbaar voor vijandige aanvallen en ongelooflijk beperkt in hun vermogen om de patronen die ze vinden in een trainingsgegevensset voor meerdere toepassingen te generaliseren. Nu is de onderzoeksgemeenschap druk bezig om de technologie geavanceerd genoeg te maken om deze zwakheden te verhelpen.
Waar we niet veel over hebben gesproken, is de laatste uitdaging: causaliteit. Dit is iets waar onderzoekers al een tijdje over nadenken. Machine learning is geweldig in het vinden van correlaties in gegevens, maar kan het er ooit achter komen? oorzakelijk verband ? Zo'n prestatie zou een enorme mijlpaal zijn: als algoritmen ons zouden kunnen helpen licht te werpen op de oorzaken en gevolgen van verschillende fenomenen in complexe systemen, zouden ze ons begrip van de wereld verdiepen en krachtigere instrumenten ontsluiten om deze te beïnvloeden.
Maandag legde de veelgeprezen onderzoeker Léon Bottou, nu bij de AI-onderzoekseenheid van Facebook en de New York University, in een volle kamer een nieuw raamwerk uit waaraan hij samen met medewerkers heeft gewerkt voor hoe we daar zouden kunnen komen. Hier is mijn samenvatting van zijn toespraak. Je kunt het ook in zijn geheel hieronder bekijken, beginnend rond 12.00 uur.
Idee #1
Voorbeeldafbeeldingen uit de MNIST-dataset. Wikipedia
Laten we beginnen met het eerste grote idee van Bottou en zijn team: een nieuwe manier van denken over causaliteit. Stel dat u een computervisiesysteem wilt bouwen dat handgeschreven cijfers herkent. (Dit is een klassiek inleidend probleem die gebruikmaakt van de algemeen beschikbare MNIST-gegevensset hierboven afgebeeld.) Je zou een neuraal netwerk trainen op tonnen afbeeldingen van handgeschreven nummers, elk gelabeld met het nummer dat ze vertegenwoordigen, en eindigen met een behoorlijk fatsoenlijk systeem voor het herkennen van nieuwe die het nooit had al gezien.
Maar laten we zeggen dat uw trainingsgegevensset enigszins is gewijzigd en dat aan elk van de handgeschreven nummers ook een kleur (rood of groen) is gekoppeld. Zet je ongeloof even opzij en stel je voor dat je niet weet of de kleur of de vorm van de markeringen een betere voorspeller is voor het cijfer. De standaardpraktijk van tegenwoordig is om elk stuk trainingsgegevens eenvoudigweg met beide functies te labelen en ze in het neurale netwerk te verwerken zodat het kan beslissen.
Monsters uit een gekleurde MNIST-dataset. Léon Bottou
Hier wordt het interessant. De gekleurde MNIST-dataset is opzettelijk misleidend. Terug in de echte wereld weten we dat de kleur van de markeringen totaal irrelevant is, maar in deze specifieke dataset is de kleur in feite een sterkere voorspeller voor het cijfer dan zijn vorm. Dus ons neurale netwerk leert kleur als primaire voorspeller te gebruiken. Dat is prima als we dan het netwerk gebruiken om andere handgeschreven nummers te herkennen die dezelfde kleurpatronen volgen. Maar de prestaties gaan volledig ten onder als we de kleuren van de cijfers omdraaien. (Toen Bottou en zijn medewerkers dit gedachte-experiment uitvoerden met echte trainingsgegevens en een echt neuraal netwerk, bereikten ze 84,3% herkenningsnauwkeurigheid in het eerste scenario en 10% nauwkeurigheid in het laatste.)
Met andere woorden, het neurale netwerk vond wat Bottou een valse correlatie noemt, waardoor het volkomen nutteloos is buiten de nauwe context waarin het werd getraind. In theorie zou je, als je alle valse correlaties in een machine-learningmodel zou kunnen verwijderen, alleen de invariante overhouden - degenen die waar zijn ongeacht de context.
Invariantie zou je op zijn beurt in staat stellen om causaliteit te begrijpen, legt Bottou uit. Als je de invariante eigenschappen van een systeem kent en de interventie kent die op een systeem is uitgevoerd, zou je de consequentie van die interventie moeten kunnen afleiden. Als u bijvoorbeeld weet dat de vorm van een handgeschreven cijfer altijd de betekenis bepaalt, dan kunt u daaruit afleiden dat het veranderen van de vorm (oorzaak) de betekenis (gevolg) zou veranderen. Nog een voorbeeld: als je weet dat alle voorwerpen onderhevig zijn aan de wet van de zwaartekracht, dan kun je hieruit afleiden dat als je een bal loslaat (oorzaak), deze op de grond valt (gevolg).
Het is duidelijk dat dit eenvoudige oorzaak-en-gevolgvoorbeelden zijn op basis van invariante eigenschappen die we al kennen, maar bedenk hoe we dit idee kunnen toepassen op veel complexere systemen die we nog niet begrijpen. Wat als we bijvoorbeeld de invariante eigenschappen van onze economische systemen zouden kunnen vinden, zodat we de effecten kunnen begrijpen van het invoeren van een universeel basisinkomen? Of de onveranderlijke eigenschappen van het klimaatsysteem van de aarde, zodat we de impact van verschillende geo-engineeringtrucs kunnen evalueren?
Idee #2
Dus hoe komen we van deze valse correlaties af? Dit is het tweede grote idee van Bottou's team. In de huidige machine learning-praktijk is de standaardintuïtie om zoveel mogelijk diverse en representatieve gegevens in één trainingsset te verzamelen. Maar Bottou zegt dat deze aanpak een slechte dienst bewijst. Verschillende gegevens die afkomstig zijn uit verschillende contexten - of ze nu op verschillende tijdstippen, op verschillende locaties of onder verschillende experimentele omstandigheden zijn verzameld - moeten als afzonderlijke sets worden bewaard in plaats van gemengd en gecombineerd. Wanneer ze worden geconsolideerd, zoals ze nu zijn, gaat belangrijke contextuele informatie verloren, wat leidt tot een veel grotere kans op valse correlaties.
Met meerdere contextspecifieke datasets is het trainen van een neuraal netwerk heel anders. Het netwerk kan niet langer de correlaties vinden die alleen gelden in één enkele diverse trainingsdataset; het moet de correlaties vinden die invariant zijn over alle verschillende datasets. En als die sets slim worden geselecteerd uit een volledig spectrum van contexten, moeten de uiteindelijke correlaties ook nauw aansluiten bij de invariante eigenschappen van de grondwaarheid.
Laten we dus nog een keer terugkeren naar ons eenvoudige gekleurde MNIST-voorbeeld. Op basis van hun theorie voor het vinden van invariante eigenschappen, voerden Bottou en medewerkers hun oorspronkelijke experiment opnieuw uit. Deze keer gebruikten ze twee gekleurde MNIST-datasets, elk met verschillende kleurpatronen. Vervolgens trainden ze hun neurale netwerk om de correlaties te vinden die in beide groepen waar waren. Toen ze dit verbeterde model testten op nieuwe nummers met dezelfde en omgekeerde kleurpatronen, behaalde het voor beide een herkenningsnauwkeurigheid van 70%. De resultaten toonden aan dat het neurale netwerk had geleerd om kleur te negeren en zich alleen op de vormen van de markeringen te concentreren.
Bottou zegt dat het werk van zijn team aan deze ideeën nog niet is voltooid, en dat het de onderzoeksgemeenschap enige tijd zal kosten om de technieken te testen op problemen die ingewikkelder zijn dan gekleurde getallen. Maar het raamwerk verwijst naar het potentieel van diep leren om ons te helpen begrijpen waarom dingen gebeuren, en ons zo meer controle te geven over ons lot.