Een radicaal nieuwe techniek laat AI leren met praktisch geen data

De mythische neushoorn. Mevr. Tech / Pixabay

Machine learning vereist doorgaans tonnen voorbeelden. Om een ​​AI-model een paard te laten herkennen, moet je het duizenden afbeeldingen van paarden laten zien. Dit is wat de technologie rekenkundig duur maakt - en heel anders dan menselijk leren. Een kind hoeft vaak maar een paar voorbeelden van een object te zien, of zelfs maar één, voordat het het voor het leven kan herkennen.

In feite hebben kinderen soms niet nodig ieder voorbeelden om iets te identificeren. Getoonde foto's van een paard en een neushoorn, en verteld dat een eenhoorn iets tussenin is, kunnen ze het mythische wezen in een prentenboek herkennen de eerste keer dat ze het zien.

Hmm... ok, niet helemaal.

MS TECH / PIXABAY

nutsvoorzieningen naar nieuw papier van de Universiteit van Waterloo in Ontario suggereert dat AI-modellen dit ook zouden moeten kunnen doen - een proces dat de onderzoekers minder dan one-shot, of LO-shot, leren noemen. Met andere woorden, een AI-model moet nauwkeurig kunnen herkennen meer objecten dan het aantal voorbeelden waarop is getraind. Dat kan een groot probleem zijn voor een vakgebied dat steeds duurder en ontoegankelijker is geworden naarmate de gebruikte datasets steeds groter worden.

Hoe minder dan eenmalig leren werkt

De onderzoekers demonstreerden dit idee voor het eerst terwijl ze experimenteerden met de populaire computervisie-dataset die bekend staat als: MNIST . MNIST, dat 60.000 trainingsafbeeldingen van handgeschreven cijfers van 0 tot 9 bevat, wordt vaak gebruikt om nieuwe ideeën in het veld uit te testen.

In een eerdere paper MIT-onderzoekers hadden een techniek geïntroduceerd om gigantische datasets in kleine datasets te distilleren, en als proof of concept hadden ze MNIST gecomprimeerd tot slechts 10 afbeeldingen. De afbeeldingen zijn niet geselecteerd uit de originele dataset, maar zorgvuldig ontworpen en geoptimaliseerd om een ​​gelijkwaardige hoeveelheid informatie te bevatten als de volledige set. Als gevolg hiervan zou een AI-model, wanneer exclusief op de 10 afbeeldingen getraind, bijna dezelfde nauwkeurigheid kunnen bereiken als een model dat op alle MNIST-afbeeldingen is getraind.

Voorbeeldafbeeldingen uit de MNIST-dataset.

WIKIMEDIA

De 10 afbeeldingen 'gedistilleerd' uit MNIST die een AI-model kunnen trainen om een ​​herkenningsnauwkeurigheid van 94% te bereiken op handgeschreven cijfers.

TONGZHOU WANG ET AL.

De Waterloo-onderzoekers wilden het distillatieproces verder brengen. Als het mogelijk is om 60.000 afbeeldingen te verkleinen tot 10, waarom zou u ze dan niet in vijf persen? De truc, beseften ze, was om afbeeldingen te maken die meerdere cijfers met elkaar vermengen en deze vervolgens in een AI-model met hybride of zachte labels in te voeren. (Denk terug aan een paard en een neushoorn met gedeeltelijke kenmerken van een eenhoorn.)

Als je nadenkt over het cijfer 3, lijkt het ook een beetje op het cijfer 8, maar in niets op het cijfer 7, zegt Ilia Sucholutsky, een promovendus bij Waterloo en hoofdauteur van het artikel. Zachte labels proberen deze gedeelde kenmerken vast te leggen. Dus in plaats van tegen de machine te zeggen: 'Deze afbeelding is het cijfer 3', zeggen we: 'Deze afbeelding is 60% het cijfer 3, 30% het cijfer 8 en 10% het cijfer 0.'

De grenzen van LO-shot leren

Toen de onderzoekers met succes zachte labels gebruikten om LO-shot-leren op MNIST te bereiken, begonnen ze zich af te vragen hoe ver dit idee kon gaan. Is er een limiet aan het aantal categorieën dat je een AI-model kunt leren identificeren aan de hand van een klein aantal voorbeelden?

Verrassend genoeg lijkt het antwoord nee te zijn. Met zorgvuldig ontworpen zachte labels kunnen zelfs twee voorbeelden theoretisch een willekeurig aantal categorieën coderen. Met twee punten kun je duizend klassen of 10.000 klassen of een miljoen klassen scheiden, zegt Sucholutsky.

Het plotten van appels (groene en rode stippen) en sinaasappels (oranje stippen) op gewicht en kleur.

AANGEPASTE VAN JASON MAYES' 'MACHINE LEARNING 101' DIADEK

Dit is wat de onderzoekers aantonen in hun laatste paper, door middel van een puur wiskundige verkenning. Ze spelen het concept uit met een van de eenvoudigste algoritmen voor machine learning, bekend als k-nearest buren (kNN), die objecten classificeren met behulp van een grafische benadering.

Om te begrijpen hoe kNN werkt, kun je de taak van het classificeren van fruit als voorbeeld nemen. Als je een kNN-model wilt trainen om het verschil tussen appels en peren te begrijpen, moet je eerst de functies selecteren die je wilt gebruiken om elke vrucht weer te geven. Misschien kies je kleur en gewicht, dus voor elke appel en sinaasappel voed je het kNN één gegevenspunt met de kleur van het fruit als x-waarde en gewicht als y-waarde. Het kNN-algoritme plot vervolgens alle gegevenspunten op een 2D-kaart en tekent een grenslijn recht door het midden tussen de appels en de peren. Op dit punt is de plot netjes opgesplitst in twee klassen en kan het algoritme nu beslissen of nieuwe gegevenspunten de een of de ander vertegenwoordigen op basis van aan welke kant van de lijn ze vallen.

Om LO-shot-leren met het kNN-algoritme te verkennen, hebben de onderzoekers een reeks kleine synthetische datasets gemaakt en hun zachte labels zorgvuldig ontworpen. Daarna lieten ze de kNN de grenslijnen plotten die het zag en ontdekten dat het de plot met succes opsplitste in meer klassen dan gegevenspunten. De onderzoekers hadden ook een hoge mate van controle over waar de grenslijnen vielen. Door verschillende aanpassingen aan de zachte labels te gebruiken, konden ze het kNN-algoritme precieze patronen in de vorm van bloemen laten tekenen.

De onderzoekers gebruikten soft-label voorbeelden om een ​​kNN-algoritme te trainen om steeds complexere grenslijnen te coderen, waarbij de grafiek werd opgesplitst in veel meer klassen dan gegevenspunten. Elk van de gekleurde gebieden op de plots vertegenwoordigt een andere klasse, terwijl de cirkeldiagrammen aan de zijkant van elke plot de zachte labelverdeling voor elk gegevenspunt weergeven.

ILIA SUCHOLUTSKY ET AL.

Natuurlijk hebben deze theoretische verkenningen enkele beperkingen. Hoewel het idee van LO-shot-leren zou moeten worden overgedragen naar complexere algoritmen, wordt de taak om de soft-labeled voorbeelden te ontwikkelen aanzienlijk moeilijker. Het kNN-algoritme is interpreteerbaar en visueel, waardoor het voor mensen mogelijk is om de labels te ontwerpen; neurale netwerken zijn ingewikkeld en ondoordringbaar, wat betekent dat hetzelfde misschien niet waar is. Gegevensdestillatie, die werkt voor het ontwerpen van soft-label voorbeelden voor neurale netwerken, heeft ook een groot nadeel: je moet beginnen met een gigantische dataset om het te verkleinen tot iets efficiënters.

Sucholutsky zegt dat hij nu bezig is met het bedenken van andere manieren om deze kleine synthetische datasets te engineeren - of dat nu betekent dat ze met de hand moeten worden ontworpen of met een ander algoritme. Ondanks deze aanvullende onderzoeksuitdagingen biedt het artikel echter de theoretische basis voor LO-shot-leren. De conclusie is dat, afhankelijk van wat voor soort datasets je hebt, je waarschijnlijk enorme efficiëntiewinsten kunt behalen, zegt hij.

Dit is wat Tongzhou Wang het meest interesseert, een MIT-promovendus die het eerdere onderzoek naar gegevensdestillatie leidde. De paper bouwt voort op een heel nieuw en belangrijk doel: krachtige modellen leren uit kleine datasets, zegt hij over de bijdrage van Sucholutsky.

Ryan Khurana, een onderzoeker aan het Montreal AI Ethics Institute, herhaalt dit sentiment: het belangrijkste is dat 'minder dan één'-shot learning de gegevensvereisten voor het bouwen van een functionerend model radicaal zou verminderen. Dit zou AI toegankelijker kunnen maken voor bedrijven en industrieën die tot nu toe werden gehinderd door de gegevensvereisten van het veld. Het zou ook de gegevensprivacy kunnen verbeteren, omdat er minder informatie van individuen zou moeten worden geëxtraheerd om bruikbare modellen te trainen.

Sucholutsky benadrukt dat het onderzoek nog vroeg is, maar hij is enthousiast. Elke keer dat hij zijn paper begint te presenteren aan collega-onderzoekers, is hun eerste reactie om te zeggen dat het idee onmogelijk is, zegt hij. Als ze zich plotseling realiseren dat dat niet zo is, gaat er een hele nieuwe wereld voor hen open.

zich verstoppen