211service.com
De volgende AI-explosie wordt bepaald door de chips die we ervoor bouwen
Jeremy Portje
Hardwareontwerp, in plaats van algoritmen, zal ons helpen de volgende grote doorbraak in AI te bereiken. Dat is volgens Bill Dally, Nvidia's hoofdwetenschapper, die dinsdag het podium betrad op EmTech Digital, de AI-conferentie van MIT Technology Review. Onze huidige revolutie in deep learning is mogelijk gemaakt door hardware, zei hij.
Als bewijs verwees hij naar de geschiedenis van het vakgebied: veel van de algoritmen die we tegenwoordig gebruiken, bestaan al sinds de jaren tachtig, en de doorbraak van het gebruik van grote hoeveelheden gelabelde gegevens om neurale netwerken te trainen kwam in het begin van de jaren 2000. Maar pas in het begin van de jaren 2010 - toen grafische verwerkingseenheden of GPU's in beeld kwamen - begon de revolutie op het gebied van diep leren echt.
We moeten doorgaan met het leveren van meer capabele hardware, anders zal de vooruitgang in AI echt vertragen, zei Dally.
Nvidia verkent nu drie belangrijke paden voorwaarts: het ontwikkelen van meer gespecialiseerde chips; het verminderen van de berekening die nodig is tijdens diep leren; en experimenteren met analoge in plaats van digitale chiparchitecturen.
Nvidia heeft ontdekt dat zeer gespecialiseerde chips die zijn ontworpen voor een specifieke rekentaak, beter kunnen presteren dan GPU-chips die goed zijn in het verwerken van veel verschillende soorten berekeningen. Het verschil, zei Dally, zou wel eens 20% hogere efficiëntie kunnen zijn voor hetzelfde prestatieniveau.
Dally verwees ook naar een onderzoek dat Nvidia deed om het potentieel van snoeien te testen - het idee dat je het aantal berekeningen dat tijdens de training moet worden uitgevoerd, kunt verminderen zonder de nauwkeurigheid van een deep-learningmodel op te offeren. Onderzoekers van het bedrijf ontdekten dat ze ongeveer 90% van die berekeningen konden overslaan met behoud van dezelfde leernauwkeurigheid. Dit betekent dat dezelfde leertaken kunnen plaatsvinden met veel kleinere chiparchitecturen.
Ten slotte vermeldde Dally dat Nvidia nu experimenteert met analoge berekening. Computers slaan bijna alle informatie, inclusief cijfers, op als een reeks van 0 s of een s. Maar met analoge berekening zouden allerlei soorten waarden, zoals 0,3 of 0,7, direct kunnen worden gecodeerd. Dat zou veel efficiëntere berekeningen moeten ontsluiten, omdat getallen beknopter kunnen worden weergegeven, hoewel Dally zei dat zijn team momenteel niet zeker weet hoe analoog in de toekomst van chipontwerp zal passen.
Naveen Rao, de corporate vice president en general manager van de AI Products Group bij Intel, betrad ook het podium en vergeleek het belang van de AI-hardware-evolutie met de rol die evolutie speelde in de biologie. Ratten en mensen, zei hij, verschillen in evolutie op een tijdschaal van een paar honderd miljoen jaar. Ondanks enorm verbeterde mogelijkheden hebben mensen echter dezelfde fundamentele rekeneenheden als hun tegenhangers van knaagdieren.
Hetzelfde principe geldt als het gaat om chipontwerpen, zei Rao. Elke chip, of deze nu gespecialiseerd of flexibel is, digitaal of analoog, optisch of anderszins, is gewoon een substraat voor het coderen en manipuleren van informatie. Maar afhankelijk van hoe dat substraat is ontworpen, kan het het verschil zijn tussen de capaciteiten van een rat en een mens.
Insecten, zoals ratten, zei hij, zijn ook gebouwd met dezelfde fundamentele eenheden als mensen. Maar insecten hebben een vaste architectuur, terwijl mensen flexibelere hebben. Geen van beide, zo betoogde hij, is superieur aan de ander, maar ze zijn duidelijk geëvolueerd om verschillende doelen te dienen. Insecten kunnen waarschijnlijk een nucleaire oorlog overleven, terwijl mensen veel geavanceerdere mogelijkheden hebben.
Nogmaals, die principes kunnen worden toegepast op chipontwerp. Naarmate we meer slimme apparaten online brengen, is het niet altijd logisch om hun gegevens naar de cloud te sturen om te worden verwerkt via een diepgaand leermodel. In plaats daarvan kan het zinvol zijn om een klein, efficiënt deep-learningmodel op het apparaat zelf te gebruiken. Dit idee, dat bekend staat als AI aan de rand, zou baat kunnen hebben bij gespecialiseerde, vaste chiparchitecturen die efficiënter zijn. Datacenters die AI in de cloud aandrijven, zouden daarentegen op volledig flexibele en programmeerbare chiparchitecturen draaien om een veel breder spectrum aan leertaken aan te kunnen.
Rao merkte op dat welk chipontwerp Intel en Nvidia ook besluiten na te streven, het effect op de evolutie van AI aanzienlijk zal zijn. Door de geschiedenis heen hebben individuele beschavingen zich op zeer verschillende manieren ontwikkeld vanwege de unieke materialen die ze tot hun beschikking hadden. Evenzo zullen de bewerkingen die Intel en Nvidia gemakkelijker maken door middel van verschillende chipontwerpen een grote invloed hebben op het soort leertaken dat de AI-gemeenschap zal nastreven.
We zitten nu in deze snelle Precambrische explosie [voor chiparchitecturen], zei Rao, en niet elke oplossing zal winnen.