De startup die deep learning mogelijk maakt zonder gespecialiseerde hardware

Neurale magie

De ontdekking die Nir Shavit ertoe bracht een bedrijf te starten, kwam tot stand zoals de meeste ontdekkingen doen: per ongeluk. De MIT-professor werkte aan een project om een ​​kaart van de hersenen van een muis te reconstrueren en had wat hulp nodig van deep learning. Omdat hij niet wist hoe hij grafische kaarten of GPU's moest programmeren, de meest voorkomende hardwarekeuze voor deep-learningmodellen, koos hij in plaats daarvan voor een centrale verwerkingseenheid of CPU, de meest generieke computerchip die in een gemiddelde laptop te vinden is.

Kijk eens aan, herinnert Shavit zich, ik realiseerde me dat een CPU kan doen wat een GPU doet, mits op de juiste manier geprogrammeerd.

Dit inzicht is nu de basis voor zijn startup, Neural Magic, die vandaag zijn eerste reeks producten lanceerde. Het idee is om elk bedrijf in staat te stellen een deep learning-model te implementeren zonder dat er gespecialiseerde hardware voor nodig is. Het zou niet alleen de kosten van deep learning verlagen, maar AI ook breder toegankelijk maken.

Dit zou betekenen dat je neurale netwerken op veel meer machines zou kunnen gebruiken en nog veel meer bestaande machines, zegt Neil Thompson, een onderzoekswetenschapper aan het Computer Science and Artificial Intelligence Laboratory van MIT, die niet betrokken is bij Neural Magic. U hoeft niet te upgraden naar iets speciaals.

GPU's werden grotendeels bij toeval de favoriete hardware voor deep learning. De chips waren oorspronkelijk ontworpen om snel afbeeldingen weer te geven in toepassingen zoals videogames. In tegenstelling tot CPU's, die vier tot acht complexe kernen hebben voor een verscheidenheid aan berekeningen, hebben GPU's honderden eenvoudige kernen die alleen specifieke bewerkingen kunnen uitvoeren, maar de kernen kunnen hun bewerkingen tegelijkertijd uitvoeren in plaats van na elkaar, waardoor de tijd wordt verkort het duurt om een ​​intensieve berekening te voltooien.

Het duurde niet lang voordat de AI-onderzoeksgemeenschap zich realiseerde dat deze enorme parallellisatie GPU's ook geweldig maakt voor diepgaand leren. Net als bij het renderen van afbeeldingen, omvat deep learning eenvoudige wiskundige berekeningen die honderdduizenden keren worden uitgevoerd. In 2011, in samenwerking met chipmaker Nvidia, Google gevonden dat een computervisiemodel dat het had getraind op 2.000 CPU's om katten van mensen te onderscheiden, dezelfde prestaties kon bereiken wanneer het op slechts 12 GPU's werd getraind. GPU's werden de de facto chip voor modeltraining en inferentie - het rekenproces dat plaatsvindt wanneer een getraind model wordt gebruikt voor de taken waarvoor het is getraind.

Maar GPU's zijn ook niet perfect voor deep learning. Om te beginnen kunnen ze niet functioneren als een op zichzelf staande chip. Omdat ze beperkt zijn in het soort bewerkingen dat ze kunnen uitvoeren, moeten ze aan CPU's worden gekoppeld om al het andere af te handelen. GPU's hebben ook een beperkte hoeveelheid cachegeheugen, het gegevensopslaggebied dat zich het dichtst bij de processors van een chip bevindt. Dit betekent dat het grootste deel van de gegevens off-chip wordt opgeslagen en moet worden opgehaald wanneer het tijd is voor verwerking. De heen-en-weer gegevensstroom wordt uiteindelijk een knelpunt voor de berekening, waardoor de snelheid waarmee GPU's diepgaande algoritmen kunnen uitvoeren, wordt beperkt.

Het kantoor van Neural Magic.

NEURALE MAGIE

In recente jaren, tientallen bedrijven zijn opgedoken om AI-chips te ontwerpen die deze problemen omzeilen. Het probleem is, hoe gespecialiseerder de hardware, hoe duurder het wordt.

Dus Neural Magic is van plan om tegen deze trend in te gaan. In plaats van aan de hardware te sleutelen, paste het bedrijf de software aan. Het heeft diepgaande algoritmen opnieuw ontworpen om efficiënter op een CPU te werken door gebruik te maken van het grote beschikbare geheugen en de complexe kernen van de chips. Hoewel de aanpak de snelheid verliest die wordt bereikt door de parallellisatie van een GPU, wint deze naar verluidt ongeveer dezelfde hoeveelheid tijd terug door de noodzaak om gegevens van en naar de chip te vervoeren, te elimineren. De algoritmen kunnen op CPU's draaien met GPU-snelheden, zegt het bedrijf, maar tegen een fractie van de kosten. Het klinkt alsof ze een manier hebben gevonden om te profiteren van het geheugen van de CPU op een manier die mensen nog niet eerder hebben gedaan, zegt Thompson.

Neural Magic gelooft dat er een paar redenen kunnen zijn waarom niemand eerder deze aanpak heeft gevolgd. Ten eerste is het contra-intuïtief. Het idee dat deep learning gespecialiseerde hardware nodig heeft, is zo diepgeworteld dat andere benaderingen gemakkelijk over het hoofd kunnen worden gezien. Ten tweede is het toepassen van AI in de industrie nog relatief nieuw, en bedrijven beginnen net te zoeken naar eenvoudigere manieren om deep learning-algoritmen in te zetten. Maar of de vraag diep genoeg is om Neural Magic van de grond te krijgen, is nog onduidelijk. Het bedrijf heeft zijn product beta-tested met ongeveer 10 bedrijven - slechts een klein stukje van de bredere AI-industrie.

We willen niet alleen neurale netwerken verbeteren, maar ook computergebruik in het algemeen.

Neil Thompson

Neural Magic biedt momenteel zijn techniek aan voor het afleiden van taken in computervisie. Klanten moeten hun modellen nog steeds trainen op gespecialiseerde hardware, maar kunnen vervolgens de software van Neural Magic gebruiken om het getrainde model om te zetten in een CPU-compatibel formaat. Eén klant, een grote fabrikant van microscopie-apparatuur, test deze aanpak nu om AI-mogelijkheden op het apparaat toe te voegen aan zijn microscopen, zegt Shavit. Omdat de microscopen al met een CPU worden geleverd, hebben ze geen extra hardware nodig. Daarentegen zou het gebruik van een GPU-gebaseerd deep-learningmodel vereisen dat de apparatuur omvangrijker en meer energieverslindend is.

Een andere klant wil Neural Magic gebruiken om bewakingscamerabeelden te verwerken. Dat zou het mogelijk maken om het verkeer in en uit een gebouw te volgen met behulp van computers die al ter plaatse beschikbaar zijn; anders moet het de beelden mogelijk naar de cloud sturen, wat privacyproblemen kan veroorzaken, of speciale hardware aanschaffen voor elk gebouw dat het bewaakt.

Shavit zegt dat inferentie ook nog maar het begin is. Neural Magic is van plan zijn aanbod in de toekomst uit te breiden om bedrijven te helpen trein hun AI-modellen ook op CPU's. We denken dat over 10 tot 20 jaar CPU's het eigenlijke materiaal zullen zijn voor het uitvoeren van algoritmen voor machine learning, zegt hij.

Thompson is daar niet zo zeker van. De economie rond chipproductie is echt veranderd en dat zal leiden tot veel meer specialisatie, zegt hij. Bovendien, hoewel de techniek van Neural Magic meer prestaties uit bestaande hardware haalt, zullen fundamentele hardwareverbeteringen nog steeds de enige manier zijn om het computergebruik vooruit te helpen. Dit klinkt als een heel goede manier om de prestaties in neurale netwerken te verbeteren, zegt hij. Maar we willen niet alleen neurale netwerken verbeteren, maar ook het computergebruik in het algemeen.

zich verstoppen