Deze chip werd gedemonstreerd op de geheime technologieconferentie van Jeff Bezos. Het kan de sleutel zijn tot de toekomst van AI.

Foto's door Tony Luong

Onlangs, op een oogverblindende ochtend in Palm Springs, Californië, Vivienne Sze nam een ​​klein podium om misschien wel de meest zenuwslopende presentatie van haar carrière te geven.

Ze kende het onderwerp door en door. Ze zou het publiek vertellen over de chips, die worden ontwikkeld in haar laboratorium aan het MIT, die beloven krachtige kunstmatige intelligentie te brengen naar een groot aantal apparaten waar de stroom beperkt is, buiten het bereik van de enorme datacenters waar de meeste AI-berekeningen plaatsvinden. Het evenement - en het publiek - gaven Sze echter een pauze.

Tony Luong

De setting was MARS, een elite, alleen op uitnodiging toegankelijke conferentie waar robots door een luxe resort slenteren (of vliegen) en zich vermengen met beroemde wetenschappers en sci-fi-auteurs. Slechts een paar onderzoekers worden uitgenodigd om technische lezingen te geven, en de sessies zijn bedoeld om zowel ontzagwekkend als verhelderend te zijn. De menigte bestond ondertussen uit ongeveer 100 van 's werelds belangrijkste onderzoekers, CEO's en ondernemers. MARS wordt gehost door niemand minder dan de oprichter en voorzitter van Amazon, Jeff Bezos, die op de eerste rij zat.

Het was, denk ik, een behoorlijk hoogstaand publiek, herinnert Sze zich lachend.

Andere MARS-sprekers zouden een karate-hakkende robot introduceren, drones die fladderen als grote, griezelig stille insecten, en zelfs optimistische blauwdrukken voor Martiaanse kolonies. De chips van Sze lijken misschien bescheidener; met het blote oog zijn ze niet te onderscheiden van de chips die je in elk elektronisch apparaat zou vinden. Maar ze zijn aantoonbaar veel belangrijker dan al het andere dat op het evenement te zien is.

Nieuwe mogelijkheden

Nieuw ontworpen chips, zoals de chips die worden ontwikkeld in het laboratorium van Sze, kunnen cruciaal zijn voor toekomstige vooruitgang in AI, inclusief dingen zoals de drones en robots die bij MARS worden gevonden. Tot nu toe draaide AI-software grotendeels op grafische chips, maar nieuwe hardware zou de AI-algoritmen krachtiger kunnen maken, wat nieuwe toepassingen zou ontsluiten. Nieuwe AI-chips kunnen ervoor zorgen dat magazijnrobots vaker voorkomen of dat smartphones een fotorealistisch augmented-reality-landschap kunnen creëren.

De chips van Sze zijn zowel extreem efficiënt als flexibel in hun ontwerp, iets dat cruciaal is voor een veld dat ongelooflijk snel evolueert.

De microchips zijn ontworpen om meer uit de diepgaande AI-algoritmen te halen die de wereld al op zijn kop hebben gezet. En in het proces kunnen ze die algoritmen zelf inspireren om te evolueren. We hebben nieuwe hardware nodig omdat de wet van Moore is vertraagd, zegt Sze, verwijzend naar het axioma van Intel-medeoprichter Gordon Moore dat voorspelde dat het aantal transistors op een chip ongeveer elke 18 maanden zal verdubbelen, wat leidt tot een evenredige prestatieverbetering van de computerkracht .

Tony Luong

Deze wet loopt nu steeds meer tegen de fysieke grenzen aan die komen kijken bij technische componenten op atomaire schaal. En het stimuleert nieuwe interesse in alternatieve architecturen en benaderingen van computergebruik.

De hoge inzet die is verbonden aan het investeren in AI-chips van de volgende generatie - en het handhaven van de dominantie van Amerika in het maken van chips in het algemeen - gaat niet verloren voor de Amerikaanse regering. De microchips van Sze worden ontwikkeld met financiering van een Defense Advanced Research Projects Agency (DARPA)-programma dat bedoeld is om nieuwe AI-chipontwerpen te helpen ontwikkelen (zie De bestaande AI-ideeën die zijn ontworpen om de VS voor China te houden).

Maar innovatie in het maken van chips is vooral gestimuleerd door de opkomst van deep learning, een zeer krachtige manier voor machines om nuttige taken te leren uitvoeren. In plaats van een computer een reeks regels te geven die hij moet volgen, programmeert een machine in feite zichzelf. Trainingsgegevens worden ingevoerd in een groot, gesimuleerd kunstmatig neuraal netwerk, dat vervolgens wordt aangepast zodat het het gewenste resultaat oplevert. Met voldoende training kan een deep-learning systeem subtiele en abstracte patronen in data vinden. De techniek wordt toegepast op een steeds groter wordend scala aan praktische taken, van gezichtsherkenning op smartphones tot het voorspellen van ziekte op basis van medische beelden.

De nieuwe chiprace

Deep learning is niet zo afhankelijk van de wet van Moore. Neurale netten voeren veel wiskundige berekeningen parallel uit, dus ze werken veel effectiever op de gespecialiseerde grafische chips voor videogames die parallelle berekeningen uitvoeren voor het weergeven van 3D-beelden. Maar microchips die speciaal zijn ontworpen voor de berekeningen die aan deep learning ten grondslag liggen, zouden nog krachtiger moeten zijn.

Het potentieel voor nieuwe chiparchitecturen om AI te verbeteren, heeft een niveau van ondernemersactiviteit aangewakkerd dat de chipindustrie in decennia niet heeft gezien (zie The Race to Power AI's Silicon Brains en China heeft nooit een echte chipindustrie gehad. Het maken van AI-chips zou verander dat ).

Tony Luong

Grote technologiebedrijven die AI willen benutten en commercialiseren, waaronder Google, Microsoft en (jawel) Amazon, werken allemaal aan hun eigen deep-learning-chips. Veel kleinere bedrijven ontwikkelen ook nieuwe chips. Het is onmogelijk om alle bedrijven bij te houden die in de AI-chipruimte springen, zegt Mike Delmer, een microchipanalist bij de Linley Groep , een analistenbureau. Ik maak geen grapje dat we bijna elke week over een nieuwe leren.

De echte kans, zegt Sze, is niet het bouwen van de krachtigste deep-learning-chips die mogelijk zijn. Energie-efficiëntie is belangrijk omdat AI ook buiten het bereik van grote datacenters moet werken, wat betekent dat je alleen hoeft te vertrouwen op de stroom die beschikbaar is op het apparaat zelf. Dit staat bekend als opereren op de rand.

AI zal overal zijn - en manieren vinden om dingen energiezuiniger te maken, zal uiterst belangrijk zijn, zegt Naveen Rao, vice-president van de kunstmatige intelligentie-productengroep bij Intel.

De hardware van Sze is bijvoorbeeld efficiënter, deels omdat het fysiek de bottleneck verkleint tussen waar gegevens worden opgeslagen en waar het wordt geanalyseerd, maar ook omdat het slimme schema's gebruikt voor het hergebruik van gegevens. Voordat hij bij MIT kwam, was Sze een pionier in deze benadering voor het verbeteren van de efficiëntie van videocompressie bij Texas Instruments.

Voor een snel evoluerend veld zoals deep learning, is de uitdaging voor degenen die aan AI-chips werken om ervoor te zorgen dat ze flexibel genoeg zijn om te worden aangepast om voor elke toepassing te werken. Het is gemakkelijk om een ​​superefficiënte chip te ontwerpen die maar één ding kan, maar zo'n product zal snel achterhaald raken.

De chip van Sze heet Eyeriss. Ontwikkeld in samenwerking met joel emer , een onderzoekswetenschapper bij Nvidia en een professor aan het MIT, werd het samen met een aantal standaardprocessors getest om te zien hoe het omgaat met een reeks verschillende deep-learning-algoritmen. Door efficiëntie en flexibiliteit in evenwicht te brengen, behaalt de nieuwe chip prestaties die 10 of zelfs 1000 keer efficiënter zijn dan bestaande hardware, volgens een krant vorig jaar online gezet.

MIT's Sertac Karaman en Vivienne Sze ontwikkelden de nieuwe chip Tony Luong

Simpelere AI-chips hebben nu al een grote impact. High-end smartphones bevatten al chips die zijn geoptimaliseerd voor het uitvoeren van diepgaande algoritmen voor beeld- en spraakherkenning. Met efficiëntere chips kunnen deze apparaten krachtigere AI-code met betere mogelijkheden uitvoeren. Ook zelfrijdende auto's hebben krachtige AI-computerchips nodig, aangezien de meeste prototypes momenteel afhankelijk zijn van een koffer vol computers.

Rao zegt dat de MIT-chips veelbelovend zijn, maar dat veel factoren zullen bepalen of een nieuwe hardware-architectuur slaagt. Een van de belangrijkste factoren, zegt hij, is het ontwikkelen van software waarmee programmeurs er code op kunnen uitvoeren. Iets bruikbaars maken vanuit een compilerstandpunt is waarschijnlijk het grootste obstakel voor adoptie, zegt hij.

Het lab van Sze onderzoekt namelijk ook manieren om software zo te ontwerpen dat het beter gebruik maakt van de eigenschappen van bestaande computerchips. En dit werk gaat verder dan alleen deep learning.

Samen met Sertac Karaman , van MIT's Department of Aeronautics and Astronautics, ontwikkelde Sze een low-power chip genaamd Navion die 3D-kaarten en navigatie ongelooflijk efficiënt uitvoert, voor gebruik op een kleine drone. Cruciaal voor deze inspanning was het maken van de chip om het gedrag van op navigatie gerichte algoritmen te exploiteren - en het ontwerpen van het algoritme om het meeste uit een aangepaste chip te halen. Samen met het werk aan deep learning weerspiegelt Navion de manier waarop AI-software en -hardware nu in symbiose beginnen te evolueren.

De chips van Sze zijn misschien niet zo opvallend als een fladderende drone, maar het feit dat ze op MARS werden tentoongesteld, geeft een idee van hoe belangrijk haar technologie - en innovatie in silicium meer in het algemeen - zal zijn voor de toekomst van AI. Na haar presentatie , zegt Sze, enkele van de andere MARS-sprekers toonden interesse om meer te weten te komen. Mensen hebben veel belangrijke use-cases gevonden, zegt ze.

Met andere woorden, verwacht dat de in het oog springende robots en drones op de volgende MARS-conferentie iets heel speciaals zullen bevatten.

zich verstoppen