211service.com
Hoe AI kan blijven versnellen na de wet van Moore
Nieuwe ideeën op het gebied van chipontwerp zullen ervoor zorgen dat software slimmer wordt. 30 mei 2017
Andrea Chronopoulos
Google-CEO Sundar Pichai was duidelijk opgewonden toen hij eerder deze maand met ontwikkelaars sprak over een blockbuster-resultaat uit zijn machine-learninglab. Onderzoekers hadden ontdekt hoe ze een deel van het werk van het maken van machine-learningsoftware konden automatiseren, iets dat het veel gemakkelijker zou kunnen maken om de technologie in nieuwe situaties en industrieën in te zetten.
Maar het project had om een andere reden al een reputatie opgebouwd onder AI-onderzoekers: de manier waarop het de enorme computerbronnen illustreerde die nodig zijn om te concurreren op het snijvlak van machine learning.
Een paper van Google-onderzoekers zegt dat ze tegelijkertijd maar liefst 800 van de krachtige en dure grafische processors hebben gebruikt die cruciaal zijn geweest voor de recente opleving van de kracht van machine learning (zie 10 Breakthrough Technologies 2013: Deep Learning). Zij vertelden MIT Technology Review dat het project twee weken lang honderden chips had vastgebonden, waardoor de techniek te veel middelen kostte om meer te zijn dan een onderzoeksproject, zelfs bij Google.
Een codeur zonder gemakkelijke toegang tot een gigantische verzameling GPU's zou diepe zakken nodig hebben om het experiment te repliceren. Het huren van 800 GPU's van Amazon's cloud computing-service voor slechts een week kost ongeveer $ 120.000 tegen de vermelde prijzen.
Andrea Chronopoulos
Het invoeren van gegevens in deep learning-software om het voor een bepaalde taak te trainen, kost veel meer middelen dan het systeem achteraf te laten draaien, maar dat vergt nog steeds veel oomph. Rekenkracht is momenteel een knelpunt voor machine learning, zegt Reza Zadeh , adjunct-professor aan de Stanford University en oprichter en CEO van Matroïde , een startup die bedrijven helpt software te gebruiken om objecten zoals auto's en mensen te identificeren in beveiligingsbeelden en andere video's.
De plotselinge honger naar nieuwe kracht om AI aan te drijven komt op een moment dat de computerindustrie zich aanpast aan het verlies van twee dingen waarop ze al 50 jaar vertrouwt om chips krachtiger te houden. Een daarvan is de wet van Moore, die voorspelde dat het aantal transistors dat in een bepaald gebied van een chip zou kunnen worden geplaatst, elke twee jaar zou verdubbelen. De andere is een fenomeen dat Dennard-schaling wordt genoemd en dat beschrijft hoe de hoeveelheid stroom die transistors gebruiken, afneemt naarmate ze krimpen.
Geen van beide geldt vandaag. Intel heeft het tempo vertraagd waarmee het generaties nieuwe chips introduceert met kleinere, dichtere transistors (zie Moore's Law Is Dead. Wat nu?). En de gebruikelijke efficiëntiewinsten die transistors lieten zien naarmate ze kleiner werden, kwamen halverwege de jaren 2000 tot stilstand, waardoor het stroomverbruik een grote hoofdpijn werd.
Het goede nieuws voor degenen die op AI wedden, is dat grafische chips tot nu toe de zwaartekracht hebben weten te trotseren. Op de recente conferentie van de toonaangevende grafische chipmaker Nvidia, toonde CEO Jensen Huang een grafiek die laat zien hoe de prestaties van zijn chips exponentieel zijn blijven versnellen, terwijl de groei in de prestaties van processors voor algemeen gebruik, of CPU's, is vertraagd.
Doug Burger, een vooraanstaand ingenieur bij de NExT-divisie van Microsoft die werkt aan het commercialiseren van nieuwe technologie, zegt dat er een vergelijkbare kloof ontstaat tussen conventionele en machine learning-software. Je begint een [prestatie]plateau te zien voor algemene software - het is gestopt met verbeteren in historisch tempo - maar dit AI-gedoe neemt nog steeds snel toe, zegt hij.
Burger denkt dat die trend doorzet. Ingenieurs hebben ervoor gezorgd dat GPU's krachtiger worden omdat ze meer gespecialiseerd kunnen zijn in de specifieke wiskunde die ze moeten uitvoeren voor grafische afbeeldingen of machine learning, zegt hij.
Hetzelfde idee zit achter een project dat Burger leidde bij Microsoft, dat meer kracht achter AI-software zet door herconfigureerbare chips, FPGA's genaamd, te gebruiken. Het motiveert ook de startups - en reuzen zoals Google - om nieuwe chips te maken die zijn aangepast om machine learning te stimuleren (zie Google onthult een krachtige nieuwe AI-chip en supercomputer ).
Op de langere termijn zullen meer radicale veranderingen in de manier waarop computerchips werken nodig zijn om AI krachtiger te houden. Chips maken die niet nauwkeurig worden toegevoegd, is een optie. Prototypes hebben aangetoond dat ze computers efficiënter kunnen maken zonder de nauwkeurigheid van de resultaten van machine learning-software te ondermijnen (zie Waarom een chip die slecht is in wiskunde computers kan helpen om moeilijkere problemen aan te pakken).
Chipontwerpen die rechtstreeks uit de biologie kopiëren, kunnen ook cruciaal zijn. IBM en anderen hebben prototypechips gebouwd die rekenen met stroompieken, vergelijkbaar met hoe onze neuronen vuren (zie Thinking in Silicon). Zelfs eenvoudige dieren, benadrukt Burger, gebruiken weinig energie om dingen te doen die verder gaan dan wat de robots en software van vandaag kunnen bereiken - het bewijs dat computers nog veel verder te gaan hebben.
Kijk naar de berekening die een kakkerlak doet, zegt hij. Er zijn bestaansbewijzen die aantonen dat er veel meer ordes van grootte van prestaties en efficiëntie beschikbaar zijn. We kunnen nog tientallen jaren van schaalvergroting over hebben in AI.