211service.com
De rekenkracht die nodig is om AI te trainen stijgt nu zeven keer sneller dan ooit tevoren
Go-speler Ke Jie speelt een wedstrijd tegen AlphaGo ., het kunstmatige intelligentieprogramma van Google AP
In 2018 ontdekte OpenAI dat de hoeveelheid rekenkracht die wordt gebruikt om de grootste AI-modellen te trainen sinds 2012 elke 3,4 maanden is verdubbeld.
Het in San Francisco gevestigde AI-onderzoekslab met winstoogmerk heeft nu nieuwe gegevens toegevoegd aan zijn analyse. Dit laat zien hoe de verdubbeling na 2012 zich verhoudt tot de historische verdubbelingstijd sinds het begin van het veld. Van 1959 tot 2012 verdubbelde de hoeveelheid stroom die werd gebruikt om de twee jaar, volgens de wet van Moore. Dit betekent dat de middelen die tegenwoordig worden gebruikt, zeven keer sneller verdubbelen dan voorheen.
OpenAI
Deze dramatische toename van de benodigde middelen onderstreept hoe kostbaar de prestaties van het veld zijn geworden. Houd er rekening mee dat de bovenstaande grafiek een logaritmische schaal toont. Op lineaire schaal (hieronder) kunt u duidelijker zien hoe het computergebruik de afgelopen zeven jaar met een factor 300.000 is toegenomen.
De grafiek bevat ook met name niet enkele van de meest recente doorbraken, waaronder het grootschalige taalmodel van Google BERT , OpenAI's taalmodel GPT-2 of DeepMind's StarCraft II-speelmodel AlphaStar .
OpenAI
Het afgelopen jaar luidden steeds meer onderzoekers de noodklok over de exploderende kosten van deep learning. In juni toonde een analyse van onderzoekers van de Universiteit van Massachusetts, Amherst, aan hoe deze toenemende rekenkosten zich direct vertalen in koolstofemissies.
In hun paper merkten ze ook op hoe de trend de privatisering van AI-onderzoek verergert, omdat het het vermogen van academische laboratoria om te concurreren met veel meer hulpbronnenrijke private laboratoria ondermijnt.
Als reactie op deze groeiende bezorgdheid hebben verschillende branchegroepen aanbevelingen gedaan. Het Allen Institute for Artificial Intelligence, een non-profit onderzoeksbureau in Seattle, heeft voorgesteld dat onderzoekers bijvoorbeeld altijd de financiële en rekenkundige kosten van het trainen van hun modellen publiceren, samen met hun prestatieresultaten.
In zijn eigen blog stelde OpenAI voor dat beleidsmakers de financiering van academische onderzoekers verhogen om de kloof tussen academische en industriële laboratoria te overbruggen.
Correctie: In een eerdere versie van dit artikel stond ten onrechte dat de verdubbelingstijd vandaag meer dan zeven keer zo hoog is als voorheen. De gebruikte middelen verdubbelen zeven keer sneller, en de verdubbelingstijd zelf is een zevende van de vorige keer.