Het trainen van een enkel AI-model kan evenveel koolstof uitstoten als vijf auto's in hun leven

Een datacenter Decaan Mouhtaropoulos | Getty; bewerkt door MIT Technology Review

De kunstmatige-intelligentie-industrie wordt vaak vergeleken met de olie-industrie: eenmaal gedolven en geraffineerd kunnen gegevens, net als olie, een zeer lucratieve handelswaar zijn. Nu lijkt het erop dat de metafoor zich nog verder kan uitstrekken. Net als zijn tegenhanger op fossiele brandstoffen, heeft het proces van diepgaand leren een buitensporige impact op het milieu.

In een nieuw papier , hebben onderzoekers van de Universiteit van Massachusetts, Amherst, een levenscyclusanalyse uitgevoerd voor het trainen van verschillende veelvoorkomende grote AI-modellen. Ze ontdekten dat het proces meer dan 626.000 pond koolstofdioxide-equivalent kan uitstoten - bijna vijf keer de levenslange uitstoot van de gemiddelde Amerikaanse auto (en dat geldt ook voor de productie van de auto zelf).

Het is een schokkende kwantificering van iets dat AI-onderzoekers al lang vermoeden. Hoewel velen van ons hier waarschijnlijk op een abstract, vaag niveau over hebben nagedacht, laten de cijfers echt de omvang van het probleem zien, zegt Carlos Gómez-Rodríguez, een computerwetenschapper aan de Universiteit van A Coruña in Spanje, die niet betrokken was bij de Onderzoek. Noch ik, noch andere onderzoekers met wie ik ze heb besproken, dachten dat de milieu-impact zo substantieel was.

De ecologische voetafdruk van natuurlijke taalverwerking

De paper onderzoekt specifiek het modeltrainingsproces voor natuurlijke taalverwerking (NLP), het subveld van AI dat zich richt op het aanleren van machines om met menselijke taal om te gaan. In de afgelopen twee jaar heeft de NLP-gemeenschap verschillende opmerkelijke prestatiemijlpalen bereikt op het gebied van machinevertaling, het voltooien van zinnen en andere standaard benchmarkingtaken. Het beruchte GPT-2-model van OpenAI blonk bijvoorbeeld uit in het schrijven van overtuigende nepnieuwsartikelen.

Maar voor dergelijke vooruitgang was het nodig om steeds grotere modellen te trainen op uitgestrekte datasets van zinnen die van internet zijn geschraapt. De aanpak is rekenkundig duur en zeer energie-intensief.

De onderzoekers keken naar vier modellen in het veld die verantwoordelijk waren voor de grootste sprongen in prestaties: de Transformer, ELMo, BERT en GPT-2. Ze trainden elk maximaal een dag op een enkele GPU om het stroomverbruik te meten. Vervolgens gebruikten ze het aantal trainingsuren dat in de originele papieren van het model staat vermeld om het totale energieverbruik tijdens het volledige trainingsproces te berekenen. Dat aantal werd omgezet in kilo's koolstofdioxide-equivalent op basis van de gemiddelde energiemix in de VS, die nauw aansluit bij de energiemix die wordt gebruikt door Amazon's AWS, de grootste cloudserviceprovider.

Ze ontdekten dat de reken- en milieukosten van training evenredig groeiden met de modelgrootte en vervolgens explodeerden wanneer aanvullende afstemmingsstappen werden gebruikt om de uiteindelijke nauwkeurigheid van het model te vergroten. In het bijzonder ontdekten ze dat een afstemmingsproces dat bekend staat als zoeken naar neurale architectuur, dat probeert een model te optimaliseren door het ontwerp van een neuraal netwerk stapsgewijs aan te passen door middel van uitvoerig vallen en opstaan, buitengewoon hoge bijbehorende kosten had voor weinig prestatievoordeel. Zonder dit had het duurste model, BERT, een ecologische voetafdruk van ongeveer 1.400 pond koolstofdioxide-equivalent, dicht bij een trans-Amerikaanse vlucht voor één persoon.

Bovendien merken de onderzoekers op dat de cijfers alleen als baseline moeten worden beschouwd. Het trainen van een enkel model is de minimale hoeveelheid werk die je kunt doen, zegt Emma Strubell, een promovendus aan de Universiteit van Massachusetts, Amherst, en de hoofdauteur van het artikel. In de praktijk is het veel waarschijnlijker dat AI-onderzoekers een nieuw model helemaal opnieuw zouden ontwikkelen of een bestaand model zouden aanpassen aan een nieuwe dataset, die beide veel meer trainings- en afstemmingsrondes kunnen vergen.

Om een ​​beter beeld te krijgen van hoe de volledige ontwikkelingspijplijn eruit zou kunnen zien in termen van CO2-voetafdruk, gebruikten Strubell en haar collega's een model dat ze in een vorige paper als casus. Ze ontdekten dat het proces van het bouwen en testen van een definitief papierwaardig model de training vereiste van 4.789 modellen over een periode van zes maanden. Omgerekend naar CO2-equivalent stootte het meer dan 78.000 pond uit en is waarschijnlijk representatief voor typisch werk in het veld.

Het belang van die cijfers is kolossaal, vooral als je kijkt naar de huidige trends in AI-onderzoek. Over het algemeen verwaarloost veel van het nieuwste onderzoek op het gebied van AI efficiëntie, aangezien zeer grote neurale netwerken nuttig zijn gebleken voor een verscheidenheid aan taken, en bedrijven en instellingen die overvloedige toegang hebben tot computerbronnen, hiervan gebruik kunnen maken om een ​​concurrentievoordeel te behalen, zegt Gómez-Rodriguez. Dit soort analyse was nodig om het bewustzijn over de middelen die worden besteed te vergroten [...] en zal een debat op gang brengen.

Wat waarschijnlijk velen van ons niet begrepen, is de omvang ervan totdat we deze vergelijkingen zagen, herhaalde Siva Reddy, een postdoc aan de Stanford University die niet betrokken was bij het onderzoek.

De privatisering van AI-onderzoek

De resultaten onderstrepen ook een ander groeiend probleem in AI: de enorme intensiteit van de middelen die nu nodig zijn om papierwaardige resultaten te produceren, heeft het voor mensen die in de academische wereld werken steeds moeilijker gemaakt om bij te dragen aan onderzoek.

Deze trend om enorme modellen te trainen op tonnen data is niet haalbaar voor academici, vooral niet voor afstudeerders, omdat we niet over de rekenkracht beschikken, zegt Strubell. Er is dus een kwestie van gelijke toegang tussen onderzoekers in de academische wereld versus onderzoekers in de industrie.

Strubell en haar co-auteurs hopen dat hun collega's gehoor zullen geven aan de bevindingen van het artikel en zullen helpen om het speelveld gelijk te maken door te investeren in de ontwikkeling van efficiëntere hardware en algoritmen.

Reddy is het daarmee eens. Menselijke hersenen kunnen geweldige dingen doen met weinig stroomverbruik, zegt hij. De grotere vraag is hoe we zulke machines kunnen bouwen.

zich verstoppen