Kleine AI-modellen kunnen autocorrectie en spraakassistenten op je telefoon een boost geven

Categorie: Kunstmatige intelligentie Geplaatst 04 okt

Onderzoekers hebben met succes een gigantisch taalmodel verkleind voor gebruik in commerciële toepassingen.

Wie telt? In het afgelopen jaar zijn natuurlijke taalmodellen dramatisch beter geworden ten koste van dramatisch groter geworden. In oktober vorig jaar bijv. Google heeft een model uitgebracht met de naam BERT die een al lang bestaande benchmark voor begrijpend lezen in het veld doorstond. De grotere versie van het model had 340 miljoen gegevensparameters, en het slechts één keer trainen ervan kostte genoeg elektriciteit om een ​​Amerikaans huishouden 50 dagen van stroom te voorzien.

Vier maanden later overtrof OpenAI het snel met zijn model GPT-2. Het model toonde een indrukwekkend talent voor het construeren van overtuigend proza; het gebruikte ook 1,5 miljard parameters. Nu heeft MegatronLM, het nieuwste en grootste model van Nvidia, 8,3 miljard parameters . (Ja, het loopt uit de hand.)

Het grote, het slechte, het lelijke: AI-onderzoekers maken zich steeds meer zorgen over de gevolgen van deze trend. In juni toonde een groep aan de Universiteit van Massachusetts, Amherst, de klimaattol van het ontwikkelen en trainen van modellen op zo'n grote schaal. Training BERT, berekenden ze, stootte bijna net zoveel koolstof uit als een retourvlucht tussen New York en San Francisco; GPT-2 en MegatronLM zouden door extrapolatie waarschijnlijk veel meer uitstoten.

De trend zou ook de concentratie van AI-onderzoek in de handen van een paar techreuzen kunnen versnellen. Labs met onvoldoende middelen in de academische wereld of landen met minder middelen hebben eenvoudigweg niet de middelen om dergelijke rekenkundig dure modellen te gebruiken of te ontwikkelen.

Schat, ik heb de AI verkleind: Als reactie daarop zijn veel onderzoekers gefocust op: het verkleinen van de maat van bestaande modellen zonder hun mogelijkheden te verliezen. Nu hebben twee nieuwe papers, die binnen een dag na elkaar zijn uitgebracht, dat met succes gedaan met de kleinere versie van BERT, met 100 miljoen parameters.

De eerste papier, van onderzoekers van Huawei, produceert een model genaamd TinyBERT dat minder dan een zevende zo groot is als het origineel en bijna 10 keer sneller. Het presteert ook bijna net zo goed in taalbegrip als het origineel. De seconde, van onderzoekers van Google, produceert een andere die een factor meer dan 60 kleiner is, maar het taalbegrip is iets slechter dan de Huawei-versie.

Hoe ze het deden: Beide papers gebruiken variaties van een gemeenschappelijke compressietechniek die bekend staat als kennisdestillatie. Het gaat om het gebruik van het grote AI-model dat je wilt verkleinen (de leraar) om een ​​veel kleiner model (de student) naar zijn beeld te trainen. Om dit te doen, voert u dezelfde invoer in beide in en past u vervolgens de leerling aan totdat de uitvoer overeenkomt met die van de leraar.

Buiten het laboratorium: Naast het verbeteren van de toegang tot state-of-the-art AI, zullen kleine modellen helpen om de nieuwste AI-verbeteringen naar consumentenapparaten te brengen. Ze vermijden de noodzaak om consumentengegevens naar de cloud te sturen, wat zowel de snelheid als de privacy verbetert. Met name voor modellen in natuurlijke taal kunnen krachtigere tekstvoorspelling en taalgeneratie talloze toepassingen verbeteren, zoals automatisch aanvullen op je telefoon en stemassistenten zoals Alexa en Google Assistant.

Meld u aan voor onze Webby-genomineerde AI-nieuwsbrief The Algorithm om meer van dit soort verhalen rechtstreeks in uw inbox te ontvangen. Het is gratis.