211service.com
Nvidia heeft het zojuist eenvoudiger gemaakt om slimmere chatbots en gelikter nepnieuws te bouwen
Een afbeelding van een spraakassistent naast geluidsgolven mevrouw Tech; originele afbeelding: HARMON KARDON
Kunstmatige intelligentie heeft het afgelopen decennium indrukwekkende vooruitgang geboekt, maar machines zijn nog steeds slecht in het begrijpen van taal. Probeer Alexa maar eens te betrekken bij een beetje geestige scherts.
Nvidia, het bedrijf dat de computerchips maakt die veel AI-algoritmen aandrijven, denkt dat dit gaat veranderen en wil profiteren van een verwachte explosie.
Software die de chipmaker uitbrengt, maakt het gemakkelijker om AI-programma's op zijn hardware te bouwen die in staat zijn om taal eleganter te gebruiken. De nieuwe code zou de ontwikkeling van nieuwe taalalgoritmen kunnen versnellen en chatbots en stemassistenten sneller en slimmer kunnen maken.
Nvidia maakt al de meest populaire chips voor het trainen van deep-learning AI-modellen, die bedreven zijn in taken zoals beeldclassificatie. Traditioneel was het echter veel moeilijker om statistische machinale leermethoden zoals deep learning toe te passen op het geschreven of gesproken woord, omdat taal zo dubbelzinnig en complex is.
Maar de laatste tijd is er een aanzienlijke vooruitgang geboekt. Twee nieuwe diepgaande benaderingen van taal van Google, bekend als Transformer en BERT, zijn bijzonder bedreven gebleken in het vertalen tussen talen, het beantwoorden van vragen over een stuk tekst en zelfs het genereren van realistisch ogende tekst. Dit heeft geleid tot een toename van academische en industriële interesse in het bevorderen van taal met behulp van machine learning.
De combinatie van Transformer en BERT heeft een enorme impact gehad, zegt Alexander Rush , een professor aan de Harvard University die gespecialiseerd is in het deelgebied van AI dat bekend staat als natuurlijke taalverwerking (NLP). Het is in principe state-of-the-art in elke benchmark en stelt een student in staat om modellen van wereldklasse te produceren in vijf regels code.
Nvidia is bedreven in het najagen van de nieuwste trends in AI-onderzoek. Als het laatste vermoeden juist blijkt te zijn, kunnen stemassistenten niet langer alleen reageren op geblafde commando's, maar meer woorden coherent aan elkaar rijgen. Ondertussen kunnen chatbots minder dom worden, terwijl de autocomplete-functie die veel in programma's en apps aantrof, hele alinea's zou kunnen voorstellen in plaats van alleen de volgende paar woorden.
We hebben veel vraag naar taalmodellering, zegt Bryan Catanzaro , VP voor toegepast diep leren bij Nvidia. En als je kijkt naar het tempo van taalontwikkeling, lijkt het voor ons een voor de hand liggende plek om te investeren.
Nvidia heeft zijn software ontwikkeld door tal van onderdelen van het proces te optimaliseren dat wordt gebruikt om taalmodellen op zijn GPU's te trainen. Dit versnelde de training van AI-modellen (van enkele dagen tot minder dan een uur), versnelde de prestaties van getrainde taalmodellen (van 40 milliseconden tot iets meer dan 2 milliseconden) en maakte het mogelijk om veel grotere taalmodellen te trainen (Nvidia's taalmodel , Megatron genaamd, is vele malen groter dan alles wat eerder is gemaakt, met 8,6 miljard parameters).
Automatisch aanvullen geen kwaad
Vooruitgang in taal kan echter een donkere kant hebben. Slimmere algoritmen zouden kunnen worden gebruikt om meer overtuigende, op maat gemaakte neprecensies, posts op sociale media en nieuwsverhalen in massa te produceren. Andere onderzoeksgroepen hebben laten zien hoe krachtige taalmodellen realistisch ogende tekst kunnen opleveren na het innemen van grote hoeveelheden schrijven van internet.
Nvidia heeft een eenvoudig plan om mogelijk misbruik te voorkomen: het zal niet het grootste taalmodel vrijgeven dat het heeft ontwikkeld, en is van plan erop te vertrouwen dat onderzoekers de tools met zorg gebruiken. We geven code vrij die laat zien hoe je GPU's kunt gebruiken om deze grote modellen te trainen, zegt Catanzaro. We zijn van mening dat de community deze code op verantwoorde wijze zal gebruiken, maar houd er rekening mee dat trainingsmodellen van deze omvang serieuze rekenkracht vereisen, waardoor het voor de meeste mensen onbereikbaar is.
Zelfs als de vooruitgang snel doorgaat, zal het waarschijnlijk nog lang duren voordat machines echt met ons kunnen praten. Taal is bedrieglijk moeilijk voor machines om te begrijpen, deels vanwege de complexiteit van de compositie: woorden kunnen worden herschikt om een oneindige betekenis te ontgrendelen. Om de betekenis van een zin te begrijpen, is vaak ook een soort gezond verstand van de wereld nodig - iets dat computers niet hebben.
We zien een renaissance in NLP-mogelijkheden, zegt Oren Etzioni, CEO van de Allen Instituut voor Kunstmatige Intelligentie (Ai2) , een non-profitorganisatie in Seattle die zich toelegt op geavanceerd AI-onderzoek. Dit zal zich vertalen in betere chatbots en stemassistenten, zegt hij, hoewel ze zullen lijden aan een gebrek aan gezond verstand. Een stemassistent die net zo behulpzaam is als een bekwame hotelconciërge, ligt nog steeds buiten de horizon, zegt Etzioni.
Ai2 heeft onlangs een tool gelanceerd, genaamd Grover , die NLP-vooruitgang gebruikt om tekst te vangen die door AI lijkt te zijn geproduceerd. Etzioni wijst erop dat bots nu al mensen op Facebook en Twitter bedriegen. Automatisch gegenereerde neptekst is er al, zegt hij, en zal waarschijnlijk exponentieel toenemen.