Baidu heeft een nieuwe truc om AI de betekenis van taal te leren

Letterdruk tekens MS Tech / Bron: Unsplash

Eerder deze maand onttroonde een Chinese techgigant Microsoft en Google stilletjes in een voortdurende competitie in AI. Het bedrijf was Baidu, China's grootste equivalent van Google, en de concurrentie was de General Language Understanding Evaluation, ook wel bekend als GLUE.

GLUE is een algemeen aanvaarde maatstaf voor hoe goed een AI-systeem menselijke taal begrijpt. Het bestaat uit negen verschillende tests voor zaken als het uitzoeken van de namen van mensen en organisaties in een zin en uitzoeken waar een voornaamwoord zoals het naar verwijst als er meerdere potentiële antecedenten zijn. Een taalmodel dat hoog scoort op GLUE kan daarom verschillende begrijpend lezen taken aan. Van een volledige score van 100 scoort de gemiddelde persoon ongeveer 87 punten . Baidu is nu het eerste team dat de 90 overtreft met zijn model, ERNIE.

De openbaar klassement voor GLUE verandert voortdurend en een ander team zal waarschijnlijk binnenkort Baidu overtreffen. Maar wat opvalt aan de prestatie van Baidu, is dat het illustreert hoe AI-onderzoek profiteert van een diversiteit aan bijdragers. De onderzoekers van Baidu moesten een techniek ontwikkelen specifiek voor de Chinese taal om ERNIE te bouwen (wat staat voor Enhanced Representation through kNowledge IntEgration). Het is echter zo dat dezelfde techniek het ook beter maakt om Engels te begrijpen.

ERNIE's voorganger

Om ERNIE te waarderen, kijk eens naar het model waarop het is geïnspireerd: Google's BERT . (Ja, ze zijn allebei vernoemd naar de Sesam Straat karakters .)

Voordat BERT (Bidirectionele Encoder Representations from Transformers) eind 2018 werd gemaakt, waren modellen in natuurlijke taal niet zo geweldig. Ze waren goed in het voorspellen van het volgende woord in een zin - dus zeer geschikt voor toepassingen zoals Autocomplete - maar ze konden zelfs geen enkele gedachtegang over een kleine passage volhouden. Dit kwam omdat ze de betekenis niet begrepen, zoals het woord waarnaar het zou kunnen verwijzen.

Maar BERT bracht daar verandering in. Eerdere modellen leerden de betekenis van een woord te voorspellen en te interpreteren door alleen rekening te houden met de context die ervoor of erna verscheen - nooit beide tegelijk. Ze waren met andere woorden unidirectioneel .

BERT daarentegen kijkt eerder naar de context en na een woord in één keer, waardoor het bidirectioneel . Het doet dit met behulp van een techniek die bekend staat als maskeren. In een bepaalde tekstpassage verbergt BERT willekeurig 15% van de woorden en probeert ze vervolgens te voorspellen uit de overige. Hierdoor kan het nauwkeurigere voorspellingen doen omdat het twee keer zoveel aanwijzingen heeft om van te werken. In de zin De man ging naar de ___ om melk te kopen, bijvoorbeeld, geven zowel het begin als het einde van de zin hints bij het ontbrekende woord. De ___ is een plek waar je heen kunt gaan en een plek waar je melk kunt kopen.

Het gebruik van maskering is een van de belangrijkste innovaties achter dramatische verbeteringen in natuurlijke taaltaken en is een van de redenen waarom modellen zoals de beruchte GPT-2 van OpenAI buitengewoon overtuigend proza ​​kunnen schrijven zonder af te wijken van een centrale stelling.

Van Engels naar Chinees en weer terug

Toen Baidu-onderzoekers hun eigen taalmodel begonnen te ontwikkelen, wilden ze voortbouwen op de maskeringstechniek. Maar ze realiseerden zich dat ze het moesten aanpassen aan de Chinese taal.

In het Engels dient het woord als de semantische eenheid - wat betekent dat een woord dat volledig uit de context is getrokken, nog steeds betekenis heeft. Hetzelfde kan niet gezegd worden voor karakters in het Chinees. Hoewel bepaalde karakters een inherente betekenis hebben, zoals vuur (火, hoezo ), water water, shuĭ ), of hout (木, Blind ), de meeste niet totdat ze aan elkaar zijn geregen met anderen. Het karakter 灵 ( lynchen ), kan bijvoorbeeld ofwel slim betekenen (机灵, jīling ) of ziel (ziel, línghún ), afhankelijk van de match. En de karakters in een eigennaam zoals Boston (波士顿, bōshìdùn ) of de VS (Verenigde Staten, mixer ) betekenen niet hetzelfde als het eenmaal uit elkaar is gesplitst.

Dus trainden de onderzoekers ERNIE in een nieuwe versie van maskeren die tekenreeksen verbergt in plaats van enkele. Ze hebben het ook getraind om onderscheid te maken tussen zinvolle en willekeurige tekenreeksen, zodat het de juiste tekencombinaties dienovereenkomstig kon maskeren. Als gevolg hiervan heeft ERNIE een beter begrip van hoe woorden informatie coderen in het Chinees en is het veel nauwkeuriger in het voorspellen van de ontbrekende stukjes. Dit is handig voor toepassingen zoals vertaling en het ophalen van informatie uit een tekstdocument.

De onderzoekers ontdekten al snel dat deze aanpak ook voor het Engels beter werkt. Hoewel niet zo vaak als Chinees, heeft het Engels op dezelfde manier reeksen woorden die een andere betekenis uitdrukken dan de som van hun delen. Eigennamen zoals Harry Potter en uitdrukkingen zoals het oude blok afbreken kunnen niet zinvol worden ontleed door ze in afzonderlijke woorden te scheiden.

Dus voor de zin:

Harry Potter is een serie fantasyromans geschreven door J.K. Rowling.

BERT kan het op de volgende manier maskeren:

[masker] Potter is een serie [masker] fantasieromans [masker] door J. [masker] Rowling.

Maar ERNIE zou het in plaats daarvan als volgt maskeren:

Harry Potter is [masker] [masker] [masker] fantasieromans door [masker] [masker] [masker].

ERNIE leert dus robuustere voorspellingen op basis van betekenis in plaats van statistische woordgebruikspatronen.

Een diversiteit aan ideeën

De nieuwste versie van ERNIE gebruikt ook verschillende andere trainingstechnieken. Het houdt rekening met de volgorde van zinnen en de afstanden ertussen, bijvoorbeeld om de logische voortgang van een alinea te begrijpen. Het belangrijkste is echter dat het een methode gebruikt die continue training wordt genoemd en waarmee het kan trainen op nieuwe gegevens en nieuwe taken zonder de eerder geleerde taken te vergeten. Hierdoor kan het in de loop van de tijd steeds beter worden in het uitvoeren van een breed scala aan taken met minimale menselijke tussenkomst.

Baidu gebruikt ERNIE actief om gebruikers meer toepasselijke zoekresultaten te geven, dubbele verhalen in de nieuwsfeed te verwijderen en de mogelijkheid van AI-assistent Xiao Du om nauwkeurig op verzoeken te reageren, te verbeteren. Het heeft ook de nieuwste architectuur van ERNIE beschreven in een krant die volgend jaar zal worden gepresenteerd op de Association for the Advancement of Artificial Intelligence-conferentie. Op dezelfde manier waarop hun team voortbouwde op het werk van Google met BERT, hopen de onderzoekers dat anderen ook zullen profiteren van hun werk met ERNIE.

Toen we met dit werk begonnen, dachten we specifiek aan bepaalde kenmerken van de Chinese taal, zegt Hao Tian, ​​de hoofdarchitect van Baidu Research. Maar we ontdekten al snel dat het verder van toepassing was.

Meld u aan voor onze Webby-genomineerde AI-nieuwsbrief The Algorithm om meer van dit soort verhalen rechtstreeks in uw inbox te ontvangen. Het is gratis.

zich verstoppen