Facebook claimt dat zijn nieuwe chatbot die van Google verslaat als de beste ter wereld

Ondanks alle vooruitgang die chatbots en virtuele assistenten hebben geboekt, zijn het nog steeds vreselijke gesprekspartners. De meeste zijn sterk taakgericht: je stelt een eis en zij voldoen. Sommige zijn zeer frustrerend: ze lijken nooit te krijgen wat je zoekt. Anderen zijn vreselijk saai: ze missen de charme van een menselijke metgezel. Het is prima als je alleen een timer wilt instellen. Maar naarmate deze bots steeds populairder worden als interfaces voor alles, van detailhandel tot gezondheidszorg tot financiële diensten, worden de tekortkomingen alleen maar duidelijker.

Nu heeft Facebook open source een nieuwe chatbot dat het beweert over bijna alles op een boeiende en interessante manier te kunnen praten. Blender kon niet alleen virtuele assistenten helpen om veel van hun tekortkomingen op te lossen, maar ook vooruitgang markeren in de richting van de grotere ambitie die veel van AI-onderzoek drijft: het repliceren van intelligentie. Dialoog is een soort 'AI-compleet'-probleem, zegt Stephen Roller, een onderzoeksingenieur bij Facebook die het project mede leidde. Je zou de hele AI moeten oplossen om de dialoog op te lossen, en als je de dialoog oplost, heb je de hele AI opgelost.

Het vermogen van Blender komt van de enorme schaal van zijn trainingsgegevens. Het werd eerst getraind op 1,5 miljard openbaar beschikbare Reddit-gesprekken, om het een basis te geven voor het genereren van reacties in een dialoog. Het werd vervolgens verfijnd met aanvullende datasets voor elk van de drie vaardigheden: gesprekken die een soort emotie bevatten , om empathie te leren (als een gebruiker bijvoorbeeld zegt dat ik een promotie heb gekregen, kan hij zeggen: Gefeliciteerd!); informatierijke gesprekken met een deskundige, om hem kennis bij te brengen; en gesprekken tussen mensen met verschillende persona's , om het persoonlijkheid te leren. Het resulterende model is 3,6 keer groter dan Google's chatbot Meena , dat in januari werd aangekondigd - zo groot dat het niet op een enkel apparaat past en in plaats daarvan over twee computerchips moet lopen.

Een voorbeeld van een gesprek tussen een mens en Blender.

FACEBOOK

Google verkondigde destijds dat Meena de beste chatbot ter wereld was. In de eigen tests van Facebook vond 75% van de menselijke beoordelaars Blender echter boeiender dan Meena, en 67% vond het meer als een mens klinken. De chatbot hield menselijke evaluatoren ook 49% van de tijd voor de gek door te denken dat de gesprekslogboeken menselijker waren dan de gesprekslogboeken tussen echte mensen - wat betekent dat er niet veel kwalitatief verschil tussen de twee was. Google had niet gereageerd op een verzoek om commentaar tegen de tijd dat dit verhaal zou worden gepubliceerd.

Ondanks deze indrukwekkende resultaten zijn de vaardigheden van Blender echter nog lang niet in de buurt van die van een mens. Tot nu toe heeft het team de chatbot alleen beoordeeld op korte gesprekken met 14 beurten. Als het langer zou blijven kletsen, vermoeden de onderzoekers, zou het al snel geen zin meer hebben. Deze modellen kunnen niet superdiep gaan, zegt Emily Dinan, de andere projectleider. Ze zijn niet in staat om de gespreksgeschiedenis na een paar beurten te onthouden.

Blender heeft ook de neiging om kennis te hallucineren of feiten te verzinnen - een directe beperking van de diepgaande leertechnieken die worden gebruikt om het op te bouwen. Het genereert zijn zinnen uiteindelijk op basis van statistische correlaties in plaats van een database met kennis. Als gevolg hiervan kan het een gedetailleerde en coherente beschrijving van bijvoorbeeld een beroemde beroemdheid aan elkaar rijgen, maar met volledig valse informatie. Het team is van plan om te experimenteren met het integreren van een kennisdatabase in de reactiegeneratie van de chatbot.

Menselijke evaluatoren vergeleken multi-turn gesprekken met verschillende chatbots.

FACEBOOK

Een andere grote uitdaging bij elk open-end chatbotsysteem is om te voorkomen dat het giftige of bevooroordeelde dingen zegt. Omdat dergelijke systemen uiteindelijk worden getraind op sociale media, kunnen ze uiteindelijk de vitriool van internet uitspugen. (Dit is berucht overkomen) Microsoft's chatbot Tay in 2016.) Het team probeerde dit probleem aan te pakken door crowdworkers te vragen om schadelijke taal te filteren uit de drie datasets die het gebruikte voor fine-tuning, maar vanwege de omvang deed het niet hetzelfde voor de Reddit-dataset. (Iedereen die veel tijd op Reddit heeft doorgebracht, weet waarom dat problematisch kan zijn.)

Het team hoopt te experimenteren met betere veiligheidsmechanismen, waaronder een classificatie van giftige talen die de reactie van de chatbot kan controleren. De onderzoekers geven echter toe dat deze benadering niet alomvattend zal zijn. Soms kan een zin als Yes, that’s great goed lijken, maar binnen een gevoelige context, zoals in reactie op een racistische opmerking, kan het schadelijke betekenissen aannemen.

Op de lange termijn is het Facebook AI-team ook geïnteresseerd in het ontwikkelen van meer geavanceerde gespreksagenten die zowel op visuele signalen als op woorden kunnen reageren. Een van de projecten is de ontwikkeling van een systeem genaamd Image Chat, dat bijvoorbeeld verstandig en persoonlijk kan praten over de foto's die een gebruiker zou kunnen sturen.

zich verstoppen