Google zegt dat zijn nieuwe chatbot Meena de beste ter wereld is

Categorie: Kunstmatige intelligentie Geplaatst 30 januari

Google heeft een neuraal netwerk-aangedreven chatbot uitgebracht genaamd Meena waarvan het beweert dat het beter is dan elke andere chatbot die er is.

Data slurp: Meena werd getraind op maar liefst 341 gigabyte aan openbare chatter op sociale media - 8,5 keer zoveel gegevens als OpenAI's GPT-2. Google zegt dat Meena over vrijwel alles kan praten en zelfs kan verzinnen (slechte) grappen .

Waarom het uitmaakt: Een open gesprek dat een breed scala aan onderwerpen omvat, is moeilijk en de meeste chatbots kunnen het niet bijhouden. Op een gegeven moment zeggen de meesten dingen die nergens op slaan of onthullen een gebrek aan basiskennis over de wereld. Een chatbot die dergelijke fouten vermijdt, zal een grote bijdrage leveren om AI's menselijker te maken en personages in videogames levensechter te maken.

Zin en specificiteit: Om Meena op de proef te stellen, heeft Google een nieuwe statistiek ontwikkeld die het de Sensibleness and Specificity Average (SSA) noemt, die belangrijke attributen voor natuurlijke gesprekken vastlegt, zoals of elke uiting logisch is in de context - wat veel chatbots kunnen doen - en is specifiek voor wat zojuist is gezegd, wat moeilijker is.

Wat bedoelt u? Als je bijvoorbeeld zegt dat ik van tennis houd en een chatbot antwoordt Dat is leuk, het antwoord is logisch, maar niet specifiek. Veel chatbots vertrouwen op dit soort trucs om te verbergen dat ze niet weten waar je het over hebt. Aan de andere kant is een reactie zoals Ik ook - ik kan geen genoeg krijgen van Roger Federer specifiek. Google gebruikte crowdworkers om voorbeeldgesprekken te genereren en uitingen te scoren in ongeveer 100 gesprekken. Meena behaalde een SSA-score van 79%, vergeleken met 56% voor Mitsuku, een ultramoderne chatbot die de afgelopen vier jaar de Loebner Prize heeft gewonnen. Zelfs menselijke gesprekspartners scoorden slechts 86% in deze nieuwe test.

Kan ik met Meena praten? Nog niet. Google zegt dat het geen openbare demo zal uitbrengen totdat het het model heeft doorgelicht op veiligheid en vooringenomenheid, wat waarschijnlijk een goede zaak is. Toen Microsoft in 2016 zijn chatbot Tay op Twitter uitbracht, begon het binnen enkele uren racistische, vrouwonvriendelijke scheldwoorden te spuwen.