211service.com
Een nieuw meeslepend klaslokaal gebruikt AI en VR om Mandarijn Chinees te leren
Een afbeelding van studenten die in de meeslepende virtuele omgeving staan Rensselaer Polytechnisch Instituut
Vaak is de beste manier om een taal te leren, jezelf onder te dompelen in een omgeving waar mensen de taal spreken. De constante blootstelling, samen met de druk om te communiceren, helpt je om nieuwe woordenschat snel op te pikken en te oefenen. Maar niet iedereen krijgt de kans om in het buitenland te wonen of studeren.
In een nieuwe samenwerking met IBM Research biedt Rensselaer Polytechnic Institute (RPI), een universiteit in Troy, New York, haar studenten die Chinees studeren nu een andere optie: een virtuele 360-graden omgeving die hen teleporteert naar de drukke straten van Peking of een druk Chinees restaurant. Studenten kunnen onderhandelen met straatverkopers of eten bestellen, en de omgeving is uitgerust met verschillende AI-mogelijkheden om in realtime op hen te reageren. Hoewel het klaslokaal grotendeels experimenteel is, wordt het deze zomer voor het eerst gebruikt in een cursus van zes weken op de universiteit.
Het project werd geïnspireerd door twee RPI-faculteitsleden die vaak rollenspellen gebruikten om hun studenten Chinees te leren. Parallel hieraan hebben de afgelopen jaren meerdere studies hebben ontdekt dat interactieve leeromgevingen het taalbegrip en -behoud kunnen vergroten. Eén studie gepubliceerd in 2018 ook gevonden dat het leren van Japans in een virtuele 3D-omgeving ervoor zorgde dat studenten sneller woorden oppikten die ze toevallig tegenkwamen tijdens de simulatie. Op basis van deze ideeën gingen de professoren een samenwerking aan met IBM Research om te onderzoeken of ze dergelijke voordelen voor hun eigen studenten konden nabootsen.
Naast het omringen van de studenten met digitale projecties van een scène, gebruikt de omgeving verschillende soorten sensoren om zich dynamisch aan te passen aan de woorden en acties van de studenten. Microfoons, gedragen door de deelnemers, voeren hun audio rechtstreeks in spraakherkenningsalgoritmen. Camera's volgen hun bewegingen en gebaren om te registreren wanneer ze naar verschillende objecten wijzen of naar verschillende virtuele agenten lopen. Als een student wijst naar een gerecht in de restaurantscene en vraagt wat het is, kan een virtuele agent bijvoorbeeld reageren met de naam en beschrijving. Technologie voor het genereren van verhalen stelt elke agent ook in staat om meer geavanceerde antwoorden te construeren op alledaagse vragen (Wat is de geschiedenis van het gerecht?) met behulp van kennis van Wikipedia. (De gespreksonderwerpen zijn echter nog steeds enigszins beperkt tot welke taak de student ook probeert te voltooien.)
Camera's en sensoren volgen de gebaren van de leerlingen, zodat ze vrijelijk naar objecten in een scène kunnen wijzen om deel te nemen. Rensselaer Polytechnisch Instituut
Veel van de technologieën in de omgeving zijn in de handel verkrijgbare producten die met elkaar zijn verweven tot een samenhangende ervaring. Maar een paar moesten specifiek voor het project worden ontwikkeld. Mandarijn Chinees heeft bijvoorbeeld vijf tonen die voor veel nieuwe leerlingen een uitdaging zijn, maar cruciaal voor het overbrengen van betekenis. Zeg het woord verkopen (卖 slijpen ) een beetje af en je zou kunnen zeggen kopen (买 mǎi ) in plaats van. Dus creëerden de onderzoekers een algoritme om de tonen in de uitspraak van de studenten te analyseren. Het vergelijkt ze met die van moedertaalsprekers en laat zien waar ze verschillen, en geeft vervolgens audio en visuele feedback direct in de omgeving. Hiermee kunnen studenten een virtuele agent vragen hoe ze iets moeten zeggen en meteen beginnen met het oefenen van de nieuwe woordenschat.
Hui Su, de directeur van het Cognitive and Immersive Systems Laboratory, de samenwerking tussen IBM Research en RPI die het initiatief leidde, zegt dat zijn team zich nog in de beginfase bevindt om te begrijpen hoe effectief het is. Maar in een pilot eind 2017 ontdekten de onderzoekers kwalitatief dat het de betrokkenheid en het plezier van de studenten bij het leren van talen verhoogde en hen hielp om snel nieuwe woorden te verwerven.
Voorafgaand aan een oefening om restaurants te bestellen, werd de studenten bijvoorbeeld niet geleerd hoe ze hun eten moesten betalen, maar door hun leeftijdsgenoten te observeren en te praten met de virtuele agenten, leerden velen de nodige woordenschat om dit te doen. Het was een beetje een verrassing, zegt Su. Een van de studenten merkte op dat dit de manier zou moeten zijn om taal te onderwijzen, voegt hij eraan toe.
Een algoritme geeft leerlingen visuele feedback over de uitspraak van hun toon. Rensselaer Polytechnisch Instituut
In het eerste jaar zal de nieuwe cursus bijna de helft van de tijd gebruik maken van de virtuele omgeving en de rest van een traditioneel klaslokaal, hoewel deze regeling in de toekomst kan veranderen.
Als de klas sterk bewijs levert voor het verbeteren van de leerresultaten van leerlingen, kan het als model dienen voor anderen. Het meest voor de hand liggende idee zou zijn om het uit te breiden naar andere talen. Maar het kan ook buiten universiteiten worden gebruikt om leidinggevenden te coachen, overheidspersoneel op te leiden of andere voorbereidende activiteiten uit te voeren die baat kunnen hebben bij scenariosimulatie en rollenspel.
Uiteindelijk zal het initiatief bijdragen aan de langetermijnmissie van de onderzoekers om te begrijpen hoe cognitieve en immersieve omgevingen het leren, samenwerken en zingeving kunnen beïnvloeden, zegt Su.
Meld u aan voor onze Webby-genomineerde AI-nieuwsbrief The Algorithm om meer van dit soort verhalen rechtstreeks in uw inbox te ontvangen. Het is gratis.