211service.com
AI heeft mensen verslagen bij liplezen
Liplezen is notoir moeilijk, afhankelijk van zowel de context en kennis van de taal als van visuele aanwijzingen. Maar onderzoekers laten zien dat machine learning effectiever kan worden gebruikt om spraak te onderscheiden van stille videoclips dan professionele liplezers.
In één project heeft een team van de afdeling Computerwetenschappen van de Universiteit van Oxford een nieuw kunstmatige-intelligentiesysteem ontwikkeld, LipNet genaamd. Als Kwarts gerapporteerd , het systeem is gebouwd op een dataset die bekend staat als GRID, die bestaat uit goed verlichte, naar voren gerichte clips van mensen die zinnen van drie seconden lezen. Elke zin is gebaseerd op een reeks woorden die hetzelfde patroon volgen.
Het team gebruikte die dataset om een neuraal netwerk te trainen, vergelijkbaar met het soort dat vaak wordt gebruikt voor spraakherkenning. In dit geval identificeert het neurale netwerk echter variaties in mondvorm in de loop van de tijd, en leert het die informatie te koppelen aan een uitleg van wat er wordt gezegd. De AI analyseert de beelden niet in flarden, maar beschouwt het geheel, waardoor het de context kan begrijpen van de zin die wordt geanalyseerd. Dat is belangrijk, want er zijn minder mondvormen dan er geluiden worden geproduceerd door de menselijke stem.
Wanneer getest , was het systeem in staat om 93,4 procent van de woorden correct te identificeren. Menselijke liplezende vrijwilligers die dezelfde taken moesten uitvoeren, identificeerden slechts 52,3 procent van de woorden correct.
Maar als nieuwe wetenschapper rapporten , heeft een ander team van Oxford's Department of Engineering Science, dat met Google DeepMind heeft gewerkt, een wat moeilijkere taak afgebeten. In plaats van een nette en consistente dataset zoals GRID te gebruiken, heeft het een reeks van 100.000 videoclips gebruikt die zijn genomen van BBC-televisie. Deze video's hebben een veel breder scala aan taal, met veel meer variatie in belichting en hoofdposities.
Gebruik makend van een vergelijkbare benadering , slaagde het team van Oxford en DeepMind erin om een AI te maken die 46,8 procent van alle woorden correct kon identificeren. Dat is ook veel beter dan mensen, die slechts 12,4 procent van de woorden zonder fouten hebben opgenomen. Er zijn duidelijk veel redenen waarom de nauwkeurigheid lager is, van verlichting en oriëntatie tot de grotere taalcomplexiteit.
Afgezien van de verschillen, laten beide experimenten zien dat AI veel beter presteert dan mensen bij liplezen, en het is niet moeilijk om mogelijke toepassingen voor dergelijke software voor te stellen. In de toekomst zou Skype de gaten kunnen opvullen wanneer een beller zich bijvoorbeeld in een lawaaierige omgeving bevindt, of zouden mensen met gehoorproblemen hun smartphone kunnen ophouden om te horen wat iemand zegt.
(Lees verder: Kwarts , nieuwe wetenschapper , Oxford Machine Learning-leesgroep , arXiv , De uitdagingen en bedreigingen van geautomatiseerd liplezen )