211service.com
De uitdagingen en bedreigingen van geautomatiseerd liplezen
In de 16e eeuw pionierde een Spaanse benedictijner monnik genaamd Pietro Ponce met de schijnbaar magische kunst van het liplezen. Hoewel de techniek waarschijnlijk ouder is dan hij, was Ponce de eerste succesvolle leraar liplezen.
Toen, net als nu, werd de techniek voornamelijk gebruikt om mensen met gehoorproblemen te helpen bij het interpreteren van spraak. Maar het wordt ook door anderen gebruikt om gesprekken af te luisteren. Verschillende experimenten tonen inderdaad aan dat ons vermogen om spraak te interpreteren verbetert wanneer we de bewegende lippen van de spreker kunnen zien. Met andere woorden, bijna iedereen gebruikt tot op zekere hoogte liplezen.
Dat roept een interessante vraag op. Kan het proces van liplezen worden geautomatiseerd en door de computer worden uitgevoerd? En zo ja, hoe succesvol kan deze aanpak zijn en wat voor bedreiging vormt het voor de privacy?
Vandaag krijgen we enkele antwoorden dankzij het werk van Ahmad Hassanat aan de Mu'tah University in Jordanië. Hij schetst de uitdagingen waar onderzoekers voor staan op het gebied van geautomatiseerd liplezen, ook wel visuele spraakherkenning genoemd. Wat uit zijn analyse duidelijk wordt, is dat als liplezen met succes wordt geautomatiseerd, er nog belangrijke uitdagingen moeten worden overwonnen.
Het fundamentele proces van liplezen is het herkennen van een reeks vormen gevormd door de mond en deze vervolgens afstemmen op een specifiek woord of een reeks woorden.
Hier ligt een belangrijke uitdaging. Tijdens het spreken vormt de mond tussen de 10 en 14 verschillende vormen, ook wel visemes genoemd. Spraak daarentegen bevat ongeveer 50 afzonderlijke klanken die fonemen worden genoemd. Dus een enkel viseem kan verschillende fonemen vertegenwoordigen.
En daar zit het probleem. Een reeks visemen kan meestal niet worden geassocieerd met een uniek woord of een reeks woorden. In plaats daarvan kan een reeks visemes verschillende oplossingen hebben. De uitdaging voor de liplezer is om degene te kiezen die de spreker heeft gebruikt.
Het probleem wordt nog verergerd door het feit dat de lippen van een spreker vaak verduisterd zijn, zodat een liplezer gemiddeld slechts ongeveer 50 procent van de gesproken woorden ziet. Het resultaat is dat liplezen zeker niet perfect is, zelfs niet voor de meest ervaren beoefenaars.
Experimenten laten zien hoe moeilijk het is, zelfs als de woordenschat enorm beperkt is. wanneer mensen wordt gevraagd om te beslissen welke van de cijfers 1 tot en met 9 zijn uitgesproken, puur door liplezen, is hun slagingspercentage gemiddeld iets meer dan 50 procent. Helemaal niet goed.
Het is dus gemakkelijk voor te stellen dat de vooruitzichten voor het automatiseren van deze techniek slecht zijn. Maar Hassanat wijst op een groeiend aantal onderzoeken dat dit probleem aanpakt, geholpen door een snelle verbetering van machinevisie in de afgelopen jaren.
Het eerste probleem bij automatisch liplezen is gezichts- en lipherkenning. Dit is de afgelopen jaren met sprongen verbeterd. Een moeilijkere uitdaging is het herkennen, extraheren en categoriseren van de geometrische kenmerken van de lippen tijdens spraak.
Dit wordt gedaan door de hoogte en breedte van de lippen te meten, evenals andere kenmerken zoals de vorm van de ellips die de lippen begrenst, het aantal zichtbare tanden en de roodheid van het beeld, die de hoeveelheid tong die zichtbaar is bepaalt. .
Het bepalen van de exacte contour van de lippen is moeilijk vanwege het relatief kleine verschil tussen pixels die het gezicht en de lippen laten zien. Hassanat zegt dat dit inderdaad niet nodig is, omdat de begrenzende ellips en de hoogte en vorm van de mond een behoorlijke benadering van de echte contouren geven. We stellen dat het niet nodig is om alle of enkele contourpunten van de lip te gebruiken om de buitenste vorm van de lippen te definiëren, zegt hij.
De experimenten die hij en anderen hebben gedaan, hebben echter andere problemen opgeleverd. Een daarvan is dat baarden en snorren visuele spraakherkenningssystemen aanzienlijk kunnen verwarren. Bijgevolg zijn ze succesvoller met vrouwelijke dan mannelijke sprekers.
Een ander probleem is dat sommige mensen expressiever zijn met hun lippen dan anderen, dus het is gemakkelijker om te interpreteren wat ze zeggen door alleen lipbewegingen te maken. Sommige mensen bewegen zelfs nauwelijks hun lippen en deze zogenaamde visueel-speechlozen zijn bijna niet te interpreteren.
Toch is Hassanats eigen visuele spraakherkenningssysteem opmerkelijk goed. Zijn experimenten behalen een gemiddeld slagingspercentage van 76 procent, zij het onder zorgvuldig gecontroleerde omstandigheden. Het slagingspercentage is nog hoger voor vrouwen vanwege de afwezigheid van baarden en snorren.
Dit alles suggereert dat er in de toekomst een aanzienlijk potentieel is voor visuele spraakherkenningssystemen, met name als hulpmiddel bij andere vormen van spraakherkenning.
Er blijven echter belangrijke uitdagingen. Hassanat wijst er met name op dat de beste menselijke liplezers afhankelijk zijn van aanzienlijke hoeveelheden aanvullende informatie om spraak te interpreteren, zoals de context van het gesprek, de lichaamsbewegingen van de spreker en een goede kennis van grammatica, idiomen en gewone spraak.
Dit zijn factoren waar computers nog geen grip op hebben. Geautomatiseerd liplezen is misschien nog ver weg, maar de eerste tekenen zijn dat het zeker niet onmogelijk is.
En dat roept een hele reeks andere privacygerelateerde problemen op. Het kan bijvoorbeeld zijn dat video's van gesprekken zonder geluid nu niet te interpreteren zijn, maar in de toekomst wel gemakkelijk te interpreteren zijn. Hoe kunnen politici, bedrijfsleiders en populaire figuren eerlijk zijn onder dat soort toekomstige analyse?
Iets om over na te denken de volgende keer dat u een CCTV-camera ziet.
Referentie: arxiv.org/abs/1409.1411 : Visuele Spraakherkenning