Eerste computer die overeenkomt met mensen in spraakherkenning

Een voor een vallen de vaardigheden die ons scheiden van machines in de kolom van de machines. Eerst was er schaken, toen Gevaar! , dan Go, dan objectherkenning, gezichtsherkenning en videogames in het algemeen. Het zou je vergeven kunnen worden als je denkt dat mensen verouderd raken.

Maar probeer eender welke spraakherkenningssoftware en uw vertrouwen in de mensheid zal snel worden hersteld. Hoewel ze goed en beter worden, zijn deze systemen zeker niet perfect. Bestel je ijs of zeg je dat ik schreeuw? Waarschijnlijk beide, als het een machine is waarmee u praat.

Het zou dus geruststellend moeten zijn om te weten dat gewone spraakherkenning iets is waar machines nog steeds mee worstelen - dat mensen nog steeds hun eigen taal beheersen.

Die visie moet misschien veranderen. Snel. Vandaag zeggen Geoff Zweig en vrienden van Microsoft Research in Redmond, Washington dat ze dit soort spraakherkenning hebben gekraakt en dat hun algoritmen voor machinaal leren nu voor het eerst beter presteren dan mensen in het herkennen van gewone conversatie-spraak.

Onderzoek naar spraakherkenning heeft een lange geschiedenis. In de jaren vijftig konden vroege computers tot 10 woorden herkennen die duidelijk door een enkele spreker werden uitgesproken. In de jaren tachtig bouwden onderzoekers machines die eenvoudige spraak konden transcriberen met een woordenschat van 1000 woorden. In de jaren negentig vorderden ze tot opnames van een persoon die de Wall Street Journal , en vervolgens op uitgezonden nieuwstoespraak.

Deze scenario's worden allemaal steeds ambitieuzer. Maar ze zijn ook eenvoudiger dan gewone spraak vanwege verschillende beperkingen. De woordenschat in de Wall Street Journal is beperkt tot zaken en financiën, en de zinnen zijn goed gestructureerd en grammaticaal correct, wat niet noodzakelijk geldt voor gewone spraak. Uitgezonden nieuwsspraak is minder formeel, maar nog steeds hoog gestructureerd en duidelijk uitgesproken. Al deze voorbeelden zijn uiteindelijk door machines veroverd.

Maar de moeilijkste taak - het vertalen van gewone conversaties - heeft de aanval standvastig weerstaan.

Gewone spraak is aanzienlijk moeilijker vanwege de omvang van de woordenschat en ook vanwege de andere geluiden dan woorden die mensen maken wanneer ze spreken. Mensen gebruiken een reeks geluiden om het nemen van beurten in een gesprek te beheersen, een soort communicatie die taalkundigen een backchannel noemen.

Bijvoorbeeld, uh Huh wordt gebruikt om de spreker te erkennen en aan te geven dat hij of zij moet blijven praten. Maar uh is een aarzeling die aangeeft dat de spreker meer te zeggen heeft, een waarschuwing dat er nog meer gaat komen. Op zijn beurt beheert uh speelt de tegenovergestelde rol van uh Huh .

Mensen hebben weinig moeite om deze geluiden te ontleden en hun rol in een gesprek te begrijpen. Maar machines hebben er altijd mee geworsteld.

In 2000 heeft het National Institute of Standards and Technology een dataset vrijgegeven om onderzoekers te helpen dit probleem aan te pakken. De gegevens bestonden uit opnames van gewone telefoongesprekken. Sommige hiervan waren gesprekken tussen individuen over een toegewezen onderwerp. De rest waren gesprekken tussen vrienden en familieleden over elk onderwerp.

De meeste gegevens waren bedoeld om een ​​machine learning-algoritme te trainen om spraak te herkennen. De rest was een test die de machines moesten transcriberen.

De maatstaf voor de prestatie was het aantal woorden dat de machine fout had, en het uiteindelijke doel was om de taak beter uit te voeren dan mensen.

Dus hoe goed zijn mensen? De algemene consensus is dat als het gaat om transcriptie, mensen een foutenpercentage hebben van ongeveer 4 procent. Met andere woorden, ze transcriberen vier woorden op elke honderd onjuist. In het verleden kwamen machines bij lange na niet in de buurt van deze benchmark.

Nu zegt Microsoft dat het eindelijk de menselijke prestaties heeft geëvenaard, zij het met een belangrijk voorbehoud. De Microsoft-onderzoekers begonnen met het opnieuw beoordelen van de menselijke prestaties bij transcriptietaken. Dit deden ze door de telefoonopnames in de NIST-dataset naar een professionele transcriptiedienst te sturen en het foutenpercentage te meten.

Tot hun verbazing ontdekten ze dat deze service een foutenpercentage had van 5,9 procent voor de gesprekken tussen individuen over een toegewezen onderwerp en 11,3 procent voor de gesprekken tussen vrienden en familieleden. Dat is veel hoger dan gedacht.

Vervolgens optimaliseerden Zweig en co hun eigen diepgaande leersystemen op basis van convolutionele neurale netwerken met een variërend aantal lagen, die elk een ander aspect van spraak verwerken. Vervolgens gebruikten ze de trainingsdataset om de machine te leren gewone spraak te begrijpen en lieten ze deze los op de testdataset.

De resultaten: over het algemeen heeft het spraakherkenningssysteem van Microsoft een vergelijkbaar foutenpercentage als mensen, maar het soort fouten dat het maakt, is nogal verschillend.

De meest voorkomende fout die Microsoft-machine maakt, is het verwarren van de backchannel-geluiden uh en uh-huh . Daarentegen maken mensen die fout zelden en hebben ze de neiging om woorden als: naar en de of uh en naar .

Er is geen principiële reden waarom een ​​machine niet kan worden getraind om backchannel-geluiden te herkennen. Zweig en co denken dat de moeilijkheid die de machine hiermee heeft waarschijnlijk te maken heeft met de manier waarop deze geluiden worden gelabeld in de trainingsdataset. De relatief slechte prestaties van het automatische systeem hier kunnen eenvoudigweg te wijten zijn aan verwarring in de annotaties van trainingsgegevens, zeggen ze.

Over het algemeen komt de machine echter overeen met het menselijke foutenpercentage van 5,9 procent voor de gesprekken over een toegewezen onderwerp, maar presteert het beter dan mensen bij het transcriberen van vriend- en familiegesprekken met een foutenpercentage van 11,1 procent. Voor het eerst rapporteren we automatische herkenningsprestaties die vergelijkbaar zijn met menselijke prestaties bij deze taak, zeggen Zweig en co.

Dat is interessant werk. Microsoft heeft misschien de doelpalen verplaatst bij het vastleggen van deze overwinning voor zijn machines, maar het schrijven is duidelijk aan de muur. Machines worden beter dan mensen in spraakherkenning. Dit zal aanzienlijke gevolgen hebben voor de manier waarop we omgaan met machines, niet in de laatste plaats als het gaat om het bestellen van ijs.

Referentie: arxiv.org/abs/1610.05256 : Menselijke gelijkheid bereiken in spraakherkenning in gesprekken

zich verstoppen