211service.com
Baidu's Deep Learning-systeem wedijvert met mensen op het gebied van spraakherkenning
China's toonaangevende internetzoekbedrijf, Baidu, heeft een spraaksysteem ontwikkeld dat in sommige gevallen Engelse en Mandarijnse spraak beter kan herkennen dan mensen.
Het nieuwe systeem, genaamd Diepe spraak 2 , is vooral belangrijk omdat het volledig afhankelijk is van machine learning voor vertaling. Terwijl oudere spraakherkenningssystemen veel handgemaakte componenten bevatten om audioverwerking en transcriptie te vergemakkelijken, leerde het Baidu-systeem woorden vanaf het begin te herkennen, simpelweg door naar duizenden uren getranscribeerde audio te luisteren.
De technologie is gebaseerd op een krachtige techniek die bekend staat als deep learning, waarbij een zeer groot, meerlagig virtueel netwerk van neuronen wordt getraind om patronen in enorme hoeveelheden gegevens te herkennen. Met de Baidu-app voor smartphones kunnen gebruikers met spraak zoeken en bevat ook een spraakgestuurde persoonlijke assistent genaamd Duer (zie Baidu's Duer sluit zich aan bij de Personal Assistant Party). Gesproken zoekopdrachten zijn populairder in China omdat het meer tijd kost om tekst in te voeren en omdat sommige mensen niet weten hoe ze Pinyin moeten gebruiken, het fonetische systeem voor het transcriberen van het Mandarijn met Latijnse karakters.
Historisch gezien beschouwden mensen Chinees en Engels als twee totaal verschillende talen, en daarom was het nodig om heel verschillende functies te ontwerpen, zegt Andrew Ng, een voormalig Stanford-professor en Google-onderzoeker, en nu hoofdwetenschapper voor het Chinese bedrijf. De leeralgoritmen zijn nu zo algemeen dat je gewoon kunt leren.
Deep learning vindt zijn oorsprong in ideeën die meer dan 50 jaar geleden voor het eerst werden ontwikkeld, maar in de afgelopen jaren hebben nieuwe wiskundige technieken, in combinatie met meer computerkracht en enorme hoeveelheden trainingsgegevens, geleid tot opmerkelijke vooruitgang, vooral bij taken waarvoor een soort van van visuele of auditieve waarneming. De techniek heeft de prestaties van spraakherkenning en beeldverwerking al verbeterd, en grote bedrijven zoals Google, Facebook en Baidu passen het toe op de enorme datasets die ze bezitten.
Deep learning wordt ook toegepast voor steeds meer taken. Facebook gebruikt bijvoorbeeld deep learning om gezichten te vinden in de afbeeldingen die gebruikers uploaden. En meer recentelijk heeft het vooruitgang geboekt bij het gebruik van deep learning om geschreven tekst te ontleden (zie Leermachines om ons te begrijpen). Google gebruikt deep learning inmiddels in meer dan 100 verschillende projecten, van zoeken tot zelfrijdende auto's.
In 2013 opende Baidu zijn eigen inspanningen om deze nieuwe technologie te benutten, de Instituut voor diep leren , gelokaliseerd op het hoofdkantoor van het bedrijf in Peking en in Silicon Valley. Deep Speech 2 is voornamelijk ontwikkeld door een team in Californië.
Bij de ontwikkeling van Deep Speech 2 creëerde Baidu ook een nieuwe hardware-architectuur voor deep learning die zeven keer sneller werkt dan de vorige versie. Deep learning is meestal afhankelijk van grafische processors, omdat deze goed zijn voor de intensieve parallelle berekeningen.
De bereikte snelheid stelde ons in staat om op veel grotere schaal te experimenteren dan mensen eerder hadden bereikt, zegt Jesse Engel , een onderzoekswetenschapper bij Baidu en een van de meer dan 30 onderzoekers genoemd in een paper die Deep Speech 2 beschrijft. We waren in staat om veel [neurale netwerk]-architecturen te doorzoeken en het woordfoutpercentage met 40 procent te verminderen.
Ng voegt eraan toe dat dit onlangs enkele indrukwekkende resultaten heeft opgeleverd. Voor korte zinnen, uit hun verband, lijken we de menselijke herkenningsniveaus te overtreffen, zegt hij.
Hij voegt eraan toe: In het Mandarijn zijn er veel regionale dialecten die door veel kleinere bevolkingsgroepen worden gesproken, dus er zijn veel minder gegevens. Dit zou ons kunnen helpen de dialecten beter te herkennen.