211service.com
Videocolleges zoeken
Onderzoekers van MIT hebben een zoekhulpmiddel voor video en audio uitgebracht dat een van de meest uitdagende problemen in het veld oplost: hoe een lange academische lezing op te splitsen in hanteerbare stukken, de locatie van trefwoorden te bepalen en de gebruiker ernaartoe te leiden. Vorige maand aangekondigd, heeft de MIT Lezingenbrowser website geeft het grote publiek gedetailleerde toegang tot meer dan 200 lezingen die openbaar beschikbaar zijn via de universiteit OpenCourseWare initiatief. De zoekmachine maakt gebruik van tientallen jaren aan spraakherkenningsonderzoek aan het MIT en andere instellingen om audio in tekst om te zetten en doorzoekbaar te maken.
Lezingen bekijken: MIT biedt een video-zoektool aan die trefwoorden kan lokaliseren in audio- en videocolleges. Hier resulteert een zoektocht naar exoskelet en benzine in deze videoclip. Het geautomatiseerde transcript van de lezing verschijnt onder de video.
De Lecture Browser komt op een moment dat steeds meer universiteiten, waaronder de Carnegie Mellon University en de University of California, Berkeley, video's en podcasts van lezingen online plaatsen. Hoewel deze inhoud nuttig is, kan het moeilijk zijn om specifieke informatie in colleges te vinden, en dat frustreert studenten die gewend zijn om met Google in minder dan een seconde te vinden wat ze nodig hebben.
Dit is een groeiend probleem voor universiteiten in het hele land, omdat het gemakkelijker wordt om klassikale lezingen op te nemen, zegt Jim Glas, onderzoekswetenschapper aan het MIT. Het is een hele uitdaging om te weten hoe ze te verspreiden en het voor studenten gemakkelijker te maken om toegang te krijgen tot delen van de lezing waarin ze mogelijk geïnteresseerd zijn. Het is als het vinden van een speld in een hooiberg.
De fundamentele elementen van de Lecture Browser zijn in onderzoekslaboratoria aan het MIT en plaatsen zoals: BBN Technologies in Boston, Carnegie Mellon, SRI Internationaal in Palo Alto, CA, en de University of Southern California voor meer dan 30 jaar. Hun inspanningen hebben software opgeleverd die eindelijk goed genoeg is om zijn weg naar de gemiddelde persoon te vinden, zegt Premkumar Natarajan, wetenschapper bij BBN. Er is ongeveer drie decennia werk waarbij veel fundamentele problemen zijn aangepakt, zegt hij. De technologie is volwassen genoeg nu er in de gemeenschap een groeiend gevoel is dat het tijd is [toepassingen in de echte wereld te testen]. We hebben alles gedaan wat we konden in het lab.
Een handvol bedrijven, zoals online audio- en videozoekmachines Blinkx en EveryZing (die een licentie heeft voor technologie van BBN) maken gebruik van software die audiospraak omzet in doorzoekbare tekst. (Zie Surfen op tv op internet en nauwkeuriger zoeken naar video's.) Maar de MIT-onderzoekers stonden voor bijzondere uitdagingen met academische lezingen. Ten eerste zijn veel docenten geen moedertaalsprekers van het Engels, wat automatische transcriptie lastig maakt voor systemen die zijn getraind op Amerikaans-Engelse accenten. Ten tweede kunnen de woorden die de voorkeur genieten in wetenschappelijke lezingen nogal obscuur zijn. Eindelijk, zegt Regina Barzilay , hoogleraar computerwetenschappen aan het MIT, hebben lezingen weinig waarneembare structuur, waardoor ze moeilijk op te splitsen en te organiseren zijn om ze gemakkelijk te kunnen doorzoeken. Actuele overgangen zijn heel subtiel, zegt ze. Lezingen zijn niet georganiseerd zoals normale tekst.
Om deze problemen aan te pakken, hebben de onderzoekers eerst de software geconfigureerd die de audio naar tekst converteert. Ze trainden de software om bepaalde accenten te begrijpen met behulp van nauwkeurige transcripties van korte fragmenten van opgenomen spraak. Om de software te helpen ongebruikelijke woorden te identificeren - alles van drosophila tot integralen met gesloten lus - hebben de onderzoekers aanvullende gegevens verstrekt, zoals tekst uit boeken en collegeaantekeningen, die de software helpen bij het nauwkeurig transcriberen van maar liefst vier van de vijf woorden. Als het systeem wordt gebruikt met een niet-Engelse spreker wiens accent en woordenschat het niet is getraind om te herkennen, kan de nauwkeurigheid dalen tot 50 procent. (Zo'n lage nauwkeurigheid zou niet handig zijn voor directe transcriptie, maar kan nog steeds nuttig zijn voor zoekopdrachten op trefwoorden.)
De volgende stap, legt Barzilay uit, is om structuur toe te voegen aan de getranscribeerde woorden. Er was al software beschikbaar die lange reeksen zinnen kon opsplitsen in concepten op hoog niveau, maar ze ontdekte dat het bij de colleges niet werkte. Dus ontwierp haar groep zijn eigen. Een van de belangrijkste verschillen, zegt ze, is dat je tijdens een lezing vrijuit spreekt; je dwaalt en mompelt.
Om de getranscribeerde tekst te ordenen, maakte haar groep software die de tekst opdeelt in stukken die vaak overeenkomen met individuele zinnen. De software plaatst deze chunks in een netwerkstructuur; brokken die vergelijkbare woorden hebben of in de tijd dicht bij elkaar zijn gesproken, worden dichter bij elkaar in het netwerk geplaatst. Door de relatieve afstand van de chunks in het netwerk kan de software bepalen welke zinnen bij elk (sub)onderwerp in de lezing horen.
Het resultaat, zegt ze, is een coherente transcriptie. Wanneer een persoon naar een trefwoord zoekt, biedt de browser resultaten in de vorm van een video- of audiotijdlijn die is opgedeeld in secties. Het gedeelte van de lezing dat het trefwoord bevat, wordt gemarkeerd; eronder zijn tekstfragmenten die elke instantie van het zoekwoord omringen. Wanneer een video wordt afgespeeld, toont de browser de getranscribeerde tekst eronder.
Barzilay zegt dat de browser momenteel gemiddeld 21.000 hits per dag ontvangt, en hoewel het populair blijkt te zijn, is er nog werk aan de winkel. Binnen de komende maanden zal haar team een functie toevoegen die automatisch een tekstoverzicht aan lezingen toevoegt, zodat gebruikers naar een gewenst gedeelte kunnen springen. Verderop zullen de onderzoekers gebruikers de mogelijkheid geven om correcties aan te brengen in het transcript op dezelfde manier waarop mensen bijdragen Wikipedia. Hoewel dergelijke verbeteringen eenvoudig lijken, brengen ze technische uitdagingen met zich mee, zegt Barzilay. Het is geen triviale kwestie, want je wilt een interface die niet vervelend is, en je moet de correctie door de hele lezing en naar andere lezingen verspreiden. Ze zegt dat het door mensen in de transcriptielus te brengen de nauwkeurigheid van het systeem met een paar procentpunten kan verbeteren, waardoor de gebruikerservaring nog beter wordt.