211service.com
Betekenis halen uit miljoenen pagina's
Onderzoekers van de Universiteit van Washington hebben een software-engine ontwikkeld die feiten verzamelt door meer dan 500 miljoen webpagina's te doorzoeken. De tool haalt informatie uit miljarden regels tekst door basisrelaties tussen woorden te analyseren.
Woorden zoeken : TextRunner doorzoekt automatisch 500 miljoen webpagina's om betekenis uit woordrelaties te halen.
Sommige experts zeggen dat dit soort geautomatiseerde informatie-extractie waarschijnlijk de basis zal vormen voor een veel intelligentere volgende generatie webzoekopdracht, waarbij eerst stukjes informatie worden verzameld en vervolgens intelligent worden gecombineerd.
Het project van de Universiteit van Washington vertegenwoordigt een opschaling van een bestaande technologie die daar is ontwikkeld, TextRunner genaamd, in termen van zowel het aantal pagina's als de reikwijdte van onderwerpen die het kan analyseren.
Het belang van TextRunner is dat het schaalbaar is omdat er geen toezicht op is, zegt Peter Norvig, onderzoeksdirecteur bij Google, dat de database met webpagina's schonk die TextRunner analyseert. Het kan miljoenen relaties ontdekken en leren, niet slechts één tegelijk. Met TextRunner is er geen mens in de lus: het vindt alleen relaties.
Norvig legt uit dat eerdere technologieën meer begeleiding van de programmeur vereisten. Als u bijvoorbeeld de namen wilt vinden van mensen die CEO zijn in miljoenen documenten, moet u de software eerst trainen met andere voorbeelden, zoals Steve Jobs is CEO van Apple, Sheryl Sandberg is CEO van Facebook. Norvig voegt eraan toe dat Google aan het doen is soortgelijk werk en gebruikt dergelijke technologie al in beperkte contexten.
TextRunner rekent af met die handenarbeid. Een gebruiker kan bijvoorbeeld doodt bacteriën invoeren, en de engine zal pagina's bedenken die het inzicht bieden dat chloor bacteriën doodt of ultraviolet licht bacteriën doodt of hitte bacteriën doodt - resultaten die triples worden genoemd - en manieren bieden om een voorbeeld van de tekst en ga dan naar de webpagina waar het vandaan komt.
Het prototype heeft nog een vrij eenvoudige interface en is niet zozeer bedoeld voor openbare zoekopdrachten als wel om de geautomatiseerde extractie van informatie van 500 miljoen webpagina's aan te tonen, zegt Oren Etzioni , een computerwetenschapper van de Universiteit van Washington die het project leidt. Wat we laten zien, is het vermogen van software om rudimentair tekstbegrip te bereiken op een ongekende schaal en reikwijdte, zegt hij.
Etizioni zegt dat TextRunners vermogen om snel en op grote schaal betekenis te extraheren voortkwam uit de ontdekking van een algemeen model voor hoe relaties in het Engels worden uitgedrukt, dat ongeacht het onderwerp geldt. Het eenvoudige patroon 'entity1, verb, entity2' omvat bijvoorbeeld de relatie 'Edison heeft de gloeilamp uitgevonden', evenals 'Microsoft heeft Farecast overgenomen' en nog veel meer, zegt hij. TextRunner vertrouwt op dit model, dat automatisch wordt geleerd van tekst, om zinnen te analyseren en triples met hoge nauwkeurigheid te extraheren.
TextRunner dient ook als startpunt voor het maken van conclusies uit natuurlijke taalvragen, waar de groep nu aan werkt. Om een eenvoudig voorbeeld te geven: als TextRunner een webpagina vindt die zegt dat zoogdieren warmbloedig zijn en een andere webpagina die zegt dat honden zoogdieren zijn, zal een inferentie-engine de informatie produceren dat honden waarschijnlijk warmbloedig zijn.
Dit is analoog aan de technologie die is ontwikkeld door Powerset, dat vorig jaar door Microsoft is overgenomen. Kort voor deze overname onthulde Powerset een tool die beperkt was tot het extraheren van feiten uit slechts ongeveer twee miljoen Wikipedia Pagina's. De TextRunner-technologie verwerkt Wikipedia-pagina's plus willekeurige tekst op elke pagina, inclusief blogposts, productcatalogi, krantenartikelen en meer.
Dit werk heeft belangrijke vooruitgang geboekt in de schaal waarop deze taken kunnen worden benaderd, zegt Jon Kleinberg, een computerwetenschapper aan de Cornell University die het zoekonderzoek van de University of Washington heeft gevolgd. Hij voegde eraan toe dat dit werk een groeiende trend weerspiegelt in de richting van het ontwerp van zoekhulpmiddelen die de stukjes informatie die ze op het web vinden actief combineren tot een grotere synthese.