211service.com
Zoekopdracht openen voor semantische nieuwkomers
Zelfs als je een geweldig idee hebt voor een nieuwe zoekmachine, is het verre van eenvoudig om het van de grond te krijgen. Om te beginnen zit het beste technische talent bij grote bedrijven. Nog belangrijker, volgens sommige schattingen kost het honderden miljoenen dollars om de servers te kopen en te onderhouden die nodig zijn om het web in zijn geheel te indexeren.
Yahoo heeft echter onlangs een hulpmiddel uitgebracht dat hoop kan bieden aan zoekende innovators en ondernemers. Het wordt Build Your Own Search Service (BOSS) genoemd en stelt programmeurs in staat gebruik te maken van Yahoo's index van het web - miljarden pagina's die voortdurend worden bijgewerkt - waardoor misschien wel de grootste belemmering voor zoekinnovatie wordt weggenomen. Door zijn index open te stellen voor duizenden onafhankelijke programmeurs en ondernemers, hoopt Yahoo dat BOSS projecten op gang zal brengen waarvoor het de tijd, het geld en de middelen mist om zichzelf uit te vinden. Prabhakar Raghavan , hoofd van Yahoo Research en een consultingprofessor aan de Stanford University, zegt dat dit mogelijk betere manieren zijn om video's of afbeeldingen te doorzoeken, tools die sociale netwerken gebruiken om zoekresultaten te rangschikken, of een semantische zoekmachine die probeert de inhoud van webpagina's te begrijpen, in plaats van alleen een verzameling trefwoorden en links.
We proberen de barrières voor innovatie te slechten, zegt Raghavan, hoewel hij toegeeft dat BOSS verre van een altruïstische onderneming is. Als een nieuwe zoekmachine die is gebouwd met de index van Yahoo populair en mogelijk winstgevend wordt, behoudt Yahoo zich het recht voor om advertenties naast de resultaten te plaatsen.
Tot nu toe is geen enkele BOSS-aangedreven site zo succesvol geworden. Maar een aantal startups beginnen hun diensten bovenop BOSS te bouwen, en met name Semantic Web-bedrijven profiteren van het platform. Deze bedrijven ontwikkelen software om concepten en betekenissen te verwerken om zo informatie op het web beter te organiseren.
Bijvoorbeeld, Hakia , een bedrijf gevestigd in New York, begon in 2004 met het bouwen van een semantische zoekmachine. De algoritmen gebruiken een database van concepten (mensen, plaatsen, objecten en meer) om concepten in documenten te begrijpen. Hakia maakt ook kaarten die verschillende documenten aan elkaar koppelen, zoals webpagina's, op basis van deze concepten om hun relevantie voor elkaar te begrijpen. Riza Berkan, CEO van het bedrijf, zegt dat het focussen op de betekenis van pagina's, in plaats van alleen op de links ertussen, relevantere zoekresultaten zou kunnen opleveren en mensen zou kunnen helpen inhoud te vinden waarvan ze niet eens wisten dat ze ernaar op zoek waren.
Om dit goed te doen, moet Hakia echter toegang hebben tot zoveel mogelijk webpagina's, en dit is waar BOSS van pas komt. Voor een bepaalde zoekopdracht gebruikt Hakia Yahoo's BOSS-index om een reeks relevante resultaten te bepalen. De software van Hakia bepaalt vervolgens of deze pagina's al zijn geanalyseerd door de semantische software van het bedrijf. Als dat niet het geval is, worden ze verwerkt en worden de resultaten opgeslagen op de servers van Hakia. We crawlen het web toch, zegt Berkan. Maar zonder de index van Yahoo zouden we achterlopen op de sites waar mensen tegenwoordig naar zoeken. En hoe meer populaire pagina's Hakia scant, hoe beter de index zal zijn.
Een andere semantische startup, genaamd Cluuz , uit Ontario, Canada, pakt het iets anders aan. Wanneer een gebruiker zoekt met Cluuz, ziet ze Yahoo BOSS-resultaten, maar deze zijn opnieuw gerangschikt volgens de eigen semantische zoektechnologie van de startup. Als je een zoekopdracht doet, zegt Alex Zivkovic, CTO van Cluuz, geven we die door aan Yahoo BOSS, en we krijgen een lijst met resultaten terug ... Voor elk van die pagina's analyseert de Cluuz-engine de inhoud, extraheert entiteiten - mensen, bedrijven, telefoonnummers en dat soort dingen. Deze concepten, legt hij uit, worden vervolgens vergeleken met de concepten op andere pagina's, en de concepten die het vaakst voorkomen, worden als het meest relevant beschouwd.
In plaats van te kijken naar pagina's die worden gelinkt op basis van de fysieke links, kijken we ernaar in termen van het al dan niet praten over dezelfde concepten, zegt Zivkovic. Dit leidt tot een andere gebruikerservaring, voegt hij eraan toe. Termen die relevant zijn voor een zoekopdracht worden bijvoorbeeld van internet gehaald en aan de rechterkant van de resultatenpagina gemarkeerd. Een zoekopdracht naar Kate Greene levert onmiddellijk mijn e-mailadres op op Technologie beoordeling , de universiteit die ik heb bezocht en een aantal mensen die ik heb geïnterviewd voor eerdere verhalen. Daarnaast biedt Cluuz andere tools waarmee de verbanden en relaties tussen verschillende semantische concepten eenvoudig kunnen worden gevisualiseerd.
Zelfs met de kracht van Yahoo's index achter een bedrijf, is er geen garantie dat Hakia of Cluuz een succes zullen worden. Maar als ze van de grond komen, kan het Yahoo, dat nog steeds ver achterloopt op Google in termen van populariteit, helpen om de voorsprong te herwinnen. De onderliggende filosofie [met BOSS] is dat we niet alles alleen kunnen uitvinden, zegt Raghavan. We moeten innovatie dus faciliteren.