211service.com
Zoek verder dan Google
Als medewerkers bij Google bezorgd zijn over de toekomst, zou je dat niet weten van een bezoek aan het hoofdkantoor van het bedrijf. Sinds afgelopen herfst, toen investeerders aan het kwijlen waren bij het praten over een beursintroductie, werd de organisatie ongewoon kritisch bekeken: sommige waarnemers noemden het het populairste bedrijf ter wereld, terwijl anderen beweren dat het een bedrijf is in een wanorde zonder leiders, met concurrenten die zich verdringen en grote klanten op het punt van overlopen. Maar het Google-complex in Mountain View, CA, is uiterlijk net zo zorgeloos als elke universiteitscampus. De hoofdlobby is een studie in shagadelic kitsch, met een babyvleugel, een draaiende feestverlichting en een rij neon-heldere lavalampen gerangschikt in dezelfde blauw-rood-geel-blauw-groen-rode volgorde als de bekende van het bedrijf. logo. De cafetaria pulseert met rockmuziek, geschreeuwde gesprekken en de geluiden van geeks die gratis gastronomisch eten slurpen. Boven, in de ligboxenboerderijen, kletsen programmeurs over looppaden bezaaid met speelgoed, Segway-transporters en af en toe een hond.
Pas als ik in een stille vergaderruimte zit met Google-directeur technologie Craig Silverstein, wordt de duizelingwekkende dotcom-stemming serieuzer. Nu bedrijven als Google en internetadvertentiebureau Overture hebben aangetoond dat het weergeven van betaalde advertenties naast de resultaten op een zoekpagina echt geld oplevert - wat bijdraagt aan een geschatte omzet van 2 miljard dollar in 2003 - investeert een stel wannabes in zoeksoftware waarvan ze zeggen dat het gebruikers sneller relevantere resultaten zal geven dan die van Google. Ik vraag Silverstein of Google's beroemde focus op betere technologie al die concurrentie voor zal blijven. Zijn antwoord is omzichtig.
Het is heel gemakkelijk om van de ene zoekmachine naar een betere te gaan, zegt hij. Google betaalt honderden onderzoekers en softwareontwikkelaars, waaronder meer dan 60 PhD's, om de frontlinies in deze technologieoorlog te bemannen, legt Silverstein uit, die zelf met langdurig verlof is van zijn doctoraatsstudie in computerwetenschappen aan de Stanford University. Maar hij erkent dat dat geen garantie is voor de overwinning. We hopen dat de volgende doorbraak van Google komt, maar wie weet?
Wie weet, inderdaad? Volgens Reston, het in VA gevestigde onderzoeksbureau comScore, heeft Google een grote voorsprong op zijn rivalen in het Amerikaanse kijkcijfer, goed voor 77 procent van alle zoekopdrachten in augustus 2003 (inclusief zoekopdrachten uitgevoerd bij AOL en Yahoo!, die de Google-zoekmachine gebruikten). ). Maar in de zoekindustrie is innovatie een wildcard. In 1999 had je kunnen zeggen dat AltaVista de zoekmarkt zo goed als klaar had, zegt Whit Andrews, onderzoeksdirecteur bij technologisch adviesbureau Gartner. In 1997 was dat Inktomi. In 1995 was het Yahoo!. Je weet nooit in de zoekbusiness wanneer er iemand in de straat is die je eruit zal laten zien als het nieuws van gisteren.
Google is kwetsbaar, deels omdat het weinig van de infrastructurele voordelen heeft, zoals AT&T's ooit exclusieve eigendom van het grootste deel van het telefoonnetwerk of Microsoft's controle over pc-besturingssystemen, die doorgaans helpen om dominantie te bestendigen. (Inderdaad, persberichten in januari gaven aan dat Yahoo! binnenkort zijn relatie met Google zou kunnen beëindigen en zijn eigen zoektechnologie zou gaan gebruiken.) En de claim van het bedrijf op roem - het vermogen van zijn zoekalgoritmen om de meest relevante resultaten te vinden, op basis van hun populariteit - kan oud worden. Toen Google voor het eerst werd gelanceerd, hadden ze een aantal nieuwe trucs waar nog niemand eerder aan had gedacht, zegt Doug Cutting, een onafhankelijke softwareconsulent die een deel van de kerntechnologie achter zoekmachine Excite schreef en zoekhulpmiddelen heeft ontworpen voor Apple Macintosh-computers. Maar tal van andere zoekmachines bieden nu intrigerende alternatieven voor de technieken van Google, meent Cutting.
Er is bijvoorbeeld Teoma, dat resultaten rangschikt op basis van hun positie onder erkende autoriteiten over een onderwerp, en de Australische startup Mooter, die het gedrag van gebruikers bestudeert om beter te begrijpen wat ze zoeken. En dan is er nog de gorilla uit Redmond: Microsoft wendt zich tot zoeken als een van zijn volgende grote zakelijke kansen. De onderzoekers bedenken een nieuw besturingssysteem dat Google-achtige zoekfuncties combineert met alle Windows-programma's, evenals software die het web afspeurt naar definitieve antwoorden op vragen die u in alledaags Engels stelt. Ondertussen, Yahoo! lanceerde in januari zijn eigen onderzoekslaboratorium en Cutting zelf bouwt een open-source alternatief voor Google. Tegenwoordig, zegt hij, ben ik er niet van overtuigd dat [Google] duidelijk beter is.
Welke technologie de websurfers van morgen ook aanspreekt, de bouwer ervan zal enorme invloed en mooie winsten behalen. Elke dag worden er wereldwijd zo'n 550 miljoen zoekopdrachten ingevoerd (waarvan 245 miljoen in de Verenigde Staten). Volgens Piper Jaffray-analist Safa Rashtchy zullen tegen 2007 de inkomsten uit advertenties met betaalde plaatsing die door al deze zoekopdrachten worden gegenereerd, ongeveer $ 7 miljard bedragen. Toch blijkt uit enquêtes dat bijna een kwart van de gebruikers niet vindt wat ze zoeken in de eerste reeks links die door een zoekmachine worden geretourneerd. Dat komt deels omdat de kostbare naalden van informatie die we zoeken, begraven liggen onder een hooiberg die elke dag met zo'n 60 terabyte groeit. En dat is de reden waarom de meedogenloze concurrentie in de zoekindustrie zeker zal voortduren, vooral omdat zoekbedrijven een groot aantal geavanceerde technologieën introduceren, zoals natuurlijke taalverwerking en machine learning. In de komende vijf tot tien jaar, zegt Rashtchy, zouden we enorme verbeteringen kunnen zien die zorgen voor een grotere relevantie en gebruik. En het is de concurrentie om die verbeteringen te leveren - veel meer dan het succes of falen van de geruchten IPO van Google, die door velen naar verwachting dit voorjaar zal plaatsvinden - die waarschijnlijk zal bepalen hoe we over een paar jaar op het web zullen navigeren.
Positie trekken
Het web is van nature chaotisch en gedecentraliseerd en schreeuwt om hulpmiddelen om mensen te helpen documenten op te sporen, waar ze zich ook bevinden. Stel dat u informatie wilt over behandelingen voor scheurbuik in de 18e eeuw: zonder een zoekmachine weet u niet dat de gegevens die u nodig hebt alleen worden opgeslagen op plaatsen zoals een cryptisch genoemd bestand ( www.jameslindlibrary.org/trial_records/17th_18th_ Century/lind/lind_kp.html) op een server in de bibliotheek van het Royal College of Physicians in Edinburgh, Schotland.
Wanneer u echter scheurbuik typt in een zoekvak op Google of MSN of Ask Jeeves, raakt u nog steeds niet het eigenlijke bestand aan op het Royal College. Je bladert alleen door de index van het web van het zoekbedrijf - een enorme lijst samengesteld door softwarespiders die elke seconde duizenden pagina's doorzoeken, trefwoorden, woordgroepen, titels en ondertitels, links en andere beschrijvende informatie kopiëren. Zodra een informatiefragment in de index terechtkomt, wordt het meestal gecomprimeerd, een gewicht of belangrijkheid toegekend en opgeslagen in een database zodat het snel kan worden opgehaald. De zoektermen die u invoert, worden vergeleken met deze index en links naar pagina's die een of meer van uw termen bevatten, worden weergegeven in volgorde van relevantie.
Hoe een zoekmachine die relevantie bepaalt, is de geheime saus. Google schoot in 1999 naar bekendheid, grotendeels dankzij PageRank, een algoritme dat werd uitgevonden door de oprichters Larry Page en Sergey Brin en dat als eerste profiteerde van de massale onderlinge koppeling van webpagina's. Elke link is in feite een stem van de auteur van een pagina voor de inhoud van een andere. Page en Brin realiseerden zich dat als hun index groot genoeg was, ze het belang van een pagina zouden kunnen beoordelen door het aantal andere pagina's te tellen die ernaar gelinkt waren. Ze hielden ook rekening met andere factoren, zoals de relevantie van de tekst rond de links en de eigen populariteit van de linkende pagina's. Maar hun baanbrekende inzicht was dat het web een gigantische populariteitswedstrijd is en dat de meest geciteerde pagina's waarschijnlijk het nuttigst zullen zijn. De techniek werkte duivels goed en internetgebruikers stemden met hun klikken. Tussen juni 2000 en januari 2004 zakte de voormalige tophond AltaVista, die de resultaten grotendeels rangschikte op basis van het aantal keren dat een pagina de zoekwoorden van de gebruiker noemde, van de achtste plaats in de algemene ranglijst van webverkeer naar de 61e plaats, terwijl Google van bijna onzichtbaar naar vierde plaats, blijkt uit gegevens van onderzoeksbureaus Media Metrix en Alexa. Google heeft het web zo doordrongen dat de naam ervan door de American Dialect Society werd gekozen als het meest bruikbare nieuwe woord van 2002.
Ondanks de voordelen heeft PageRank een paar tekortkomingen. Net zoals eerdere zoekmachines voor de gek konden worden gehouden door pagina's vol met duizenden trefwoorden in onzichtbaar wit-op-wit type, kan een gewetenloze site-eigenaar die wil dat zijn webadres hoger in de zoekresultaten van Google verschijnt gemakkelijk duizenden of zelfs miljoenen ongewenste pagina's publiceren die links naar zijn site bevatten, waardoor de positie kunstmatig wordt verhoogd. (Google zegt manieren te hebben om dergelijke aanvallen tegen te gaan, maar zal ze niet bespreken.) Dezelfde maas in de PageRank maakt Google-bombardementen mogelijk - een recent fenomeen waarbij bloggers een humoristisch of politiek punt maken door zoveel links naar een bepaalde site te maken dat het komt als eerste naar voren wanneer gebruikers een specifieke term in het zoekvak van Google typen. Google-bommenwerpers die protesteerden tegen de oorlog in Irak, slaagden er bijvoorbeeld in om de biografie van het Witte Huis van George W. Bush op de eerste plaats te zetten onder een ellendige mislukking.
Meer hinderlijk voor sommige critici is echter de obsessie van PageRank met roem. Een legitieme pagina die perfect overeenkomt met de zoektermen van een Google-gebruiker, kan in de zoekresultaten terechtkomen, simpelweg omdat er niet genoeg andere pagina's naar verwijzen, merkt Daniel Brandt op, een webontwikkelaar die een kritieke site met de naam Google Watch beheert. De relevantie van een pagina voor een individuele gebruiker, stellen Brandt en andere critici, kan afhankelijk zijn van meer dan de populariteit ervan. Alleen omdat de rest van de planeet denkt dat dit de nummer één reissite is, wil nog niet zeggen dat het de nummer één reissite voor jou is, zegt Liesl Capper, oprichter en CEO van de in Sydney gevestigde parvenu Mooter, die denkt dat ze misschien een betere manier.
Een stempel drukken op zoekresultaten
Voer dezelfde zoekterm in tien verschillende zoekmachines in en u krijgt waarschijnlijk tien tegenstrijdige resultatenreeksen. Dat komt deels omdat de spiders van de zoekbedrijven verschillende subsets van het web doorzoeken; maar wat nog belangrijker is, het is een weerspiegeling van de unieke principes die aan het werk zijn in de rangschikkingsalgoritmen van elk bedrijf. Zo gaan drie zoekmachines om met de term postzegel verzamelen .
| Vraag het aan Jeeves/Teoma | Mooter | ||
| een. | Amerikaanse Filatelistische Vereniging | Munten en postzegels verzamelen (Over.com) | Stempel link -Filatelie, de beste site voor het verzamelen van postzegels in zijn categorie |
| twee. | Joseph Lufts filatelistische bronnen op internet | Joseph Lufts filatelistische bronnen op internet | Warragul Filatelistische Vereniging (Postzegels verzamelen) |
| 3. | Linns.com : De website van 's werelds grootste wekelijkse postzegelkrant - Linn's Stamp News | Amerikaanse Filatelistische Vereniging | Postgeschiedenis , filatelistische omslagen en postzegels te koop |
| Vier. | Stempel link -Filatelie, de beste site voor het verzamelen van postzegels in zijn categorie | BNAPS Postzegels verzamelen voor kinderen | Filatelistische Vereniging van Groot-Brittannië |
| 5. | Filatelistische.Com | Linns.com : De website van 's werelds grootste wekelijkse postzegelkrant - Linn's Stamp News | Postzegels verzamelen, filatelie, postzegelveiling |
| De best gerangschikte pagina heeft de hoogste autoriteit - in wezen de meeste links - onder gemeenschappen van websites over het verzamelen van postzegels. Het wordt gevalideerd door verwijzingen van bronpagina's (linkverzamelingen van experts en enthousiastelingen - in dit geval postzegelverzamelaars) en linkpopulariteitsmetingen vergelijkbaar met die van Google. De runner-up, Joseph Luft's Philatelic Resources, heeft steeds minder gekwalificeerde verwijzingen van experts op dit gebied. | Google-functionarissen zullen niet bespreken hoe de Google-engine tot ranglijsten voor specifieke sites komt. Octrooidocumenten en gepubliceerde artikelen laten echter zien dat Google pagina's rangschikt op basis van hoe vaak andere pagina's ernaar verwijzen. Google houdt ook rekening met factoren als de relevantie van de verwijzende pagina's en de tekst rond de links. Vermoedelijk verzamelzegels. about.com is de meest geciteerde pagina over dit onderwerp in de index van Google. | Mooter groepeert resultaten eerst in clusters of thema's. De hierboven getoonde pagina's verschijnen in de filatelistische cluster, gerangschikt op onder andere hoe vaak de zoekwoorden en de clusternaam op elke pagina voorkomen. Mooter leert de intentie van de gebruiker door op te merken op welke clusters en pagina's wordt geklikt, en rangschikt de resultaten om het schijnbare interessepatroon weer te geven. |
Bronnen: Ask Jeeves, Google, Mooter. Resultaten actueel op 5 januari 2004 (Ask Jeeves, Google), 13 januari 2004 (Mooter).
Een explosie van ideeën
Ik lunch met Capper op een schitterende vroege winterdag in San Francisco. Ze is in de stad om potentiële investeerders en klanten te bezoeken. Mensen die de informatiestroom beheersen, hebben een subtiele maar doordringende kracht, vertelt ze me ernstig. Iemand moet die macht in handen hebben, en het is belangrijk dat de mensen die dat wel doen degenen zijn die bewust proberen een positieve impact te hebben, en die macht teruggeven aan het individu. Mooter wil dat doen door zoekopdrachten op het web gemakkelijker en persoonlijker te maken. Capper groeide op in Zambia, studeerde psychologie in Zuid-Afrika en richtte een keten van ontwikkelingscentra voor jonge kinderen op voordat ze in 1997 naar Australië emigreerde en zoektechnologie koos als de plek om haar volgende impact te maken. Ze zette een winkel in het centrum van Sydney en huurde Jondarr Gibb, een ervaren software-architect, en John Zakos, een afgestudeerde student die zijn proefschrift aan de Griffith University schreef over de toepassingen van neurale-netwerktheorie op zoekopdrachten op internet.
De drie hebben hun ideeën over psychologie, software en neurale netwerken gemengd om een rangschikkingsalgoritme te creëren dat van de gebruiker leert naarmate een zoekopdracht vordert. Voordat Mooter een lange lijst met links op een gebruiker dumpt, analyseert Mooter de mogelijke betekenissen en permutaties van de startzoekwoorden en rangschikt achter de schermen de relevantie van de resulterende webpagina's in brede categorieën die clusters worden genoemd. De gebruiker ziet eerst een starburst van clusternamen op het scherm. Een zoekopdracht op de naam Paul Czanne levert bijvoorbeeld clusters op als: kunst, kunstenaars, Czanne, Frankrijk, galerieën , en beroemde schilderijen . Dat is het psychologiegedeelte. Als je een traditionele zoekopdracht uitvoert, krijg je miljoenen resultaten en je geest maakt een conceptuele groepering, zegt Capper. Maar onze geest is vastbesloten om slechts drie tot vijf soorten informatie tegelijk te verwerken. We besloten dat niet te negeren, maar ermee aan de slag te gaan.
Dan komt het leergedeelte. Om een nauwkeuriger begrip te krijgen van waar de gebruiker waarschijnlijk naar op zoek is, noteert de Mooter-engine op welke clusters en links wordt geklikt en gebruikt die informatie om toekomstige reacties te verbeteren. Stel dat een gebruiker de term hond invoert, op een cluster met de naam rassen klikt en vervolgens veel tijd besteedt aan het kijken naar sites over Schnoodles (een populaire Schnauzer-Poodle-mix). Wanneer de gebruiker op een nieuw zoekresultaat klikt, zal Mooter de rangorde personaliseren om dit schijnbare interessepatroon weer te geven, wat er bijvoorbeeld toe kan leiden dat sites over honden plus rassen plus Schnoodles hoger verschijnen. Op elke pagina verschijnt een verfijnde reeks resultaten; de engine blijft de rankings aanpassen op basis van het gedrag van de gebruiker.
Het hele idee is om mensen de gewenste resultaten te geven in zo min mogelijk klikken. Twee klikken en we hebben al een heel goed idee waar je heen gaat, zegt Capper. Toen de bètasite van Mooter afgelopen oktober debuteerde, verwachtte Capper niet dat deze buiten Australië zou worden opgemerkt. Maar het verkeer van over de hele wereld is zo druk geweest, zegt ze, dat het bedrijf meer webservers heeft moeten installeren om de service draaiende te houden.
Besteed veel tijd aan het praten met insiders uit de zoekindustrie en u zult zich realiseren dat er bijna net zoveel manieren zijn om zoekresultaten te rangschikken als er pagina's op internet zijn. De veronderstelde overmatige afhankelijkheid van Google van populariteit was een van de inspiratiebronnen achter Teoma (uitgesproken als tay-o-ma), opgericht in 2000 door computerwetenschapper Apostolos Gerasoulis en collega's van de Rutgers University in New Jersey. De zoeksoftware van Teoma ondersteunt nu Ask Jeeves, de nummer zes zoeksite. Google kijkt naar de structuur van het web, maar die methode gaat niet naar het volgende niveau, zegt Paul Gardi, senior vice-president voor zoeken bij Teoma. Als je naar het lokale niveau gaat, zul je merken dat links zich clusteren rond bepaalde onderwerpen of thema's, net zoals gemeenschappen. Pagina's over woningverbetering linken bijvoorbeeld niet alleen omhoog naar meer populaire pagina's; ze hebben ook de neiging om naar elkaar te linken en vormen kringen rond prominente sites zoals Hometime.com, Homeideas.com en BobVila.com.
De wetenschappers van Rutgers ontwierpen Teoma (Gaelisch voor expert) om die vakspecifieke gemeenschappen te vinden en hun wijsheid te exploiteren. Voordat de Teoma-engine de resultaten voor een bepaalde reeks trefwoorden presenteert, legt Gardi uit, identificeert het de bijbehorende gemeenschappen en zoekt het naar de autoriteiten binnen hen, dat wil zeggen de pagina's waarnaar de websites van leden van de gemeenschap het vaakst verwijzen. Teoma probeert de geloofwaardigheid van deze autoriteitspagina's te verifiëren door te controleren of ze worden vermeld op bronpagina's die zijn gemaakt door vakexperts of enthousiastelingen, die de neiging hebben om naar de beste pagina's binnen de community te linken. Vervolgens rangschikt het de zoekresultaten op basis van hoe vaak elke pagina wordt geciteerd door autoriteitspagina's.
IBM en andere organisaties hebben eind jaren negentig geëxperimenteerd met soortgelijke op gezag gebaseerde rangschikkingssystemen, maar Gerasoulis zegt dat het uren kan duren voordat hun aanpak door alle pagina's heen is geploeterd. De gepatenteerde techniek van Gerasoulis doet hetzelfde in ongeveer een vijfde van een seconde. Ask Jeeves dumpte zijn vorige zoekmachine en stapte in 2001 over op de technologie van Teoma, en het aantal zoekopdrachten steeg in 2002 en 2003 met 30 procent per jaar.
Hoe moeilijk het ook is om te geloven als je naar een dozijn pagina's met zoekresultaten kijkt, de huidige zoekmachines negeren het meeste van wat er op internet te vinden is. Software-spiders hebben moeite met het indexeren van inhoud die is beschermd achter aanmeldingsformulieren of is opgeslagen in databases zoals productcatalogi of juridische en medische archieven en alleen is samengevoegd tot webpagina's op het moment dat gebruikers daarom vragen. Volgens de School of Information Management and Systems van de University of California, Berkeley, kan dit zogenaamde Deep Web oplopen tot 92 petabyte (92 miljoen gigabyte) wereldwijd, of bijna 500 keer het volume van het oppervlakteweb.
Mining the Deep Web is de missie van een ander fris gezicht in het zoekbedrijf Dipsie, gevestigd in Chicago. Google en Teoma indexeren slechts ongeveer 1 procent van de documenten die er zijn, zegt Jason Wiener, de oprichter en chief technology officer van Dipsie. Wiener, een autodidactische programmeur die tot de dotcom-crash een webontwikkelingsbedrijf in San Francisco leidde, heeft de afgelopen twee jaar een meer wendbare crawler gebouwd, een die formulieren en database-interfaces kan omzeilen. Stel dat u zich afvraagt over de standaarduitrusting van een Mercedes 55SL cabriolet. Bij Cars.com duurt het ongeveer zes stappen om naar de pagina met gedetailleerde productinformatie te gaan. Dipsie heeft echter vooraf de volledige Cars.com-database geïndexeerd, zodat het u met één klik naar dezelfde pagina kan sturen. We behandelen niets dat authenticatie vereist met een gebruikersnaam en wachtwoord, maar we doen bijna al het andere, zegt Wiener. Hij beweert dat tegen de tijd dat Dipsie's zoeksite deze zomer voor het publiek beschikbaar komt, de index 10 miljard documenten zal bevatten - driemaal zo groot als de huidige index van Google.
Dus terwijl Google nog steeds de koning van de heuvel is, krioelt de heuvel zelf nu van concurrenten met hun eigen slimme ideeën. Google weet dat, zegt Gartner-analist Andrews. Ze zijn geboren in Stanford, en ze weten dat er studenten in de klas van Stanford zijn die zeggen: 'Hé, ik heb een idee - wat als we dit algoritme nemen en het samenvoegen met dat algoritme?' Ze moeten ofwel huren de jonge turken of versla ze.
Micro zoeken
Maar als er één softwarebedrijf is dat jonge Turken weet in te huren en hun ideeën om te zetten in marktdominante producten, dan is het Microsoft wel. Noem een willekeurige hoek van de computerwetenschap, en het bedrijf dat Bill heeft gebouwd, zal waarschijnlijk ten minste een of twee van de toonaangevende onderzoekers in het veld in dienst hebben: de vijf Microsoft Research-labs over de hele wereld hebben tenslotte meer dan 600 onderzoekers in dienst. En wanneer Microsoft een grote markt ruikt, beweegt het zich meestal met volle kracht om zijn claim in te dienen.
Er is niets blauws aan de pogingen van Microsoft om informatie op te halen, de discipline waaruit de zoekmachine is voortgekomen. Het bedrijf heeft al een marktaandeel van 97 procent in pc-besturingssystemen en een aandeel van 90 procent in kantoorsoftware; zoeken is een van de laatste grote stukken van het computerlandschap die Microsoft niet domineert. En een onderzoek naar R&D-projecten bij het bedrijf bevestigt dat het verbeterde vormen van zoeken beschouwt als de sleutel tot zijn bedrijfsgroei. Naarmate de release van de volgende versie van Windows, met de codenaam Longhorn, dichterbij komt - een testversie zal later dit jaar gereed zijn - doen onderzoekers en productontwikkelaars hun best om zoeken op het web een integraal onderdeel ervan te maken.
Een van de meest flitsende stukjes software in de maak belooft je in staat te stellen je vragen in eenvoudig Engels in te voeren en een direct antwoord terug te krijgen. Het bedrijf is van mening dat zoekgebruikers zich geen zorgen hoeven te maken over het selecteren van de juiste trefwoorden en deze aan de juiste Booleaanse operatoren te koppelen ( en, of, niet , enz.), en bladeren door pagina na pagina met zoekresultaten. In plaats daarvan, zegt Microsoft-onderzoeker Eric Brill, moeten zoekmachines vragen begrijpen en beantwoorden in natuurlijke taal.
Neem het AskMSR-programma van Microsoft Research, dat Brill en zijn collega's al meer dan een jaar testen op het interne netwerk van Microsoft. De kern is een eenvoudig zoekvak waarin gebruikers vragen kunnen invoeren zoals Wie heeft Abraham Lincoln vermoord? en in plaats van een lijst terug te krijgen van sites die mogelijk de informatie hebben die ze zoeken, krijgen ze een duidelijk antwoord: John Wilkes Booth. De software vertrouwt niet op een geavanceerd algoritme voor kunstmatige intelligentie, maar eerder op twee verrassend eenvoudige trucs. Ten eerste gebruikt het taalregels die zijn geleerd uit een grote database met voorbeeldzinnen om de zoekterm te herschrijven zodat deze lijkt op mogelijke antwoorden: bijvoorbeeld ___ vermoordde Abraham Lincoln of Abraham Lincoln werd vermoord door ___. Die tekstreeksen worden vervolgens gebruikt als de zoekopdrachten in een reeks standaardzoekopdrachten op basis van trefwoorden. Als de zoekopdrachten een exacte overeenkomst opleveren, is het programma klaar en presenteert het dat antwoord aan de gebruiker.
In veel gevallen zal het programma echter geen exacte overeenkomst vinden, maar alleen schuine variaties op de tekstreeksen, zoals de gewelddadige daad van John Wilkes Booth in het Ford Theatre die de tweede termijn van Lincoln beëindigde voordat deze was begonnen. Dat is ook goed. Als tweede truc redeneert AskMSR dat als Booth vaak in dezelfde zin als Lincoln voorkomt, er een belangrijke relatie tussen hen moet zijn - waardoor het een antwoord kan geven, zelfs als het niet 100 procent zeker is ( zie V: Hoe werkt het beantwoorden van vragen? onderstaand ). We maken gebruik van de redundantie van het web, legt Brill uit. Als je veel plekken hebt waar je enigszins zeker bent dat je het antwoord hebt gevonden, maakt de redundantie het zekerder. Naarmate het web groeit, groeit ook de redundantie ervan, waardoor AskMSR steeds krachtiger wordt, redeneert Brill. Hoewel de plannen voor AskMSR niet definitief zijn, gelooft Brill dat de code het daglicht zal zien, misschien als onderdeel van een toekomstige Microsoft-zoekmachine.
Een andere inspanning van Microsoft Research houdt zich minder bezig met hoe zoekmachines werken dan met hoe en wanneer gebruikers informatie nodig hebben. Als je op dit moment naar informatie wilt zoeken, stop je in feite met alles wat je aan het doen bent, haal je een aparte applicatie op, voer je de zoekopdracht uit en probeer je het zoekresultaat te integreren in wat je eerder aan het doen was, zegt Susan, expert op het gebied van het ophalen van informatie van Microsoft. Doemais. We proberen na te denken over hoe zoeken veel meer een onderdeel kan zijn van de voortdurende computerervaring.
Daartoe ontwikkelt Dumais een programma met de naam Stuff I've Seen dat is ontworpen om computergebruikers snel en gemakkelijk toegang te geven tot alles wat ze op hun computers hebben bekeken. De interface naar het experimentele programma, die de zoekmogelijkheden in Longhorn zal beïnvloeden, is een altijd beschikbaar zoekvak in de Windows-taakbalk. Voer een zoekopdracht in het vak in en Stuff I've Seen zal een georganiseerde lijst met links naar gerelateerde e-mailberichten, agenda-afspraken, adresboekcontacten, kantoordocumenten of webpagina's in één enkel, verenigd venster weergeven. Een opkomende functie van Stuff I've Seen, Implicit Query genaamd, zou op de achtergrond werken om informatie op te halen met betrekking tot alles waar de gebruiker aan werkt. Als u bijvoorbeeld een e-mailbericht leest, kan Impliciete zoekopdracht een vak weergeven met koppelingen naar de titels en e-mailadressen van alle mensen die in het bericht worden genoemd, en naar al uw eerdere e-mail van de afzender. Om de software nog nuttiger te maken, werkt Dumais aan het toevoegen van een item aan het standaard Windows-rechtsklikmenu van de tweeknopsmuis dat zou worden gelabeld Vind me-dingen zoals dit en zou zowel persoonlijke als webgegevens doorzoeken naar informatie met betrekking tot een gemarkeerd naam of zin.
AskMSR, Stuff I've Seen en gerelateerde projecten maken allemaal deel uit van een grotere verschuiving in technologiestrategie bij Microsoft, een die het bedrijf zou kunnen positioneren om honderden miljoenen Windows-gebruikers over de hele wereld over te zetten naar zijn eigen zoektechnologie, net zoals het veroverde de webbrowsermarkt in de jaren negentig van Netscape. De crux van deze transformatie is het nieuwe Windows-bestandssysteem, of WinFS, het hart van Longhorn. Onder het huidige Windows-bestandssysteem verdeelt elke softwaretoepassing de toegewezen opslagruimte in zijn eigen specifieke hiërarchie van mappen. Dit maakt het bijna onmogelijk om bijvoorbeeld een brok informatie zoals de naam van de auteur van een Word-document te koppelen aan het adres of telefoonnummer van dezelfde persoon in Outlook. WinFS daarentegen heeft in de kern een relationele database: een geordende reeks tabellen die op uw harde schijf is opgeslagen waar alle gegevens op uw computer kunnen worden doorzocht en gewijzigd door alle toepassingen met behulp van een standaardreeks opdrachten.
Als Longhorn tools bevat die zijn gebaseerd op Stuff I've Seen en hen in staat stelt om rechtstreeks met een webzoekmachine te communiceren, zou het het enkele zoekvak kunnen creëren waar softwaremakers van dromen - de toegangspoort tot alle informatie die u nodig hebt, of het nu op uw pc of uit op het netwerk. Whit Andrews van Gartner kijkt bijvoorbeeld uit naar de nieuwe software van Microsoft. Laat maar komen! hij zegt. Ik zit hier naar mijn e-mail te kijken. Als ik je wil opzoeken, moet ik onthouden dat ik je moet gaan googlen. Maar wat ik echt wil, is te weten komen of ik in het verleden met je heb gesproken. Dus ik wil met de rechtermuisknop klikken en wereldwijd zoeken, mijn e-mail- en contactmappen doorzoeken, US Search.com doorzoeken [die toegang verkoopt tot informatie die is opgeslagen in openbare registers]. Wie heeft dat voordeel? Microsoft is er, en voor de goedkope dingen waar consumenten niet veel geld naar zullen gooien, bevinden ze zich in een geweldige positie.
Q: Hoe werkt het beantwoorden van vragen?
A: Zoals dit
Microsoft's VraagMSR software verandert gewone Engelse vragen in formele zoekopdrachten en peilt het web
voor consensus antwoorden.
| 1. Vraag | Hoeveel eieren zitten er in een bakkersdozijn? |
| 2. Herschrijf de vraag | Er zijn + eieren in een + bakkersdozijn Een bakkersdozijn heeft + eieren bakker + dozijn + eieren |
| 3. Verzamel zoekresultaten en filter (Negeer bijvoorbeeld resultaten die niet lijken op een antwoord op een hoeveel-vraag) | Een dozijn heeft meestal 12 eieren, dus hoeveel eieren heeft een dozijn van een bakker? Het bakkersdozijn kookboek Waarom worden 13 eieren een bakkersdozijn genoemd? 13 eieren maken een dozijn van een bakker. |
| 4. Extraheer antwoorden uit tekst en de meest waarschijnlijke antwoorden presenteren | 13 eieren (81 procent waarschijnlijk) 12 eieren (7 procent waarschijnlijk) |
Bron: Microsoft
Ondertussen, terug bij de Googleplex
Ik vraag Google-technologiedirecteur Craig Silverstein of de zoekopbouw van Microsoft hem 's nachts wakker houdt. Hij erkent dat Microsoft en Google een deel van hetzelfde technische gebied verkennen, maar stelt dat Google, omdat het zo veel kleiner is dan Microsoft (1.000 werknemers versus 55.000), behendiger kan handelen in zijn ideeën. En ondanks zijn kleinere omvang in het algemeen, heeft Google meer onderzoekers die zich voornamelijk bezighouden met zoeken dan Microsoft. Silverstein wijst er ook op dat elk van de honderden softwareontwikkelaars van Google - als onderdeel van het werk - 10 procent van zijn of haar tijd moet besteden aan verre persoonlijke projecten, die een continue stroom van creatieve ideeën opleveren.
Sommige van die projecten duiken op bij Google Labs (labs.google.com), een gedeelte van de Google-site waar het publiek zoekgerelateerde software kan uitproberen en becommentariëren die nog in ontwikkeling is. Google Viewer animeert bijvoorbeeld resultaten zodat ze als filmcredits omhoog scrollen. Met Voice Search kunt u telefonisch een zoekopdracht invoeren als u niet achter uw bureau zit, en de resultaten later online ophalen. De Google Deskbar installeert een permanent Google-zoekvak in de Windows-taakbalk; resultaten verschijnen in een klein, tijdelijk venster, zodat gebruikers hun webbrowser niet elke keer hoeven te starten als ze iets willen opzoeken.
Maar geen van de prototypes van Google Labs vertegenwoordigt een innovatie van de omvang van Page en Brin's originele PageRank-algoritme. Ze staan ook niet in dezelfde klasse als de poging van Microsoft om Windows opnieuw uit te vinden en de applicaties die erop draaien te integreren. Hoewel Silverstein en zijn collega's zullen praten over de efficiëntie van de meer dan 10.000 webservers van Google en de passie en gedrevenheid van de programmeurs van Google, zullen ze niet zeggen hoe het bedrijf PageRank hoopt te verbeteren, of welke nieuwe technologieën bedreigingen zoals Teoma en Vraag het MSR. Dus uiteindelijk is er weinig uiterlijk bewijs dat Google de nieuwe ideeën heeft die het nodig heeft om zijn marktaandeel te behouden. Volgens open-source programmeur Doug Cutting heeft Google een heleboel mensen die met monumentale vooruitgang proberen te komen, maar we hebben ze niet gezien. Ik denk dat als ze ze hadden, ze ze zouden laten zien.
Een ding waar Silverstein graag over praat, is zijn langetermijndoel voor zoektechnologie, die volgens hem nog in de kinderschoenen staat. Het is duidelijk dat het antwoord [op zoeken] geen gerangschikte lijst van websites is, zegt hij. Niemand verwacht een bibliothecaris te benaderen, een vraag te stellen over het Panamakanaal en als reactie daarop 50 boektitels te krijgen, stelt hij. Silverstein is van mening dat experts op het gebied van het ophalen van informatie hoog moeten mikken door software te bouwen die net zo goed is in het wijzen van gebruikers op de specifieke bronnen die ze nodig hebben als een goed opgeleide referentiebibliothecaris. Dat vereist natuurlijk grote vooruitgang op gebieden als probabilistische machine learning en natuurlijke taalverwerking - en Google blijft enkele van de beste nieuwe PhD's op die gebieden in dienst nemen, waaronder vier recent afgestudeerden van het Stanford-laboratorium van Daphne Koller, een vooraanstaand onderzoeker op het gebied van machine learning ( zien 10 opkomende technologieën die uw wereld zullen veranderen , KINDEREN februari 2004 ).
Maar wordt al dat talent vertaald in tools die mensen kunnen gebruiken? Google zelf verscheen schijnbaar uit het niets en overschaduwde snel andere prominente zoekmachines zoals AltaVista. En als er één boodschap is die is verspreid door de priesters van de dotcom-boom die nog steeds geldt, dan is het dat het verlangen van mensen naar snellere, efficiëntere manieren om dingen te doen, elke keer de merkloyaliteit overtreft. Als rivalen zoals Ask Jeeves en nieuwkomers zoals Mooter of Dipsie zelfs maar een deel van hun visie van betere ranking-algoritmen, eenvoudigere interfaces en grotere, uitgebreidere indexen bereiken, zouden ze een grote hap uit de activiteiten van Google kunnen nemen. Ondertussen belooft Microsoft's ingrijpende herziening van de Windows-omgeving het concept van zoeken voor de overgrote meerderheid van computergebruikers te veranderen.
Het goede nieuws voor internetsurfers is dat door concurrentie zoekhulpprogramma's een nog nuttiger onderdeel van ons dagelijks leven gaan worden. Zonder zoekhulpmiddelen zouden de rijkdommen van het web net zo ontoegankelijk zijn als de tabletten, boekrollen en met de hand gekopieerde boekdelen van het pre-Gutenbergtijdperk, en naarmate het web zelf groeit, groeit ook onze behoefte aan betere manieren om erin te penetreren. Maar welke technologieën de toegang zullen bieden waarnaar we verlangen - en wie er het meest van zal profiteren - zijn vragen die zelfs de beste zoekmachines niet kunnen beantwoorden.