Jij kunt ook de volgende Google zijn

Ik heb vier jaar bij Google gewerkt en Google heeft duidelijk een paar computers meer dan wij, zegt Tom Annau, vice-president engineering bij Blekko, de zoekmachine die beweert de gelijke te zijn van de bestaande zoekgiganten Bing en Google – minus de spam.

Door nieuwe websites als proxy te gebruiken, is de groei in menselijke kennis vertraagd...

Maar de hoeveelheid actuele, nuttige en interessante informatie op internet neemt niet zo snel toe als de wet van Moore, voegt hij eraan toe.

De wet van Moore is niet zozeer een wet als wel een algemene trend in de microprocessorindustrie, maar eerder een product van een decennialange R&D-inspanning van bedrijven als Intel als het resultaat van onderliggende fysieke principes. Er staat dat het aantal microprocessors dat je voor een prikkie kunt krijgen elke 18 maanden ongeveer verdubbelt. Dit betekent kleinere, snellere chips waarvan de kracht tenminste sinds de jaren zestig exponentieel is gegroeid.

Daarentegen is de groei van het web kan afvlakken . Maar hoe kan een bedrijf, laat staan ​​een startup, hopen te concurreren met de werkelijk gigantische server- en netwerkinfrastructuur van bedrijven als Google en Microsoft?

Zoeken op het web is nog steeds een applicatie die de grenzen van de huidige computerapparatuur behoorlijk verlegt, zegt Annau. Maar Blekko realiseert een volledige, up-to-the-minute index van het web met minder dan 1000 servers – waarschijnlijk minder dan in een van de primaire datacenters van Google – door het probleem te exploiteren tot een beheersbare omvang in manieren die de zoekgiganten niet kunnen of willen.

We proberen het crawlen van spam en andere slechte inhoud te vermijden, zegt Annau. Ik denk dat andere motoren een crawl hebben, eerst vragen stellen, later beleid. Een efficiëntie die we winnen, is dat we geen splogs [spamblogs] en andere machinaal gegenereerde wartaal doorzoeken.

Bijna alle door de machine gegenereerde inhoud op het web wordt precies geproduceerd om de spiders van zoekmachines die het doorzoeken te vangen, en om hun indexen vol te proppen met pagina's vol advertenties. Door deze sites allemaal te vermijden - met behulp van spamdetectie-algoritmen en menselijke beheer - bespaart Blekko enorme hoeveelheden bronnen.

Er is een bepaalde mate waarboven, als je blijft kruipen, je geen interessante of nuttige of goede dingen meer zult crawlen - er is veel afnemend rendement op een grote webcrawl, zegt Annau.

Blekko gebruikt ook een tactiek die door andere zoekmachines wordt gebruikt: een gesplitste crawl die het hele web grondig indexeert, inclusief veel van de statische inhoud, minder vaak dan een snelle crawl die sites die regelmatig veranderen, zoals nieuws en blogs, voortdurend opnieuw indexeert.

We crawlen agressief veel hoogwaardige, snel veranderende bronnen, zegt Annau. U kunt dat zien wanneer u een slash-date-zoekopdracht uitvoert - u kunt dingen zien die slechts een minuut geleden zijn binnengekomen.

De wet van Moore gaat door.
(gelijkstroom)Wgsimon

Annau's lange kijk op zoeken is dat het indexeren van het hele web - of in ieder geval de nuttige delen - handelbaarder wordt, niet minder. In deze calculus adverteren Microsoft en Google en andere grote zoekmachines de schaal van hun datacenters gedeeltelijk om potentiële rivalen te intimideren; om de toetredingsdrempels in het zoekbedrijf hoger te laten lijken dan ze in werkelijkheid zijn.

Of we nu slagen of falen als startup, het zal waar zijn dat elk jaar dat door individuele servers gaat, steeds krachtiger zal worden, en de mogelijkheid om de nuttige informatie op het web te crawlen en te indexeren zal in feite steeds betaalbaarder worden, zegt Anna.

Elke startup is een hypothese over enige efficiëntie in de markt die ze waarnemen, voegt hij eraan toe. Voor Blekko en andere startups van zoekmachines, zoals de eenmansoperatie Duck Duck Go van Gabriel Weinberg, is die efficiëntie dat de som van menselijke kennis handig wordt overtroffen door de snelheid waarmee de rekenkracht toeneemt.

Zoals Rich Skrenta, CEO van Blekko, graag aangeeft, vlakt de groei van Wikipedia af. Er zijn gewoon niet zoveel onderwerpen in de wereld - mensen kunnen pagina's toevoegen en bewerken, maar je zult niet voortdurend een verdubbeling van de grootte zien, zegt Annau.

Volg Mims op Twitter of neem contact met hem op via e-mail .

zich verstoppen