211service.com
Een webspin voor iedereen
Naarmate de hoeveelheid informatie op internet blijft groeien, groeit ook de vraag hoe dit allemaal te verwerken en bruikbaar te maken. Een startup genaamd 80benen , gevestigd in Houston, TX, hoopt dat een goedkope, gedistribueerde webcrawlservice startups kan helpen het web op zoek te gaan naar informatie zonder de gigantische serverfarms te hoeven bouwen die door grote zoekmachines worden gebruikt. Het bedrijf lanceerde deze week op DEMO, een conferentie in San Diego waar nieuwe bedrijven worden getoond.
Webcrawlers, of spiders, zijn software die automatisch pagina's op internet bezoeken en kunnen worden gebruikt om ze te indexeren en stukjes informatie van verschillende pagina's te verzamelen. Crawlers worden bijvoorbeeld door zoekmachines gebruikt om de locatie van informatie op internet te controleren. Maar de schaal van het web betekent dat uitgebreid crawlen veel verwerkingskracht verbruikt, wat doorgaans betekent dat er enorme datacenters moeten worden gebouwd om de software van stroom te voorzien.
80legs hoopt deze technologie toegankelijker te maken voor kleine bedrijven en particulieren door leasetoegang toe te staan en klanten alleen te laten betalen voor wat ze kruipen.
De technologie voor webcrawling is ook cruciaal voor semantische sites en services die zijn ontworpen om zoekopdrachten in natuurlijke taal te verwerken. Terwijl 80legs verwacht dat gebruikers geïnteresseerd zijn in zoek- en semantische toepassingen, zegt CEO Shion Deysarkar dat er ook klanten met minder technische interesses waren die de dienst testten. Sommige marktonderzoekers gebruiken bijvoorbeeld 80legs om vermeldingen van specifieke bedrijven of onderwerpen op internet te vinden.
Een gebruiker kan een webcrawl starten via de webgebaseerde interface van 80legs. Met het formulier op de site van het bedrijf kunnen ze parameters voor het project instellen en aangepaste code uploaden die nodig is om te bepalen hoe de crawler zijn werk doet. Een gebruiker kan bijvoorbeeld willen dat de crawler afbeeldingen vindt en deze vergelijkt met een database met auteursrechtelijk beschermde afbeeldingen. Deysarkar zegt dat de crawlers van zijn bedrijf tot twee miljard pagina's per dag kunnen verwerken. Het bedrijf brengt $ 2 in rekening voor elke miljoen pagina's die worden gecrawld, plus een vergoeding van drie cent per uur aan verwerking.
Veel startups hebben moeite om de financiering te vinden die nodig is om grote datacenters te bouwen, maar dat is niet de benadering die 80legs koos om zijn webcrawlinfrastructuur te bouwen. Het bedrijf draait in plaats daarvan zijn software op een gedistribueerd netwerk van personal computers, net zoals degene die worden gebruikt voor projecten zoals:SETI @ thuis. Het gedistribueerde computernetwerk wordt samengesteld door Plura Processing, dat het verhuurt aan 80legs. Plura laat computergebruikers ongebruikte rekenkracht leveren in ruil voor toegang tot games, donaties aan goede doelen en andere beloningen.
Deysarkar zegt dat de aanpak de kosten voor 80legs aanzienlijk verlaagt, waardoor het bedrijf zijn service voor veel minder kan aanbieden dan mogelijk zou zijn als het een datacenter zou gebruiken, of zelfs een cloud-computingservice zoals Amazon Web Services.
Daniel Tunkelang, medeoprichter van het zoekbedrijf Endeca , gevestigd in Cambridge, MA, zegt dat een goede webcrawlservice nuttig kan zijn voor startups die zich willen concentreren op het opbouwen van de zoekervaring in plaats van op het verzamelen van gegevens. Maar Tunkelang zegt dat het succes van 80legs kan afhangen van hoe gemakkelijk het voor gebruikers is om de crawl aan te passen. De grote vraag is, hoe adaptief en programmeerbaar is de crawl? hij zegt.
Tunkelang merkt ook op dat het belangrijk is voor een webcrawler om zoveel mogelijk informatie vast te leggen. Het pad dat een crawler heeft afgelegd om op een bepaalde pagina te komen, kan bijvoorbeeld een zoekbedrijf nuttige informatie geven over de inhoud van die pagina.
Een dienst als 80legs kan ook nuttig zijn voor universitaire onderzoekers. Op grote schaal crawlen is inderdaad een dure hindernis om te nemen voor experimentele zoekprojecten in de academische wereld, die vaak geen grootschalige infrastructuur hebben, zegt Kevin Chang , een universitair hoofddocent computerwetenschappen aan de Universiteit van Illinois in Urbana-Champaign.
Chang denkt dat de gedistribueerde aard van 80legs een interessante richting is en veelbelovend klinkt [om de kosten van kruipen te verlagen]. Tegelijkertijd is hij het ermee eens dat veel afhangt van hoe efficiënt het systeem werkt en hoe effectief gebruikers kunnen aanpassen welke gegevens ze willen verwerken.
80legs is van plan een markt te lanceren waar niet-technische gebruikers applicaties kunnen kopen die kunnen bepalen hoe een crawler functioneert. Partnerbedrijven kunnen ook toegang verkopen tot applicaties die de crawlers van 80legs besturen.