211service.com
Een gratis database van het hele web kan de volgende Google voortbrengen
Google begon beroemd als niet meer dan een efficiënter algoritme voor het rangschikken van webpagina's. Maar het bedrijf bouwde zijn succes ook op het doorzoeken van het web, met behulp van software die elke pagina bezoekt om een enorme index van online-inhoud op te bouwen.
Een non-profit genaamd gemeenschappelijk crawlen gebruikt nu zijn eigen webcrawler en maakt een gigantische kopie van het web die het voor iedereen toegankelijk maakt. De organisatie biedt meer dan vijf miljard webpagina's aan, gratis beschikbaar, zodat onderzoekers en ondernemers dingen kunnen proberen die anders alleen mogelijk zouden zijn voor mensen met toegang tot bronnen op de schaal van Google.
Het web vertegenwoordigt, voor zover ik weet, de grootste accumulatie van kennis, en er is zoveel dat je erop kunt bouwen, zegt ondernemer Gilad Elbaz, die Common Crawl oprichtte. Maar simpelweg de enorme hoeveelheid werk doen die nodig is om al die informatie te krijgen, is een grote blokkade; weinig organisaties … hebben de middelen om dat te doen.
Nieuwe zoekmachines zijn slechts een van de dingen die kunnen worden gebouwd met behulp van een index van het web, zegt Elbaz, die erop wijst dat de vertaalsoftware van Google is getraind met behulp van online tekst die in meerdere talen beschikbaar is. De enige manier waarop ze dat konden doen, was door te beginnen met een enorme kruip. Dat zet ze op weg om de . te bouwen Star Trek vertaler, zegt hij. Het hebben van een open, gedeeld corpus van menselijke kennis is gewoon een manier om de toegang tot informatie die fundamenteel is voor innovatie te democratiseren.
Elbaz zegt dat hij ongeveer vijf jaar geleden merkte dat onderzoekers met nieuwe ideeën over het gebruik van webdata zich genoodzaakt voelden om banen bij Google aan te nemen, omdat dit de enige plek was waar ze die ideeën konden testen. Hij zegt dat de gegevens van Common Crawl het voor nieuwe ideeën gemakkelijker zullen maken om grip te krijgen, zowel in de wereld van startups als in academisch onderzoek.
Elbaz is de oprichter en CEO van big data-bedrijf Feitelijk , en daarvoor richtte hij een bedrijf op dat door Google was gekocht om de basis te vormen van zijn advertentieactiviteiten voor webpagina's. Common Crawl heeft ook de onderzoeksdirecteur van Google, Peter Norvig , en MIT Media Lab-directeur Joi Ito in zijn adviesraad.
Common Crawl heeft tot nu toe meer dan vijf miljard pagina's geïndexeerd, wat neerkomt op 81 terabyte aan gegevens, beschikbaar gesteld via Amazon's cloud computing-service. Voor ongeveer $ 25 zou een programmeur een account bij Amazon kunnen opzetten en aan de slag kunnen gaan met het kraken van Common Crawl-gegevens, zegt Lisa Green, de directeur van Common Crawl. De Internetarchief , een andere non-profitorganisatie, compileert ook een kopie van het web en biedt een service aan genaamd de Wayback-machine die oude versies van een bepaalde pagina kan tonen. Het staat echter niet toe dat iemand op die manier al zijn gegevens in één keer analyseert.
Common Crawl heeft al enkele nieuwe webstartups geïnspireerd of geholpen. TinEye , een omgekeerde zoekmachine die afbeeldingen vindt die vergelijkbaar zijn met die van de gebruiker, maakte gebruik van vroege Common Crawl-gegevens om aan de slag te gaan. Het persoonlijke project van één programmeur die Common Crawl-gegevens gebruikt om te meten hoeveel van de webpagina's verbinding maken met Facebook: zo'n 22 procent, concludeerde hij: — leidde tot zijn financiering voor een startup, Lucky Oyster , gebaseerd op het helpen van mensen bij het vinden van nuttige informatie in hun sociale gegevens.
Andere ideeën die het project mogelijk maakte, kwamen voort uit een wedstrijd vorig jaar die prijzen uitreikte voor de beste gebruiksgevallen . Een van de winnaars gebruikte Wikipedia-links in crawlgegevens om een service te bouwen die de betekenis van woorden kan definiëren; een ander probeerde te bepalen publieke houding ten opzichte van congreswetgeving door de inhoud van online discussies over nieuwe wetten te analyseren.
Rich Skrenta, medeoprichter en CEO van het opstarten van zoekmachines Blekko (zie As Google Tinkers With Search, Upstarts terrein wint), zegt dat de gegevens van Common Crawl aan een duidelijke behoefte in de startup-gemeenschap voldoen. Hij zegt dat Blekko is benaderd door startups met technologie die toegang nodig hebben tot grote verzamelingen online data. Dat soort gegevens is nu gemakkelijk beschikbaar via Common Crawl, zegt Skrenta, wiens bedrijf in december 2012 een deel van zijn eigen gegevens aan het project heeft bijgedragen. Blekko deelde informatie uit zijn systeem dat webpagina's op inhoud categoriseert, bijvoorbeeld door te labelen of ze pornografie bevatten of spammen.
Ben Zhao , een universitair hoofddocent aan de Universiteit van Californië, Santa Barbara, die grote verzamelingen webgegevens gebruikt voor onderzoek naar activiteit op sociale sites (zie Hidden Industry Dupes Social Media Users), zegt dat de gegevens van Common Crawl waarschijnlijk uniek zijn. Nieuwe, grootschalige crawls zijn vrij zeldzaam en ik ben persoonlijk niet op de hoogte van plaatsen om grote crawlgegevens op het web te krijgen, zegt hij.
Zhao merkt echter op dat enkele van de meest interessante en waardevolle delen van het web niet goed vertegenwoordigd zullen zijn in de gegevens van Common Crawl: sociale sites zijn tegenwoordig behoorlijk gevoelig voor hun inhoud, en velen implementeren anti-crawlmechanismen om de snelheid te beperken toegang hebben tot hun inhoud.
Om toegang te krijgen tot deze gegevens, moeten onderzoekers relaties aangaan met bedrijven en vertrouwen op alles wat ze vrijgeven - een route die minder beschikbaar is voor startups die als concurrentie kunnen worden beschouwd.