211service.com
Hoe een miljoen boeken te digitaliseren
Vijftien maanden nadat Google een boekscanproject van bijbelse proporties aankondigde - een poging om de volledige boekencollecties van onder meer de New York Public Library en de Harvard University-bibliotheken te digitaliseren - doet het bedrijf nog steeds geheimzinnig over hoe ze belangrijke technische problemen oplossen en wil niet zeggen hoeveel ze tot nu toe hebben bereikt.
Echter, een soortgelijk, zij het kleiner project – de Miljoen Boeken Project aan de Carnegie Mellon University in Pittsburgh – is al ongeveer zeven jaar aan de gang. Het zou wat aanwijzingen kunnen opleveren. De directeur van het project, computerwetenschapper Raj Reddy, zegt dat hij en zijn collega's niet meer kennis hebben over de methoden of voortgang van Google dan wie dan ook, maar dat ze veel van dezelfde uitdagingen aangaan.
Het doel van Zoeken naar boeken met Google is om alle offline boeken – momenteel onzichtbaar voor het oog van Google – doorzoekbaar te maken. Dit betekent het fysiek scannen van honderden miljoenen pagina's die zijn gebonden tussen de omslagen van naar schatting 18 miljoen boeken, het herkennen van ongeveer 430 talen en allerlei soorten lettertypen, het beschikbaar maken van de resultaten voor tekstzoekopdrachten en het repliceren van de traditionele browse-ervaring in de bibliotheek als het allemaal klaar is. Daniel Clancy, technisch directeur van Zoeken naar boeken met Google, zegt dat hij niets kan zeggen over wat het bedrijf tot nu toe heeft bereikt.
In het CMU-project is de scantechnologie echter van de plank. Ze gebruiken direct beschikbare Minolta PS 7000 boekscanners opgesteld bij 40 scanstations in India en China, waar de lokale overheden helpen de kosten voor het non-profitproject laag te houden. In deze opstelling slaan werknemers elke pagina handmatig om. Zeven jaar na het project zijn ongeveer 600.000 boeken (meestal werken uit het publieke domein verzonden vanuit de hele wereld) gescand en elke dag worden er nog eens 100.000 pagina's toegevoegd aan het digitale corpus. In dit tempo kan het iets minder dan vijf jaar duren om het CMS-project te voltooien.
Clancy zegt daarentegen dat Google zijn eigen scantechnologie heeft ontwikkeld. Maar het bedrijf is moeder van de technische details van de hardware, de software voor optische tekenherkenning (OCR) en de scansnelheid in hun vijf scancentra in de buurt van samenwerkende bibliotheekpartners van Harvard, Stanford, University of Michigan, University of Oxford en New York. Openbare Bibliotheek.
Reddy zegt in de handel verkrijgbaar software voor het herkennen van Engels werkt goed voor het Million Book Project. De uitdagingen waarmee ze worden geconfronteerd met OCR worden aangepakt door hun Chinese partners, die specifieke software ontwikkelen om onconventionele lettertypen en kalligrafische scripts die vaak in oudere boeken worden aangetroffen, beter te herkennen. Bovendien ontwikkelen hun partners in Egypte OCR voor Arabisch. Op dit moment, zegt Reddy, is OCR een actief onderzoeksgebied waarin veel landen expertise inbrengen.
Als boeken eenmaal zijn gescand en hun teksten toegankelijk zijn, is de grootste uitdaging om de tekst bruikbaar te maken voor zoeken. De inconsistentie in de fysieke kwaliteit van boeken kan problemen veroorzaken, zegt Clancy, met name met de paginanummering. Er kunnen bijvoorbeeld volledige pagina's ontbreken of ezelsoren hoeken kunnen een onjuist paginanummer onthullen. En als de paginering in een deel van het boek verkeerd is, verspreidt de fout zich door het hele werk.
Dit probleem wordt overwonnen, zegt Reddy van CMU, door software te ontwerpen die niet afhankelijk is van paginanummers. In plaats daarvan creëert het structurele metadata, in feite tags die de betekenis van informatie in een boek samenvatten, zodat onderzoekers woorden in de inhoudsopgave kunnen koppelen aan overeenkomstige hoofdstukken. Daarnaast kunnen geïndexeerde termen aan de juiste passages worden gekoppeld. Helaas, zegt Reddy, is het leggen van de koppelingen nog steeds een handmatig proces; niemand heeft software ontwikkeld die deze hyperlinks met een nauwkeurigheid van meer dan ongeveer 90 procent kan maken. Als de techniek echter kan worden aangescherpt, kan het zoeken naar tekst zinvoller worden.
Uiteindelijk, zegt Clancy, zou Google willen dat Zoeken naar boeken hetzelfde resultaat geeft als iemand die naar een bibliotheek gaat, in de stapels kijkt en bij toeval een interessant of nuttig boek vindt. Een manier om dit te doen zou zijn om boeken aan elkaar te koppelen door categorieën en thema's, stelt hij voor. De taak wordt echter ingewikkelder wanneer werken van bijvoorbeeld Virginia Woolf worden gekoppeld aan kritiek op haar werk, werken die haar hebben geïnspireerd of auteurs die in dezelfde periode hebben geschreven. Het ontwerpen van algoritmen die al deze nieuwe informatie effectief kunnen organiseren, zegt Clancy, is een van de grote uitdagingen en zal vele jaren duren.
Reddy zegt dat CMU-onderzoekers deze uitdaging proberen aan te pakken door een statistische benadering te gebruiken om de informatie te ordenen. In deze benadering zouden bijvoorbeeld Virginia Woolfs stream-of-bewustzijnszinnen worden geanalyseerd door een algoritme dat patronen zou vinden op basis van zinslengte, structuur en interpunctie. Deze techniek zou een werk kunnen vinden van James Joyce, een van Woolfs invloeden, of dat van een obscure auteur wiens geschriften anders nooit zouden zijn gevonden.
Ondertussen zoeken onderzoekers snelkoppelingen om tussen auteurs, boeken en genres te zoeken, zegt Reddy. Vergelijkbaar met de manier waarop collaboratieve filtering bij Amazon eerdere aankopen van mensen gebruikt om anderen te helpen potentiële aankopen te vinden, kunnen gebruikers van Zoeken naar boeken elkaar helpen. De community-based benadering is een idee dat Google niet heeft aangekondigd, zegt Clancy, maar het zou een nieuwe laag kunnen toevoegen aan het doorzoeken van boeken en het enthousiasme van de bevolking over het project kunnen opwekken.
Zeker, zijn kaarten dichtbij houden is niet nieuw voor Google. Ze zijn geheimzinnig over bijna alles wat ze doen ... dit is heel gebruikelijk bij bedrijven in Silicon Valley, zegt Reddy van CMU. In het geval van Zoeken naar boeken, zegt hij, wil Google een captive-oplossing hebben voor alle bibliotheken. Toch is Reddy enthousiast over het project van Google en gelooft hij dat het uiteindelijk zijn onderzoek zal aanvullen. Ik weet zeker dat ze op een gegeven moment een verwijzing naar onze boeken zullen hebben, zegt hij.
Ondertussen heeft Google te kampen met de niet-technische kwestie van ontevreden auteursrechthouders die hen voor de rechtbank slepen. The Author's Guild en een aantal uitgevers hebben hen aangeklaagd en beweren dat het project van Google de auteursrechtwetgeving schendt. (Stanford-professor Lawrence Lessig heeft 30 minuten gemaakt) video- over de juridische controverse.)
Maar als de juridische en technische uitdagingen kunnen worden overwonnen, zouden gedigitaliseerde fysieke boeken de miljarden bestaande webpagina's in omvang en diepte van informatie aanzienlijk kunnen overtreffen. Inderdaad, een enkele uitgebreide online kaartencatalogus voor miljoenen boeken over de hele wereld heeft het potentieel om een heel nieuw hoofdstuk in het informatietijdperk te creëren.