211service.com
Het web in een spreadsheet plaatsen
Enorme hoeveelheden gegevens zijn vrij beschikbaar op het web, en het kan voor veel bedrijven een potentiële schat zijn, op voorwaarde dat ze erachter kunnen komen hoe ze het effectief kunnen gebruiken.
Sorteren en filteren: Met BigSheets kunnen gebruikers ongestructureerde gegevens van internet analyseren met behulp van tools die vergelijkbaar zijn met die in desktop-spreadsheetsoftware.
Een bedrijf kan bijvoorbeeld gegevens van het U.S. Patent and Trademark Office en gerechtelijke dossiers doorzoeken voordat het een ander bedrijf overneemt om te zien of enig intellectueel eigendom van het bedrijf verwikkeld is in juridische stappen. In de praktijk kost het echter tijd en moeite om zoveel informatie door te nemen.
IBM hoopt dat een nieuwe tool, genaamd BigSheets , zal gebruikers helpen om webgegevens gemakkelijker te analyseren. Het bedrijf heeft een testversie van de software ontwikkeld voor de British Library.
Het vermogen van elke gebruiker om zijn eigen soorten interessante analyses uit te voeren, wordt volwassen, zegt Rod Smith, vice-president van opkomende internettechnologieën bij IBM.
BigSheets is gebouwd op een ander stuk software genaamd Hadoop. Dit is een open-sourceplatform voor het verwerken van zeer grote hoeveelheden webgegevens door taken op te splitsen en over te dragen aan een cluster van verschillende computers. Hadoop wordt vaak gebruikt om grote hoeveelheden ongestructureerde webgegevens te analyseren.
BigSheets gebruikt Hadoop om door webpagina's te bladeren en ze te ontleden om belangrijke termen en andere nuttige gegevens te extraheren. BigSheets organiseert deze informatie in een zeer grote spreadsheet, waar gebruikers deze kunnen analyseren met behulp van het soort tools en macro's dat te vinden is in desktop-spreadsheetsoftware. In tegenstelling tot gewone spreadsheetsoftware is er echter geen limiet aan de grootte van een spreadsheet die is gemaakt met BigSheets.
Om BigSheets te gebruiken, zou een gebruiker de tool naar een set URL's of een opslagplaats met gegevens verwijzen. Lijsten met termen kunnen worden gebruikt om de gegevens in rijen en tabellen te ordenen, en deze kunnen later worden aangepast.
Smith zegt dat IBM de spreadsheet heeft gekozen als model voor het organiseren van gegevens, omdat de meeste gebruikers al bekend zijn met dergelijke software. Als gebruikers de gegevens op complexere manieren willen weergeven, werkt de tool met een IBM-visualisatietool genaamd Veel ogen , evenals andere visualisatiesoftware.
Tag team: Visualisatietools kunnen met BigSheets worden gebruikt om patronen in ongestructureerde gegevens te vinden.
BigSheets heeft een mate van integratie die ik nog niet heb gezien, zegt ik ben Lorica , een senior analist in de onderzoeksgroep bij de technische uitgeverij O'Reilly Media. Traditioneel, zegt Lorica, hebben bedrijven de functies die BigSheets uitvoert opgesplitst in drie afzonderlijke taken: webcrawling, gegevensanalyse en visualisaties. Omdat BigSheets is gebouwd op Hadoop, dat fundamenteel is ontworpen om met enorme hoeveelheden gegevens te werken, zegt Lorica, is schaal geen probleem voor BigSheets.
Hij waarschuwt echter dat BigSheets zich in een vroeg stadium bevindt en met andere gegevens moet worden getest. Aangezien de technologie wordt ontwikkeld in samenwerking met bepaalde partners van IBM, is het onduidelijk hoe gemakkelijk het voor een bedrijf zou zijn om het te gaan gebruiken, zegt hij. Het opzetten van een Hadoop-cluster kan een veeleisende taak zijn, zegt hij, en als BigSheets niet goed is verpakt, hebben bedrijven mogelijk een leger van consultants nodig om de weg voor de tool voor te bereiden.
De eerste test voor BigSheets vond plaats bij de British Library, die sinds 2004 werkt aan het creëren van een archief van de ongeveer acht miljoen Britse websites. Met regelmatige tussenpozen maakt de bibliotheek snapshots van webpagina's, converteert ze naar een archiefbestandsformaat en slaat ze op. Maar het zoeken en analyseren van deze gegevens is een andere uitdaging, en daar kwam BigSheets om de hoek kijken.
In minder dan acht uur, zegt Smith, heeft zijn team 4,5 terabyte aan archiefbestanden verzameld en verwerkt met een Hadoop-cluster van vier machines. Onder begeleiding van onderzoekers van de British Library gebruikte het team BigSheets om trefwoorden, auteursinformatie en andere metadata uit deze ongestructureerde webpagina's te extraheren. Ze experimenteerden met termfrequentie-analyse en maakten gebruik van tag clouds en andere visualisaties.
De onderzoekers van de British Library waren in staat om de soorten metadata waarin ze geïnteresseerd waren in de loop van de eerste dag aan te passen, waarbij ze zich meer concentreerden op wie pagina's had geschreven dan ze oorspronkelijk van plan waren. Visualisaties leverden nieuwe inzichten op. Met behulp van een tag cloud ontdekten de onderzoekers bijvoorbeeld dat de naam van de Britse politieke figuur en schrijver Alastair Campbell werd vaak verkeerd gespeld als Alistair, waardoor grote aantallen relevante records aan de oppervlakte kwamen die gemakkelijk over het hoofd hadden kunnen worden gezien.
Eytan Adar , een assistent-professor informatie- en computerwetenschappen aan de Universiteit van Michigan, die onderzoek doet naar systemen op internetschaal, tekstmining en visualisatie, zegt dat de tool een grote impact kan hebben. Hoewel de inhoud van de British Library beperkt lijkt te zijn tot een paar snapshots voor elke pagina, vertaalt dit zich nog steeds in een hoop gegevens, en het simpelweg dumpen van zoekresultaten als reactie op een zoekopdracht is niet nuttig, zegt Adar.
Adar heeft zijn eigen tool ontworpen, genaamd zoötrope , om te analyseren hoe webpagina's in de loop van de tijd zijn veranderd. BigSheets brengt nieuwe inzichten, zegt hij, door gegevens van veel verschillende pagina's en in de loop van de tijd te vergelijken. Adar zegt dat effectieve visualisaties cruciaal zijn om gebruikers snel inzicht te geven in grote verzamelingen gegevens.
Na verder testen hoopt IBM BigSheets op te nemen in zijn bestaande diensten en producten.