211service.com
Filmdownloads versnellen
Laten we eerlijk zijn: peer-to-peer bestandsoverdrachten op internet zijn traag. Meer dan de helft van alle downloads mislukt en de gemiddelde overdrachtstijd voor een bestand van 100 megabyte is meer dan 24 uur. Maar nu, een team van computerwetenschappers onder leiding van... Himabindu Pucha aan de Purdue University, in Indiana, zeggen dat ze de snelheid van deze overdrachten kunnen verdubbelen door gebruik te maken van overlap in gegevensblokken in niet-identieke multimediabestanden die op peer-to-peer-distributienetwerken zijn geplaatst. Dit zou de kans op succes van deze overdrachten vergroten.
Snelle downloads: Een nieuwe aanpak voor het delen van bestanden kan de tijd die nodig is om films en muziek op peer-to-peer-netwerken te downloaden, verkorten.
Peer-to-peer distributienetwerken zoals: BitTorrent en Kazaa mensen toestaan om individuele bestanden van de computers van anderen te downloaden. Deze systemen lokaliseren eerst de kopieën van het gevraagde bestand in de globale opzoektabel van het netwerk met behulp van de hash, een unieke identificatie die wordt berekend uit de gegevensreeks van het bestand. Vervolgens wordt het bestand in stukken verdeeld, zodat de computer van elke gebruiker er maar een klein stukje van hoeft te uploaden. Deze techniek versnelt bestandsoverdrachten omdat thuisgebruikers doorgaans een grotere bandbreedte hebben toegewezen aan downloads in vergelijking met uploads. Natuurlijk hangt de algehele snelheid van de overdracht af van het aantal bestandsbronnen en hoeveel vrije uploadcapaciteit ze hebben. Hoe populairder een bestand is, hoe sneller het is te downloaden en hoe groter de kans op succes.
Computer wetenschapper David Andersen , een professor in computerwetenschappen aan de Carnegie Mellon University, werkte samen met de Purdue-groep om een manier te ontwikkelen om de pool van uploaders te vergroten, genaamd similarity-enhanced transfer (SET). De aanpak maakt gebruik van meerdere varianten van dezelfde muziekbestanden, videoclips en software, die vaak rondzweven in bestandsdistributienetwerken. We hopen dat SET je toegang geeft tot een grotere groep mensen om van te downloaden, zegt Andersen. En door dit te doen, denken we dat u meer kans heeft om een van deze mensen te vinden met meer reservecapaciteit.
Voordat Andersen en zijn collega's hun onderzoek uitvoerden, was het helemaal niet duidelijk hoeveel redundantie er bestond in netwerken voor het delen van bestanden en of deze kon worden uitgebuit, zegt computerwetenschapper Cornell University Emin Gun Sirer , die niet bij het onderzoek betrokken was. Het SET-team analyseerde bijna twee terabytes aan muziek- en videobestanden van netwerken voor het delen van bestanden en ontdekte dat vergelijkbare bestanden doorgaans ergens tussen de 20 en 99 procent van hun inhoud worden gedeeld. Met muziekbestanden zijn zelfs spelfouten in door de gebruiker gedefinieerde koptekstlabels die de artiest- en songtitels identificeren voldoende om BitTorrent af te stoten, ondanks het feit dat 99 procent van het bestand hetzelfde is. Evenzo zijn er vaak meerdere versies van dezelfde video beschikbaar met verschillende taaltracks.
Een uitdaging bij het bedenken van een distributiesysteem dat vergelijkbare bestanden kan lokaliseren, is dat het systeem niet alleen naar elk bestand moet zoeken, maar ook naar elk stuk in dat bestand. Een videoclip van 700 megabyte kan worden opgedeeld in 40.000 brokken, wat betekent dat het systeem enkele miljarden vergelijkingen moet maken. SET is een hybride systeem dat eerst gebruikers met identieke bestanden lokaliseert alvorens te zoeken naar gevraagde chunks in bestandsvarianten. SET's innovatie in de laatste taak is wat de onderzoekers handprinting noemen, die op efficiënte wijze vergelijkbare bestanden identificeert met behulp van een constant aantal zoekopdrachten, ongeacht de bestandsgrootte. SET verdeelt het gevraagde bestand in stukjes van 16 kilo, die vervolgens worden gedestilleerd in hashes van 160 bits, of vingerafdrukken. Deze vingerafdrukken worden gesorteerd op basis van hun numerieke waarde, en het systeem selecteert de eerste paar om de handafdruk te vormen. Door handafdrukken te vergelijken, zegt Andersen, heb je 90 procent kans om een bestand te ontdekken dat 10 procent of meer op elkaar lijkt.
Door dat bestand te lokaliseren met slechts 10 procent gelijkenis, kunnen downloads met 8 procent worden versneld. Voor muziekbestanden met een overeenkomst van meer dan 90 procent zou een download van vijf minuten op BitTorrent iets meer dan twee minuten duren met SET. Voor een enkele gebruiker kunnen de besparingen nog groter zijn als hij of zij een impopulaire variant van een algemeen bestand downloadt. Andersen stelt een scenario voor waarin een in de VS gevestigde gebruiker een Duitse versie van een populaire film downloadt. Momenteel zou de film hoogstwaarschijnlijk worden overgebracht van een langzamere overzeese verbinding. Maar met SEC konden gebruikers profiteren van snellere lokale bronnen voor video en alleen de audio ontvangen van Duitse collega's.
Het is een heel slim schema om de gemeenschappelijke brokken te vinden, zegt Sirer. Hij zegt echter dat [SET] voor de meest populaire inhoud niet al te veel verschil zal maken, omdat er al genoeg andere peers zijn die die inhoud hosten. Maar ik kan me voorstellen dat andere inhoud die anders traag zou zijn om uit een enkele zwerm te komen, misschien gemakkelijker te downloaden zou zijn.
Hoewel de onderzoekers de broncode voor het SET-systeem hebben vrijgegeven, hebben ze geen plannen om er een grafische gebruikersinterface voor te bouwen of deze in te zetten in de huidige netwerken voor het delen van bestanden. De wiskunde erachter was ingewikkeld om te analyseren, zegt Andersen, maar het idee is relatief eenvoudig en de implementatie zal niet slecht zijn. Hij zegt dat het hem niet zou verbazen als iemand het SET-systeem volgend jaar in gebruik neemt.