211service.com
Wat biedt de toekomst voor de Netflix-algoritmen?
Wanneer de Netflix-prijs vorige maand werd uitgereikt, maakte het een einde aan drie jaar van intense concurrentie gericht op het vinden van een beter algoritme voor het voorspellen van de filmvoorkeuren van gebruikers.
Het winnende team, BellKor's pragmatische chaos , was de eerste die de filmbeoordelingen van Netflix-klanten voorspelde met een 10 procent betere nauwkeurigheid dan het interne systeem van het bedrijf - een prestatie die volgens veel experts onmogelijk zou zijn toen de prijs van een miljoen dollar werd aangekondigd. Netflix is van plan om een tweede prijs , dit keer voor algoritmen die filmvoorkeuren voorspellen met behulp van meer gebruikersinformatie, zoals geslacht, leeftijd en postcode. Maar experts zeggen dat de echte uitdaging is om manieren te vinden om de lessen die zijn geleerd door de originele Netflix-uitdaging toe te passen op andere aanbevelingssystemen.
Eind oktober ontmoeten experts uit het veld elkaar op de ACM-conferentie over aanbevelingssystemen in New York City om onder meer te vragen wat er is geleerd van de Netflix-prijs.
Deelnemers aan de originele Netflix-competitie trainden hun algoritmen met behulp van een enorme verzameling gegevens: meer dan 100 miljoen beoordelingen voor bijna 18.000 titels van bijna een half miljoen abonnees. Om hun resultaten te testen, werden hun algoritmen getest op een reeks gegevens die door Netflix worden beheerd en die voor de wedstrijden geheim werden gehouden om bedrog te voorkomen.
De gegevens van Netflix leverden verschillende formidabele obstakels op, legt uit Nicholas Ampazis , een assistent-professor in de afdeling financiële en managementtechniek aan de Universiteit van de Egeïsche Zee in Griekenland, wiens team, het ensemble , eindigde de wedstrijd op de tweede plaats. De dataset was enorm, maar ook schaars, wat betekent dat klanten doorgaans ongeveer 1 procent van de films die ze bekeken beoordeelden. Het doorbreken van de drempel van 10 procent betekende dus dat de grenzen van bestaande modelleringstechnieken aanzienlijk moesten worden verlegd, zegt Ampazis.
Maar de uitdagingen die de Netflix-gegevens met zich meebrachten, maakten de concurrentie ook erg waardevol, volgens deze Bertino , een ander lid van The Ensemble. Onderzoekers hebben meestal de luxe om datasets te kiezen en meer informatie over die data te hebben. In de Netflix-wedstrijd werden de deelnemers gedwongen om alle algoritmen toe te passen op dezelfde reeks frustrerend ongelijke real-world gegevens. Omdat mensen een vaste dataset moesten gebruiken, moesten ze niet alleen de voordelen van een bepaalde methode zien, maar ook de zwakke punten ervan, zegt Bertino. Je kon er niet aan ontsnappen.
Gavin Potter , die erkenning kreeg voor zijn doorbraak in de top 10 van de Netflix-prijs in 2008 onder de naam Just a guy in a garage, zegt dat een paar belangrijke realisaties ervoor zorgden dat de winnende algoritmen het doel bereikten. Ten eerste werd een krachtig algoritme voor het zoeken naar patronen in datasets, een techniek die bekend staat als collaboratieve filtering, gestroomlijnd zodat het kon worden gebruikt op de grote Netflix-dataset. Ten tweede leerden de deelnemers aandacht te besteden aan bepaalde nieuwe soorten details, bijvoorbeeld het feit dat het bestellen van een film aangeeft dat er een voorkeur voor is, zelfs als de klant het niet beoordeelde. Datum- en tijdinformatie bleek ook significant. Maar het grootste besef, merkt Potter op, was dat het combineren van verschillende benaderingen de beste resultaten opleverde.
De vermenging van verschillende benaderingen heeft veel aandacht gekregen in de autopsie van de competitie, maar John Riedl , een professor in computerwetenschappen aan de Universiteit van Minnesota, zegt er gemengde gevoelens over te hebben. Mensen zoals ik zijn op zoek geweest naar ideeën die ons inzicht zouden geven in de structuur van de oplossing, zegt hij, waar we echt iets nieuws begrijpen, niet alleen over welke oplossing goed doet, maar ook waarom die het goed doet.
De winnende modellen hebben echter niet zo'n inzicht opgeleverd. Wat ze wel suggereren, volgens Riedl, is dat het combineren van veel algoritmen met machine learning-technieken een goede benadering kan zijn voor het omgaan met grote datasets in het algemeen. Maar zelfs dat moet nog worden bewezen. Velen van ons zijn bang dat deze aanpak elders misschien niet zo vruchtbaar is, voegt hij eraan toe.
Het is duidelijk dat veel industrieën kunnen profiteren van het soort modellen dat voor de concurrentie is gebouwd. Naast andere online aanbevelingssystemen, suggereert Ampazis dat dergelijke algoritmen kunnen worden toegepast in markthandel, fraudedetectie, spambestrijding en computerbeveiliging. Bertino zegt dat leden van The Ensemble momenteel nadenken over hoe ze de technologie die ze tijdens de wedstrijd hebben gegenereerd, het beste kunnen gebruiken.
Potter is bezig zijn eigen onderzoek voor de prijs toe te passen op de online datingsite JaNeeMeiB , dat tweerichtings-aanbevelingsalgoritmen gebruikt om gebruikers te vinden die elkaar misschien willen ontmoeten. Hij hoopt met name inzichten uit de Netflix-prijs te gebruiken om voorspellingen te doen op basis van impliciete voorkeuren van gebruikers, zoals welke pagina's ze laden.
De Netflix-prijs besteedde veel aandacht aan aanbevelingssystemen en zorgde voor enorme vooruitgang in het veld. De tweede wedstrijd lijkt waarschijnlijk hetzelfde te doen. Maar Riedl denkt dat andere componenten van aanbevelingssystemen daarbij kunnen achterblijven. Nu is het tijd voor ons als veld om na te denken over welke andere aspecten mogelijk zijn verwaarloosd, zegt hij, en hoe onderzoekers vooruitgang kunnen boeken op die aspecten op een manier die implicaties heeft voor de industrie.
Riedl ziet bijvoorbeeld behoefte aan algoritmen waarmee aanbevelingssystemen steeds grotere datasets kunnen gebruiken, systemen die een gebruiker uitleggen waarom een bepaalde aanbeveling is gedaan en betere gebruikersinterfaces. Hij merkt ook op dat, hoewel de Netflix-competitie indrukwekkende vorderingen heeft gemaakt bij het interpreteren van schaarse gegevens, het in sommige gevallen zinvol kan zijn om te leren hoe sites te ontwerpen om gebruikers aan te moedigen meer gegevens te verstrekken. Hij hoopt dat de komende bijeenkomst in New York zal helpen bij het definiëren van een bredere reeks vragen die onderzoekers moeten beantwoorden.