De ultieme uitdaging voor aanbevelingsmotoren

De uitdrukking Mensen die X kochten, kochten ook Y is een van de gevierde bijnamen van het internettijdperk geworden. Deze specifieke vorm van woorden komt van aanbevelingsmotoren die de producten analyseren die u in het verleden hebt gekocht om producten voor te stellen die u in de toekomst misschien leuk vindt, meestal op basis van de keuzes die zijn gemaakt door andere mensen met dezelfde smaak.

Goede aanbevelingsmotoren kunnen de verkoop met enkele procenten verhogen. Daarom zijn ze een van de onmisbare functies voor online winkels en services geworden.

Het is dus niet moeilijk te begrijpen waarom er veel belangstelling is voor het verbeteren van de prestaties van aanbevelingsengines. Inderdaad, in 2006 bood de online filmaanbieder, Netflix, een prijs van $ 1 miljoen aan aan iedereen die zijn aanbevelingsalgoritme met meer dan 10 procent kon verbeteren. Slechts drie jaar later werd de prijs naar behoren opgepikt.

Dus waar zouden de volgende verbeteringen vandaan kunnen komen?

Vandaag krijgen we een soort antwoord dankzij het werk van Amy Zhang aan het Massachusetts Institute of Technology in Cambridge en een paar vrienden. Deze jongens wijzen erop dat als het gaat om online diensten zoals filmaanbieders, meerdere personen vaak hetzelfde account delen. Dat betekent dat de keuze van films en de kijkcijfers op dit account de gecombineerde keuzes zijn van verschillende mensen.

De vraag die ze wilden beantwoorden, is of het mogelijk is om gedeelde accounts te identificeren door simpelweg de bijbehorende beoordelingen te bestuderen. En zo ja, hoe moeten aanbevelingen hierop worden aangepast?

Ze beginnen met twee datasets met filmaanbevelingen. De eerste bestaat uit meer dan 4 miljoen aanbevelingen van 171.000 gebruikers over meer dan 20.000 films. Deze dataset bevat ook aanvullende informatie over huishoudelijke regelingen voor een subset van 600 gebruikers. Daarvan hebben 272 huishoudens twee gebruikers, 14 hebben drie gebruikers en vier hebben vier gebruikers. Dus de aanbevelingen van deze huishoudens bieden een grondwaarheid van gedeelde accounts.

Zhang en co hebben ook de Netflix-dataset met beoordelingen van bijna 500.000 gebruikers voor meer dan 17.000 films.

Ze beginnen hun analyse met een wiskundige behandeling van hoe een gezamenlijke reeks beoordelingen in zijn samenstellende delen kan worden ontbonden. De opgave bestaat er in wezen uit om een ​​aantal samenhangende clusters van aanbevelingen te vinden die overeenkomen met het aantal personen in het huishouden.

In de praktijk betekent dit het vinden van clusters van vergelijkbare films met vergelijkbare beoordelingen. Een techniek die belangrijk blijkt te zijn, is dat het mogelijk is om met veel vertrouwen een paar films aan verschillende gebruikers toe te wijzen. De films Toy Story, Monsters Inc en Frozen kunnen bijvoorbeeld heel goed door een ander persoon zijn bekeken en beoordeeld dan een cluster van films, waaronder Texas Chainsaw Massacre, Alien en The Exorcist.

In de wiskunde staat dit bekend als een subruimteclusterprobleem en er zijn verschillende standaardbenaderingen om het op te lossen. Zhang en co passen deze methoden eerst toe op de datasets waarvan bekend is dat de huishoudens erachter komen welke het beste werkt.

Vervolgens pasten ze deze methode toe op ongeveer 55.000 gebruikers in de Netflix-database die meer dan 500 films beoordeelden. Hun algoritme bestempelde 37.000 hiervan als accounts voor één persoon, 15.000 als accounts voor 2 personen en 3000 als accounts die door 3 of meer mensen worden gebruikt.

Er is geen manier om te weten of deze verdeling correct is, aangezien de grondwaarheidsinformatie niet beschikbaar is. Het is echter mogelijk om deze samengestelde rekeningen te bestuderen om te zien of ze redelijk lijken. Een visuele inspectie van de rekeningen die als samengesteld werden bestempeld, leverde een aantal interessante observaties op, zeggen Zhang en co.

Ze ontdekten bijvoorbeeld in veel accounts dat sequels of seizoenen van hetzelfde tv-programma waren gegroepeerd. Ze ontdekten ook dat de ene gebruiker de voorkeur geeft aan films met het label Science Fiction en Fantasy, terwijl een ander de voorkeur geeft aan films met het label Romantisch. Dat lijkt Zhang en co het vertrouwen te geven dat hun algoritme op de goede weg is.

De laatste vraag is hoe u aanbevelingen kunt wijzigen zodra het algoritme heeft vastgesteld dat meer dan één gebruiker hetzelfde account deelt. Het antwoord is duidelijk. Geef eenvoudig de beste aanbevelingen voor elke gebruiker weer.

Dat is een interessante benadering, hoewel het niet duidelijk is hoeveel beter deze aanbevelingen presteren ten opzichte van conventionele motoren in termen van of ze de verkoop verhogen of niet. Dat is een voor de hand liggend doel voor toekomstig onderzoek.

Interessant is dat Zhang en co erop wijzen dat deze benadering het mogelijk maakt dat een enkele persoon als een composiet verschijnt door opzettelijk beoordelingen op films op te nemen die ze normaal niet leuk zouden vinden. Het wijzigen of vergroten van iemands beoordelingsprofiel om te verschijnen als een samengestelde gebruiker, met als doel het verduisteren van bijvoorbeeld iemands geslacht, is een interessant onderzoeksonderwerp, zeggen ze.

Wellicht zullen we in de toekomst de resultaten van dit onderzoek te zien krijgen.

Referentie: arxiv.org/abs/1408.2055 : Raad eens wie deze film heeft beoordeeld: gebruikers identificeren via subruimteclustering

zich verstoppen