211service.com
Statistieken ontmaskeren nep online beoordelingen
Bij het zoeken naar hotels in steden die ze nog nooit hebben bezocht, wenden mensen zich vaak tot door klanten geschreven beoordelingen op websites zoals TripAdvisor. Maar hoe weten ze dat die beoordelingen niet zijn geschreven door de hotelmanager, of door iemand die is betaald om nep-meningen online te plaatsen? De Amerikaanse Federal Trade Commission heeft boetes uitgedeeld wanneer ze dergelijke opiniespam heeft ontdekt, maar er is geen gemakkelijke manier om het te herkennen.
Nu hebben onderzoekers van de State University van New York, Stony Brook, een wetenschappelijke methode bedacht om te detecteren of iemand neprecensies online heeft geplaatst. Hun techniek, gepresenteerd op de Internationale conferentie over weblogs en sociale media in Dublin, Ierland, eerder deze maand, identificeert geen individuele frauduleuze beoordelingen. In plaats daarvan wordt gekeken naar hoe valse beoordelingen de statistische verdeling van de scores van een hotel verstoren, een soort forensische analyse die laat zien dat er iets grappigs aan de hand is.
De techniek is in staat om vast te stellen waar de dichtheid van valse beoordelingen is voor een bepaald hotel, zegt Yejin Choi , een assistent-professor informatica bij Stony Brook, die het werk samen met collega's uitvoerde.
Als de beoordelingsscores voor een product, inclusief een hotel, in een grafiek worden uitgezet, produceren ze natuurlijk een patroon dat ongeveer lijkt op de letter J. Dat wil zeggen, wanneer iets wordt gescoord van één tot vijf sterren, zou het een relatief hoge aantal beoordelingen met één ster, minder tweeën, drieën en vieren, en dan een groot aantal beoordelingen met vijf sterren. Paul Pavou , universitair hoofddocent informatiebeheersystemen aan de Fox School of Business aan de Temple University, die online handel bestudeert, legt uit dat deze verspreiding wordt veroorzaakt door de neiging van mensen om dingen te kopen die ze leuk vinden, en daarom leuk vinden wat ze kopen. Bovendien zegt hij dat als een aankoop over het algemeen aan de verwachtingen voldoet, de koper meestal minder geneigd is een recensie te schrijven dan wanneer de ervaring extreem positief of extreem negatief was.
Maar neprecensies vervormen deze normale vorm. Om de vervorming te vinden en daarmee aan te tonen dat er neprecensies in de mix zaten, selecteerde het Stony Brook-team eerst recensenten waarvan het geloofde dat ze betrouwbaarder waren. Dit waren degenen die minstens 10 beoordelingen hadden geschreven, meer dan een dag of twee uit elkaar, en wiens beoordeling niet schandalig afweek van het gemiddelde voor alle hotels.
De onderzoekers vergeleken vervolgens de beoordelingen van die recensenten met beoordelingen van eenmalige recensenten om te zien of die tweede set een ongewoon hoog aantal vijfsterrenrecensies had. Hotels met grotere verschillen tussen deze twee groepen beoordelaars werden als verdachter bestempeld. Choi vergeleek ook de verhouding tussen positieve en negatieve recensies tussen verschillende groepen recensenten. En ze zocht naar plotselinge uitbarstingen van beoordelingsactiviteiten die deel konden uitmaken van een marketingcampagne.
Om de bevindingen te valideren, wendden Choi en collega's zich tot eerder werk dat ze met computerwetenschappers had gedaan Jeff Hancock van de Cornell-universiteit. Ze hadden mensen ingehuurd om valse hotelrecensies te schrijven; een machine learning-algoritme analyseerde vervolgens de neprecensies en ontdekte tekstuele aanwijzingen, zoals te veel superlatieven, waardoor ze zich onderscheidden van echte recensies. Deze keer lieten ze de computer het effect meten dat de bekende neprecensies hadden op de vorm van de distributie. Door dat te vergelijken met de resultaten van Choi's andere aanpak, ontdekte ze 72 procent van de tijd frauduleuze activiteiten.
Met een dergelijke techniek zou een site als TripAdvisor een correctie kunnen toepassen op de gemiddelde hotelbeoordelingen. En verdachte resultaten kunnen worden gecombineerd met andere benaderingen, zoals tekstuele analyse, voor een betrouwbaardere bevinding.
Choi geeft toe dat, omdat het zo moeilijk is om er zeker van te zijn welke beoordelingen eigenlijk nep zijn, de aanpak onvolmaakt is, maar het feit dat haar resultaten aanzienlijk beter zijn dan het toeval, betekent dat het werkt. Het is echt onwaarschijnlijk dat een willekeurige strategie een nauwkeurigheid van 72 procent zou bereiken, zegt ze. Pavou, die niet betrokken was bij het onderzoek, zegt dat de aanpak valide lijkt.
Choi zegt dat neprecensenten misschien denken dat het een perfecte misdaad was, maar de waarheid is dat ze de vorm van de beoordelingsscores van hun eigen hotels hebben vervormd, en dat laat een voetafdruk achter van de misleidende activiteit, en hoe meer ze het doen, hoe sterker het wordt.