211service.com
Mobiele telefoons die luisteren en leren
Onderzoekers gebruiken steeds vaker mobiele telefoons om het gedrag en de sociale interacties van gebruikers beter te begrijpen. De gegevens die worden verzameld via de GPS-chip of versnellingsmeter van een telefoon kunnen bijvoorbeeld trends onthullen die relevant zijn voor het modelleren van de verspreiding van ziekten, het bepalen van persoonlijke zorgbehoeften, het verbeteren van tijdbeheer en zelfs het updaten van sociale netwerken. De aanpak, die bekend staat als reality mining, is ook gesuggereerd als een manier om gerichte reclame te verbeteren of mobiele telefoons slimmer te maken: een apparaat dat weet dat de eigenaar in een vergadering zit, kan bijvoorbeeld automatisch de beltoon uitschakelen.
Nu heeft een groep aan het Dartmouth College, in Hanover, NH, software gemaakt die de microfoon op een mobiele telefoon gebruikt om de activiteit van een gebruiker te volgen en te interpreteren. De software, genaamd SoundSense , pikt geluiden op en probeert ze in bepaalde categorieën in te delen. In tegenstelling tot vergelijkbare software die eerder is ontwikkeld, kan SoundSense volledig onbekende geluiden herkennen en draait het ook volledig op het apparaat. SoundSense classificeert geluiden automatisch als stem, muziek of omgevingsgeluid. Als een geluid vaak genoeg of lang genoeg wordt herhaald, geeft SoundSense het een hoge geluidsrang en vraagt de gebruiker om te bevestigen dat het significant is en biedt het de mogelijkheid om het geluid te labelen.
Het team van Dartmouth concentreerde zich op het monitoren van geluid omdat elke telefoon een microfoon heeft en omdat versnellingsmeters slechts beperkte informatie geven. Als we aan geluiden denken, denken we meestal niet dat ze ook een locatie kunnen vertegenwoordigen met een unieke signatuur, zegt Andrew Campbell , een professor in computerwetenschappen aan Dartmouth en een hoofdonderzoeker van het project. De onderzoekers hebben ervoor gezorgd dat het programma klein is, zodat het niet te veel stroom verbruikt. Om privacyproblemen aan te pakken, hebben ze SoundSense zo ontworpen dat informatie niet van het apparaat wordt verwijderd voor verwerking. Bovendien slaat het programma zelf geen onbewerkte audioclips op. Een gebruiker kan de software ook vertellen om geluiden te negeren die als verboden terrein worden beschouwd.
Tijdens het testen kon de SoundSense-software correct bepalen wanneer de gebruiker in een bepaalde coffeeshop was, buiten liep, haar tanden poetste, fietste en in de auto reed. Het pikte ook het geluid op van een geldautomaat en een ventilator in een bepaalde kamer. De resultaten van de experimenten worden deze week gepresenteerd op de MobiSys 2009 conferentie in Krakau, Polen.
Het SoundSense-systeem is onze eerste stap in het bouwen van een systeem dat onderweg [gebruikersgedrag] kan leren, zegt Tanzeem Choudhury , een assistent-professor in Dartmouth die ook een leider was van het project en een TR35-winnaar. Choudhury zegt dat het essentieel is voor praktische toepassingen om de software nieuwe geluiden te laten leren herkennen. Een systeem dat geluiden in iemands leven kan herkennen, kan worden gebruikt om te zoeken naar anderen met dezelfde voorkeuren, zegt ze. Het gebruik van geluiden om gebeurtenissen te classificeren kan gebruikers feedback geven over hun dagelijkse activiteiten voor gezondheids- of tijdbeheertoepassingen, voegt ze eraan toe.
De telefoons hebben oren: SoundSense luistert naar de omgeving van een gebruiker via de microfoon van een telefoon en leert bepaalde geluiden aan activiteiten te koppelen.
Kurt Partridge , een onderzoeker bij Palo Alto Research Center, die ook mobiele-telefoonsoftware heeft gemaakt die gedrag volgt, is van mening dat het SoundSense-project een onderbenutte bron exploiteert. Ik denk niet dat het veld zich echt heeft gerealiseerd hoe weinig kracht op audio gebaseerde activiteitsdetectie kost, en hoe informatief het kan zijn, zegt Partridge. Audio kan zoveel meer activiteiten onderscheiden [en] voegt een sociaal aspect toe aan contextuele waarneming dat anders niet mogelijk is.
Dan Ellis , een universitair hoofddocent aan de Columbia University, die onderzoek heeft gedaan naar het gebruik van continue audio-opnames, zegt dat dit soort levensregistratie ooit net zo routinematig zou kunnen worden gebruikt als de outbox in een e-mailtoepassing. Misschien kijk je niet vaak in je outbox, maar met de juiste tools om snel te vinden wat je zoekt, is het erg handig om elke e-mail die je ooit hebt verzonden bij te houden, zegt hij. Een bijna continue, op audio gebaseerde opname, verzameld door een persoonlijk apparaat, zou evenzeer wenselijk kunnen zijn.