211service.com
De volgende grote stap voor AI? Video begrijpen
Een screenshot van een van de video's in de Moments in Time Dataset, die AI zou kunnen helpen video-inhoud beter te begrijpen. Dataset Momenten in de tijd
Voor een computer is het herkennen van een kat of een eend in een stilstaand beeld behoorlijk slim. Maar een zwaardere test voor kunstmatige intelligentie zal zijn om te begrijpen wanneer de kat op een Roomba rijdt en achter de eend aan in een keuken .
MIT en IBM hebben deze week een uitgebreide dataset van videoclips vrijgegeven die nauwgezet zijn geannoteerd met details van de actie die wordt uitgevoerd. De Dataset Momenten in de tijd bevat fragmenten van drie seconden van alles, van vissen tot breakdance.
Veel dingen in de wereld veranderen van de ene op de andere seconde, zegt Aude Oliva , een hoofdonderzoeker aan het MIT en een van de mensen achter het project. Als je wilt begrijpen waarom iets gebeurt, geeft beweging je veel informatie die je niet in één beeld kunt vangen.
De huidige hausse in kunstmatige intelligentie werd gedeeltelijk aangewakkerd door het succes bij het leren van computers om de inhoud van statische afbeeldingen te herkennen door diepe neurale netwerken te trainen op grote gelabelde datasets (zie The Revolutionary Technique That Quietly Changed Machine Vision Forever).
AI-systemen die tegenwoordig video interpreteren, inclusief de systemen die in sommige zelfrijdende auto's worden aangetroffen, vertrouwen vaak op het identificeren van objecten in statische frames in plaats van het interpreteren van acties. Op maandag lanceerde Google een tool die de objecten in video kan herkennen als onderdeel van zijn Cloud Platform, een service die al AI-tools bevat voor het verwerken van beeld, audio en tekst.
De volgende uitdaging is misschien om machines te leren niet alleen te begrijpen wat een video bevat, maar ook wat er in de beelden gebeurt. Dat zou enkele praktische voordelen kunnen hebben, wat misschien kan leiden tot krachtige nieuwe manieren om videobeelden te zoeken, annoteren en ontginnen. Het is ook bedoeld om robots of zelfrijdende auto's een beter begrip te geven van hoe de wereld om hen heen zich ontvouwt.
Het MIT-IBM-project is in feite slechts een van de vele videodatasets die zijn ontworpen om vooruitgang te stimuleren bij het trainen van machines om acties in de fysieke wereld te begrijpen. Vorig jaar bracht Google bijvoorbeeld een set van acht miljoen getagde YouTube-video's genaamd YouTube-8M. Facebook ontwikkelt een geannoteerde dataset van video-acties, de set Scenes, Actions en Objects.
Olga Russakovsky, een assistent-professor aan de Princeton University die gespecialiseerd is in computervisie, zegt dat het moeilijk is gebleken om bruikbare videodatasets te ontwikkelen omdat ze meer opslagruimte en rekenkracht vereisen dan stilstaande beelden. Ik ben opgewonden om met deze nieuwe gegevens te spelen, zegt ze. Ik denk dat de lengte van drie seconden geweldig is - het biedt tijdelijke context terwijl de opslag- en berekeningsvereisten laag blijven.
Anderen pakken het creatiever aan. Twintig miljard neuronen , een startup gevestigd in Toronto en Berlijn, creëerde een aangepaste dataset door crowdsourced werknemers te betalen om eenvoudige taken uit te voeren. Een van de medeoprichters van het bedrijf, Roland Memisevi , zegt dat het ook een neuraal netwerk gebruikt dat speciaal is ontworpen om tijdelijke zichtinformatie te verwerken.
Netwerken die op de andere datasets zijn getraind, kunnen je vertellen of de video een voetbalwedstrijd of een feestje laat zien, zegt hij. Onze netwerken kunnen u vertellen of iemand zojuist de kamer is binnengekomen.
Danny Gutfreund, een onderzoeker bij IBM die aan het project meewerkte, zegt dat het herkennen van acties vereist dat machines leren over bijvoorbeeld een persoon die een actie onderneemt en deze kennis overbrengen naar een geval waarin bijvoorbeeld een dier dezelfde actie uitvoert. Vooruitgang op dit gebied, ook wel transfer learning genoemd, zal belangrijk zijn voor de toekomst van AI. Laten we eens kijken hoe machines dit transfer learning kunnen doen, deze analogie, die we heel goed doen, zegt hij.
Gutfreund voegt eraan toe dat de technologie praktische toepassingen kan hebben. Je zou het kunnen gebruiken voor ouderenzorg, om te zien of iemand is gevallen of dat hij zijn medicijnen heeft ingenomen, zegt hij. Je kunt hierbij denken aan apparaten die blinden helpen.