Human action video retrieval

Abstract

Abstract The problem of efficiently answering a user information need in a video collection related to human actions is addressed in this thesis. The focus is given to the case where the user queries are stated using an example video containing the action of interest. Among the motivations of the work is the growing complexity of available video content in terms of size and content diversity, and also the ubiquity of video content fueled by the widespread use of video cameras. To solve the problem at hand, an information retrieval system is proposed where multiple information modalities are leveraged if available to discover the latent semantics of the video collection. The central component are matrix factorization-based indexes which have been previously used on image retrieval settings. Along the way, different features and encoding methods for the visual information have been evaluated, such as Bag of Features, Fisher Vectors and Improved Trajectory Features. As a result, a system achieving similar performance as Support Vector Machines-based systems has been obtained.

El problema de responder eficientemente a la necesidad de información de un usuario en una colección de vídeo relacionada con acciones humanas es abordado en esta tesis. El enfoque es dado al caso donde las consultas del usuario son planteadas usando un vídeo de ejemplo conteniendo la acción de interés. Entre las motivaciones del trabajo esta la creciente complejidad del contenido de vídeo disponible en términos de tamaño y diversidad de contenido, y también a la ubicuidad de contenido de vídeo potenciado por la amplia difusión de cámaras de vídeo. Para resolver el problema a la mano, se propone un sistema de recuperación de información en donde múltiples modalidades de información son aprovechadas si están disponibles, para descubrir la semántica latente de la colección de vídeos. El componente central son índices basados en factorización de matrices que han sido utilizados previamente en configuraciones de recuperación de imágenes. En el camino, diferentes características y métodos de codificación para la información visual han sido evaluados, tales como Bolsa de características, Vectores de Fisher y Características de Trayectorias Mejoradas. Como resultado, se ha obtenido un sistema que logra desempeño similar a sistemas basados en Maquinas de Vectores de Soporte.