Motion analysis by nonlinear feature extraction

Abstract

En este trabajo se realiza un análisis comparativo entre técnicas de extracción no lineal de características, con el fin de determinar cuál de ellas es la más apropiada para realizar análisis de movimiento a partir de secuencias de imágenes y video. Cada método fue evaluado experimentalmente en bases de datos artificiales y reales, las cuales permiten confirmar visual y cuantitativamente si las inmersiones fueron calculadas correctamente. Por otra parte, se propone una metodología para calcular un espacio de baja dimensión común para datos que provienen de variedades múltiples, lo cual es usual en aplicaciones de la vida real relacionadas con análisis de imágenes y vídeo. Dicha propuesta está basada en el algoritmo de extracción no lineal de características Laplacian Eigenmaps - LEM, y consiste en calcular las relaciones entre observaciones de diferentes conjuntos de datos a partir de una comparación con las relaciones entre los puntos que pertenecen a la misma variedad. La principal ventaja de la metodología propuesta es que permite encontrar un espacio de baja dimensión para datos heterogéneos, por ejemplo, vídeos que presenten diferente número de de frames y/o diferente resolución de entrada. Finalmente, se presenta una metodología para reconocimiento automático de acciones humanas a partir de secuencias de video, la cual esta basada en una novedosa técnica supervisada de extracción no lineal de características que incluye la información de clase en el proceso de reducción de dimensión, mejorando tanto la representación de los datos como el margen de separabilidad entre clases. La metodología propuesta tiene la capacidad de reconocer acciones humanas en una base de datos reconocida en el estado de arte, y es lo suficientemente rápida para ser utilizada en aplicaciones en línea / Abstract: In this work a comparative analysis of nonlinear feature extraction techniques is performed, in order to determine which method is suitable for motion analysis from image and video sequences. Each method is experimentally assessed on artificial and real-world data sets that allow us to visually and quantitatively confirm whether the embedding results were correctly calculated. Then, we propose a framework to find a low-dimensional embedding for data lying on multiple manifolds, which is a common situation in real-world applications such as video and image analysis. This approach is inspired on the Laplacian Eigenmaps - LEM algorithm, computing the relationships among samples of different datasets based on an intra manifold comparison to properly unfold the underlying data structure. The main advantage of this methodology is the possibility for analyzing videos with deferent conditions, e.g. different amount of frames and/or deferent image resolution. Finally, we present a methodology for automatic human action recognition, which is based on a new supervised feature extraction technique that includes class label information in the mapping process to enhance both the underlying data structure unfolding and the margin of separability among classes. The presented methodology shows the ability to recognize human actions on a benchmark database, and to be fast enough to be implemented in online applications.