Video and Image Processing based on Kernel Representations

Abstract

En este trabajo se proponen diferentes esquemas de representación de características basados en Kernels. El objetivo principal es revelar de forma apropiada la información más relevante a partir de información de alta dimensionalidad, para mejorar el desempeño de dos procedimientos de visión por computador: segmentación de imágenes y video. Con este fin, se propone usar Representaciones Multi-Kernel (MKR) para incorporar múltiples características de imágenes, como: representaciones de color, información espacial de pixeles e información basada en flujo óptico. Particularmente, para la segmentación de imágenes, se propone una nueva metodología de segmentación de imágenes basada en agrupamiento, la cual usando una metodología basada en MKR, incorpora múltiples características de imágenes. Con respecto a la segmentación de video, diferentes metodologías de modelado de fondo usando representaciones Gausianas son estudiadas con el fin de enfrentarse a los artefactos típicos de video-vigilancia capturados por cámaras estáticas. En este sentido, diferentes funciones de costo son analizadas, buscando aprender y modelar la evolución temporal de la dinámica de los pixeles. Además, con el fin de incorporar relaciones espaciales entre pixeles, una etapa de análisis de movimiento de objetos es desarrollada, la cual usando una metodología basada en flujo óptico, es capaz de detectar, modelar y seguir objetos en movimiento en una secuencia de video dada. Como resultado final, una nueva metodología de segmentación de video llamada STAL es desarrollada. STAL acopla ambas fuentes de información (temporal y espacial), generando así un esquema de aprendizaje adaptativo capaz de actualizar adecuadamente los parámetros del modelo Gaussiano del fondo. Los esquemas de segmentación de imágenes y video son probados empleando bases de datos del mundo real y los resultados obtenidos son medidos usando medidas supervisadas mientras se compara contra conjuntos de ground-truth. A partir de los resultados obtenidos, se muestra que el uso de MKR para la elaboración de espacios de representación mejora la precisión de las segmentaciones resultantes. Además, se demuestra que los esquemas propuestos son eficientes y competitivos comparando contra algoritmos del estado del arte

In this work, different kernel-based feature representation frameworks are proposed. Our main goal is to properly reveal the most relevant information from high dimensional data for enhancing the performance of two different computer vision procedures: image and video segmentation. To this end, we propose to use Multiple Kernel Representations (MKR) to incorporate multiple image features, such as: color representations, pixel spatial information and optical flow-based information. Particularly, for image segmentation, we propose a new grouping-based image segmentation methodology, which using a MKR-based methodology, incorporate multiple image features. Regarding video segmentation, different Gaussian-based background modeling approaches are studied in order to cope with typical video surveillance artifacts recorded by static cameras. In this sense, different cost functions are analyzed, aiming to learn and model the temporal evolution of pixel dynamics. Furthermore, in order to incorporate spatial relationships among pixels, an object motion analysis stage is developed, which using an optical ow-based methodology is able to detect, model and track moving objects in a given video sequence. As a final result, a new video segmentation approach called STAL is developed. Proposed STAL couples both temporal and spatial information sources, generating an adaptive learning framework able to properly update the Gaussian based background model parameters. Proposed image and video segmentation frameworks are tested by using real-world datasets, and attained results are measured by using supervised measures while comparing against ground-truth sets. From the obtained results, it is shown that the use of MKR to elaborate feature representations enhances the accuracy of the resulting segmentations. Moreover, it is demonstrated that proposed frameworks are efficient and competitive while comparing against top state of the art algorithms