Extracción de los puntos característicos MPEG-4 de los contornos labiales sobre secuencias de video

Abstract

El estudio de imágenes faciales y específicamente de la región de la boca ha crecido exponencialmente durante la última década. Este interés está motivado por el amplio rango de aplicaciones potenciales para sistemas capaces de codificar, interpretar y reconocer información transmitida con el movimiento de los labios. En este documento se presenta el desarrollo de un sistema que permite la extracción de los parámetros de animación facial de los grupos 2 y 8 del estándar MPEG 4, diseñados para la definición de los contornos labiales; también se presentan varios enfoques para el desarrollo de las etapas incluidas en su ejecución. Se inicia con un estudio de diferentes opciones para la extracción de la boca y su correcta segmentación en imágenes fotográficas y secuencias de video, luego se plantea una metodología basada en restricciones de forma para la ubicación de los puntos requeridos a partir de la imagen segmentada. Finalmente se implementan dos algoritmos de rastreo que permiten la extracción de las características visuales sobre secuencias de video, sin tener que recalcularlas para cada cuadro de la secuencia / Abstract: The study of facial images, specifically those focused in mouth region, has grown exponentially during the last decade. This interest is motivated by the wide range of potential applications for systems able to code, interpret and recognize information transmitted by means of lip movements. This document presents an automatic feature point extraction system for locating points of groups second and eighth of the MPEG 4 video face animation standard in facial images. These groups are designed for inner and outer lip contour definition. It also presents several approaches for the development of execution stages of the system, beginning with a study of different options for the mouth extraction and their correct segmentation in photographic images and video sequences; then, a shape based landmark extraction methodology from segmented image is introduced; finally, two tracking algorithms are implemented allowing the visual characteristics extraction on video sequences, without newly calculate them in each video frame.