Desarrollo de un sistema de manipulación de un robot a través de movimientos de la boca y de comandos de voz

Abstract

En años recientes, el reconocimiento audio-visual del habla ha surgido como un campo activo de investigación, debido a los avances en reconocimiento de patrones, procesamiento de señales y visión por computador. Su objetivo final es permitir la comunicación hombre-máquina usando la voz, teniendo en cuenta la información visual contenida en la señal de habla audio-visual, para lidiar con las dificultades de un ambiente ruidoso, o para tratar de reconocer las emociones exhibidas por el locutor. En este documento se presenta un sistema de reconocimiento automático de comandos usando información audio-visual. Debido a que este trabajo se enmarca en el proyecto “Segmentación y Clasificación Automática de Posturas Labiales y Comandos de Voz para el Control de un Robot Laparoscópico”, el sistema pretende controlar un robot, en particular el robot laparoscópico da Vinci. Se emplean los modelos ocultos de Markov como técnica de reconocimiento del habla, utilizando Hidden Markov Model Toolkit como herramienta computacional. La señal de audio se parametriza usando los coeficientes cepstrales en frecuencia de Mel, mientras que para extraer la información visual del habla, se usan características basadas en los puntos que definen el contorno externo de la boca según el estándar MPEG-4. Se hace necesario hacer seguimiento preciso de la boca sobre secuencias de video. La complejidad de forma, textura y color de la boca, y los cambios de iluminación y fondos de los posibles escenarios, hacen que este sea aún un problema abierto. En este documento se propone un algoritmo para el seguimiento del contorno externo de la boca, sin utilizar marcadores o alguna clase de maquillaje para resaltar los labios, basado en apariencia y en restricciones morfológicas definidas en el estándar MPEG-4 / Abstract: In recent years audio-visual speech recognition has emerged as an active field of research thanks to advances in pattern recognition, signal processing and machine vision. Its ultimate goal is to allow human-computer communication using voice, taking into account the visual information contained in the audio-visual speech signal, whether to cope with the difficulties of a noisy environment, or when trying to recognize the emotion exhibited by the speaker. This document presents a command’s automatic recognition system using audio-visual information. Due to the fact that this work is part of the project “Automatic Segmentation and Classification of Lip Postures and Voice Commands in order to Control a Laparoscopic Robot”, the system is expected to control a robot, in particular the laparoscopic robot da Vinci. Hidden Markov Models have been used as technique for speech recognition using Hidden Markov Model Toolkit as computational tool. The audio signal is treated using the Mel Frequency Cepstral Coefficients parametrization method. Besides, features based on the points that define the mouth’s outer contour according to the MPEG-4 standar are used in order to extract the visual speech information. It becomes necessary to deal with lip tracking in video sequences. Lip tracking is still an open issue in terms of research due to the mouth’s shape, texture and color complexity, the illumination changes and the background scenery. In this document an outer lip tracking algorithm based in shape and restrictions given in standard MPEG-4 is proposed. The video sequence does not have markers or any kind of makeover in order to highlight the lips. The algorithm is strong in presence of beard, skin tone and image’s quality.