Implementación de una interfaz hombre-máquina para el control de un brazo robótico mediante posturas labiales

Abstract

El rostro es la característica más distintiva y más usada para identificar a las personas e interactuar con ellas. La detección facial y la extracción de características faciales, es uno de los tópicos más ampliamente estudiados en la visión por computador, ya que estos apuntan al desarrollo de modos de interacción eficaz y natural con las maquinas(computadoras).El objetivo de este trabajo es desarrollar una interfaz hombre maquina que pueda ofrecer una “mano adicional” para controlar el laparoscopio a un cirujano, cuando se encuentra desarrollando una intervención quirúrgica de este tipo, lo que a menudo se hace muy necesario debido a que en la mayoría de las veces, éste tiene ambas manos e incluso ambos pies ocupados manipulando instrumentos quirúrgicos. El alcance al que se pretende llegar con este desarrollo es controlar tres grados de libertad de un brazo robótico mediante gestos faciales, a través de técnicas de visión artificial que interpreten los gestos, y envíen estos comandos al robot. La interfaz desarrollada es un sistema de tiempo real, basado en visión artificial que puede seguir los gestos faciales de una persona y no requiere ningún tipo de dispositivo de contacto, tales como dispositivos para sensar puestos en el rostro. El cirujano puede de manera fácil y precisa, controlar el brazo de robot, haciendo simplemente los gestos faciales adecuados, sin tener que usar interruptores o comandos de voz para iniciar la secuencia de control. Este sistema permite una manipulación del robot, no invasiva, que da una “mano adicional” al cirujano lo cual puede ser mucho más conveniente para este / Abstract: The face is the most distinctive and most widely used by people feature, to identify and interact with them. Face detection and facial feature extraction is one of the most widely studied topics in computer vision, since they aim to develop ways of natural and effective interaction with machines (computers). The goal of this work is to develop a human machine interface that can offer to a surgeon an “additional hand” to control the laparoscope, when they are developing a surgery of this kind, which often becomes very necessary because in most cases it takes both hands and both feet occupied manipulating surgical instruments. The scope that we pretends to reach with this development is to control three degrees of freedom of a robotic arm through facial gestures, using artificial vision techniques to interpret gestures, and send those commands to the robot. The interface developed is an artificial vision based real-time system that can track a person’s facial gestures and does not require any type of contact, such as devices to sensing in the face. The surgeon can easily and accurately control the robot arm, by making appropriate facial gestures, without having to use switches or voice commands to start the control sequence. This system enables a non-invasive robot manipulation, which gives an “additional hand” to the surgeon which can be much more convenient for it.