Reconocimiento del habla silenciosa con señales electroencefalográficas (EEG) para interfaces cerebro-computador

Abstract

Las interfaces cerebro computador tienen relevancia médica en el tratamiento de individuos que sufren de parálisis motora o amputaciones de miembro superior o miembro inferior; sin embargo, la dificultad para extraer y procesar con exactitud, particularmente las señales cerebrales de habla silenciosa, limita en gran medida su aplicación. Esta tesis presenta dos novedosos sistemas de procesamiento de señales basados en electroencefalografía con la habilidad de clasificar vocales y sílabas con habla silenciosa. Una de las metodologías se basa en las características de la entropía de la información con la dimensión de regularización, y el otro en las características de datos funcionales en el espacio de Hilbert $L^2$, utilizando los datos de la posición de los electrodos. Dentro de las ventajas de los métodos desarrollados en comparación con otros métodos de BCI, pueden establecerse los siguientes: no requieren de procesos de entrenamiento dispendiosos como en el caso de la imaginería motora; no requieren de un proceso de atención riguroso como ocurre utilizando potenciales evocados visuales de estado estable (\textit{steady-state visual evoked potential} - SSVEP) o imaginería motora; no requieren de un estímulo externo como en el caso de SSVEP o P300; y no requieren de tareas cognitivas que generen fatiga muscular o cognitiva como en el caso de la imaginería motora. Adicionalmente, utilizan señales cerebrales que están relacionadas con el área de lenguaje (vocales y sílabas) y tienen la posibilidad de utilizar la innumerable cantidad de palabras (léxico) de un lenguaje. La relevancia de esta tesis está en aportar dos métodologías novedosas de habla silenciosa con EEG, como una opción importante donde las BCIs mejoren su desempeño para controlar dispositivos como: \textit{spellers}, sillas de ruedas, prótesis y robots, entre otros. En esta tesis, una máquina de soporte vectorial para clasificación multiclase es implementada usando la estrategia uno contra el resto (1-\textit{rest}) y uno contra uno (1-1) con una función kernel de base radial. Los parámetros óptimos son calculados con un algoritmo genético. Los resultados son demostrados con la clasificación de cinco vocales (/a/, /e/, /i/, /o/, /u/) y cinco sílabas (/fa/, /pa/, /ma/, /la/ /ra/), usando habla silenciosa con señales electroencefalográficas. El desempeño de las metodologías propuestas medidas en términos de exactitud (\textit{accuracy}) son los siguientes: Con la metodología basada en vector de características con entropía de la información y dimensión de regularización, se seleccionaron dos algoritmos SVM de clasificación multiclase (1-\textit{rest}) y (1-1). Los mejores resultados de clasificación fueron obtenidos con el clasificador (1-1) para vocales y sílabas con habla silenciosa. En el caso de vocales con habla silenciosa se alcanzó una exactitud (media estadística) de 69.83%, y en sílabas con habla silenciosa una exactitud (media estadística) de 66.89%. Para la metodología basada en vector de características con datos funcionales, aplicado a vocales y sílabas con habla silenciosa, se seleccionó el algoritmo SVM de clasificación multiclase (1-1). Para el caso de vocales con habla silenciosa se utilizaron ritmos $\delta$, $\delta\theta$ y \delta\theta\alpha. Los mejores resultados de exactitud fueron obtenidos con los ritmos \delta\theta\alpha con una media estadística de 71.92\%. En el caso de sílabas con habla silenciosa se utilizaron ritmos \delta, con los cuales se alcanzó una exactitud (media estadística) de 67.13%. De los resultados de la clasificación se concluye que la exactitud alcanzada para vocales y sílabas con habla silenciosa, utilizando la metodología basada en vector de características con datos funcionales, es más alta que aquella alcanzada con la metodología basada en vector de características con entropía de la información y dimensión de regularización.

Abstract, Brain-computer interfaces have medical relevance in the treatment of individuals suffering from motor paralysis or amputation of upper limb or lower limb; however, the difficulty to extract and accurately process, particularly silent speech brain signals, greatly limit its application. This thesis presents two novel processing systems based on electroencephalography with the ability to classify vowels and syllables with silent speech signals. One methodology is based on the features of the information entropy with dimension regularization, and the other one is based on the features of functional data in the Hilbert space L2, using the position data of the electrodes. Among the advantages of the developed methodologies in comparison to other BCI methods, the following can be established: they do not require training wasteful processes as in the case of motor imagery; they do not require a rigorous attention such as using (steady-state visual evoked potential - SSVEP) or motor imagery; they do not require an external stimulus such as in the case of SSVEP or P300; and they do not require cognitive tasks that generate cognitive or muscle fatigue as in the case of motor imagery. In addition to this, they use brain signals that are related to the language area (vowels and syllables) and they have the possibility to work with the countless number of words (vocabulary) of a language. The relevance of this thesis is to provide two novel methodologies of silent speech with EEG, as an important option where BCIs can improve their performance to control devices such as: spellers, wheelchairs, prostheses and robots, among others. In this thesis, a support vector machine for multiclass classification was implemented using the one against-rest (1-rest) and one against-one (1-1) strategy with a radial basis function kernel. The optimal parameters are calculated with a genetic algorithm. The results are demonstrated with the classification of five vowels (/a/, /e/, /i/, /o/, /u/) and five syllables (/ fa/, /pa/, /ma/, /la/ /ra/) using silent speech with electroencephalographic signals. The performance of the proposed methodologies measured in terms of accuracy is as follows: In regard to the feature vector based information entropy and dimension regularization methodology, two multiclass SVM classification algorithms (1-rest) and (1-1) were selected. The best results were obtained with the classifier (1-1) to vowels and syllables with silent speech. In the case of silent speech vowels an accuracy (statistical average) of 69.83% was reached, and for silent speech syllables an accuracy (statistical average) of 66.89% was reached. For the feature vector based functional data methodology, the multiclass SVM classification algorithm (1-1) was selected to vowels and syllables with silent speech. In the case of silent speech vowels $\delta$, $\delta\theta$ and \delta\theta\alpha rhythms were used. The best results of accuracy were obtained with \delta\theta\alpha rhythms, with a statistical average of 71.92 %. In the case of silent speech syllables rhythms were used, where an accuracy (statistical average) of 67.13% was reached. From the classification results it can concluded that the accuracy to the feature vector based functional data methodology to vowels and syllables with silent speech, is higher than the feature vector based information entropy and dimension regularization methodology.