Un enfoque basado en redes neuronales para el reconocimiento de emociones como funciones temporales usando señales EEG y estímulos musicales

Abstract

Identificar la expresión de emociones de un individuo por medio del análisis de señales de electroencefalografía (EEG) es importante para el diseño de sistemas computacionales en el campo de la computación afectiva. Estos sistemas buscan extraer información de las señales EEG y relacionarla con las emociones de forma autónoma, tal que pueda ser aplicado en diferentes contextos, por ejemplo en el apoyo de procesos musicoterapéuticos. En esta tesis se construyen dos modelos computacionales basados en aprendizaje supervisado y no-supervisado: una red neuronal convolucional-recurrente (CRNN) y un conjunto de mapas auto-organizados (SOM). El principal objetivo consiste en identificar emociones como funciones temporales a partir del estudio de señales EEG, que son registradas por medio de la diadema EPOC+. La fuente de estímulo son 8 piezas musicales, las cuales se componen para evocar 4 emociones en un grupo de personas: alegría, tristeza, calma y furia. Adicionalmente, a través de la prueba de auto-evaluación SAM, un individuo marca un puntaje emocional por cada estímulo en términos de las dimensiones Actividad y Valencia. Se aplica un protocolo experimental para registrar las señales EEG de 30 participantes, mientras que ellos escuchan las piezas musicales compuestas. Se construye el conjunto de datos EEGLife a partir del procesamiento de las señales EEG puras, con el fin de reducir o remover ruido de diferentes artefactos. Algunas características se extraen de las señales EEG tales como: la correlación cruzada entre señales, la potencia relativa de las bandas de frecuencia, y los escalogramas basados en la transformada Wavelet. Las características extraídas y los puntajes emocionales conforman el conjunto de entrenamiento-validación para las redes neuronales propuestas. Para cada uno de los modelos se escoge la arquitectura y los hiperparámetros dependiendo de los conjuntos de entrenamiento-validación. Se utiliza un esquema de entrenamiento basado en el sujeto con 20% de cada participante para validación sobre el conjunto de datos EEGLife y sobre un conjunto de referencia, el conjunto DEAP. Se realiza una etapa de validación para comparar el desempeño de las redes neuronales en términos de las medidas Precisión, Exhaustividad, Valor-F1 y Exactitud. Los resultados muestran que los modelos extraen la información relacionada con la expresión emocional más fácil para el conjunto EEGLife que para el conjunto DEAP. Los resultados también muestran que el modelo SOM tiene mejor desempeño que el modelo CRNN principalmente por dos razones: el modelo SOM no contempla los puntajes emocionales en el entrenamiento sino en asignar un significado a los grupos resultantes en los mapas, y la asignación de puntajes emocionales contempla la contribución de varios participantes por medio de un sistema difuso. Finalmente, el modelo SOM tiene una propiedad de interpretabilidad que no tiene el modelo CRNN, lo que permite analizar la representación de las señales EEG de forma intuitiva en los mapas auto-organizados.

Identifying emotional expressions from individuals is important to build computational systems in the field of affective computing when Electroencephalography signals (EEG) are analyzed. Such systems are designed to autonomously extract pieces of information from EEG signals regarding to emotions. This process can be applied in different areas, for example, to support music-therapeutical processes. In this thesis, supervised and unsupervised learning techniques are applied to train two models of neural networks: convolutional-recurrent neural networks CRNN and a set of self-organizing maps SOM. The main goal is the identification of emotions as temporal representations from EEG signals, which are collected by an EPOC+ neuroheadset. The source of stimuli are 8 pieces of music that are composed to theoretically evoke 4 emotions on people: happiness, sadness, calmness and anger. Additionally, through the self-assessment manikin test SAM, an individual provides a score for each stimulus in terms of emotional dimensions Arousal and Valence. EEG signals from 30 participants are recorded while they listen to the composed pieces of music. The EEGLife dataset is built by applying digital signal processing techniques to the raw EEG signals to reduce noise and to remove artifacts. Some features are extracted from EEG signals such as cross-correlation, bandpower and wavelet scalograms. These features and scores coming from people form the dataset for training and validating the proposed neural networks. Architectures and hyper-parameters are chosen for each neural network according to their training-test datasets. A subject-specific training schema with 20% per participant for validation is used not only for the EEGLife dataset, but also from a benchmark dataset, the DEAP dataset. A validation stage is made to compare the performance of all the models by using Precision, Recall, F1-Score and Accuracy metrics. Results show that both models can extract the emotional expression information easier from EEGLife than DEAP dataset. Additionally, results show that SOM model performs better than CRNN model mainly for two factors: SOM model does not consider emotional scores during the training, but just to assign meaning to the resulting groups in maps; the final emotional scores are calculated by a fuzzy system, which computes the contribution of more than one participant. Finally, the SOM model has an interpretability property not found in CRNN model, which allows to intuitively analyze represented EEG signals on the self-organized maps.