Multimodal explainability using class activation maps and canonical correlation analysis for EEG-based motor imagery classification enhancement

Abstract

Brain-Computer Interfaces (BCIs) are essential in advancing medical diagnosis and treatment by providing non-invasive tools to assess neurological states. Among these, Motor Imagery (MI), where patients mentally simulate motor tasks without physical movement, has proven to be an effective paradigm for diagnosing and monitoring neurological conditions. Electroencephalography (EEG) is widely used for MI data collection due to its high temporal resolution, cost-effectiveness, and portability. However, EEG signals can be noisy from several sources, including physiological artifacts and electromagnetic interference. They can also vary from person to person, which makes it harder to extract features and understand the signals. Additionally, this variability, influenced by genetic and cognitive factors, presents challenges for developing subject-independent solutions. To address these limitations, this work presents a Multimodal and Explainable Deep Learning (MEDL) approach for MI-EEG classification and physiological interpretability. Our approach involves: i) evaluating different deep learning (DL) models for subject-dependent MI-EEG discrimination; ii) employing Class Activation Mapping (CAM) to visualize relevant MI-EEG features; and iii) utilizing a Questionnaire-MI Performance Canonical Correlation Analysis (QMIP-CCA) to provide multidomain interpretability. On the GIGAScience MI dataset, experiments show that shallow neural networks are good at classifying MI-EEG data, while the CAM-based method finds spatio-frequency patterns. Moreover, the QMIP-CCA framework successfully correlates physiological data with MI-EEG performance, offering an enhanced, interpretable solution for BCIs (Texto tomado de la fuente).

Las interfaces cerebro-computador(BCI) son esenciales para avanzar en el diagnóstico y el tratamiento médicos al proporcionar herramientas no invasivas para evaluar estados neurológicos. Entre ellas, la Imaginación Motora (IM), en la que los pacientes simulan mentalmente tareas motoras sin movimiento físico, ha demostrado ser un paradigma eficaz para diagnosticar y monitorizar afecciones neurológicas. La electroencefalografía (EEG) se utiliza ampliamente para la recopilación de datos de IM debido a su alta resolución temporal, rentabilidad y portabilidad. Sin embargo, las señales de EEG pueden ser ruidosas debido a varias fuentes, como los artefactos fisiológicos y las interferencias electromagnéticas. También pueden variar de una persona a otra, lo que dificulta la extracción de características y la comprensión de las señales. Además, esta variabilidad, influida por factores genéticos y cognitivos, plantea retos para el desarrollo de soluciones independientes del sujeto. Para abordar estas limitaciones, este trabajo presenta un enfoque de Aprendizaje Profundo Multimodal y Explicable (MEDL) para la clasificación MI-EEG y la interpretabilidad fisiológica. Nuestro enfoque implica: i) evaluar diferentes modelos de aprendizaje profundo (DL) para la discriminación MI-EEG dependiente del sujeto; ii) emplear el mapeo de activación de clase (CAM) para visualizar características MI-EEG relevantes; y iii) utilizar un análisis de correlación canónica de rendimiento de cuestionario-MI (QMIP-CCA) para proporcionar interpretabilidad multidominio. En el conjunto de datos MI de GIGAScience, los experimentos muestran que las redes neuronales poco profundas son buenas para clasificar los datos MI-EEG, mientras que el método basado en CAM encuentra patrones de espacio-frecuencia. Además, el marco QMIP-CCA correlaciona con éxito los datos fisiológicos con el rendimiento MI-EEG, ofreciendo una solución mejorada e interpretable para BCI.