Regularized Gaussian functional connectivity network with Post-Hoc interpretation for improved EEG-based motor imagery-BCI classification

Abstract

Conditions such as amyotrophic lateral sclerosis, brain strokes, and spinal injuries can cause significant disruptions in the brain's communication pathways, affecting voluntary muscle control and interactions with one's environment. Brain-computer interfaces (BCIs) are computer-based systems utilized to address these challenges; they interpret brain signals and have seen extensive applications in medical technology, rehabilitation, and entertainment industries. Particularly in BCI studies, motor imagery (MI), a widely researched paradigm, holds the potential for reviving motor functionality. Integrating MI-BCIs with skilled therapists has yielded positive outcomes in sensory and motor rehabilitation processes, proving to be beneficial for individuals with neurological disorders. Additionally, MI-BCI systems are not limited to clinical applications; they also find relevance in non-clinical settings like virtual reality, gaming, and skill acquisition.

Brain signals in MI-BCI systems are often analyzed using electroencephalography (EEG), which is advantageous due to its high temporal resolution, affordability, and portability. These features make it a viable method for capturing short-evolving events and temporal neuronal activity patterns. Nonetheless, decoding EEG signals is complex due to their high sampling rate and the high number of electrodes involved, which results in an overwhelming amount of data points. Several promising methodologies, leveraging the concept of event-related synchronization (ERS) and event-related desynchronization (ERD), have been developed to ease the extraction of relevant features for decoding EEG into sensorimotor rhythm (SMR) patterns. While noteworthy, single-channel features tend to oversimplify overall phenomena since they need to consider the interactions of different brain regions. Considering the complex activations and communications within multiple brain areas during the execution or imagination of simple motor tasks, multi-channel feature extraction approaches are more accurate. For instance, the Common Spatial Patterns (CSP) method has demonstrated its significance in MI-BCI, promoting the extraction of highly discriminative features by maximizing the separability of SMR features. Brain connectivity (BC), a key determinant in this approach, describes interactions within and between brain regions and correlates to synchronization mechanisms within oscillatory modulations. BC can be divided into structural/anatomical connectivity (SC), effective connectivity (EC), and functional connectivity (FC), each with distinct characteristics. SC focuses on physical connections and is context-independent, while EC and FC, suitable for EEG-based MI-BCI systems, decode fast-evolving cognitive states where FC is particularly suited to MI-BCI applications due to its simplicity, low computational demands, and lack of rigid prior assumptions.

This thesis addresses three prevailing challenges experienced with FC EEG-based MI-BCI systems. Firstly, performance deficits in MI classification tasks are often a result of high noise levels present in EEG signals. Secondly, relying on expert knowledge for feature extraction often presents a barrier. Lastly, there is a necessity for increased transparency within these models. The study delivers key contributions toward a single-trial FC in MI-BCI systems in response to these challenges. This improvement is achieved by utilizing a novel approach grounded on the kernel cross-spectral approximation afforded by extending Bochner's theorem. This new single-trial kernel cross-spectral (KCS) FC estimator tackles noise issues, spurious connections, and inter-subject variability, significantly improving accuracy. Moreover, an end-to-end approach, KCS-FCnet, has been conceptualized to enhance automatic EEG representation for MI-BCI. This approach is pivotal in reducing artifacts and accurately identifying relevant connections. In addition, it assists in the extraction of critical spectral, temporal, and spatial EEG representations. Acknowledging the necessity for model transparency, this study proposed a strategy for improving model transparency and interpretability, named interpretable regularized KCS-FCnet (IRKCS-FCnet). Capitalizing on the potential of regularization, the model's interpretability is strengthened by minimizing nonrelevant connections. This is further made possible by maximizing the cross-information potential using Renyi's entropy measured at $\alpha=2$, alongside a cross-entropy function. To supplement these enhancements, Layer-CAM and last layer weight strategies have been employed to provide both post-hoc and intrinsic interpretability, respectively. The average drop concept further supports these strategies, enhancing the system's transparency and understanding.

The results show that the proposed KCS-FC achieves higher performance accuracy than classical FC estimators and has competitive accuracy against more complex FC-based strategies, reaching the second place in DBI\footnote{BCI2a~\url{http://www.bbci.de/competition/iv/index.html}} with an accuracy of $81.92\%$ and first place with $74.12\%$ in DBIII\footnote{Giga Motor Imager~\url{http://gigadb.org/dataset/100295}}, both binary motor imagery classification tasks. Moreover, the KCS-FCnet shows $76.4\%$ on DBIII while keeping the architecture with $4245$ trainable parameters, making it the highest against the compared DL models. Lastly, the IRKCS-FCnet shows better performance, increasing $2$ percentage points for low-performing individuals, and showed better localization and interpretations, demonstrating that when removing $5\%$ of the most important features, the average accuracy drop score goes to $22.46$, $5$ percentage points higher than the version without the regularization. Furthermore, the contralateral pattern can be seen in the topoplot interpretation for both the right and left hand. This study opens the path for using more FC estimators within DL frameworks, and future work can extend and improve some of the existing issues, for instance, including multivariate measuring strategies and not relying only on pairwise measures, as well as implementing a time-lag method to reduce the impact of volume conduction problems. Finally, measuring FC matrices with more appropriate distances that account for the inner links between different channels, like in the Riemann geometry, could help to better decode MI signals hindered in the intricate EEG recordings (Texto tomado de la fuente)

Condiciones como la esclerosis lateral amiotrófica, los derrames cerebrales y las lesiones de la médula espinal pueden causar interrupciones significativas en las vías de comunicación del cerebro, afectando el control muscular voluntario y la interacción con el entorno. Las interfaces cerebro-computadora (BCIs) son sistemas basados en computadoras que se utilizan para abordar estos desafíos; interpretan las señales cerebrales y han sido usadas en aplicaciones médicas, de rehabilitación y de entretenimiento. Particularmente en el campo de BCI, la Imaginación Motora (MI), un paradigma ampliamente investigado, posee un enorme potencial para la recuperación de la funcionalidad motora. La integración de MI-BCIs con terapeutas especializados ha dado resultados positivos en los procesos de rehabilitación sensorial y motora, demostrando ser beneficioso para las personas con trastornos neurológicos. Sin embargo, los sistemas MI-BCI no se limitan a aplicaciones clínicas; también son de gran relevancia en entornos no clínicos como la realidad virtual, los juegos y la adquisición de habilidades motoras.

Usualmente, las señales cerebrales en los sistemas MI-BCI \changes{son} recolectada usando electroencefalografía (EEG) debido a su alta resolución temporal, asequibilidad y portabilidad. Estas características lo convierten en un método viable para capturar eventos de corta duración y patrones de actividad neuronal temporal. No obstante, la decodificación de las señales de EEG es compleja debido a su alta tasa de muestreo y al elevado número de electrodos involucrados, lo que resulta en una cantidad abrumadora de datos. Varias metodologías prometedoras, aprovechando el concepto de sincronización relacionada de eventos (ERS) y desincronización relacionada de eventos (ERD), se han desarrollado para facilitar la extracción de características pertinentes y así decodificar EEG en patrones del area sensoriomotora (SMR). Aunque son importantes, las características de un solo canal tienden a simplificar demasiado los fenómenos generales ya que no consideran las interacciones de las distintas regiones cerebrales. Teniendo en cuenta las activaciones y comunicaciones complejas dentro de varias áreas cerebrales durante la ejecución o la imaginación de tareas motoras sencillas, los enfoques de extracción de características de múltiples canales son más precisos. Por ejemplo, el método de Patrones Espaciales Comunes (CSP) ha demostrado su importancia en MI-BCI, promoviendo la extracción de características altamente discriminativas al maximizar la separabilidad de las características SMR. La conectividad cerebral (BC), un factor clave en estos enfoques, describe las interacciones dentro y entre las regiones cerebrales y se correlaciona con los mecanismos de sincronización dentro de las modulaciones oscilatorias. BC se puede dividir en conectividad estructural/anatómica (SC), conectividad efectiva (EC) y conectividad funcional (FC), cada una con características distintas. SC se centra en conexiones físicas y es independiente del contexto, mientras que EC y FC, adecuados para sistemas MI-BCI basados en EEG, decodifican estados cognitivos de evolución rápida donde FC es particularmente adecuado para aplicaciones de MI-BCI debido a su simplicidad, baja demanda computacional y falta de supuestos previos rígidos.

Esta tesis aborda tres desafíos predominantes en los sistemas MI-BCI basados en FC EEG. En primer lugar, los déficits de rendimiento en las tareas de clasificación de MI son a menudo producto de los altos niveles de ruido presentes en las señales de EEG. En segundo lugar, depender del conocimiento experto para la extracción de características a menudo presenta una barrera. Por último, existe una necesidad de mayor transparencia de dichos modelos. El estudio aporta contribuciones hacia \changes{las FC single-trial} en los sistemas MI-BCI en respuesta a estos desafíos. Esta mejora se logra utilizando un enfoque novedoso basado en la aproximación espectral de kernel cruzado proporcionada por la extensión del teorema de Bochner. Este nuevo estimador de FC de kernel cruzado espectral (KCS) aborda problemas de ruido, conexiones espurias y variabilidad inter-sujeto, mejorando significativamente la precisión. Además, se ha conceptualizado un enfoque end-to-end, KCS-FCnet, para mejorar la representación automática del EEG para MI-BCI. Este enfoque es fundamental para reducir los artefactos e identificar con precisión las conexiones relevantes. Además, ayuda en la extracción de características espectrales, temporales y espaciales del EEG. Reconociendo la necesidad de transparencia del modelo, este estudio propuso una estrategia para mejorar la transparencia e interpretabilidad del modelo, denominada KCS-FCnet regularizada e interpretable (IRKCS-FCnet). Capitalizando el potencial de la regularización, la interpretabilidad del modelo se fortalece minimizando las conexiones no relevantes. Esto se realiza maximizando el potencial de información cruzada utilizando la entropía de Renyi medida en $\alpha=2$, junto con una función de entropía cruzada. Para complementar estas mejoras, se han empleado las estrategias de pesos en la última capa y Layer-CAM para proporcionar interpretabilidad intrínseca y post-hoc, respectivamente. El concepto de caída promedio respalda aún más esta estrategia, mejorando la transparencia y la comprensión del sistema.

Los resultados muestran que el KCS-FC propuesto logra un incremento en el rendimiento que los estimadores clásicos de FC y tiene una precisión competitiva contra estrategias más complejas basadas en FC, alcanzando el segundo lugar en DBI\footnote{BCI2a~\url{http://www.bbci.de/competition/iv/index.html}} con una precisión del $81.92\%$ y el primer lugar con $74.12\%$ en DBIII\footnote{Giga Motor Imagery~\url{http://gigadb.org/dataset/100295}}, ambas tareas de clasificación binaria de MI. Además, el KCS-FCnet muestra un rendimiento $76.4\%$ en DBIII manteniendo la arquitectura con $4245$ parámetros entrenables, lo que lo convierte en el mejor en comparación con los modelos DL comparados. Por último, el IRKCS-FCnet muestra un mejor rendimiento, aumentando $2$ puntos porcentuales para individuos con bajo rendimiento, y muestra una mejor localización e interpretaciones, demostrando que al eliminar el $5\%$ de las características más importantes, la puntuación promedio de caída de precisión cae $22.46$, $5$ puntos porcentuales más alta que la versión sin regularización. Además, se puede ver el patrón contralateral en la interpretación de topoplot para ambas manos, la derecha y la izquierda. Este estudio abre el camino para usar más estimadores de FC dentro de los marcos de DL, y los trabajos futuros pueden extender y mejorar algunos de los problemas existentes, por ejemplo, incluyendo estrategias de medición multivariante y no dependiendo solo de medidas por pares, así como implementar un método de tiempo de retraso para reducir el impacto de los problemas de conducción de volumen. Finalmente, medir las matrices de FC con distancias más apropiadas que tengan en cuenta los enlaces internos entre diferentes canales, como en la geometría de Riemann, podría ayudar a decodificar mejor las señales de MI escondidas en las intrincadas grabaciones de EEG.