A machine learning framework for EEG-based BCI-MI skill prediction with preserved explainability

Abstract

The understanding of brain functioning, including its structure and the dynamic networks generated under different situations, has been one of the most challenging research topics in recent years. In this sense, brain- computer interfaces (BCI) have become the main systems to acquire and process brain signals, allowing the development of increasingly specialized techniques like machine learning and artificial intelligence methods in order to replace, restore, enhance, supply, and improve brain functionality. Thus, BCI systems may be a promissory tool for several fields, including health, rehabilitation, education, marketing, and gaming, among others. Besides, BCI development is a continuously growing field of study not only in research but also in the business context, with a market that projects more than four hundred million USD by 2029. However, despite advances in building BCI systems, around 30% of BCI users are unable to effectively manage the device due to multiple factors such as intra- and inter-subject variability, overfitting, and small datasets. This issue is known as the ‘BCI illiteracy phenomenon’. Since electroencephalography (EEG) is the most used acquisition method due to its high temporal resolution, portability, and low cost compared with the other techniques, in this work we study the causes of the illiteracy phenomenon by predicting the user performance during motor imagery (MI) tasks. In this sense, we developed a machine learning framework to improve the illiterate subject’s performance under a skill prediction scheme. First, we develop a data- driven deep learning model, termed DRN, based on extracting time-frequency neurophysiological indicators that allow coding the inter-subject variability by predicting MI-BCI performance. Besides, to address the overfitting issues in the presence of small datasets and high-dimensional representations, we also developed a functional connectivity-based Monte-Carlo dropout regularized approach by modifying the proposed DRN to extract relevant patterns from channel relationships. Last, to improve illiterate subjects’ performance, we develop a general-purpose end-to-end multi-task deep learning approach founded on an autoencoder- based regularization scheme that transfers learned knowledge from performance prediction tasks to MI classification tasks. The results obtained in this work are promising and outperform the baseline methods in both BCI-performance prediction and MI classification. Furthermore, the proposed prediction methods are able to find behavioral group patterns between subjects with similar degrees of variability, while the transfer learning techniques allow to improve the performance of illiterate subjects with information from other subjects, contributing to the generalization of BCI systems (Texto tomado de la fuente)

La comprensión del funcionamiento del cerebro, incluida su estructura y las redes dinámicas generadas en diferentes situaciones, ha sido uno de los temas de investigación más difíciles de los últimos años. En este sentido, las interfaces cerebro-computador (BCI) se han convertido en los principales sistemas para adquirir y procesar señales cerebrales, permitiendo el desarrollo de técnicas cada vez más especializadas como el aprendizaje automático y los métodos de inteligencia artificial que permiten reemplazar, restaurar, mejorar, suministrar y mejorar la funcionalidad cerebral. Por lo tanto, los sistemas BCI pueden ser una herramienta prometedora para varios campos, incluyendo la salud, la rehabilitación, la educación, el marketing y el juego, entre otros. Además, el desarrollo de BCI es un campo de estudio en continuo crecimiento no sólo en investigación sino también en el contexto empresarial, con un mercado que proyecta más de cuatrocientos millones de dólares para 2029. Sin embargo, a pesar de los avances en la construcción de sistemas BCI, alrededor del 30% de los usuarios de BCI no son capaces de administrar eficazmente el dispositivo debido a múltiples factores como la variabilidad intra- e inter-sujeto, el sobreajuste y la presencia de pequeños conjuntos de datos para el entrenamiento. Este problema es conocido como el fenómeno del ‘analfabetismo del BCI’. Dado que la electroencefalografía (EEG) es el método de adquisición más utilizado debido a su alta resolución temporal, portabilidad y bajo costo en comparación con las otras técnicas, en este trabajo estudiamos las causas del fenómeno del analfabetismo previniendo el rendimiento del usuario durante las tareas de imagen motor (MI). En este sentido, hemos desarrollado un marco de aprendizaje automático para mejorar el rendimiento del sujeto analfabeto bajo un esquema de predicción de sus habilidades. En primer lugar, desarrollamos un modelo de aprendizaje profundo basado en los datos, llamado DRN, sobre la base de la extracción de indicadores neurofisiológicos de frecuencia temporal que permiten codificar la variabilidad intersubjetiva prediciendo el rendimiento del MI-BCI. Además, para abordar los problemas de sobreajuste en la presencia de pequeños conjuntos de datos y representaciones de alta dimensión, también desarrol- lamos un enfoque regularizado de Monte-Carlo dropout basado en la conectividad funcional modificando el DRN propuesto para extraer patrones relevantes de las relaciones de canales. Por último, para mejorar el rendimiento de los sujetos analfabetos, desarrollamos un enfoque de aprendizaje profundo multi-tareas de propósito general basado en un esquema de regularización usando una arquitectura de autoencoder, que transfiere los conocimientos aprendidos de las tareas de predicción de rendimiento a las tasas de clasificación de imaginación motora. Los resultados obtenidos en este trabajo son prometedores y superan los méto- dos base tanto en la predicción del desempeño del BCI como en la clasificación de la imaginación motora. Además, los métodos de predicción propuestos son capaces de encontrar patrones de comportamiento grupal entre sujetos con grados similares de variabilidad, mientras que las técnicas de transferencia de aprendizaje permiten mejorar el rendimiento de sujetos analfabetos con información de otros sujetos, contribuyendo a la generalización de los sistemas BCI.