Method for the segmentation of brain magnetic resonance images using a neural network architecture based on attention models

Abstract

In recent years, the use of deep learning-based models for developing advanced healthcare systems has been growing due to the results they can achieve. However, the majority of the proposed deep learning-models largely use convolutional and pooling operations, causing a loss in valuable data and focusing on local information. In this thesis, we propose a deep learning-based approach that uses global and local features which are of importance in the medical image segmentation process. In order to train the architecture, we used extracted three-dimensional (3D) blocks from the full magnetic resonance image resolution, which were sent through a set of successive convolutional neural network (CNN) layers free of pooling operations to extract local information. Later, we sent the resulting feature maps to successive layers of self-attention modules to obtain the global context, whose output was later dispatched to the decoder pipeline composed mostly of upsampling layers. The model was trained using the Mindboggle-101 dataset. The experimental results showed that the self-attention modules allow segmentation with a higher Mean Dice Score of 0.90 ± 0.036 compared with other UNet-based approaches. The average segmentation time was approximately 0.032 s per brain structure. The proposed model allows tackling the brain structure segmentation task properly. Exploiting the global context that the self-attention modules incorporate allows for more precise and faster segmentation. We segmented 37 brain structures and, to the best of our knowledge, it is the largest number of structures under a 3D approach using attention mechanisms.

En los últimos años, el uso de modelos basados en aprendizaje profundo para el desarrollo de sistemas de salud avanzados ha ido en aumento debido a los excelentes resultados que pueden alcanzar. Sin embargo, la mayoría de los modelos de aprendizaje profundo propuestos utilizan, en gran medida, operaciones convolucionales y de pooling, lo que provoca una pérdida de datos valiosos centrándose principalmente en la información local. En esta tesis, proponemos un enfoque basado en el aprendizaje profundo que utiliza características globales y locales que son importantes en el proceso de segmentación de imágenes médicas. Para entrenar la arquitectura, utilizamos bloques tridimensionales (3D) extraídos de la resolución completa de la imagen de resonancia magnética. Estas se enviaron a través de un conjunto de capas sucesivas de redes neuronales convolucionales (CNN) libres de operaciones de pooling para extraer información local. Luego, enviamos los mapas de características resultantes a capas sucesivas de módulos de autoatención para obtener el contexto global, cuya salida se envió más tarde a la canalización del decodificador compuesta principalmente por capas de upsampling. El modelo fue entrenado usando el conjunto de datos Mindboggle-101. Los resultados experimentales mostraron que los módulos de autoatención permiten la segmentación con un Mean Dice Score 0,90 ± 0,036 la cual es mayor en comparación con otros enfoques basados en UNet. El tiempo medio de segmentación fue de aproximadamente 0,032 s por estructura cerebral. El modelo propuesto permite abordar adecuadamente la tarea de segmentación de estructuras cerebrales. Así mismo, permite aprovechar el contexto global que incorporan los módulos de autoatención logrando una segmentación más precisa y rápida. En este trabajo segmentamos 37 estructuras cerebrales y, según nuestro conocimiento, es el mayor número de estructuras bajo un enfoque 3D utilizando mecanismos de atención. (Texto tomado de la fuente)