Enriching the structural MRI information by cross-scale associations with the diffusion-weighted MRI

Abstract

Unimodal MRI provides a unique channel of information specific to the organ under examination, but it tends to restrict the amount of information necessary for accurate diagnoses. Conversely, in multimodal MRI different tissue structures are highlighted, thereby enriching the information about processes affecting an organ and hence improving the diagnostic precision. Nevertheless, in clinical settings the availability of multiple MR modalities and the scanning time for every patient is limited. To address this challenge, image-to-image translation techniques can be used to synthesize different brain image modalities and provide enriched complementary information about the organ. The image translation task is often done with the use of Generative Adversarial Networks (GANs) which is a computationally expensive approach. This work presents the synthesis of diffusion-derived fractional anisotropy maps (FA) from T1-weighted brain Magnetic Resonance Images using a simplified GAN-based architecture that enrich the structural information while reducing the computational cost associated with training the generative model. Furthermore, to prove that the latent information of the generative network is inherently enriched by both input and target image modalities, a classification task of three stages of the Alzheimer’s disease spectrum (healthy, mild cognitive impairment and mild dementia) was performed. Brain magnetic resonance images from the ADNI database were employed. Paired T1 and FA slices in axial, coronal, and sagittal views were utilized for the synthesis task. For the classification task, T1 slices in the same orientations were used. We evaluated the synthesis task by comparing the performance of the proposed GAN architecture against two state-of-the-art networks: Pix2pix and CycleGAN. Using almost 70% less parameters than those used in Pix2pix, the proposed method showed competitive results in mean PSNR (20.21 ± 1.38) and SSIM (0.65 ± 0.07) when compared to Pix2pix (PSNR: 20.46 ± 1.46, SSIM: 0.66 ± 0.07), outperforming quality metrics achieved by CycleGAN (PSNR: 18.65 ± 1.31, SSIM: 0.61 ± 0.08). For the classification task, a Support Vector Machine (SVM) classifier was trained with the latent information of the proposed generative network. A boost in classification was demonstrated when comparing the enriched (multimodal) latent information with non-enriched (unimodal) information (Texto tomado de la fuente).

La resonancia magnética unimodal proporciona un canal único de información especı́fica del órgano examinado, pero tiende a restringir la cantidad de información necesaria para diagnósticos precisos. En contraposición, en la resonancia magnética multimodal se destacan diferentes estructuras de tejido, lo cual enriquece la información sobre los procesos que afectan un órgano y por tanto mejora la precisión diagnóstica. Sin embargo, en entornos clı́nicos, la disponibilidad de múltiples modalidades de resonancia magnética y el tiempo de exploración para cada paciente son limitados. Para abordar este desafı́o, se pueden utilizar técnicas de traducción de imagen a imagen para sintetizar diferentes modalidades de imágenes cerebrales que proporcionen información complementaria enriquecida sobre el órgano. Esta tarea de generación de imágenes depende en gran medida del uso de Redes Generativas Adversarias (GAN), caracterizadas por su alta demanda computacional. Este trabajo presenta la sı́ntesis de mapas de anisotropı́a fraccional (FA) derivados de la imagen de difusión a partir de imágenes de resonancia magnética cerebral ponderada en T1, utilizando una arquitectura simplificada basada en GAN que enriquece la información estructural al tiempo que reduce el costo computacional asociado al entrenamiento del modelo generativo. Adicionalmente, con el fin de demostrar que la información latente de la red generativa está naturalmente enriquecida por ambas imágenes de entrada y de salida, se realizó una tarea de clasificación de tres de los estadios del espectro de la enfermedad de Alzheimer (sano, deterioro cognitivo moderado, demencia leve). Se utilizaron imágenes de resonancia magnética cerebral de la base de datos ADNI. Cortes pareados de T1 y FA en vistas axial, coronal y sagital fueron empleados en la tarea de sı́ntesis. Para la tarea de clasificación se usaron cortes de T1 en los mismos planos. La tarea de sı́ntesis fue evaluada comparando la arquitectura propuesta con dos redes del estado del arte: Pix2pix y CycleGAN. Utilizando casi un 70% menos de parámetros que los utilizados en Pix2pix, el método propuesto mostró resultados competitivos en PSNR (20.21 ± 1.38) y SSIM (0.65 ± 0.07) en comparación con Pix2pix (PSNR: 20.46 ± 1.46, SSIM: 0.66 ± 0.07), superando las métricas de calidad alcanzadas por CycleGAN (PSNR: 18.65 ± 1.31, SSIM: 0.61 ± 0.08). Para la tarea de clasificación, se entrenó un clasificador de máquina de soporte vectorial (SVM) utilizando la información latente de la red generativa propuesta. Se demostró una mejora en la clasificación cuando se comparó la información latente enriquecida (multimodal) con la información no enriquecida (unimodal) (Texto tomado de la fuente).