A deep learning approach for image-based semantic segmentation with preserved interpretability

Abstract

Semantic segmentation is pivotal in various industries, showcasing its significant impact across numerous applications. Semantic segmentation offers invaluable insights that drive advancements in fields such as autonomous driving, surveillance, robotics, and augmented reality by enabling precise identification and labeling of objects within an image. Accurate segmentation of objects allows autonomous vehicles to navigate complex environments, surveillance systems to detect and track specific objects, robots to manipulate objects efficiently, and augmented reality applications to seamlessly blend virtual objects with the real world. However, in the medical industry, the importance of semantic segmentation has become truly profound. Medical imaging techniques, such as computerized tomography scans and magnetic resonance imaging, generate vast amounts of data that require meticulous annotation for analysis. Manual annotation is a time-consuming and resource-intensive process, leading to diagnosis and treatment planning delays. Semantic segmentation techniques have the potential to automate this process, facilitating faster and more accurate analysis of medical images, thereby enhancing patient care and reducing the burden on healthcare professionals. Moreover, in medical applications, the need for interpretability is critical. Understanding and interpreting the segmentation results is vital for clinicians to make informed decisions. Interpretable semantic segmentation techniques provide transparency and insights into the segmentation process, ensuring that medical professionals can trust and validate the results for accurate diagnosis and treatment.

Medical image analysis faces several challenges, with one of the primary obstacles being the limited availability of datasets specifically tailored for training segmentation models. These models require large and diverse datasets to learn the intricate patterns and features of medical images accurately. However, due to the sensitive nature of medical data and the need for expert annotations, obtaining such datasets can be challenging. Another significant challenge arises from the high variability in the region of interest (ROI) within medical imaging. The ROI can differ significantly from one patient to another due to variations in anatomy, pathology, and imaging parameters. This variability leads to differences in shape, size, and texture, making it difficult for segmentation models to delineate and analyze the regions of interest accurately. Consequently, ensuring consistent and reliable segmentation results across diverse medical images remains a critical challenge. Furthermore, there is a pressing need for systematic and quantitative evaluations of interpretability in deep learning-based segmentation models. Without such evaluations, trusting and relying on these models for clinical decision-making becomes challenging. Medical practitioners must comprehensively understand how and why these models arrive at their conclusions to incorporate them into their practice confidently. The absence of standardized evaluation methods impedes progress in building interpretable and trustworthy medical image analysis systems.

This work addresses challenges in medical image segmentation. Our contributions include optimizing Random Fourier Features for spatial data through gradient descent named CRFFg, enhancing shallow encoder-decoder models for semantic segmentation, and proposing quantitative measures for interpretability. CRFFg takes advantage of the generalization properties of kernel methods and enhances data efficiency for spatial data derived from convolutions, mitigating low sample size and overfitting. To address shape, size, and texture variability in semantic segmentation across patients and imaging protocols, we incorporate a CRFFg layer into the skip connection of the encoder-decoder models. This improves the representation of low-level features from the encoder and their fusion in the decoder, specifically targeting the challenges of ROI variability. Interpretability is crucial in medical semantic segmentation, but deep learning models present challenges. To enhance interpretability, we propose quantitative measures: CAM-based Cumulative Relevance assesses the location of relevance in specific regions of interest, Mask-based Cumulative Relevance evaluates sensibility across multiple regions of interest, and CAM-Dice measures the homogeneity of relevance in interest regions. These measures provide objective and comprehensive evaluations, surpassing visual inspection and qualitative analysis.

The proposed work has been tested in a medical image application where the mentioned problems occur, specifically in the segmentation of feet for monitoring the effectiveness of analgesia in the obstetric environment. This is achieved by monitoring changes in temperature at the soles of the feet. The proposed methodology demonstrates comparable performance with standard methods while also enhancing interpretability. It is important to note that this project is being developed in conjunction with SES Hospital Universitario de Caldas, under the name "Sistema prototipo de visión por computador utilizando aprendizaje profundo como soporte al monitoreo de zonas urbanas desde unidades aéreas no tripuladas" (Hermes Code 55261). The project is funded by Universidad Nacional de Colombia.

In our future research, we have identified several promising avenues that can advance our work. By analyzing the spectral representation of the CRFFg layer, we aim to uncover hidden patterns and gain a deeper understanding of the subject. Additionally, incorporating Bayesian approximation techniques will enable us to enhance our decision-making and optimization strategies. We also plan to employ regularization techniques based on the proposed measures, which will effectively address overfitting issues and improve the model's performance by focusing on the desired behavior of the discriminative regions. By pursuing these paths, we aim to enhance our approach's overall effectiveness and reliability significantly, thereby pushing the boundaries of knowledge in this field (Texto tomado de la fuente)

La segmentación semántica es fundamental en varias industrias y muestra su impacto significativo en numerosas aplicaciones. La segmentación semántica ofrece información valiosa que impulsa los avances en campos como la conducción autónoma, la vigilancia, la robótica y la realidad aumentada al permitir la identificación y el etiquetado precisos de los objetos dentro de una imagen. La segmentación precisa de objetos permite que los vehículos autónomos naveguen en entornos complejos, los sistemas de vigilancia detecten y rastreen objetos específicos, los robots manipulen objetos de manera eficiente y las aplicaciones de realidad aumentada combinen a la perfección objetos virtuales con el mundo real. Sin embargo, en la industria médica, la importancia de la segmentación semántica se ha vuelto verdaderamente profunda. Las técnicas de imágenes médicas, como las tomografías computarizadas y las resonancias magnéticas, generan grandes cantidades de datos que requieren una anotación meticulosa para su análisis. La anotación manual es un proceso que requiere mucho tiempo y recursos, lo que genera retrasos en el diagnóstico y la planificación del tratamiento. Las técnicas de segmentación semántica tienen el potencial de automatizar este proceso, facilitando un análisis más rápido y preciso de imágenes médicas, mejorando así la atención al paciente y reduciendo la carga de los profesionales de la salud. Además, en aplicaciones médicas, la necesidad de interpretabilidad es crítica. Comprender e interpretar los resultados de la segmentación es vital para que los médicos tomen decisiones informadas. Las técnicas de segmentación semántica interpretables brindan transparencia e información sobre el proceso de segmentación, lo que garantiza que los profesionales médicos puedan confiar y validar los resultados para un diagnóstico y tratamiento precisos. El análisis de imágenes médicas enfrenta varios desafíos, y uno de los principales obstáculos es la disponibilidad limitada de conjuntos de datos específicamente diseñados para entrenar modelos de segmentación. Estos modelos requieren conjuntos de datos grandes y diversos para aprender con precisión los patrones y características intrincados de las imágenes médicas. Sin embargo, debido a la naturaleza confidencial de los datos médicos y la necesidad de anotaciones de expertos, la obtención de dichos conjuntos de datos puede ser un desafío. Otro desafío significativo surge de la alta variabilidad en la región de interés (ROI) dentro de las imágenes médicas. El ROI puede diferir significativamente de un paciente a otro debido a variaciones en la anatomía, la patología y los parámetros de imagen. Esta variabilidad conduce a diferencias en forma, tamaño y textura, lo que dificulta que los modelos de segmentación delineen y analicen las regiones de interés con precisión. En consecuencia, garantizar resultados de segmentación consistentes y confiables en diversas imágenes médicas sigue siendo un desafío crítico. Además, existe una necesidad apremiante de evaluaciones sistemáticas y cuantitativas de la interpretabilidad en modelos de segmentación basados en aprendizaje profundo. Sin tales evaluaciones, confiar en estos modelos para la toma de decisiones clínicas se convierte en un desafío. Los médicos deben comprender de manera integral cómo y por qué estos modelos llegan a sus conclusiones para incorporarlos a su práctica con confianza. La ausencia de métodos de evaluación estandarizados impide el progreso en la construcción de sistemas de análisis de imágenes médicas interpretables y confiables. Este trabajo aborda los desafíos en la segmentación de imágenes médicas. Nuestras contribuciones incluyen la optimización de las características aleatorias de Fourier para datos espaciales a través del descenso de gradiente denominado CRFFg, la mejora de los modelos de codificador-decodificador poco profundos para la segmentación semántica y la propuesta de medidas cuantitativas para la interpretabilidad. CRFFg toma ventajas de las propiedades de generalización de los métodos kernel y mejora la eficiencia de datos para datos espaciales derivados de convoluciones, mitigando el tamaño de muestra bajo y el sobreajuste. Para abordar la variabilidad de forma, tamaño y textura en la segmentación semántica entre pacientes y protocolos de imágenes, incorporamos una capa CRFFg en la conexión de salto de los modelos codificador-decodificador. Esto mejora la representación de características de bajo nivel del codificador y su fusión en el decodificador, apuntando específicamente a los desafíos de la variabilidad del ROI. La interpretabilidad es crucial en la segmentación semántica médica, pero los modelos de aprendizaje profundo presentan desafíos. Para mejorar la interpretabilidad, proponemos medidas cuantitativas: la relevancia acumulada basada en CAM evalúa la ubicación de relevancia en regiones específicas de interés, la relevancia acumulada basada en máscara evalúa la sensibilidad en múltiples regiones de interés y CAM-Dice mide la homogeneidad de relevancia en regiones de interés. Estas medidas proporcionan evaluaciones objetivas y completas, superando la inspección visual y el análisis cualitativo. El trabajo propuesto ha sido probado en una aplicación de imagen médica donde se presentan los problemas mencionados, específicamente en la segmentación de pies para monitorear la efectividad de la analgesia en el medio obstétrico. Esto se logra monitoreando los cambios de temperatura en las plantas de los pies. La metodología propuesta demuestra un rendimiento comparable con los métodos estándar al tiempo que mejora la interpretabilidad. Es importante señalar que este proyecto se está desarrollando en conjunto con SES Hospital Universitario de Caldas, bajo el nombre de ”Sistema prototipo de visión por computador utilizando aprendizaje profundo como soporte al monitoreo de zonas urbanas desde unidades aéreas no tripuladas” (Código Hermes 55261 ). El proyecto es financiado por la Universidad Nacional de Colombia En nuestra investigación futura, hemos identificado varias vías prometedoras que pueden avanzar en nuestro trabajo. Al analizar la representación espectral de la capa CRFFg, nuestro objetivo es descubrir patrones ocultos y obtener una comprensión más profunda del tema. Además, la incorporación de técnicas de aproximación bayesiana nos permitirá mejorar nuestras estrategias de toma de decisiones y optimización. También planeamos emplear técnicas de regularización basadas en las medidas propuestas, que abordarán de manera efectiva los problemas de sobreajuste y mejorarán el rendimiento del modelo al enfocarse en el comportamiento deseado de las regiones discriminatorias. Al seguir estos caminos, nuestro objetivo es mejorar significativamente la eficacia y confiabilidad general de nuestro enfoque, ampliando así los límites del conocimiento en este campo.