Building regularized and dimensionally-reduced representations for automatically quantifying conceptual similarities between images: an application to cancer description

Abstract

Los espacios de representación alternativos (ARS por sus siglas en ingles) se han convertido en un tema crucial en la inteligencia artificial (IA), ya que los avances recientes en el análisis de características mediante aprendizaje profundo han demostrado que pequeños cambios dentro de dichos espacios de características afectan en gran medida los resultados del modelo. Estos ARS se basan comúnmente en características extraídas de muestras, principalmente para reducir la dimensión del espacio muestral original y mejorar la discriminabilidad de patrones. Sin embargo, la mayor parte de la investigación actual de IA se centra en el rendimiento del modelo, pero hay muy poco progreso en la interpretabilidad del modelo. Particularmente en el campo del análisis de imágenes, la dimensionalidad de la muestra se ha vuelto más importante que la interpretabilidad, debido al tamaño de estas fuentes de información y las limitaciones del poder computacional. A pesar de esto, la transparencia. La interpretabilidad del modelo se vuelve importante en las aplicaciones médicas, donde los médicos no solo buscan predicciones precisas, sino que también esperan explicaciones sobre cómo un modelo calcula dichos resultados. En la práctica clínica, se requieren explicaciones de los resultados para crear esquemas de gestión personalizados de pacientes. Por lo tanto, la opacidad del modelo aparece como uno de los problemas que limita el uso de la IA en la práctica clínica. Además, las técnicas de interpretabilidad de IA se han dedicado al uso de mapas de calor espaciales, que se basan en mapas de activación de capas de red profundas y explicaciones post-hoc basadas en características de ingeniería asociadas supervisadas, que no son suficientes para proporcionar predicciones precisas y ARS comprensibles. Las principales limitaciones de estos proveedores de interpretabilidad radican en la dificultad de ajustar abstracciones de alto nivel que utilizan los especialistas para explicar los resultados de los pacientes en términos de semántica especializada. Estas abstracciones semánticas se denominan comúnmente conceptos y tienen como objetivo mejorar la interpretabilidad o al menos mejorar la comprensión basada en imágenes. Estos conceptos pueden variar desde características de imagen simples basadas en la heterogeneidad de intensidad en imágenes de ultrasonido, hasta dispositivos celulares tipo empalizada en imágenes de histopatología, que requieren enormes niveles de abstracción, interpretación y conciencia semántica, que son características que los modelos de IA actuales no pueden proporcionar. La tesis presentada en este artículo aborda la construcción de ARS y la interpretabilidad basada en conceptos, en diferentes aplicaciones de imágenes de cáncer que van desde imágenes a escala celular hasta espacios de integración de radiología/citología. Este trabajo explora diferentes métodos de construcción de ARS y explota los límites de cada enfoque para determinar sus ventajas y desventajas y evaluar cómo se adaptan a desafíos particulares de la obtención de imágenes de cáncer. En particular, esta disertación demuestra avances en tres temas principales: la construcción de espacios de características diseñados para determinar la relación entre conceptos en diferentes escalas biológicas mientras se logra un rendimiento de clasificación de vanguardia, la construcción de incrustaciones de características profundas que capturan relaciones conceptuales en ARS de baja dimensión y la combinación de características profundas y diseñadas a mano para mejorar el rendimiento y la interpretabilidad del modelo (Texto tomado de la fuente).

Alternative representation spaces (ARS) have become a crucial topic in Artificial intelligence (AI), since recent advances on deep feature characterization have evidenced that small changes within such embeddings largely affect model outcomes. These ARS are commonly build upon features extracted from samples, mainly to reduce original sample space dimension, and to enhance pattern discriminability. However, most of the current AI research is focused on model performance, but very few advances on model interpretability. Particularly, in image analysis, sample dimensionality have become more important than interpretability, due to the size of these information sources and the limitations of computational power. However, within this image domain, model transparency becomes crucial in medical applications, where physicians not only look for accurate predictions but also expect to obtain explanations on how a model is computing such outcomes. In clinical practice, explanations of the results are required in order to create personalized patient management schemes. Therefore, model opacity appears as one of the problems that limits the translation of AI to clinical practice. In addition, AI interpretability approaches have been devoted to spatial heatmaps, build upon layer activation maps of Deep networks, and pos-hoc explanations based on supervisely associated engineered features, which are not enough to provide both accurate predictions and understandable ARS. Main limitations of these interpretability providers relies in the difficulty to fit high-level abstractions that specialists use to explain patient outcomes in terms of specialized semantics. Such semantic abstractions are commonly known as concepts, and aim to improve interpretability or at least to enhance image-based understanding. These concepts may go from simple image characteristics based on intensity heterogeneity for ultrasound images, to palisade-like cell arrangements in histopathology images, all requiring huge levels of abstraction, interpretation and semantic awareness, which are not provided by nowadays AI models. Herein presented dissertation addresses ARS construction and concept-based interpretability, throughout different cancer image applications that range from cell scale images, to radiology/cytology integration spaces. This work explores different ARS construction methods, and exploits the limits of each approach to determine their advantages and disadvantages, and to evaluate how they fit particular cancer image challenges. Particularly, this work demonstrates advances on three main topics, building engineered feature spaces to determine relation between concepts at different biological scales while achieving state-of-the-art classification performance, constructing deep feature embeddings that capture conceptual relations in dimensionaly reduced ARS, and mixing handcrafted and deep features to improve model performance an interpretability