Recuperación de imágenes en artículos científicos usando estrategias de anotación automática

Abstract

En este trabajo se explora la utilización de estrategias de anotación automática sobre información textual y visual obtenida de artículos científicos, la forma en que este contenido se relaciona y la representación de esta información, con el _n de desarrollar un sistema de recuperación de información por contenido específico para este tipo de colecciones. Para esto, un nuevo modelo de representación, recuperación y anotación automática de imágenes es propuesto. Este modelo está basado en estrategias de semántica latente para representaciones estructuradas. El sistema desarrollado durante este trabajo es llamado Litermed, el cual implementa el modelo propuesto y ofrece las funcionalidades de procesamiento necesarias para la transformación de archivos correspondientes a artículos científicos en la representación propuesta. Para esto se desarrollaron fases como: extracción de imágenes de archivos PDF, extracción de características textuales y visuales, construcción de índices de características con sus respectivas anotaciones, clasificación de modalidad de imágenes, solución y evaluación de consultas visuales. Además, Litermed permite la realización de consultas por medio de su interfaz web utilizando como consulta imágenes de ejemplo. Para la realización de una evaluación cuantitativa del sistema, se propone el uso de un versión modificada de un conjunto de datos conocido. Los resultados indican que el modelo propuesto de anotación automática mejora el desempeño obtenido por estrategias de recuperación por contenido del estado del arte.

Abstract. In this work, we explore the use of automatic annotation strategies for text-visual information from research papers, as well as the relationship between the content and the representation to build a retrieval system for this specific type of documents. To achieved that, we propose a novel strategy for the representation, search and automatic annotation of images. This model, is based on strategies of latent semantic analysis for structured representations. The system that implements the proposed model is called Litermed. This system is able to process the research papers _les to achieve the proposed representation. The processing phases are decomposed as follow: image extraction from research paper _les (PDF), text-visual features extraction, index _les construction with associated annotations, modality image classification, solution and evaluation of visual queries. Additionaly, Litermed allows run visual queries over a web based interface. Finally, an exhaustive automatic evaluation is performed over a modified version of a public well know dataset. The results show that the proposed model outperforms the state-of-the-art methods of query-by-example search.