Recuperación de Imágenes en Artículos Cientitíficos usando estrategias de Anotación Automática

Abstract

En este trabajo se explora la utilización de estrategias de anotación automática sobre información textual y visual obtenida de artículos cientí�ficos, la forma en que este contenido se relaciona y la representación de esta información, con el �n de desarrollar un sistema de recuperación de información por contenido especí�co para este tipo de colecciones. Para esto, un nuevo modelo de representación, recuperación y anotación automática de imágenes es propuesto. Este modelo está basado en estrategias de semántica latente para representaciónes estructuradas. El sistema desarrollado durante este trabajo es llamado Litermed, el cual implementa el modelo propuesto y ofrece las funcionalidades de procesamiento necesarias para la transformación de archivos correspondientes a artículos cientí�cos en la representación propuesta. Para esto se desarrollaron fases como: extracción de imágenes de archivos PDF, extracción de características textuales y visuales, construcción de índices de características con sus respectivas anotaciones, clasi�cación de modalidad de imágenes, solución y evaluación de consultas visuales. Además, Litermed permite la realización de consultas por medio de su interfaz web utilizando como consulta imágenes de ejemplo. Para la realización de una evaluación cuantitativa del sistema, se propone el uso de un versión modi�cada de un conjunto de datos conocido. Los resultados indican que el modelo propuesto de anotación automática mejora el desempeño obtenido por estrategias de recuperación por contenido del estado del arte.

Abstract. In this work, we explore the use of automatic annotation strategies for text-visual information from research papers, as well as the relationship between the content and the representation to build a retrieval system for this specific type of documents. To achieved that, we propose a novel strategy for the representation, search and automatic annotation of images. This model, is based on strategies of latent semantic analysis for structured representations. The system that implements the proposed model is called Litermed. This system is able to process the research papers �les to achieve the proposed representation. The processing phases are decomposed as follow: image extraction from research paper files (PDF), text-visual features extraction, index files construction with associated annotations, modality image classi fication, solution and evaluation of visual queries. Additionaly, Litermed allows run visual queries over a web based interface. Finally, an exhuastive automatic evaluation is performed over a modified version of a public well know dataset. The results show that the proposed model outperforms the state-of-the-art methods of query-by-example search.