A strategy for interactive exploration of multimodal image collections

Abstract

La producción de contenido multimedia incluyendo documentos de texto, imágenes, videos y audio, ha experimentado un crecimiento exponencial producto del desarrollo de los sistemas de computación y comunicaciones. El proceso de encontrar y acceder este gran volumen de información requiere de métodos computacionales efectivos y eficientes. En el caso de texto, una gran cantidad de trabajo se ha realizado por parte de la comunidad de recuperación de información, y gracias a ese esfuerzo, hoy contamos con motores de búsqueda de documentos de texto apropiados, los cuales nos permiten fácilmente encontrar información. Sin embargo, para el caso de otros tipos de información multimedia, como es el caso de las imágenes, los resultados no son todavía satisfactorios. Nuevos mecanismos para explorar grandes colecciones de imágenes son necesarios de tal forma que se le ofrezca al usuario diferentes alternativas para acceder y encontrar información. La exploración de colecciones de imágenes es un nuevo mecanismo para acceder grandes repositorios de imágenes de una manera más eficiente y intuitiva. Este mecanismo está siendo activamente investigado por la comunidad científica. El proceso de exploración de colecciones de imágenes se compone de los siguientes componentes: (1) Representación de la colección de imágenes; (2) Construcción de resúmenes; (3) Visualización de colecciones de imágenes; y (4) Interacción con la colección de imágenes. La mayoría de estrategias de exploración que se encuentran en la literatura usan principalmente contenido visual en cada uno de estos componentes, ignorando otras posibles fuentes de información (modalidades) tales como texto, el cual puede complementar cada uno de estos componentes de un sistema de exploración de imágenes. En esta tesis se estudia cómo conjuntamente utilizar información visual y textual con el fin de modelar de una mejor manera cada uno de los componentes de los sistemas de exploración. Para alcanzar este objetivo, se propone una familia de algoritmos que fusionan ambas modalidades de diferentes formas utilizando métodos de kernel y análisis de semántica latente.

Abstract. Multimedia content production, including documents with text, images, videos and audio, has experienced an exponential growth thanks to the development of computer and communication systems. The process of finding and accessing this vast volume of information requires effective and efficient computational methods. In the case of text, a lot of work has been done by the information retrieval community, and thanks to this effort, today we have suitable text document search engines that allow us to easily find information. However, in the case of other type of multimedia content, such as images, the results are not as satisfactory yet. New mechanisms to explore large image collections are necessary to offer the user different alternatives for accessing and finding information. Image collection exploration is a new mechanism to access large image repositories in a more efficient and intuitive way. This mechanism is being actively studied by the research community. Image collection exploration consists of the following stages: (1) Image collection representation; (2) Image collection summarization; (3) Image collection visualization; and (4) Image collection interaction. Most of the image collection exploration strategies found in the literature mainly use visual content to model each one of these stages, ignoring other possible information sources (modalities) such as text, which may complement each stage of an image collection exploration system. In this thesis we investigated how to jointly use visual and textual modalities to better model each stage of an image collection exploration system. To reach this goal, we proposed a family of algorithms that fuse both modalities in different ways such as kernel-based methods and latent semantic analysis. Systematic experiments were conducted on different data sets to evaluate the proposed image collection exploration algorithms in a qualitative and quantitative way. The experimental results showed that the proposed strategy is an effective mechanism for designing image collection exploration systems.