Metodología de reducción de dimensión de tipo espectral con representación interactiva de datos

Abstract

La reducción de dimensión (RD) es una metodología utilizada en muchos campos ligados al procesamiento de datos, y puede representar una etapa de preproceso o ser un elemento esencial para la representación y clasificación de datos. El objetivo principal de la RD es obtener una nueva representación de los datos originales en un espacio de menor dimensión, de forma que se produzca información más depurada, reduzca el tiempo del procesado subsecuente o genere representaciones visuales inteligibles para el ser humano. Los métodos recientes y más sofisticados de RD exploran la topología de los datos, entre estos se encuentran los enfoques de tipo espectral. Particularmente, los métodos espectrales son altamente versátiles y han comprobado ser una buena alternativa para diversas aplicaciones. Estos métodos no permiten manipular directamente sus parámetros, y, por tanto, el usuario final queda sometido a las representaciones visuales resultantes, que en muchos de los casos requieren de un experto para su análisis, puesto que no se ajustan a las necesidades y los requerimiento del usuario. En este sentido, se genera implícitamente un incremento en tiempo y trabajo en la inspección visual, realizada como el último paso del análisis de datos. Una de las formas de generar representaciones más adecuadas para el usuario y que permiten deducir un mejor conocimiento es integrar la inteligencia natural del ser humano con la inteligencia de la máquina. Para esto, es necesario integrar propiedades de la visualización de información (VI), como la interactividad y la controlabilidad, de forma que el usuario tenga la facultad de variar los parámetros de los métodos de RD hasta obtener una representación que se adapte a sus necesidades. Los métodos espectrales requieren realizar un proceso de descomposición en valores y vectores propios, el cual suele presentar un costo computacional elevado, y, por tanto, resulta difícil la tarea de obtener una integración usuario-máquina más dinámica e interactiva. Por lo anterior, para el diseño de un sistema interactivo de VI basado en métodos espectrales de RD es necesario plantear una estrategia para disminuir el coste computacional requerido en el cálculo de los vectores y valores propios. En este trabajo de grado de maestría se propone una metodología de RD espectral con bajo costo computacional para la representación interactiva de datos. Para este fin, se propone utilizar submatrices localmente lineales como aproximación de una matriz de afinidad. Además, se propone un modelo interactivo que permita al usuario obtener una representación visual dinámica de los datos mediante una mezcla ponderada. Esto permite integrar la inteligencia natural con la computacional para la representación de datos de forma interactiva, dinámica y a bajo costo computacional

Abstract: Dimensionality reduction (DR) is a methodology used in many fields linked to data processing, and may represent a preprocessing stage or be an essential element for the representation and classification of data. The main objective of DR is to obtain a new representation of the original data in a space of smaller dimension, such that more refined information is produced, as well as the time of the subsequent processing is decreased and/or visual representations more intelligible for human beings are generated. The recent and more sophisticated DR methods are those that explore the topology of the data, being the spectral approaches. In particular, the spectral methods are highly versatile and have proven to be a good alternative for various applications. In terms of information visualization (IV), DR methods have been widely used to generate visual representations generated by algorithms that work under pre-established criteria. These methods do not allow direct manipulation of their parameters, and, therefore, the end user is subject to the resulting visual representations, which in many cases require an expert for analysis. In this sense, an increase in time and work is implicitly generated in the visual inspection, in addition to the costs in the process of determining information useful to the user, which represents the ultimate goal of data processing. In addition, these representations do not conform to the needs and requirements of the user. To generate more appropriate representations for the user and that allows us to deduce a better knowledge is to integrate the natural intelligence of the human being with the intelligence of the machine. To this purpose, it is necessary to integrate properties of IV, such as interactivity and controllability, so that the user has the ability to vary the parameters of the DE methods until obtaining a representation that suits its needs. The spectral DR methods involve the calculation of an eigenvalue and eigenvector decomposition, which is usually high-computational-cost demanding, and, therefore, the task of obtaining a more dynamic and interactive user-machine integration is difficult. Therefore, for the design of an interactive IV system based on DR spectral methods, it is necessary to propose a strategy to reduce the computational cost required in the calculation of eigenvectors and eigenvalues. In this work, a methodology of spectral dimensionality reduction involving low-computational cost for the interactive representation of data is proposed. For this purpose, it is proposed to use locally linear submatrices and spectral embedding. This allows integrating natural intelligence with computational intelligence for the representation of data interactively, dynamically and at low computational cost. Additionally, an interactive model is proposed that allows the user to dynamically visualize the data through a weighted mixture