Online Supervised Non-linear Dimensionality Reduction

Abstract

Abstract: Social networks such as Facebook and Twitter, websites that allow us to share and store information every day, ongoing research in different domain fields, advances in data collection and storage capabilities during the last age, among others, represent different sources of information that increase the observations of phenomena every day and have led to an information overload in most sciences. The problem is that not all these observations are necessary or important for the understanding of a phenomenon of interest. These high-dimensional sources of information represent a challenge in different fields such as the computational one, and also represent a opportunity to learn from the data. Therefore, methods that perform dimensionality reduction are required. In this thesis, the dimensionality reduction problem is addressed by using different approaches. The first approach takes into account the use of some type of supervision such as classes or labels in the design of the model. The second approach is the inclusion of kernels as a proven tool to handle non-linearities in the data. Finally, the third strategy is based on on-line learning and efficient implementations. To carry out these strategies, methods based on matrix factorization as a main component are proposed. Resumen: Redes sociales como Facebook y Twitter, sitios web que nos permiten compartir y almacenar información, investigaciones en curso en diferentes campos de dominio, avances en colecciones de datos y capacidades de almacenamiento durante la última era, entre otros, representan diferentes fuentes de información que incrementan las observaciones de un fenómeno cada día y han conducido a una sobrecarga en la mayoría de las ciencias. El problema es que no todas éstas observaciones son necesarias o importantes para el entendimiento de un fenómeno de interés. Ésta alta dimensionalidad de los datos representa un desafío en campos como el computacional, y también representa una oportunidad para aprender de los datos. Por lo tanto, métodos que lleven a cabo reducción de la dimensionalidad son requeridos. En ésta tesis, el problema de reducción de la dimensionalidad es abordado utilizando diferentes enfoques. El primer enfoque toma en consideración el uso de supervisión como clases o etiquetas en el diseño del modelo. El segundo enfoque es la inclusión de kernels como herramientas probadas para manejar no-linealidades en los datos. Finalmente, el último enfoque está basado en aprendizaje en línea e implementaciones eficientes. Para llevar a cabo éstas estrategías, métodos basados en factorización de matrices como principal componente son propuestos.