A framework for online prediction using kernel adaptive filtering

Abstract

Nowadays, the task of predicting in schemas online is an essential field of study for machine learning. The Filters Adaptive based on kernel methods have taken an essential role in this type of task; this is primarily due to their condition of universal approximation, their ability to solve nonlinear problems and the modest computing cost they possess. However, although they have significant advantages with similar methods, they present different challenges to be solved such as: (1) the tuning of the kernel bandwidth parameters and the learning rate; (2) the limitation in the model size, product of the number of elements that the filtered dictionary may contain; and, (3) the efficient construction and modeling of multiple filters. The improvement of these conditions will allow an improvement in the representation of time series dynamics, which translates into a decrease in prediction error.

This thesis document addresses the previous issues raised from three proposals. The first is through the interactive search for adequate kernel bandwidth and learning rate, which is achieved by minimizing the correntropy within a proposed cost function. The second contribution corresponds to a scheme of sequential construction of filters, which unlike other methods of state of the art, does not restrict the samples to a single dictionary, and that additionally updates the weights of the samples shared in several filters. The third and last one corresponds to the integration of a kernel bandwidth update method with another that sequentially builds a filter bank. These different proposed frameworks were validated in synthetic data sets as in the real world. The results, in general, show an improvement in the convergence rate, the reduction of the mean square error and the size of the dictionary with different filters of state of the art and a neural network for a specific case.

La tarea de predicción en esquemas secuenciales en línea, es hoy un importante campo de estudio para el aprendizaje de máquina. Los Filtros Adaptativos basados en métodos kernel han tomado un papel importante para este tipo de tareas, esto se debe en gram medida a su condición de aproximación universal, su capacidad de solucionar problemas no lineales y al modesto costo computación que poseen. Sin embargo, aunque tienen ventajas significativas con métodos similares, presentan diferentes desafíos a solucionar como: (1) la sintonización de los parámetros del ancho de banda del kernel y la tasa de aprendizaje; (2) la limitación en el tamaño de modelo, producto del número de elementos que pueda contener el diccionario del filtro; y, (3) la eficaz construcción y modelamiento de múltiples filtros. El mejoramiento de estas condiciones permitirá una mejora en la representación de las dinámicas de series de tiempo, lo que se traduce en una disminución del error de predicción.

Este documento de tesis aborda las problemáticas anteriores planteadas a partir de tres propuestas. La primera es vía de la búsqueda interativa de un adecuado ancho de banda del kernel y tasa de aprendizaje, lo cual se logra mediante la minimización de la correntropía dentro de una función de costos propuesta. El segundo aporte corresponde a un esquema de construcción secuencial de filtros, que a diferencia de otros métodos del estado del arte, no restringe las muestras a un único diccionario, y que adicionalmente actualiza los pesos de las muestras compartidas en varios filtros. La tercera y última, corresponde a la integración de un método de actualización del ancho de banda del kernel con otro que construye secuencialmente un banco de filtros. Estos distintos marcos propuestos, fueron validados en conjuntos de datos sintéticos como del mundo real. Los resultados en general presentan una mejora en la tasa de convergencia, la reducción del error cuadrático medio y el tamaño del diccionario con diferentes filtros del estado del arte y un red neuronal para un caso especifico.