Selección de hiperparámetros en máquinas de soporte vectorial.

Abstract

Este trabajo de tesis presenta un nuevo método de selección automática de hiperparámetros en máquinas de soporte vectorial utilizando estrategias evolutivas y cotas efectivas del error de validación o riesgo empírico. El desarrollo descrito en esta tesis involucra una técnica de estrategias evolutivas denominada adaptación de matriz de covarianza, que a grandes rasgos reduce el tiempo de convergencia en la medida que un menor número de evaluaciones de la función objetivo son necesarias y que desaleatoriza al máximo el procedimiento para obtener soluciones más estables. En particular, dos cotas del error de validación fueron empleadas, la validación cruzada como generalización del esquema LOO y el span como medida efectiva tanto teórica como práctica ya que no necesita múltiples evaluaciones de la SVM, es continua, posee conexión directa con otras como Radio/Margen y requiere una carga computacional considerablemente pequeña. Además, permite la posibilidad de emplear diferentes funciones Kernel debido a que no exige diferenciabilidad en dicha función, esquemas multi clase y seleccion de múltiples parámetros sin tener que reformular substancialmente todo el algoritmo. Por último, los resultados numéricos muestran un desempeño bastante competitivo con las otras técnicas revisadas en este trabajo / Abstract: This thesis work introduces a new method for automatic hiperparameter selection for support vector machines using evolutive strategies and validation error or empirical risk bounds. The actual approach involves an evolution strategy technique designated as covariance matrix adaptation, which in general terms reduces the convergence rates and obtain steady solutions due to its derandomized nature. In particular, two empirical risk bounds where used, crossvalidation as generalized LOO scheme and span bound because do not require multiple SVM evaluations, is continuous, and hold direct connection with some others like Radius/Margin and its computational cost is low as well. Besides, this method allows a wide variety of Kernel functions since do not demand differentiability, multi-class schemes and multiple parameter selection without substantial reformulation of the entire algorithm. Finally, the numerical results reveal a competitive performance related to another considered methods within this work.