Regularización de redes neuronales tipo cascada-correlación para el pronóstico de series de tiempo

Abstract

En ésta tesis se ha diseñado un nuevo criterio para la selección del modelo de red neuronal Cascada-Correlación que controla íntegramente el tamaño del conjunto de entrenamiento, la complejidad del modelo y la magnitud de los pesos para obtener modelos con buena capacidad de generalización. Para esto se parte del análisis de los problemas que afectan la capacidad de generalización de la red: el primero relacionado con que la cantidad de datos del conjunto de entrenamiento contenga la información suficiente para reproducir el proceso generador de datos, el segundo con la cantidad de parámetros adecuada para representar el proceso generador de datos, y tercero la alta fluctuación de los parámetros; estos aspectos inciden en que el entrenamiento de la red sea un problema mal condicionado y se incurra en el sobreajuste. Para solucionar este tipo de problemas Tikhonov en (1963) propuso una solución matemática llamada Regularización; sin embargo, aplicar este tipo de solución es complejo dado que requiere determinar el parámetro de cuánto penalizar y el término de cómo penalizar y las propuestas que se han presentado han mostrado ser poco efectivas. Entonces, se ha propuesto desde un punto de vista conceptual y experimental cómo seleccionar efectivamente el valor del parámetro de regularización y dos nuevas ecuaciones de regularización con base en la varianza y la desviación estándar de los parámetros. Experimentalmente se mostró, al pronosticar siete series de tiempo, que la propuesta realizada es superior que modelos tradicionales de la literatura y que permite controlar efectivamente los problemas comentados y seleccionar el modelo adecuado que represente efectivamente a la serie de tiempo.

Abstract: In this dissertation, we have designed a new criterion for the selection of the cascade-correlation neural network model that controls integrally the size of the training set, model complexity and magnitude of the weights in order to obtain models with good generalization ability. We start with analysis of the problems affecting the generalization ability of the network, the first related to the amount of data in the training set that contains enough information to reproduce the data generating process, the second with the right amount of parameters to represent the data generating process and the third the high fluctuation of parameters. These three aspects affect the training of the network and make it an ill-conditioned problem and cause overfitting. To avoid these problems Tikhonov in (1963) proposed a mathematical solution called Regularization. However, implementing this type of solution is complex, since it requires the regularization parameter (how much to penalize) and determining the regularization term (how to penalize), the many proposals that have been presented them have proved ineffective. Then, we proposed from a conceptual and experimental view how to effectively choose the regularization parameter and as regularization terms the variance and standard deviation of the parameters. We show experimentally with seven time series, that our information criterion allows to effectively control the overfitting and allow to select the appropriate model that effectively represent the time series.