Análisis de métodos de optimización metaheurística para la calibración de modelos en dinámica de sistemas

Abstract

La calibración de modelos en Dinámica de Sistemas mejora el ajuste entre los datos simulados por el modelo y los datos históricos, aumentando la confianza en ellos y la representatividad de los sistemas reales. En años recientes el proceso de calibración se ha visto potenciado por la automatización y la implementación de algoritmos de optimización en los programas de simulación. Esto ha permitido que el proceso se realice en tiempos relativamente cortos y por cualquier persona, incluso sin conocimientos en el proceso de calibración; lo que ha llevado a que el proceso se realice en ocasiones de forma descuidada, dejando de lado elementos como la selección de la función objetivo o la definición de los métodos de optimización. En esta tesis se evalúan tres métodos de optimización metaheurística; uno basado en algoritmos genéticos, uno basado en el algoritmo de Powell y un tercer algoritmo mixto para la calibración de modelos en Dinámica de Sistemas. La evaluación se hizo con el desempeño en la calibración de los modelos medidos por el error cuadrático porcentual de los datos, el error máximo alcanzado en el tiempo de simulación y el coeficiente de ajuste R2, además un estudio cualitativo y descriptivo mediante análisis de la distribución del error y los coeficientes de Theil. Como resultado se encuentra que los métodos de optimización permiten obtener un mayor ajuste entre los datos históricos y los datos observados por el modelo, mejorando cada uno de los criterios mencionados. Este proceso se puede realizar con relativa facilidad y rapidez dada la inclusión de los algoritmos en los programas de simulación. Sin embargo, estos son sensibles a la forma en la que se realiza el proceso y al método de optimización empleado, presentando diferencias entre los valores arrojados por cada uno de los métodos como se espera para modelos con complejidad dinámica.

Abstract: Calibration of models in System Dynamics improves the fitting between simulation results and historical data, increasing the confidence of the model and the representativeness of the real system. Recently, the calibration process has been potentiated by automation and optimization methods, both embedded in simulation software. Given the easiness, modelers have let the calibration process unattended, usually ignoring fundamental elements such as objective function, or definition of the optimization method. In this thesis we evaluate three metaheuristic optimization methods for calibration in System Dynamics: the first one based on genetic algorithms, the second one based on Powell’s algorithm, and a mixed third one. We used three criteria for evaluating the performance of each method: square percentage error of data, maximum error during simulation, and adjustment coefficient R2. Additionally, we performed a qualitative and descriptive analysis through error distribution and Theil coefficients. As a result, we found that the three optimization methods allow a better adjustment between historical fata and simulation models, by improving all the mentioned criteria. The calibration process can be easily performed given the inclusion of optimization methods in simulation software. However, results are sensitive to the selected method and the calibration process followed by the modeler. Such sensitivity was observed in the differences among each method’s results. This is expected given the dynamic complexity in System Dynamics models.