A reinforcement learning based load frequency control for power systems considering nonlinearities and other control interactions

Abstract

Considering the advances of civilizations and the limited existence of resources, concerns about the sustainability of that progress are increasing. There is a rising need for affordable, reliable, and sustainable energy sources. Different international organisms recognize the crucial role of energy in achieving global sustainability, highlighting the need for a transition to modern and green energy alternatives. This transition to renewable energy introduces complexities in control systems, requiring reliable load-frequency controllers. This document discusses the limitations of traditional PI control strategies and studies the use of a reinforcement learning-based algorithm, Proximal Policy Optimization (PPO), in power system control. Results demonstrate the efficacy of PPO in effectively reducing area control error, handling nonlinearities, and adapting to disturbances in the system. The adaptability of PPO to different situations and system changes, with its system-agnostic nature, makes it a promising candidate for improving power system control. Finally, practical considerations such as computational requirements, communication delays, measurement noise, and hardware constraints are acknowledged as challenges that need further exploration for the real-world deployment of PPO in power grid environments. The paper concludes by calling for additional research to address these challenges and optimize the algorithm for real-time applications, emphasizing its advantages in the transition to renewable energies.

Dada la evolución de las civilizaciones y la existencia limitada de recursos, hay crecientes preocupaciones sobre la sostenibilidad de ese progreso. Existe una creciente necesidad de fuentes de energía asequibles, confiables y sostenibles. Diferentes organismos internacionales reconocen el papel crucial de la energía en conseguir la sostenibilidad global, destacando la necesidad de una transición hacia alternativas energéticas modernas y ecológicas. Esta transición a la energía renovable añade complejidades en los sistemas de control, requiriendo controladores de frecuencia confiables. Este documento discute las limitaciones de las estrategias tradicionales de control proporcional-integral (PI) y estudia el uso de un algoritmo basado en aprendizaje por refuerzo, específicamente el algoritmo de Optimización de Política Próxima (PPO), en el control del sistema de potencia. Los resultados demuestran la eficacia de PPO al reducir eficazmente el error de control de área, manejar no linealidades y adaptarse a las perturbaciones en el sistema. La capacidad de adaptación de PPO a diferentes situaciones y cambios en el sistema, junto con su naturaleza agnóstica del sistema, lo convierte en una opción prometedora para mejorar el control del sistema de potencia. Finalmente, se reconocen consideraciones prácticas como requisitos computacionales, retrasos en la comunicación, ruido de medición y limitaciones de hardware, como desafíos que necesitan una exploración adicional para la implementación del mundo real de PPO en entornos de redes eléctricas. El artículo concluye instando a investigaciones adicionales para abordar estos desafíos y optimizar el algoritmo para aplicaciones en el mundo real, haciendo énfasis en sus ventajas para la transición hacia las energías renovables. (Texto tomado de la fuente)