Desarrollo e implementación de una estrategia de entrenamiento de algoritmos de aprendizaje reforzado para la navegación de robots móviles
Cargando...
Autores
Director
Tipo de contenido
Editor
Document language:
Español
Fecha
Título de la revista
ISSN de la revista
Título del volumen
Documentos PDF
Resumen
Este trabajo aborda el desafío de la navegación autónoma de robots móviles en entornos complejos y con actores dinámicos, donde los métodos tradicionales a menudo fallan. Se propone y desarrolla una estrategia de entrenamiento basada en Aprendizaje por Imitación (IL) y Aprendizaje por Refuerzo (RL), conocida como Apprenticeship Learning (AL), para crear políticas de navegación robustas. Como contribución significativa, se desarrolló la librería FRobs_RL, diseñada para simplificar la integración entre el popular framework robótico ROS, el simulador Gazebo y librerías estándar de RL como OpenAI Gym y Stable-Baselines3, facilitando así el entrenamiento y la transferencia de políticas del simulador al robot real (Sim2Real).
La metodología consistió en entrenar primero una política inicial mediante IL con el algoritmo de Behavioral Cloning (BC) a partir de datos expertos en un entorno simulado estático. Posteriormente, esta política fue refinada usando RL, específicamente el algoritmo de Proximal Policy Optimization (PPO) en entornos simulados más complejos que incluían actores dinámicos. Finalmente, para manejar eficazmente la complejidad del entorno con obstáculos dinámicos, se implementó un enfoque de planificación jerárquica, utilizando la variación del algoritmo Rapidly exploring Random Trees (RRT) RRT* como planificador global y la polí tica AL entrenada como planificador local.
Los resultados demostraron que el enfoque AL redujo considerablemente el tiempo de entrenamiento en comparación con el uso exclusivo de RL. El sistema de navegación jerárquico resultante alcanzó una tasa de éxito simulada del 72.6% y fue transferido exitosamente al robot real. En pruebas realizadas en un entorno real con obstáculos tanto estáticos como dinámicos, el sistema logró una tasa de éxito aproximada del 70 %, exhibiendo un comportamiento efectivo de evasión de colisiones. El trabajo concluye validando la utilidad de la librería FRobs_RL, la eficacia de la estrategia AL y la viabilidad del enfoque jerárquico para la navegación en entornos reales, reconociendo al mismo tiempo limitaciones como la latencia en las comunicaciones y el uso de sensores de tipo LIDAR. (Texto tomado de la fuente)
Abstract
This work addresses the challenge of autonomous mobile robot navigation in complex environments with dynamic actors, where traditional methods often fail. A training strategy based on Imitation Learning (IL) and Reinforcement Learning (RL), known as Apprenticeship Learning (AL), is proposed and developed to create robust navigation policies. As a significant contribution, the FRobs_RL library was developed, designed to simplify the integration between the popular robotic framework ROS, the Gazebo simulator, and standard RL libraries like OpenAI Gym and Stable-Baselines3, thus facilitating policy training and transfer from simulation to the real robot (Sim2Real).
The methodology involved first training an initial policy using IL with the Behavioral Cloning (BC) algorithm based on expert data in a static simulated environment. Subsequently, this policy was refined using RL, specifically the Proximal Policy Optimization (PPO) algorithm, in more complex simulated environments including dynamic actors. Finally, to effectively handle the complexity of the final environment, a hierarchical planning approach was implemented, using RRT* as the global planner and the trained AL policy as the local planner.
The results demonstrated that the AL approach considerably reduced training time compared to using RL exclusively. The resulting hierarchical navigation system achieved a simulated success rate of 72.6% and was successfully transferred to the real robot. In tests conducted in a real environment with both static and dynamic obstacles, the system achieved an approximate success rate of 70 %, exhibiting effective collision avoidance behavior. The work concludes by validating the utility of the FRobs_RL library, the effectiveness of the AL strategy, and the viability of the hierarchical approach for real-world navigation, while also acknowledging limitations such as communication latency and the use of LIDAR-type sensors.
Descripción
ilustraciones, diagramas, fotografías, tablas