Intention prediction of cyclist based on their orientation angles as vulnerable road users in autonomous driving environments

Abstract

Traffic accidents are currently the eighth leading cause of death, according to the World Health Organization (WHO). Of these deaths, 71% are vulnerable road users (VRUs), with cyclists accounting for 3%. In an environment where autonomous vehicles (AVs) are the most prominent non-vulnerable road actors, VRUS must be effectively and swiftly detected by these AVs. This task remains an open challenge, as cyclists exhibit highly complex movement patterns, and occlusions and lighting issues in urban roads hinder their detection. In this doctoral thesis, we propose predicting the intentions of cyclists on urban roads by estimating both their orientation and inclination during movement near AVs. Due to the lack of hardware and software for the data acquisition systems, containing images associated with cyclists' orientation angles, a system was designed, and a dataset called Cyclops was compiled. This dataset was then used to train an effective cyclist detector using the YOLOv8 architecture. A refined subset of the dataset enabled the training of a model based on modified VGG16 for angular regression and another with similar features based on EfficientNetV2-s. Both models showed better cyclist orientation estimation results than those currently found in the state-of-the-art. Finally, we trained an LSTM network to predict two subsequent periods of angular change (for orientation and inclination) from six previous states, maintaining a prediction sequence and achieving the proposed objective. (Tomado de la fuente)

Las muertes por accidentes de tránsito son actualmente la octava causa de muerte según la Organización Mundial de la Salud (OMS). El 71% de esas muertes corresponde a usuarios vulnerables de la vía (VRU), en particular el 3% son ciclistas. En un entorno en el cual los vehículos autónomos (AV) son los actores viales no vulnerables de mayor presencia, será de gran importancia que los VRU sean detectados por dichos AV de forma efectiva y en el menor tiempo posible. Esta tarea aún es un desafío abierto, debido a que los ciclistas tienen patrones de movimiento altamente complejos y su detección se ve afectada por oclusiones y problemas asociados a la iluminación cuando se desplazan sobre vías urbana. En esta tesis doctoral, se propone predecir la intención de los ciclistas en vías urbanas a partir de la estimación tanto de su orientación como de su inclinación durante el movimiento en cercanías de AVs. Debido a la falta de datasets que contengan imágenes asociadas a ángulos de orientación de ciclistas, se diseñó un sistema y se construyó un dataset denominado Cyclops. Posteriormente el dataset fue utilizado para entrenar un detector de ciclistas efectivo utilizando la arquitectura YOLOv8. Un subconjunto depurado del dataset permitió entrenar un modelo basado en VGG16 modificado para regresión angular y otro con las mismas características, pero basado en EfficientNetV2-s. Ambos modelos presentaron resultados de estimación de orientación de ciclistas mejores a los actualmente encontrados en el estado del arte. Finalmente se entrenó una red LSTM que permitía para predecir dos periodos posteriores de cambio angular (para orientación e inclinación) a partir de seis estados anteriores y mantener una secuencia de predicción, logrando así el objetivo propuesto.