UAV vision system: Application in electric line following and 3D reconstruction of associated terrain

Abstract

Abstract. In this work, a set of vision techniques applied to a UAV (Unmanned Aerial Vehicle) images is presented. The techniques are used to detect electrical lines and towers which are used in vision based navigation and for 3D associated terrain reconstruction. The developed work aims to be a previous stage for autonomous electrical infrastructure inspection. This work is divided in four stages: power line detection, transmission tower detection, UAV navigation and 3D reconstruction of associated terrain. In the first stage, a study of algorithms for line detection was performed. After that, an algorithm for line detection called CBS (Circle Based Search) which presented good results with azimuthal images was developed. This method offers a shorter response time in comparison with the Hough transform and the LSD (Line Segment Detector) algorithm, and a similar response to EDLines which is one of the fastest and most trustful algorithms for line detection. Given that most of the works related with line detection are focused in straight lines, an algorithm for catenary detection based on a concatenation process was developed. This algorithm was validated using real power line inspection images with catenaries. Additionally, in this work a tower detection method based on a feature descriptor with the capacity of detecting towers in times close to 100 ms was developed. Navigation over power lines by using UAVs requires a lot of tests because of the risk of failures and accidents. For this reason, a virtual environment for real time UAV simulation of visual navigation was developed by using ROS (Robot Operative System), which is open source. An onboard visual navigation system for UAV was also developed. This system allows the UAV to navigate following a power line in real sceneries by using the developed techniques. In the last part a 3D tower reconstruction that uses images obtained with UAVs is presented.}, keywordenglish = {line detection, inspection, navigation, tower detection, onboard vision system, UAV.

Este trabajo presenta un conjunto de técnicas de visión aplicadas a imágenes adquiridas mediante UAVs (vehículos aéreos no tripulados). Las técnicas se usan para la detección de líneas y torres eléctricas las cuales son usadas en un proceso de navegación basada en vision y para la reconstrucción de terreno asociado en 3D. El proyecto está planteado como una fase previa a un proceso de inspección de infraestructura electrica. El trabajo se encuentra dividido en cuatro partes: la detección de líneas de transmisión eléctrica, la detección de torres de transmisión, la navegación de UAVs y la reconstrucción tridimensional de objetos tales como torres de transmisión. En primer lugar se realizó un estudio de los algoritmos para la detección de líneas en imágenes. Posteriormente se desarrolló un algoritmo para la detección de líneas llamado CBS (Búsqueda basada en círculos), el cual tiene buenos resultados en imágenes azimutales de líneas eléctricas. Este método ofrece un tiempo de respuesta más corto que la transformada de Houg o el algoritmo LSD (line segment detector), y un tiempo similar a EDLines el cual es uno de los algoritmos más rápidos y confiables para detectar líneas. Debido a que la mayoría de trabajos relacionados con detección de líneas se enfocan en líneas rectas, se desarrolló un algoritmo para detectar catenarias que cuenta con un proceso de concatenación de segmentos, esta técnica fue validada con imágenes de catenarias obtenidas en inspecciones reales de infraestructura eléctrica. Adicionalmente se desarrolló un algoritmo basado en descriptores de características para la detección de torres de transmisión con la intención de facilitar los procesos de navegación e inspección. El proceso desarrollado ha permitido detectar torres en videos en tiempos cercanos a 100 ms. La navegación sobre líneas eléctricas mediante UAVs requiere una gran cantidad de pruebas debido al riesgo de fallos y accidentes, por esto se realizó un ambiente virtual para la simulación en tiempo real de técnicas de navegación basadas en características visuales haciendo uso del entorno de ROS (Robot Operative System), el cual es de código abierto. Se desarrollo un sistema de navegación a bordo de un UAV el cual permitio obtener resultados de navegación autónoma en el seguimiento de líneas en escenarios reales usando las técnicas desarrolladas. En la parte final del trabajo se realizó una reconstrucción 3D de torres electricas haciendo uso de imagenes adquiridas con UAVs.