Clasificación de las estructuras vegetativas presentes en ramas de café usando visión de máquina

Abstract

El café es una de las principales bebidas a nivel mundial y como producto agrícola requiere herramientas para monitorear y controlar el cultivo de manera no destructiva. En búsqueda de desarrollar sistemas no destructivos que trabajen en campo, en esta tesis se presenta el desarrollo de un sistema para identificar y clasificar seis estructuras vegetativas (hojas, tallos, flores, frutos inmaduros, semi-maduros, y maduros) presentes en las ramas de café. Se adquirieron vı́deos con la cámara posterior de un dispositivo móvil, de 12 ramas de café en condiciones de campo. Por cada vı́deo se seleccionaron los frames con mayor información acerca de la escena. Luego por cada rama se generó una reconstrucción 3D utilizando las técnicas de Structure Form Motion (SFM) y Patch-based Multi-view Stereo (PMVS). Todas las imágenes adquiridas fueron anotadas manualmente y posteriormente una nube de puntos (GroundTruth) fue generada por cada rama. Las nubes de puntos generadas fueron filtradas utilizando un filtrado estadístico de outliers, con el objetivo de eliminar el ruido generado en el proceso de reconstrucción 3D. Los puntos que se encontraban a mayor profundidad se consideraron el fondo de la escena y fueron removidos utilizando un filtro passa-banda. Las nubes de puntos fueron sub-muestreadas mediante un proceso de voxelización, con el objetivo de reducir el número de puntos en un 50 % y por ende reducir el costo computacional de los siguientes procesos. Caracterı́sticas 2D y 3D fueron extraídas de las nubes de puntos, 11 características basadas en los espacios de color RGB, Lab, Luv, YCbCr y HSV, 4 características basadas en curvaturas, y los ı́ndices de forma y curvosidad. Una máquina de vectores de soporte (SVM) fue entrenada con las características previamente encontradas, utilizando 8 ramas para la fase de entrenamiento y 4 para la fase de validación. Los resultados experimentales mostraron una precisión del 0.82 y un recall 0.79, clasificando las diferentes estructuras vegetativas. El sistema propuesto es económico ya que solo se necesita de un dispositivo móvil para la captura de la información; sin embargo, los demás procesos del sistema se realizan de manera offline. Adicionalmente, el sistema desarrollado mostró ser robusto a los cambios de luminosidad presentes durante la captura de los vídeos en campo.

Abstract: As a drink, coffee is one of the most in demand products worldwide; as an agricultural product, it requires non-destructive tools for monitoring and control. With the purpose of creating a non-destructive system which can be used in the field, a system was developed to find and classify six types of vegetative structures on coffee branches: leaves, stems, flowers, unripe fruits, semi-ripe fruits, and ripe fruits. Videos were obtained from 12 coffee branches in field conditions, using the rear camera of a mobile device. Approximately 90 frames, those which had the largest amount of information from the scene, were selected from each video; then, a three-dimensional (3D) reconstruction was generated using the Structure from Mo- tion (SfM) and Patch-based Multi-view Stereo (PMVS) techniques per each branch. All of the acquired images were manually recorded and then, a Ground Truth point cloud was ge- nerated for each branch. The generated point clouds were filtered using a statistical outliers filter, in order to eliminate noise generated in the 3D reconstruction process. The points that were located in the deepest part were taken as the background of the scene, and were re- moved using a band-pass filter. The point clouds were sub-sampled using a VoxelGrid filter, to reduce the number of points to 50 % and, therefore, reduce the computation time of the following processes. Some two-dimensional (2D) and 3D features were taken from the point clouds: 11 of them based on RGB, Lab, Luv, YCbCr, and HSV color space, 4 of them based on curvatures, and the remaining two based on shape and curvedness indexes. A Support Vector Machine (SVM) was trained with the previously encountered features by using eight branches for the training stage, and four branches for the validation stage. The experimental results showed a precision of 0.82 and a recall of 0.79 when classifying the different vegetative structures. The proposed system is economical since only a mobile device is needed to obtain the information; nonetheless, the remaining processes of the system were performed offline. Additionally, the developed system was not affected by changes in lighting conditions, when recording the videos on a coffee plantation.