Metodología heterogénea para la inspección visual automática basada en técnicas de aprendizaje inexactamente supervisado

Abstract

El propósito de la inspección visual automática es detectar y localizar defectos en diferentes tipos de objetos y superficies. Tradicionalmente, estos procesos eran llevados a cabo de manera manual por expertos humanos. Sin embargo, las técnicas de inspección manual suelen ser lentas e ineficientes, encontrando que en muchos casos, no cumplen adecuadamente con las demandas de producción en diversas áreas.

A lo largo del tiempo, se han empleado diferentes soluciones para abordar este problema, centradas principalmente en el procesamiento de imágenes y en técnicas clásicas para la extracción de características, el reconocimiento de patrones, y el uso de clasificadores como máquinas de vectores de soporte, la regla del vecino más cercano y árboles de decisión, entre otros. Recientemente, se ha logrado resolver este problema mediante técnicas de aprendizaje profundo, arrojando resultados muy prometedores. No obstante, se han identificado ciertas limitaciones, tales como la necesidad de contar con un conjunto de datos extenso para el entrenamiento, los elevados requisitos computacionales y la falta de claridad en la interpretación de los resultados.

En esta tesis se explora el empleo de diversas técnicas que incorporan el aprendizaje profundo para abordar problemas de inspección visual automática en la producción de distintos objetos, tales como láminas de vidrio, dulces, telas y conjuntos sintéticos de superficies con textura. Además, ante las limitaciones observadas en las técnicas que hacen uso de aprendizaje profundo, con un enfoque especial en la interpretabilidad, se propone una metodología basada en técnicas de aprendizaje inexactamente supervisado. Esta metodología tiene como objetivo realizar la detección y localización de defectos en diversos problemas de inspección visual automática. La metodología se enfoca en superar y solucionar algunos de los desafíos que surgen al entrenar diferentes modelos cuando no se dispone de información precisa de las etiquetas. Para ello, se integran técnicas provenientes del aprendizaje inexactamente supervisado, como el aprendizaje de múltiples instancias (MIL) y el aprendizaje profundo (DL). Adicionalmente, la utilización de disimilitudes y clasificadores simples, como el del vecino más cercano ($k$-NN), contribuye al desarrollo y entrenamiento de sistemas capaces de distinguir entre productos defectuosos y no defectuosos, proporcionando la interpretación gráfica correspondiente.

La metodología desarrollada fue evaluada en diversos escenarios con diferentes conjuntos de datos, abarcando tanto conjuntos sintéticos como conjuntos de imágenes reales, mayoritariamente compuestos por superficies texturizadas. Los resultados obtenidos fueron positivos, destacándose varias fortalezas clave de la metodología tales como la capacidad de trabajar con imágenes débilmente etiquetadas, la adaptabilidad para conjuntos de datos con pocas imágenes o desbalanceados, la detección gráfica multiresolución de defectos, la implementación de una ventana deslizante para la generación de bolsas y, finalmente, la habilidad de interpretar de manera gráfica los resultados obtenidos. En cuanto al análisis computacional, es relevante resaltar que las redes neuronales convolucionales (CNN) representan la carga computacional más significativa, ya sea en el entrenamiento del modelo, en la extracción de características o en la predicción de la etiqueta de un objeto de prueba. No obstante, los análisis de desempeño temporal indican que la metodología puede ser aplicada de manera efectiva en diversos contextos (Texto tomado de la fuente)

The purpose of automatic visual inspection is to detect and locate defects in different types of objects and surfaces. Traditionally, these processes were carried out manually by human experts. However, manual inspection techniques are usually slow and inefficient, finding that in many cases, they do not adequately meet production demands in various areas.

Over time, different solutions have been used to address this problem, mainly focused on image processing and classical techniques for feature extraction, pattern recognition, and the use of classifiers such as support vector machines, the nearest neighbor rule and decision trees, among others. Recently, this problem has been solved using deep learning techniques, yielding very promising results. However, certain limitations have been identified, such as the need of an extensive dataset for training, high computational requirements, and lack of clarity in the interpretation of results.

This thesis explores the use of various techniques that incorporate deep learning to address automatic visual inspection problems in the production of different objects, such as glass sheets, candies, fabrics, and synthetic sets of textured surfaces. Furthermore, given the limitations observed in techniques that use deep learning, with a special focus on interpretability, a methodology based on inexactly supervised learning techniques is proposed. This methodology aims to detect and localize defects in various automatic visual inspection problems. The methodology focuses on overcoming and solving some of the challenges that arise when training different models when accurate label information is not available. To do this, techniques from weakly supervised learning are integrated, such as multiple instance learning (MIL) and deep learning (DL). Additionally, the use of dissimilarities and simple classifiers, such as the nearest neighbor ($k$-NN), contributes to the development and training of systems capable of distinguishing between defective and non-defective products, providing the corresponding graphical interpretation.

The developed methodology was evaluated in various scenarios with different datasets, covering both synthetic sets and real image sets, mostly composed of textured surfaces. The results obtained were positive, highlighting several key strengths of the methodology such as the ability to work with weakly labeled images, adaptability for datasets with few or unbalanced images, multi-resolution graphical detection of defects, the implementation of a sliding window for generating bags and, finally, the ability to graphically interpret the results obtained. Regarding computational analysis, it is relevant to highlight that convolutional neural networks (CNN) represent the most significant computational load, whether in model training, feature extraction or in predicting the label of a test object. However, temporal performance analyses indicate that the methodology can be effectively applied in various contexts.