Detección de defectos en sistemas de inspección visual automática a través del aprendizaje de múltiples instancias

Abstract

En las últimas décadas los sistemas de inspección visual automática se han convertido en herramientas de ayuda indispensables para el control de calidad en líneas de producción industrial. Si bien, en muchas industrias este proceso es aún realizado por humanos, los sistemas de inspección visual superan las capacidades de los humanos en muchos aspectos. Por ejemplo, la velocidad de inspección alcanzada por las máquinas es mucho mayor y, por tanto, se puede inspeccionar el 100\% de los productos; los sistemas de inspección visual automática pueden trabajar las 24 horas, los 7 días a la semana, sin degradar su desempeño bien sea por fatiga visual o por factores anímicos; además, éstos eliminan la subjetividad humana en el proceso, por lo que la calidad de todos los productos se determina siempre de la misma forma. Desde el punto de vista de la visión artificial existen diferentes aproximaciones para abordar el problema de la de inspección visual automática. Una de las más comunes consiste en la utilización de métodos de aprendizaje automático para "enseñar" a las máquinas a reconocer los posibles defectos en un producto. Sin embargo, para que la máquina construya un modelo que le permita diferenciar entre productos defectuosos y no-defectuosos, se requiere de un amplio conjunto de imágenes de entrenamiento en las que los posibles defectos estén perfectamente delineados. Este proceso, conocido como segmentación (o anotación) manual, es una tarea laboriosa que requiere de extensos tiempos de dedicación de los expertos, es susceptible a las inconsistencias inter- e intra-experto y en algunos casos es impracticable por el número de imágenes que se requieren para el entrenamiento. A partir de esa limitación, esta tesis explora el uso de un nuevo paradigma de clasificación, denominado Aprendizaje de Múltiples Instancias (MIL), con el fin de enseñar a las máquinas a diferenciar entre productos defectuoso y no-defectuosos utilizando imágenes débilmente etiquetadas, que además tienen cierto grado de ambigüedad. Para ello, el problema de inspección es modelado como un problema MIL en el que cada imagen de entrenamiento es representada como una bolsa que contiene múltiples vectores de características, llamados instancias. Además, se considera el problema del aprendizaje a partir de clases desbalanceadas en el contexto MIL. En muchas industrias es común que se cuente con una gran cantidad de imágenes de productos no-defectuosos, pero pocas imágenes de productos con defectos. Esto sucede ya sea por el costo que implica generar los defectos o por la poca frecuencia de su aparición. Cuando el número de muestras de una de las clases (la clase mayoritaria) supera por mucho el número de muestras de la clase minoritaria, los algoritmos de aprendizaje basados en la teoría de decisión Bayesiana suelen generar fronteras de decisión sesgadas en favor de la clase mayoritaria. Es por esto que en esta tesis se aborda el problema de desbalance entre clases en MIL y se propone un método para balancear las mismas, en términos de su representación basada en bolsas y/o instancias. Finalmente, en esta tesis se considera el problema del cambio temporal en la descripción de los productos y sus posibles defectos (cambio de concepto). En muchos dominios de aplicación de la inspección visual automática, el ambiente en el cual se toman las imágenes de los objetos puede cambiar en el tiempo, por ejemplo, por cambios debidos a la iluminación o cambios en los defectos. Esto conlleva a que un clasificador entrenado en el tiempo t pueda tener un desempeño muy bajo en el tiempo t+1. En este sentido, aquí se plantea el problema del aprendizaje incremental de múltiples instancias y se presenta una aproximación de solución al mismo. Los elementos antes mencionados llevan a que en esta tesis se desarrolle una metodología para la detección de defectos en sistemas de inspección visual automática basados en el aprendizaje de múltiples instancias, con el fin de mejorar la adaptabilidad de estos sistemas en términos del uso de imágenes débilmente etiquetadas, de su funcionamiento con conjuntos no balanceados y de cambios en la descripción de los conceptos.

Abstract: In the last decades, automatic visual inspection has become an important part of the quality control in manufacturing industry. It has several advantages compared with the inspection performed by humans. For example, machines do not fatigue, even working 7 days a week during 24 hours, they are faster than humans and their decision about the quality of a product is objective and consistent. Machine learning algorithms are the most common approaches used to build automatic visual inspection systems to recognize defective products. In these approaches, machines must "learn" a mathematical model to differentiate between defective and non-defective products. However, one of the drawbacks of these approaches is that they require a large set of training images where the defects have to be manualy delineated and labeled. This process could be a costly and laborious task which is also sensitive to the inter- and intra-expert inconsistencies, and in some cases is impracticable by the number of images. In this thesis a methodology based on the Multiple-Instance Learning (MIL) paradigm is proposed in order to use weakly and ambiguity labeled images to train an automatic visual inspection system. The use of weak labels can decrease the time and effort used in manual image labeling. In this sense, the proposed methodology starts modeling the automatic visual inspection problem as a multiple-instance learning problem. Then, the problem of multiple-instance class imbalance learning is considered. It is because in many industries is very usual to have a large number of images of non-defective products, but few images of defective ones. When a supervised learning algorithm, based on the Bayesian decision theory, is trained with data where the class distribution is imbalanced the decision boundaries could be skewed by the majority class. In this thesis, two sampling methods are proposed to lead whit this problem. Finally, this thesis reviews the problem of temporary changes in products or their potential defects. In many industrial application domains, the environment where the images are captured may change over time due to changes in illumination or raw materials, for example. These changes may cause that a classifier trained in the time t has a low performance detecting the defects in a posterior time t+1. In this sense, the proposed methodology considers and presents a solution for the problem of incrementally learning from multiple-instance data in the context of automatic visual inspection. All these elements, which are part of the proposed methodology, are used to detect defects in automatic visual inspection systems based on multi-instance learning. At the same time, these elements look for improving the flexibility and adaptability of these kind of inspection systems with respect to the use of weakly labeled images for their training stage and their operation using imbalanced and changing datasets.