Estudio comparativo de técnicas de clasificación binaria con múltiples anotadores

Abstract

En los últimos años ha venido creciendo el interés de la comunidad de aprendizaje de máquina hacia el área de múltiples anotadores, esto debido a que existen problemas en los cuales contar con conjuntos de datos de un solo anotador es algo costoso, riesgoso o muy difícil de obtener. Esto ha generado que en la literatura existan diferentes técnicas y algoritmos que tratan de resolver el problema, al extraer el conocimiento de los múltiples anotadores para generar un conjunto de datos con un solo anotador; conocido como el conjunto de única etiqueta estimada. Es así como en este trabajo se realizó la selección, implementación, pruebas y análisis de las métricas precisión, Recall, F1 Score y ROC de cinco técnicas de aprendizaje de máquina con múltiples anotadores, con el objetivo de conocer el comportamiento de estas técnicas frente a diferentes bases de datos. Los resultados experimentales basados en las métricas de rendimiento obtenidas sobre las pruebas en las diferentes bases de datos evidencian grandes diferencias entre las técnicas para la misma base de datos, lo cual permite a la comunidad científica o profesional tener más criterios de selección a la hora de seleccionar alguna de las técnicas mencionadas aquí.

In recent years, the machine learning community’s interest has been increasing towards multiple annotators' area because there are problems in which having single annotators datasets are too expensive, risky, or complex to obtain. These problems have generated in literature, different algorithms and techniques that try to solve that problem, either trying to extract knowledge from the multiple annotators’ datasets and then, creating a single annotator’s datasets; known as the estimated ground truth. Thus, in this document the selection, implementation, testing and performance analysis have been done with different metrics like accuracy, recall, F1 Score and ROC of five multiple annotators’ machine learning algorithms with the object of getting knowledge about the behavior of these techniques over different databases. The experimental results, based on the performance’s metrics obtained from test databases, show large differences among techniques for the same database, so then, this work can be a guide to the academic or professional community to get more choice criteria to select one of the techniques implemented here.