Guia metodológica para la selección de técnicas de depuración de datos

Abstract

Los problemas de calidad de los datos han capturado la atención de los investigadores, llevando al desarrollo de múltiples técnicas para detectar y corregir los problemas en los datos, pero no es trivial decidir cuáles técnicas deben aplicarse a un conjunto de datos particular de la vida real. Para lograr buenos resultados en procesos de limpieza de datos, la elección de la técnica es fundamental, pero no se conoce de alguna metodología que detalle la forma de realizar dicha selección de técnicas. Es por esto que esta tesis de maestría construye una guía metodológica que oriente al analista de los datos hacia una selección, con mayor rigor científico, de las técnicas adecuadas para aplicar a un conjunto de datos particular de un dominio específico. La guía metodológica construida en este trabajo, orienta la selección de técnicas para tres de los posibles problemas que pueden presentar los datos: detección de duplicados, valores atípicos incorrectos y valores faltantes. Analistas de datos que requieran hacer tareas de depuración de datos para los tres problemas mencionados, encontrarán una guía metodológica expresada mediante diagramas de flujo, la cual recomienda una o varias técnicas –de entre algunas estudiadas- para su situación particular. / Abstract. Data quality problems have captured the attention of researchers, leading to the development of multiple techniques to detect and correct problems in the data, but it is not trivial to decide which techniques should be applied to a particular data set of real life. To achieve good results in data cleaning processes, the choice of technique is essential, but of the best of our knowledgement not known any methodology that details how to perform the selection of techniques. This work builds a methodological guide that orients the analyst of the data to a selection, with greater scientific rigor, appropriate techniques to apply to a particular data set from a specific domain. The guide direct the selection of techniques for three of the possible problems that may present the data: record linkage, outliers and missing values. Data analysts do tasks requiring data cleansing for the three problems mentioned above, find a methodological guide expressed by flowcharts, which recommends one or more techniques for their particular situation