Metadatos estadísticos para el aseguramiento de la calidad de los datos

Abstract

Nowadays, the organization is immersed in an environment influenced by the Data Revolution. On the one hand, organizations produce and share datasets, and on the other hand, there is the opportunity to use these resources for tasks such as data analysis and knowledge discovery, integration or decision-making. However, datasets are represented in various formats, standards, vocabularies, and models; and, to this heterogeneity, quality problems are added, which means that the data is not suitable for use. Facing this reality, this Doctoral Thesis proposes a statistical metadata model that allows data quality assurance. For this purpose, the definition of statistical metadata was adopted and expanded, and the conceptual model not only considers recognized standards but also represents other additional properties, allowing higher levels of detail about data and content quality. The model is the result of the integration of three key components to support quality assurance in the organization, and these are a metadata registry, mapping capability and quality measurement capabilities of the dataset before it is used. This mixed research also, empirically allowed to contribute with a classification of data quality problems and dimensions, and 60 metrics to operationalize the quality measurement of a dataset. This model was validated using a prototype implemented at a public university in Ecuador, demonstrating its practical applicability

Hoy en día la organización está inmersa en un entorno influenciado por la Revolución de los datos. Por un lado, las organizaciones producen y comparten datasets, y por el otro, también está la oportunidad del uso de estos recursos ya sea para tareas de análisis y descubrimiento de conocimiento, integración o toma de decisiones. Sin embargo, los datasets se representan en diversos formatos, estándares, vocabularios y modelos; y, a esta heterogeneidad se agregan problemas de calidad, lo que conlleva a que los datos no sean aptos para ser utilizados. Ante esta realidad, con la presente Tesis Doctoral se propone un modelo de metadatos estadísticos que permita el aseguramiento de la calidad de los datos. Para tal propósito, se adoptó y amplió la definición de los metadatos estadísticos, y el modelo conceptual no sólo considera estándares reconocidos, sino que también representa otras propiedades adicionales, permitiendo mayores niveles de detalle sobre los datos y la calidad de los contenidos. El modelo es el resultado de la integración de tres componentes claves para el apoyo del aseguramiento de la calidad en la organización, y estos son: el registro de metadatos, posibilidad de mapeo y capacidad de medición de calidad del dataset antes de su uso. El tipo de investigación mixta, además, facultó de manera empírica, contribuir con una clasificación de problemas y dimensiones de calidad de datos, y con 60 métricas para operacionalizar la medición de calidad de un dataset. El modelo fue validado mediante un prototipo implementado en una Universidad del sector gubernamental del Ecuador, demostrando su aplicabilidad práctica