Aplicación de técnicas de análisis de datos y administración de Big Data ambientales

Abstract

El crecimiento en el volumen de datos generados por diferentes sistemas y mediciones de actividades cotidianas en la sociedad es un factor que influencia directamente en la necesidad de modificar, optimizar y concebir métodos y modelos de almacenamiento y tratamiento de datos que suplan las falencias que presentan las bases de datos y los procesos de KDD tradicionales. Big Data es un enfoque que incluye diferentes tecnologías asociadas al almacenamiento, análisis y visualización de grandes volúmenes de datos provenientes de diferentes fuentes y que se presenta como una solución ante los problemas de tratamiento de datos que no son cubiertos por las soluciones tradicionales; cabe anotar que cuando se hace referencia a grandes volúmenes de datos, no hay un consenso entre los autores respecto a una cantidad a considerar como grande, en parte puede depender del dominio de los datos. Por otra parte, el monitoreo de condiciones ambientales como las climáticas, meteorológicas e hidrometeorológicas constituyen una fuente de datos que puede aumentar de manera exponencial, en la medida en que se hagan mediciones de estos fenómenos en diferentes periodos de tiempo, ubicaciones espaciales y estrategias de captura. Teniendo en cuenta los planteamientos anteriores, se pretende por medio de esta tesis, la concepción de un modelo para la administración y análisis de datos ambientales con el uso de algunas tecnologías Big Data, que permita facilitar el tratamiento de estos datos, su almacenamiento, aplicar diferentes tipos de análisis y extraer información relevante de apoyo a la toma de decisiones y en general a la comprensión de los datos propios del dominio.

Abstract: The growth in the volume of data generated by different systems, as the measurement of daily activities, makes necessary to modify, optimize and develop data storage and processing methods and models able to supply the shortcomings presented the databases and KDD traditional processes. In this regard, Big Data analysis is an approach that includes several technologies associated with the storage, analysis, and visualization of big volumes of data obtained from several sources. Thus, Big Data analysis is a solution to the processing data issues that are not covered by the traditional solutions. Moreover, the monitoring of ambient conditions, namely, climatic, meteorological and hydrometeorological constitute a data source growing exponentially because their measurements must be done in several spatial locations, with several capture strategies, and in many time instants