A deep learning approach with preserved interpretability to support multimodal remote sensing in precision agriculture with applications to the Tolima region
Cargando...
Tipo de contenido
Editor
Document language:
Inglés
Fecha
Título de la revista
ISSN de la revista
Título del volumen
Documentos PDF
Resumen
La agricultura de precisión (AP) es una estrategia esencial para abordar la creciente demanda mundial de alimentos bajo las restricciones del cambio climático y la escasez de recursos. Mediante la integración de tecnologías de teledetección (RS, por sus siglas en inglés) con el análisis de datos multimodales, la AP permite una gestión específica del sitio para mejorar el rendimiento de los cultivos y la sostenibilidad. El análisis de datos heterogéneos de fuentes como Vehículos Aéreos no Tripulados (VANTs) y sensores en campo se realiza a menudo utilizando modelos de aprendizaje profundo (DL). Sin embargo, la aplicación práctica de estos modelos en entornos agrícolas reales se ve obstaculizada por tres desafíos significativos: la prevalencia de ruido y conflictos dentro de los datos multimodales, el comportamiento no estacionario de los agroecosistemas debido a la variabilidad fenológica y ambiental, y la limitada interpretabilidad intrínseca de los complejos modelos de “caja negra”, lo que impide la confianza y la adopción por parte de los actores interesados.
Esta tesis presenta un marco metodológico para superar estos desafíos mediante el desarrollo de un conjunto de técnicas de aprendizaje profundo con interpretabilidad preservada. En primer lugar, para mitigar los efectos de etiquetas ruidosas e inestables en contextos de múltiples anotadores, se introduce el marco de Aprendizaje Profundo Encadenado basado en Entropía Cruzada Generalizada (GCECDL, por sus siglas en inglés). Este enfoque modela conjuntamente la fiabilidad de cada anotador como una función no estacionaria de las características de entrada y emplea una función de pérdida robusta al ruido que garantiza la convergencia estable. Posteriormente, el marco se extiende a la clasificación multimodal (M-GCECDL), donde cada modalidad se trata como una fuente con fiabilidad aprendida, lo que permite una fusión adaptativa que prioriza las modalidades más confiables. En segundo lugar, para analizar y visualizar la dinámica no estacionaria de los cultivos, se desarrolla un método no supervisado denominado Biplot Local basado en UMAP (UL-Biplot). Este enfoque integra aprendizaje de variedades (manifold learning) con proyecciones lineales localizadas para revelar patrones interpretables relacionados con el estado hídrico del cultivo a lo largo de diferentes etapas fenológicas. Finalmente, para reconciliar la precisión predictiva con la transparencia, se presenta un modelo híbrido UL-Biplot informado por TabNet, que combina una arquitectura de DL basada en atención con el UL-Biplot para proporcionar atribuciones de relevancia de características tanto a nivel global como a nivel de instancia.
Los marcos propuestos fueron validados en benchmarks sintéticos y en tres conjuntos de datos agrícolas reales, incluido el conjunto multimodal RiceClimaRemote de la región del Tolima, Colombia. El marco GCECDL demostró un rendimiento superior, superando a los métodos de referencia en 12 de 15 conjuntos de datos. El UL-Biplot informado por TabNet alcanzó una alta precisión predictiva, con un [Mathematical Formula] $R^2 = 0.77 \pm 0.01$ en la estimación de la puntuación de mejorador en gramíneas forrajeras y de [Mathematical Formula] $R^2 = 0.79 \pm 0.01$ en la estimación del Índice de Área Foliar (LAI) en trigo, identificando con éxito predictores agronómicamente relevantes como VEG, RCC, NDVI y PSRI. El análisis de interpretabilidad confirmó que los modelos aprendieron a fusionar información de manera dinámica, priorizando adecuadamente dominios de datos más limpios y proporcionando perspectivas coherentes y contextualizadas sobre la salud del cultivo. Al garantizar una alta precisión predictiva en la estimación de variables agronómicas relacionadas con el estado hídrico del cultivo, los modelos propuestos contribuyen directamente a las prácticas de agricultura de precisión. Estos avances respaldan la gestión del riego específico por sitio, el monitoreo de cultivos y los programas de mejoramiento genético, fortaleciendo la capacidad de la agricultura para adaptarse frente a la variabilidad climática.
Esta investigación establece una base sólida para el desarrollo de modelos de aprendizaje profundo interpretables, resistentes al ruido y adaptables para la teledetección multimodal en la agricultura. El trabajo futuro se orientará a extender estos marcos hacia arquitecturas transformer adaptadas a datos tabulares y a la incorporación de visual transformers para modalidades de imagen y modelado temporal, con el fin de mejorar la escalabilidad y el impacto de la agricultura de precisión basada en datos (Texto tomado de la fuente).
Abstract
Precision agriculture (PA) is an essential strategy to address rising global food demands under the constraints of climate change and resource scarcity. By integrating remote sensing (RS) technologies with multimodal data analysis, PA enables site-specific management to improve crop yields and sustainability. The analysis of heterogeneous data from sources like Unmanned Aerial Vehicles (UAVs) and in-field sensors is often performed using deep learning (DL) models. However, the practical application of these models in real-world agricultural settings is hindered by three significant challenges: the prevalence of noise and conflicts within multimodal data, the nonstationary behaviour of agroecosystems due to phenological and environmental variability, and the inherent lack of interpretability in complex "black-box" models, which impedes trust and adoption by stakeholders.
This thesis delivers a methodological framework to overcome these challenges by developing a suite of deep learning techniques with preserved interpretability. First, to mitigate the effects of noisy and unreliable labels in the context of multiple annotators, the Generalized Cross-Entropy-based Chained Deep Learning (GCECDL) framework is introduced. This approach jointly models the reliability of each annotator as a nonstationary function of the input features and employs a noise-robust loss function to ensure stable convergence. The framework is subsequently extended to multimodal classification (M-GCECDL), where each modality is treated as a source with learned reliability, enabling adaptive fusion that prioritizes the most trustworthy modalities. Second, to analyze and visualize nonstationary crop dynamics, an unsupervised UMAP-based Local Biplot (UL-Biplot) method is developed. This approach integrates manifold learning with localized linear projections to uncover interpretable patterns of crop water status across different phenological stages. Finally, to reconcile predictive accuracy with transparency, a hybrid TabNet-informed UL-Biplot model is presented, which combines an attention-based deep learning architecture with the UL-Biplot to provide both global and instance-level feature relevance attribution.
The proposed frameworks were validated on synthetic benchmarks and three real-world agricultural datasets, including the RiceClimaRemote multimodal dataset from the Tolima region of Colombia. The GCECDL framework demonstrated superior performance, outperforming state-of-the-art methods on 12 out of 15 benchmark datasets. The TabNet-informed UL-Biplot achieved high predictive accuracy, with [Mathematical Formula] $R^2 = 0.77 \pm 0.01$ for breeder score estimation in forage grasses and [Mathematical Formula] $R^2 = 0.79 \pm 0.01$ for Leaf Area Index (LAI) estimation in wheat, while successfully identifying key agronomically relevant predictors such as VEG, RCC, NDVI, and PSRI. The interpretability analysis confirmed that the models learned to dynamically fuse information, correctly prioritizing clean data domains and providing visually coherent, context-aware insights into crop health. By ensuring high predictive accuracy in estimating several crop water status agronomic traits, the proposed models contribute directly to precision agriculture practices. These advances support site-specific irrigation management, crop monitoring, and breeding programs, strengthening agriculture’s capacity to adapt under climate variability.
This research establishes a robust groundwork for developing transparent, noise-resistant, and adaptable DL models for multimodal remote sensing in agriculture. Future work will extend these frameworks toward multimodal transformer architectures, complementing the proposed TabNet-informed Local Biplot for tabular data with the incorporation of visual transformers for image-based modalities and temporal modeling, to enhance the scalability and impact of data-driven precision agriculture.
Descripción
ilustraciones, graficas, tablas
Palabras clave propuestas
Deep learning; Aprendizaje profundo; Interpretability; Interpretabilidad; Multimodal data; Datos multimodales; Precision agriculture; Agricultura de precisión; Remote sensing; Sensado remoto; Sequential attention; Atención secuencial; Noisy label; Etiquetas ruidosas; Classification; Classificación; Local biplot
Términos Normalizados
630 - Agricultura y tecnologías relacionadas::631 - Técnicas específicas, aparatos, equipos, materiales; 000 - Ciencias de la computación, información y obras generales::004 - Procesamiento de datos Ciencia de los computadores; 000 - Ciencias de la computación, información y obras generales::005 - Programación, programas, datos de computación; Agricultura; Agriculture; Análisis de datos; Data analysis; Aprendizaje; Learning; Producción agrícola; Agricultural production