An explainable Kernel-driven approach for reliable supervised learning

Abstract

Kernel methods provide a principled and mathematically rigorous framework for machine learning, offering strong generalization guarantees and natural mechanisms for uncertainty quantification. Despite these advantages, their adoption in modern large-scale and heterogeneous scenarios has been hindered by computational limitations, sensitivity to noisy or inconsistent supervision, and difficulties in extending them to structured or non-Euclidean data. Addressing these challenges is crucial to preserve the theoretical strengths of kernel methods while making them viable for contemporary applications in artificial intelligence. The main problem tackled in this thesis is the limited practicality of kernel methods in real-world machine learning tasks, where three factors are especially restrictive: the computational cost of scaling to large datasets, the fragility of kernel-based models under noisy or multi-annotator supervision, and the difficulty of interpreting or applying them in settings where structure and reliability are central. This thesis addresses these issues through three complementary research directions: scalability, robustness, and interpretability. First, we introduce CRFFDT-Net, a scalable architecture based on Convolutional Random Fourier Features, which achieves competitive accuracy for Automatic Modulation Classification while significantly reducing computational cost. Second, we propose the MAR-CCGP framework, a robust Gaussian process model that captures inter-annotator correlations and input-dependent noise, enabling reliable regression under heterogeneous and noisy supervision in both semi-synthetic and real sensory datasets. Third, we extend interpretability in kernel-based learning by analyzing GradCAM++ maps for deep architectures in signal classification and by deriving localized trustworthiness measures for multi-annotator regression, thus providing new perspectives on model reasoning and annotator reliability. Overall, this thesis demonstrates that kernel methods, when enhanced with scalable approximations, robust probabilistic formulations, and principled interpretability tools, remain a powerful paradigm for machine learning in modern contexts. The proposed contributions bridge theoretical elegance and practical applicability, offering efficient, reliable, and interpretable solutions. These results open promising directions for future research, including advanced random feature variants, richer Gaussian process formulations, and new interpretability frameworks that connect kernel-based representations with deep architectures in increasingly complex domains (Texto tomado de la fuente).

Los métodos kernel proporcionan un marco teórico sólido y matemáticamente riguroso para el aprendizaje automático, ofreciendo fuertes garantías de generalización y mecanismos naturales para la cuantificación de la incertidumbre. A pesar de estas ventajas, su adopción en escenarios modernos a gran escala y heterogéneos se ha visto limitada por restricciones computacionales, sensibilidad a supervisión ruidosa o inconsistente, y dificultades para extenderlos a datos estructurados o no euclidianos. Abordar estos desafíos es fundamental para preservar las fortalezas teóricas de los métodos kernel y hacerlos viables en aplicaciones contemporáneas de inteligencia artificial. El problema principal abordado en esta tesis es la limitada aplicabilidad práctica de los métodos kernel en tareas reales de aprendizaje automático, donde tres factores resultan especialmente restrictivos: el costo computacional al escalar a grandes conjuntos de datos, la fragilidad de los modelos basados en kernels frente a supervisión ruidosa o proveniente de múltiples anotadores, y la dificultad de interpretarlos o aplicarlos en contextos donde la estructura y la confiabilidad son centrales. Esta tesis aborda estas limitaciones a través de tres líneas de investigación complementarias: escalabilidad, robustez e interpretabilidad. En primer lugar, se introduce CRFFDT-Net, una arquitectura escalable basada en Características Aleatorias de Fourier Convolucionales, que alcanza un rendimiento competitivo en Clasificación Automática de Modulación mientras reduce significativamente el costo computacional. En segundo lugar, se propone el marco MAR-CCGP, un modelo robusto de procesos gaussianos que captura correlaciones entre anotadores y ruido dependiente de la entrada, permitiendo regresión confiable bajo supervisión heterogénea y ruidosa tanto en conjuntos de datos semisintéticos como en datos sensoriales reales. En tercer lugar, se amplía la interpretabilidad en el aprendizaje basado en kernels mediante el análisis de mapas GradCAM++ en arquitecturas profundas para clasificación de señales y mediante la derivación de medidas localizadas de confiabilidad en regresión con múltiples anotadores, proporcionando nuevas perspectivas sobre el razonamiento del modelo y la fiabilidad de los anotadores. En conjunto, esta tesis demuestra que los métodos kernel, cuando se potencian con aproximaciones escalables, formulaciones probabilísticas robustas y herramientas de interpretabilidad fundamentadas, siguen siendo un paradigma poderoso para el aprendizaje automático en contextos modernos. Las contribuciones propuestas conectan la elegancia teórica con la aplicabilidad práctica, ofreciendo soluciones eficientes, confiables e interpretables. Estos resultados abren direcciones prometedoras para futuras investigaciones, incluyendo variantes avanzadas de características aleatorias, formulaciones más ricas de procesos gaussianos y nuevos marcos de interpretabilidad que conecten representaciones basadas en kernels con arquitecturas profundas en dominios cada vez más complejos.