Revisión sobre el estimador de regresión lineal de Theil-Sen y algunas de sus posibles extensiones y aplicaciones
Cargando...
Autores
Director
Tipo de contenido
Editor
Document language:
Español
Fecha
Título de la revista
ISSN de la revista
Título del volumen
Documentos PDF
Resumen
Este trabajo revisa el estimador de regresión de Theil-Sen y desarrolla una extensión orientada a modelos aditivos generalizados (GAM) con ajuste resistente. Al representar relaciones no lineales mediante expansiones en bases de funciones, el efecto de puntos atípicos puede amplificarse; por ello, nos enfocamos en desarrollar y evaluar métodos resistentes para el ajuste de este tipo de modelos.
En la primera parte se presenta una síntesis estructurada del estimador de Theil en regresión lineal simple, sus métodos de estimación, su formalización estadística basada en la inversión de pruebas de Kendall y su generalización a regresión múltiple y polinómica, incluyendo discusiones sobre su resistencia y conexiones históricas con esquemas tipo Gauss-Seidel y backfitting. Como contribución principal, se propone un procedimiento de ajuste para GAM que aproxima la función de regresión mediante una expansión del tipo \(f(x)\approx \sum_{j} \beta_j\, f_j(x),\) donde \(f_j\) denota funciones base B-spline cúbicas, lo que reduce el problema a una regresión lineal expandida. Sobre esta representación, se implementa un algoritmo de backfitting por coordenadas donde cada actualización se realiza con una pendiente resistente usando Theil-Sen aplicada a residuos parciales. Adicionalmente, se introduce un mecanismo ``activo'' para estabilizar columnas spline de soporte local con alta proporción de ceros, incorporando una fracción controlada de observaciones ``inactivas'', lo que actúa como regularización empírica y mejora la estabilidad numérica. Además se implementa selección de variables usando el algoritmo Feature Ordering by Conditional Independence (FOCI) sobre columnas spline.
La metodología propuesta, se evalúa mediante un estudio de simulación reproducible, en la cual se varían la función verdadera, la distribución de la covariable (X), el tamaño muestral, mecanismos y niveles de contaminación (outliers verticales, alta palanca y contaminación localizada), comparando OLS, Theil-Sen multivariado, RANSAC, M-estimadores y una alternativa iterativa basada en rangos. Los resultados muestran un cambio de régimen. El Theil-backfitting (Active backfitting) tiende a dominar en escenarios limpios o de baja contaminación, mientras que Theil-Sen multivariado requiere reducción de dimensionalidad usando FOCI para mantener un buen desempeño bajo contaminación de moderada a alta. Finalmente, una exploración en datos reales complementa la evidencia empírica, mostrando que el enfoque propuesto captura no linealidades con buen balance entre resistencia y precisión. (Texto tomado de la fuente)
Abstract
This work reviews the Theil-Sen regression estimator and develops an extension aimed at generalized additive models (GAM) with robust fitting. When modeling nonlinear relationships using basis-function expansions, the effect of outliers can be amplified; therefore, we focus on developing and evaluating robust methods for fitting this type of model.
In the first part, we present a structured synthesis of Theil's estimator in simple linear regression, its estimation methods, its statistical formalization based on inverting Kendall tests, and its generalization to multiple and polynomial regression, including discussions of its robustness and historical connections with Gauss-Seidel-type schemes and backfitting. As the main contribution, we propose a fitting procedure for GAMs that approximates the regression function through an expansion of the form \(f(x)\approx \sum_{j} \beta_j\, f_j(x),\) where \(f_j\) denotes cubic B-spline basis functions, which reduces the problem to an expanded linear regression. On this representation, we implement a coordinate-wise backfitting algorithm in which each update is performed via a robust slope using Theil--Sen applied to partial residuals. Additionally, we introduce an ``active'' mechanism to stabilize spline columns with local support and a high proportion of zeros, incorporating a controlled fraction of ``inactive'' observations, which acts as empirical regularization and improves numerical stability. We also implement variable selection using the Feature Ordering by Conditional Independence (FOCI) algorithm on spline columns.
The proposed methodology is evaluated through a reproducible simulation study in which the true function, the distribution of the covariate (X), the sample size, and contamination mechanisms and levels (vertical outliers, high leverage, and localized contamination) are varied, comparing OLS, multivariate Theil--Sen, RANSAC, M-estimators, and an iterative rank-based alternative. The results show a regime change. The Theil-backfitting (Active backfitting) tends to dominate in clean or low-contamination scenarios, whereas multivariate Theil-Sen requires dimensionality reduction using FOCI to maintain good performance under moderate to high contamination. Finally, an exploration on real datasets complements the empirical evidence, showing that the proposed approach captures nonlinearities with a good balance between robustness and accuracy.
Palabras clave propuestas
Descripción
ilustraciones a color, diagramas, tablas