Variational inference for fully bayesian hierarchical linear models

Abstract

Los modelos lineales jerárquicos bayesianos ofrecen un marco natural para capturar estructuras anidadas y de agrupamiento en los datos. La estimación clásica mediante Cadenas de Markov Monte Carlo (MCMC) proporciona distribuciones posteriores bien calibradas, pero con un alto costo computacional, a menudo prohibitivo en escenarios de gran escala o alta dimensión. En contraste, la Inferencia Variacional (VI) y su variante estocástica (SVI) han surgido como alternativas eficientes, basadas en la optimización y no en el muestreo. Su rapidez, sin embargo, se logra a expensas de la calidad de la aproximación, especialmente en contextos jerárquicos cuando la separación intrinseca de los grupos no está marcada a priori.

Esta tesis evalúa críticamente las ventajas y desventajas de ambos paradigmas a lo largo de diferentes niveles de complejidad: el Modelo de Regresión Lineal (LRM), el Modelo Jerárquico (HLRM) y el Modelo Jerárquico con Agrupamiento (CHLRM). Los estudios de simulación y la aplicación a datos reales muestran que VI y SVI reproducen efectos globales y patrones de agrupamiento con un tiempo de cómputo mínimo, pero distorsionan sistemáticamente las dependencias posteriores y generan valores inestables en criterios de información como WAIC y DIC.

El aporte de este trabajo consiste en clarificar la diferencia de alcance entre la inferencia basada en muestreo y la basada en optimización, destacando los contextos en que los métodos variacionales pueden actuar como sustitutos prácticos de MCMC y aquellos en los que sus limitaciones son críticas. Más allá de la comparación metodológica, la tesis cumple también un papel pedagógico al hacer accesible la computación bayesiana avanzada, y señala futuras extensiones bajo el mismo marco variacional hacia modelos lineales generalizados (GLM) y otros miembros de la familia exponencial. (Texto tomado de la fuente)

Bayesian hierarchical linear models provide a natural framework to capture nested and clustered structures in data. Classical estimation via Markov Chain Monte Carlo (MCMC) delivers well-calibrated posterior distributions but is computationally demanding, often prohibitive in high-dimensional or large-scale settings. In contrast, Variational Inference (VI) and Stochastic Variational Inference (SVI) have emerged as efficient alternatives, relying on optimization rather than sampling. Their tractability, however, comes at the cost of approximation quality, especially in hierarchical contexts where the intrinsic separation of groups is not marked a priori.

This thesis critically evaluates the advantages and disadvantages of both paradigms across increasing levels of complexity: the Linear Regression Model (LRM), the Hierarchical Linear Regression Model (HLRM), and the Clustered HLRM (CHLRM). Simulation studies and an application to real data show that VI and SVI reproduce global regression effects and clustering patterns with minimal runtime, but systematically distort posterior dependencies and yield unstable information criteria such as WAIC and DIC.

The contribution of this work lies in clarifying the difference in scope between sampling-based and optimization-based inference, highlighting contexts where variational methods can act as practical surrogates to MCMC, and where their limitations are critical. Beyond the methodological comparison, the thesis also serves a pedagogical role, making advanced Bayesian computation accessible, and points to future extensions under the same variational framework to generalized linear models (GLMs) and other members of the exponential family.