Desarrollo de un meta-modelo de predicción para el diagnóstico de infección cervical por Chlamydia trachomatis en mujeres de Colombia

Abstract

Introducción: La cervicitis por clamidia tiene alta prevalencia, es de difícil diagnóstico (30-75% de los casos son asintomáticos) y pueden tener serias secuelas clínicas. En condiciones de escasos recursos, el diagnóstico y tratamiento principalmente son realizadas bajo el manejo sindrómico propuesto por la OMS, el cual ha mostrado desempeño subóptimo. Se desarrolló y validó un meta-modelo basado sobre una revisión sistemática de modelos predictivos publicados, Metodología: Se condujo una revisión sistemática de reglas de predicción clínica para el diagnóstico de infección de cervicitis por Chlamydia trachomatis, buscando en las bases de datos Medline, EMBASE y Bireme. La revisión, selección, extracción de datos y evaluación de la calidad fueron realizadas independientemente por dos investigadores, usando formas estandarizadas y nuevas herramientas específicas para riesgo de sesgo en modelos predictivos. Las características y las medidas de desempeño de los modelos incluidos fueron comparadas y resumidas. Adicionalmente, fueron agregados usando dos métodos disponibles (modelo promediado y regresión de Stacked) y una muestra externa de 1381 mujeres de Colombia con una prevalencia del 9.7% de casos diagnosticados con PCR. La máxima verosimilitud penalizada fue usada para corregir el sobreajustamiento de los coeficientes del meta-modelo obtenidos por la regresión de Stacked y bootstrapping fue usada para realizar la validación interna. Resultados: De 3665 registros identificados, 25 artículos fueron incluidos en la revisión sistemática, en donde se reportaron 31 reglas de predicción diagnóstica. Se encontró que los principales riesgos de sesgos están relacionados con selección de los participantes, tamaño de la muestra y análisis de los datos. Siete modelos fueron agregados. El método de la regresión de Stacked generó un meta-modelo con mejores características sobre los modelos existentes: Área bajo la curva 0.79, puntaje de Brier 0.077 y R2 0.20. La validación interna mostró escaso sobreajustamiento. La comparación de las razones de verosimilitud positiva y negativa fueron mostraron que el meta-modelo tubo mejor desempeño que el actual algoritmo de la OMS. Conclusiones: La regresión de Stacked permitió agregar modelos de predicción, a través datos de pacientes externos individuales. El meta-modelo desarrollado demostró mejores características operativas que el algoritmo de la OMS, sin embargo es necesario realizar estudios de impacto para evaluar su utilidad clínica.

Abstract. Introduction: Cervicitis by chlamydia has high prevalence, is difficult to diagnose (30-75% asymptomatic cases) and might have serious clinical sequelae. In resource scarce settings, diagnosis and treatment are based on the WHO’s proposed syndromic approach, which has largely suboptimal performance. We developed and validated a meta-model based on a systematic review of published prediction models. Method: We conducted a systematic review on clinical prediction rules (CPRs) for the diagnosis of cervicitis infection by Chlamydia trachomatis, searching Medline, EMBASE and Bireme databases. Screening, data extraction and quality assessment were performed independently by two researchers, using standardized forms and a new specific risk of bias tool. The performance characteristics of the included models were summarized, and the models were aggregated using two available methods (model averaging and stacked regression method). and an external sample of 1381 women from Colombia (10% positive cases at PCR). Penalized maximum likelihood was used to correct for overfitting the coefficients of the meta-model obtained by the stacked regression, and bootstrapping was used for further internal validation. Results: Of 3665 records identified, 25 articles reporting on 31 different CPRs were included in the systematic review. The principle risk of bias was related to selection of participants, sample size and data analysis. Seven models were aggregated. The stacked regression method generated a meta-model with improved characteristics over each of the existing models: c-statistic 0.79, Brier score 0.077 and R2 0.20. Internal validation showed lack of overfitting. Comparison of likelihood ratios for positive and negative tests showed that the meta-model had better operational characteristics than the currently used WHO score. Conclusions: Stacked regression allows aggregation of prediction models, provided that suitable external individual patient data are available. The meta-model demonstrated better performance characteristics that the WHO algorithm, however, a prospective implementation study is needed in order to assess of clinical use.