Uso de información auxiliar en la estimación inicial de la habilidad de una prueba adaptativa computarizada

Abstract

Este trabajo se desarrolla en un escenario hipotético de implementación de pruebas adaptativas computarizadas (CAT, por sus siglas en inglés) en el contexto colombiano. Aunque el Instituto Colombiano para la Evaluación de la Educación (Icfes) no aplica actualmente este tipo de pruebas, ha realizado algunos pilotajes, lo cual motiva el análisis de sus posibles efectos y condiciones de aplicación. El objetivo del estudio es evaluar el uso de información auxiliar en la estimación inicial de la habilidad del evaluado, con el fin de seleccionar de manera más adecuada el primer ítem del examen. Para ello, se emplean modelos predictivos —específicamente regresión lineal, bosques aleatorios y redes neuronales artificiales— que permiten obtener una estimación inicial a partir de información contextual recopilada antes de la aplicación de la prueba. Posteriormente, se realizan simulaciones que comparan el desempeño del algoritmo adaptativo cuando se utiliza una estimación inicial basada en información auxiliar en comparación con escenarios en los que esta información no está disponible o no se emplea. Dichas simulaciones consideran factores clave como el tamaño del banco de ítems, el método de selección del primer ítem y los criterios de parada. Los resultados indican que contar con una estimación inicial cercana al valor real de la habilidad mejora la precisión final y reduce el número de ítems administrados. A partir de estos hallazgos, se presentan recomendaciones prácticas sobre las condiciones en las que el uso de información auxiliar podría incrementar de forma significativa la eficiencia y la precisión de futuras aplicaciones de pruebas adaptativas en el país. (Tomado de la fuente)

This study is developed within a hypothetical scenario of implementing computerized adaptive testing (CAT) in the Colombian context. Although the Colombian Institute for the Evaluation of Education (Icfes) does not currently administer this type of test, it has conducted several pilot studies, motivating the analysis of their potential effects and conditions for application. The objective of the study is to evaluate the use of auxiliary information in the initial estimation of examinee ability, with the aim of more appropriately selecting the first test item. To this end, predictive models—specifically linear regression, random forests, and artificial neural networks—are employed to obtain an initial estimate based on contextual information available prior to test administration. Subsequently, simulations are carried out to compare the performance of the adaptive algorithm when using an initial estimate based on auxiliary information against scenarios in which such information is unavailable or not used. These simulations consider key factors such as item bank size, first-item selection method, and stopping criteria. The results indicate that having an initial estimate close to the true ability value improves final precision and reduces the number of administered items. Based on these findings, practical recommendations are proposed regarding the conditions under which the use of auxiliary information could significantly enhance the efficiency and accuracy of future adaptive test implementations in the country.