Métodos de equiparación de puntuaciones: los exámenes de estado en población con y sin limitación visual

Abstract

El propósito de la equiparación consiste poner en una misma escala los resultados de una o más pruebas que evalúan el mismo constructo y que cuentan con especificaciones técnicas similares (Angof, 1984). La importancia de este procedimiento radica en el uso de métodos estadísticos aplicados a las puntuaciones obtenidas en pruebas que evalúan atributos psicológicos, con el fin de garantizar la equidad en la evaluación en condiciones ajenas a las características que se pretenden medir, tal como ocurre con la población invidente, minimizando la posibilidad de beneficiar o perjudicar a un grupo particular en la interpretación que se haga de los resultados. En este trabajo se comparan tres métodos de equiparación dos de ellos basados en la Teoría Clásica de los Test: Tucker (Gulliksen, 1950)) y Levine (1955) y uno basado en la Teoría de Respuesta al Ítem: Media/Sigma de Cohen and Kim (1998). Con base en la aplicación de las pruebas de estado en Colombia SABER 11 año 2008 y utilizando el programa R, se simularon 1000 matrices de respuesta iguales a las aplicaciones de SABER 11 en longitud de la prueba, tamaños de muestra y estimaciones de los parámetros de habilidad de los examinados y parámetros de dificultad de los ítems tanto para población vidente como invidente. Usando los procedimientos de equiparación ya mencionados, para cada matriz de respuesta se construyó la tabla de conversión, se estimó el error de equiparación por medio del método bootstrap y finalmente se obtuvo el coeficiente de variación de los errores a lo largo de las simulaciones. Se encontró que el método de Media/ Sigma introduce menor error de equiparación en cada matriz simulada y el método de Tucker más estable a través de las réplicas. Finalmente se realizan conclusiones en torno al uso de estos procedimientos para apoyar la equidad en la interpretación de resultados en poblaciones minoritarias como las caracterizadas por limitación visual.

Abstract. Equating is defined as the process of expressing on the same scale the results from one or more tests that measure the same construct and have similar specifications (Angof, 1984). By using statistical methods applied to the tests scores, the equating procedures pretend to ensure fairness in the evaluation, minimizing the possibility of benefit a particular group in the interpretation of the results. Three methods were compared, two of them based on Classical Test Theory: Tucker (Gulliksen, 1950)) y Levine (1955) and one based in the Item Response Theory: Media/Sigma de Cohen and Kim (1998). A simulation study was carried out based on the application of National Tests in Colombia and using the R program. 1000 response matrices were generated like the length of the test, the ability parameters of the examinees and parameters of item difficulty for both populations: with and without visual impairment. For each response matrix, a conversion table was constructed, the equating error was estimated by bootstrap method for each equating procedure and finally the coefficient of variation of the errors was calculated. The results suggest that Media/Sigma procedure shows less equating error and the Tucker procedure was more stable. Conclusions are made about the use of these procedures to support equity in the interpretation of tests results in minority populations like the visual impairment population.