Evaluación empírica de dos métodos de equiparación: buscando equidad en la evaluación de personas con limitación visual

Abstract

El proceso de comprensión de lectura es diferente entre las personas con y sin limitación visual debido en parte a que los estudiantes con limitación visual necesitan un mayor tiempo para decodificar y reconocer las palabras cuando están leyendo. Este tipo de diferencias afecta la medición de dicho atributo en pruebas de aplicación masiva, especialmente en programas de evaluación que producen grandes cantidades de pruebas para evaluar muchas personas al mismo tiempo. Este estudio tuvo como objetivo comparar dos métodos de equiparación utilizando las bases de datos de las puntuaciones en la prueba de lenguaje del examen de estado SABER 11 presentada por estudiantes con y sin limitación visual en el segundo semestre del año 2013. En total se analizaron las respuestas de 518453 estudiantes sin limitación visual y 104 con limitación Debido a las diferencias en el procesamiento de la información entre las dos poblaciones de estudiantes, se considera que las pruebas no son las mismas para los dos grupos, a pesar de que el contenido de los ítems sea el mismo para todos los estudiantes. Así pues, el uso de métodos de equiparación de puntuaciones se presenta como una alternativa para hacer comparables los resultados de las dos poblaciones. En el presente estudio se buscó evaluar el funcionamiento de los métodos Tucker y Media-sigma para grupos no equivalentes con test de anclaje. Para la evaluación de los métodos se implementó el análisis del error de equiparación de los métodos, así como una comparación del funcionamiento de los mismos cuando las pruebas son más cortas, para esto se eliminaron de la calificación de la prueba de cada grupo los ítems que presentan funcionamiento diferencial.. Los resultados señalaron que el método Media-sigma presenta menor error de equiparación que el método lineal, así como que el error de equiparación es menor para ambos métodos cuando los ítems que presentan funcionamiento diferencial no se incluyen en la calificación.

Abstract. Reading comprehension process has some different and relevant aspects between students with and without visual impairment. For instance blind students need more time to decode and recognise words when they are reading. Those differences make an impact in the reading comprehension assessment for those two groups, especially in testing programs that administer various test forms in a massive amount of students at the same time. Scores of 518453 students without visual impairment y 104 students with visual impairment were used in this study, which main goal is to compare two equating methods using the scores the students in the reading comprehension proficiency exam from the SABER 11 test used in the second semester of 2013. However, because the differences between students with visual impairment and students without visual impairment, the test seems not be the same for the both groups despite that items have the exact same content for them. So to adjust test scores and compare effectively the measurement in these two groups it’s plausible to use equating methods; in this case Tucker and Mean-sigma methods with non-equivalent groups with anchor test design were used. The assessment of the equating methods was made identifying the equating error for those methods and includes a comparison between the Tucker and Mean-sigma methods when the test are complete and when test were shorter cause items identified with differential functioning for one of the groups were eliminated in the total score. Results shown that mean-sigma method presents less equating error than linear equating. Another finding in this study is that equating error decreases for both methods when items with differential functioning are left out of total test score.