Efecto de la razón de tamaños sobre la detección del funcionamiento diferencial del ítem mediante regresión logística.

Abstract

La investigación de procedimientos que permitan estimar y consecuentemente reducir la presentación del funcionamiento diferencial del ítem (DIF) en pruebas psicométricas es una de las áreas de estudio más importantes en la medición contemporánea. Swaminathan y Rogers (1990) señalaron que la regresión logística es eficaz en la detección de DIF de tipo uniforme y no uniforme, así mismo se ha reclamado que la regresión provee herramientas para predecir la probabilidad de acierto a un ítem con arreglo a un conjunto de variables (habilidad, pertenencia a un grupo, habilidad*grupo) coordinadas en el modelo de la regresión. El presente estudio se propone establecer cuáles son las variables que inciden en la potencia y error tipo I de la regresión logística, cuando se emplea para detectar DIF. Esta investigación se enmarca en la línea de investigación sobre DIF y se inserta dentro del proyecto en curso titulado “Identificación de ítems con sesgo cultural en las pruebas de estado ICFES en Colombia”. Se usaron los datos de los trabajos anteriores que hacen parte del proyecto de investigación (Arias, 2008; Berrío, 2008) y se obtuvo un diseño experimental completamente cruzado, con 36 condiciones experimentales, producto de manipular las variables razón de tamaños, impacto, porcentaje de DIF y modelo de simulación. Las condiciones se replicaron 500 veces, con un tamaño de muestra n=65000, que replica las condiciones que se presentan en los escenarios masivos de aplicación de una prueba unidimensional de 30 ítems en el examen de estado colombiano (ICFES). Los resultados muestran que una razón de tamaños pequeña (menor diferencia entre el grupo focal y el de referencia), el impacto (diferencias de habilidad no dependientes del sesgo cultural) y el porcentaje de DIF inciden en la potencia del procedimiento de regresión logística. Del mismo modo, se encontró que la incidencia del error tipo I es mayor en las condiciones en las cuales la razón de tamaños es menor y el impacto consiste en diferencias en la media. Finalmente, se discuten algunas implicaciones prácticas y la pertinencia de la regresión logística como procedimiento de detección; igualmente se propone la posibilidad de extender el análisis a los parámetros de los ítems de la prueba, esto es, investigar la influencia de la dificultad y la discriminación de un ítem en la probabilidad de que sea detectado por la regresión logística como un ítem DIF. / Abstract. Research about procedures to allow estimate and consequently reduce the presentation of differential item functioning (DIF) in psychometrics tests is an area of major interest in contemporary measurements studies. Swaminathan and Rogers (1990) has showed that logistic regression is useful in DIF detection in both uniform and non-uniform type of DIF, also they has claimed that regression offer Tools to predict the probability of success to one item with arrangement to a variables set (abilities, membership for a group, abilities*group) coordinate in the regression model. The present study has been proposed to establish what are the variables involved in power and Type I error of Logistic Regression procedure, when is used for detecting DIF. This research is derivated of research emphasis about DIF and is part of the project entitled “Identificación de ítems con sesgo cultural en las pruebas de estado ICFES en Colombia”. The data used were providing by previous works that are part of the project (Arias, 2008; Berrío, 2008) and was obtained a completely cross experimental design with 36 experimental conditions, as result of to manipulate the variables samples size ratio, impact, DIF percentage, and simulation models. This conditions were replicated 500 times, with a sample size of n=65000, that replies the conditions that are showed in massive applications of an one-dimensional testing in the official Colombian tests (ICFES). The results show that a small size sample ratio (less difference between focal group and reference group), the impact (differences of abilities that not depend of cultural bias) and DIF percentage are involved in the power of the logistic regression procedure. Similarly, the occurrence of type I error is higher in the conditions in that size sample ratio is smaller and there are differences in the mean. Finally, I discuss some practical implications and relevance of the use of logistic regression procedure to detect DIF; also I propose to extend the analysis to the parameters of items, that is to say, research how difficulty and discrimination of an item are involved in the probability of detect it by logistic regression as an DIF item.