Un modelo TRI de múltiples facetas para la evaluación del desempeño docente en el aula

Abstract

Teacher evaluation in higher education has been a controversial topic and its use is frequent in this field for taking decision. In most of cases, the evaluation is based on the assumption that students learn more from highly qualified teachers and its validity is based on the fact that students observe the teachers performances in the classroom. Therefore, the students should be the evaluators under the assumption that they will respond sincerely when asked about the teacher performance. However, many studies question about the methodologies used for getting such measurements, in general, because the averages by categorical responses have little statistical sense. In this document, the measurement of teaching performance is proposed through a multi-faceted TRI model that takes into account parameters associated with the severity of the evaluator and an additional parameter that is related to the effect of the evaluated course. For the model estimation, Bayesian inference techniques were used due to the large number of parameters to be estimated. The proposal was applied to a data set obtained from a survey of perception of teaching performance conducted by the Faculty of Science of the National University of Colombia to students of the same faculty. The proposed model was evaluated with goodness of fit statistics and compared with a model that did not include the additional parameter. The results obtained indicate that the proposed model had a better fit and the selection criteria indicate that the proposed model was more appropriate for the measurement. Additionally, using auxiliary variables, differences were observed between the qualifications given by female students and male students and the qualifications by postgraduate students and undergraduate students, in addition, there were differences between the estimated average difficulties of the courses according to the study area that offers.

La evaluación del desempeño docente en la educación superior ha sido un tema controversial y de frecuente uso en este campo para la toma de decisiones. En la mayoría de casos, se basan en el supuesto de que los estudiantes aprenden más de profesores altamente calificados y su validez se sustenta en el hecho de que los estudiantes observan el desempeño de los docentes en el salón de clase. Por lo tanto, deberían ser ellos los evaluadores bajo el supuesto que responderán sinceramente cuando sean preguntados por el desempeño del docente. Sin embargo, muchos estudios ponen en duda las metodologías usadas para dichas mediciones, en general, porque los promedios de respuestas categóricas tienen poco sentido estadístico. En este documento, se propone la medición del desempeño docente a través de un modelo de TRI de múltiples facetas que tiene en cuenta parámetros asociados a la severidad del evaluador y un parámetro adicional que está relacionado con el efecto del curso evaluado. Para la estimación del modelo se hizo uso de técnicas de inferencia bayesiana debido a la gran cantidad de parámetros a estimar. La propuesta se aplicó a un conjunto de datos obtenido de una encuesta de percepción de desempeño docente realizada por la Facultad de Ciencias de la Universidad Nacional de Colombia a estudiantes de la misma durante el año 2015. El modelo propuesto se evaluó con estadísticas de bondad de ajuste y se comparó con un modelo que no contempla el parámetro adicional. Los resultados obtenidos indican que el modelo propuesto presentó mejor ajuste y los criterios de selección indican que el modelo propuesto es más apropiado para la medición. Adicionalmente, haciendo uso de variables auxiliares se observaron diferencias entre las calificaciones otorgadas por estudiantes mujeres y estudiantes hombres y por estudiantes pertenecientes a programas de posgrado y de pregrado, además, se observaron diferencias entre las dificultades promedio estimadas de los cursos según el área de estudio.