Analítica de aprendizaje en la asignatura Programación de Computadores: una investigación basada en métodos mixtos

Abstract

El reciente crecimiento de nuevas formas de datos educativos, ha hecho que la analítica del aprendizaje surja como una solución para identificar información relevante en la toma de decisiones educativas. Un grupo de investigaciones en analítica del aprendizaje se concentra en identificar variables del proceso de aprendizaje relacionadas con el desempeño académico de los estudiantes. Sin embargo, pocas investigaciones consideran el uso de metodologías mixtas o cualitativas, lo que limita el entendimiento sobre los comportamientos de los alumnos. El objetivo general de este trabajo es determinar las relaciones existentes entre las medidas y métricas derivadas del proceso de aprendizaje y el rendimiento académico de los estudiantes en la asignatura Programación de Computadores de la Facultad de Ingeniería en la Universidad Nacional de Colombia durante 2019 y 2020. Este trabajo propone un diseño metodológico con enfoque mixto, no experimental, donde la fase cualitativa de la metodología está enfocada hacia el análisis de contenido. Los resultados evidencian que existe una correlación positiva entre la cantidad de intentos de solución realizados por el alumno y su desempeño académico, lo que posiblemente se puede asociar a las percepciones de los estudiantes sobre la plataforma educativa utilizada en el curso como un ambiente que promueve la práctica constante debido a su disponibilidad en línea. Los errores/veredictos de las soluciones enviadas (respuesta correctas e incorrecta, límite de memoria excedido, errores de compilación y límite de tiempo excedido) también tienen correlaciones positivas, las cuales son corroboradas con las referencias de los estudiantes sobre retroalimentación formativa, consejos orientativos y casos de prueba. Métricas de software como el conteo de tokens y las líneas de código de los programas diseñados por los estudiantes tienen una correlación positiva significativa con la calificación final del alumno, lo cual se puede vincular con las referencias sobre ejercicios estimulantes y motivantes dentro de la plataforma educativa. Por otra parte, el índice de mantenibilidad tiene una correlación negativa, lo que se puede relacionar con las opiniones que resaltan la obtención de habilidades de programación. En contraste, se observan correlaciones negativas entre el uso de las herramientas de la plataforma educativa utilizada en el curso (p. ej. pruebas personalizadas, visualización de la ejecución del código y verificación de buenas prácticas de programación) con el rendimiento académico, las cuales son refutadas con las referencias de los estudiantes a estas herramientas como elementos positivos de la plataforma. En conclusión, se evidencia como el uso de métodos mixtos permite que los hallazgos de la fase cuantitativa sean corroborados, complementados o refutados por medio de las observaciones de los datos cualitativos. (Texto tomado de la fuente).

The recent growth of new forms of educational data has led to the emergence of learning analytics as a solution to identify relevant information for educational decision making. A body of research in learning analytics focuses on identifying learning process variables related to students’ academic performance. However, little research considers the use of mixed or qualitative methodologies, which limits the understanding of student behaviors. The general objective of this work is to determine the existing relationships between measures and metrics derived from the learning process and the academic performance of students in the Computer Programming courses of the Faculty of Engineering at the National University of Colombia during 2019 and 2020. This work proposes a methodological design with a mixed, non-experimental approach, where the qualitative phase of the methodology is focused on content analysis. The results show that there is a positive correlation between the number of solution attempts made by the student and their academic performance, which can possibly be associated with the students’ perceptions of the educational platform used in the course as an environment that promotes constant practice due to its online availability. Errors/verdicts of submitted solutions (correct and incorrect answer, memory limit exceeded, compilation errors, and time limit exceeded) also have positive correlations, which are corroborated with students’ references to formative feedback, guiding hints, and test cases. Software metrics such as token count and lines of code of student-designed programs have a significant positive correlation with the student’s final grade, which can be linked to references about stimulating and motivating exercises within the educational platform. On the other hand, the maintainability index has a negative correlation, which can be linked to opinions highlighting the attainment of programming skills. In contrast, negative correlations are observed between the use of the educational platform tools used in the course (e.g., custom input tests, visualization of code execution and verification of good programming practices) with academic performance, which are refuted by the students’ references to these tools as positive elements of the platform. In conclusion, it is evident how the use of mixed methods allows the findings of the quantitative phase to be corroborated, complemented or refuted by the observations of the qualitative data.