Automatic source code analysis forassessment of solutions toprogramming tasks

Abstract

Calificar código fuente es una tarea que cada instructor de programación debe enfrentaren su día a día. Esta tarea conlleva varios retos entre ellos la cantidad de código a calificar,la dificultad de la tarea propuesta, entender cómo cada estudiante está intentando resolverla tarea y proveer realimentación para garantizar una aprendizaje de calidad. Esta tarea no solo es relevante en contextos académicos, por ejemplo en la industria, calificar efectiva-mente código fuente es crucial en el proceso para contratar al programador adecuado para una vacante. En este trabajo, proponemos una modificación al proceso regular de calificar código agregando un componente automático (o por lo menos semi-automático) para ayudara un instructor de programación en esta tarea. Nuestra propuesta incluye una rúbrica para calificar código fuente, la construcción de un data set, la extracción y el análisis del código;para finalmente mostrar nuestra solución al problema de calificar código fuente de manera automática resolviendo la tarea como un problema de clasificación.

Abstract: Grading source code is a task that every programming instructor has to face in her dailylife. This task has many challenges among them the amount of source code the instructorhas to grade, the difficulty of the proposed problems, understanding how every student istrying to approach the solution, and providing good feedback to guarantee quality learning.This task is also relevant on hiring processes, to assure the contractor party is effectivelyhiring the best developer for the job. In this work we are proposing an enhancement of theregular grading process in an academic context to grade source code in an automatic (or atleast semi-automatic) way to help out the instructor in this process. We propose a rubric tograde source code that can be easily used to evaluate several solutions to a programmingproblem, then we show the construction of the data set, the feature extraction and analysisof source code, and finally our results for grading source code framing the task as a classifi-cation problem