Método para la evaluación automática de la organización de textos argumentativos

Abstract

El uso de preguntas abiertas como herramientas para la evaluación de la educación y de competencias en general está ganando gran importancia en el contexto nacional e internacional. Sin embargo, este tipo de preguntas tiene mayores costos para su calificación que su contraparte las preguntas cerradas. Por esta razón el apoyo de herramientas computacionales a la calificación de las respuestas a las preguntas abiertas es un reto y una demanda de primera importancia. Entre los distintos tipos de pregunta abierta se encuentran los ensayos, que son tareas que solicitan a los estudiantes escribir textos de mediana longitud y cuyo fin es, principalmente, evaluar la calidad de la escritura más que los conocimientos conceptuales de los estudiantes. En esta investigación se explora mediante un caso de estudio la aplicación de un método inspirado en los modelos de contenido para el reconocimiento y evaluación de la organización de los textos, siendo esta última uno de los atributos del texto de mayor relación con la calidad de la escritura. Específicamente, se desarrolló un método que relaciona e integra algunas técnicas de procesamiento de lenguaje natural, de agrupamiento (clustering) y modelos de Markov como una solución de bajo costo, dependiente del dominio, para la evaluación automática de la organización en textos argumentativos. Los resultados obtenidos mostraron que existe una relación directa entre la calificación automática asignada por la metodología propuesta y la calificación asignada por humanos.

Abstract. Using open ended questions as an education and skills evaluation tool is getting preponderance in the colombian and international scope. However these kind of questions are more costly than their counterpart, the close questions. That is why the support of computational tools for scoring responses to open ended questions is a challenge and need of great importance. One of the types of open ended questions are the essays; this is a task asking the students to write a medium size text whose purpose is to evaluate the writing skills instead of the conceptual knowledge of students. In this work, the application of a method inspired by content models for the recognition and evaluation of text organization is developed as a case study; since organization is one of attributes of text more highly correlated with the quality of writing. As the result of this research, a method that combines natural language processing, clustering and Markov models as a domain dependent low cost solution for automatic evaluation of argumentative text organization is articulated. The obtained results showed that there exists a relation between the automatic score given by this methodology and the score given by humans.