Prototipo de asistente virtual como apoyo al proceso de aprendizaje en una asignatura de análisis y visualización de datos utilizando grandes modelos de lenguaje
Cargando...
Autores
Director
Tipo de contenido
Editor
Document language:
Español
Fecha
Título de la revista
ISSN de la revista
Título del volumen
Documentos PDF
Resumen
Este trabajo presenta el diseño, implementación y evaluación de un prototipo de asistente virtual para apoyar el proceso de aprendizaje en la asignatura de Análisis y Visualización de Datos. El asistente se basa en grandes modelos de lenguaje (LLMs, por sus siglas en inglés) y emplea una arquitectura de GeneraciónAumentada por Recuperación (RAG, Retrieval-Augmented Generation). El objetivo principal es ofrecer acompañamiento pedagógico personalizado que sea coherente con el material oficial de la asignatura, prestando especial atención a la calidad conceptual de las respuestas y al tono formativo.
El sistema utiliza un corpus curricular construido a partir de notas de clase, guías, transcripciones de sesiones sincrónicas y material externo recomendado. A partir de este corpus se indexa conocimiento relevante y se habilita la recuperación semántica contextualizada (índice FAISS, embeddings nomic-embed-text). Sobre esta base, distintos modelos de lenguaje ejecutados localmente vía Ollama generan respuestas adaptadas mediante perfiles de interacción (tutor, qa, auto) que buscan orientar al estudiante sin simplemente “darle la solución”. Para reducir el riesgo de alucinaciones y respuestas incorrectas, se implementó un esquema de evaluación automática que combina métricas RAGAS (fidelidad, relevancia de respuesta y contexto) y la taxonomía DAMR mediante LLM-as-a-Judge, utilizando openai/gpt-4o-mini como modelo juez. Las dimensiones evaluadas incluyen: identificación de errores conceptuales, revelación de respuesta, claridad, tono de tutor, acción sugerida y coherencia.
Los resultados muestran que algunos modelos presentan un comportamiento pedagógico más consistente y más alineado con las intenciones didácticas que otros. En particular, se observa que ciertos modelos mantienen un tono motivador, citan el material del curso y proponen próximos pasos accionables, mientras que otros tienden a revelar la respuesta completa o a responder sin suficiente anclaje en las fuentes. Adicionalmente, se midió la latencia de respuesta de cada modelo, con el fin de evaluar su viabilidad en uso real.
Este trabajo concluye que un asistente virtual basado en LLM con RAG puede complementar la enseñanza tradicional, ofreciendo retroalimentación inmediata, guiada y contextualizada al material oficial de la asignatura. Sin embargo, también se identifican retos relacionados con control pedagógico fino, sesgos del modelo, alucinaciones, y gobernanza de contenido académico. (Texto tomado de la fuente)
Abstract
This work presents the design, implementation, and evaluation of a prototype virtual assistant aimed at supporting the learning process in the course Data Analysis and Visualization. The assistant is based on large language models (LLMs) and employs a Retrieval-Augmented Generation (RAG) architecture. Its primary objective is to provide personalized pedagogical support that is consistent with the official course materials, with particular emphasis on conceptual quality and an instructional, formative tone in the responses.
The system leverages a curricular corpus constructed from lecture notes, instructional guides, transcripts of synchronous sessions, and recommended external materials. This corpus is indexed to enable the retrieval of relevant knowledge through contextualized semantic search (FAISS index, nomic-embedtext embeddings). On this foundation, multiple language models running locally via Ollama generate responses adapted through interaction profiles (tutor, qa, auto) intended to guide students’ reasoning rather than simply “giving away” the final solution. To mitigate the risk of hallucinations and incorrect answers, an automatic evaluation scheme combining RAGAS metrics (faithfulness, answer relevancy, context precision/recall) and the DAMR taxonomy via LLM-as-a-Judge was implemented, using openai/gpt-4o-mini as the judge model. The dimensions evaluated include grounding in source materials, identification of conceptual errors, answer disclosure, clarity, tutor-like tone, suggested actions, and coherence.
The results show that some models exhibit more consistent pedagogical behavior and stronger alignment with instructional intentions than others. In particular, certain models maintain a motivating tone, explicitly reference course materials, and propose actionable next steps, while others tend to reveal complete answers or respond without sufficient grounding in the sources. Additionally, response latency was measured for each model in order to assess their feasibility for real-world use.
This work concludes that an LLM-based virtual assistant with a RAG architecture can effectively complement traditional teaching by providing immediate, guided, and context-aware feedback aligned with the official course materials. Nevertheless, several challenges remain, including fine-grained pedagogical control, model bias, hallucinations, and the governance of academic content.
Palabras clave propuestas
Descripción
ilustraciones a color, diagramas, tablas