Automatización de pruebas de software mediante el uso de LLMs y agentes LLM
Cargando...
Autores
Tipo de contenido
Editor
Document language:
Español
Fecha
Título de la revista
ISSN de la revista
Título del volumen
Documentos PDF
Resumen
En el contexto actual del desarrollo de software, la garantía de calidad mediante pruebas efectivas se ha vuelto fundamental para entregar productos robustos y confiables. Tradicionalmente, las pruebas de software han dependido en gran medida del trabajo manual de los analistas de calidad, un enfoque que, aunque valioso, puede resultar costoso en términos de tiempo y recursos, especialmente en ciclos de desarrollo acelerados. La aparición de los Modelos Grandes de Lenguaje (Large Language Models - LLMs) y los agentes basados en LLMs presenta nuevas oportunidades para transformar los procesos de pruebas de software.
Esta tesis presenta un estudio experimental comparativo que evalúa la eficiencia y calidad de tres enfoques diferentes para la generación y ejecución de pruebas de software: métodos tradicionales manuales, LLMs directos y agentes basados en LLMs. El estudio se desarrolló utilizando Saleor Dashboard, una plataforma de e-commerce de código abierto desarrollada en TypeScript y ReactJS, como caso de estudio representativo.
La metodología experimental incluyó la implementación de pruebas unitarias y funcionales bajo cada uno de los tres enfoques, midiendo métricas de eficiencia (tiempo de generación, tiempo de ejecución, tasa de validez) y calidad (tasa de éxito, cobertura de código, cobertura de funcionalidad, tasa de detección de defectos). Los resultados obtenidos sugieren que las estrategias que combinan desarrolladores expertos y LLMs proveen los mejores desempeños en tareas de automatización de construcción de pruebas de software. Este hallazgo puede informar a las organizaciones para tomar decisiones informadas sobre la adopción de tecnologías basadas en LLMs en sus procesos de aseguramiento de calidad del software. (Texto tomado de la fuente)
Abstract
In the current context of software development, quality assurance through effective testing has become fundamental for delivering robust and reliable products. Traditionally, software testing has largely depended on manual work by quality analysts, an approach that, while valuable, can be costly in terms of time and resources, especially in accelerated development cycles. The emergence of Large Language Models (LLMs) and LLM-based agents presents new opportunities to transform software testing processes.
This research presents a comparative experimental study that evaluates the efficiency and quality of three different approaches for software test generation and execution: traditional manual methods, direct LLMs, and LLM-based agents. The study was conducted using Saleor Dashboard, an open-source e commerce platform developed in TypeScript and ReactJS, as a representative case study.
The experimental methodology included the implementation of unit and functional tests under each of the three approaches, measuring efficiency metrics (generation time, execution time, validity rate) and quality metrics (success rate, code coverage, functionality coverage, defect detection rate). The results suggest that strategies combining expert developers and LLMs deliver the best performance in automated software test construction tasks. This finding can help organizations make informed decisions about adopting LLM-based technologies in their software quality assurance processes.
Descripción
ilustraciones a color, diagramas