Analyzing the impact of information retrieval and relevance feedback techniques on concept location tasks

Abstract

Abstract: Concept location is the process by which a programmer determines the place, within a system codebase, where a change is to start in response to a modification request. It is a usual and fundamental process performed as part of software maintenance tasks such as bug fixing, refactoring, and in some cases, new feature implementation. One of the recent approaches proposed to support that process augments information retrieval (IR) based concept location via an explicit relevance feedback (RF) mechanism. In this thesis, we present an Eclipse plugin that implements the IR+RF approach and a controlled experiment aimed at assessing the impact of that approach on bug fixing tasks. Within the experiment, five bug fixing tasks were performed by 40 undergraduate software engineering students. The efficiency of the participants, the completion time, and the correctness of their responses were measured. The results indicate that the IR+RF approach surpasses in effectiveness and efficiency the default searching functionalities provided by the Eclipse IDE. On the other hand, it does not reduce the completion time in bug fixing tasks.

Resumen: La localización de conceptos es el proceso por el cual un programador determina el lugar dentro de un sistema, donde un cambio inicia en respuesta una solicitud de modificación. este es un proceso usual y fundamental que se realiza como parte de las tareas de mantenimiento de software como reparación de errores, refactorización de código y en algunos casos, implementación de nuevas características. Uno de los enfoques recientes propuestos para apoyar este proceso mejora la localización de conceptos basada en recuperación de la información (IR) a través de un mecanismo explícito de retroalimentación relevante (RF). En esta tesis nosotros presentamos un plugin de Eclipse que implementa el enfoque IR+RF y un experimento controlado destinado a evaluar el impacto de este enfoque en tareas de reparación de errores. Dentro del experimento, cinco tareas de reparación de errores fueron realizadas por 40 estudiantes del curso de ingeniería de software. Se midió la eficiencia de los participantes, el tiempo de terminación, y la correctitud de sus repuestas. Los resultados indican que el enfoque IR+RF sobrepaso en correctitud y eficiencia las funcionalidades de búsqueda proporcionadas por defecto por el IDE Eclipse- Por otro lado, no se reduce el tiempo de terminación en tareas de reparación de errores.