Plets: a product line of model-based testing tools

Abstract

Software testing is recognized as a fundamental activity for assuring software quality. Furthermore, testing is also recognized as one of the most time consuming and expensive activities of software development process. A diversity of testing tools has been developed to support this activity, including tools for Model-based Testing (MBT). MBT is a testing technique to automate the generation of testing artifacts from the system model. This technique presents several advantages, such as, lower cost and less effort to generate test cases. Therefore, in the last years a diversity of commercial, academic, and open source tools to support MBT has been developed to better explore these advantages. In spite of the diversity of tools to support MBT, most of them have been individually and independently developed from scratch based on a single architecture. Thus, they face difficulties of integration, evolution, maintenance, and reuse. In another perspective, Software Product Lines (SPL) offers possibility of systematically generating software products at lower costs, in shorter time, and with higher quality. The main contribution of this Ph. D thesis is to present a SPL for testing tools that support MBT (PLeTs) and an automated environment to support the generation of these tools (PlugSPL). Furthermore, our strategy was initially applied to generate some MBT testing tools which were applied in two examples of use performed in collaboration of an IT company. Based on the feedback from the examples of use we can infer that SPL can be considered a relevant approach to improve productivity and reuse during generation of MBT testing tools. Moreover, we also performed an experimental study carried out to evaluate the effort to use an MBT tool derived from our SPL to generate test scripts and scenarios. Thus, the results point out that the effort to generate test scripts, when compared with a Capture and Replay based tool, was reduced considerably.

O teste de software é uma atividade fundamental para garantir a qualidade de software. Além disso, teste de software é uma das atividades mais caras e demoradas no processo de desenvolvimento de software. Por esta razão, diversas ferramentas de teste foram desenvolvidas para apoiar esta atividade, incluindo ferramentas para Teste Baseado em Modelos (TBM). TBM é uma técnica de teste para automatizar a geração de artefatos de teste a partir de modelos do sistema. Esta técnica apresenta diversas vantagens, tais como, menor custo e esforço para gerar casos de teste. Por este motivo, nos últimos anos, diversas ferramentas para TBM foram desenvolvidas para melhor explorar essas vantagens. Embora existam diversas ferramentas TBM, a maioria delas tem o seu desenvolvimento baseado em um esforço individual, sem a adoção de técnicas de reuso sistemático e com base em uma única arquitetura, dificultando a integração, evolução, manutenção e reutilização dessas ferramentas. Uma alternativa para mitigar estes problemas é adotar os conceitos de Linhas de Produto de Software (LPS) para desenvolver ferramentas de TBM. LPS possibilitam gerar sistematicamente produtos a custos mais baixos, em menor tempo e com maior qualidade. A principal contribuição desta tese de doutorado é apresentar uma LPS de ferramentas de teste que suportam TBM (PLeTs) e um ambiente automatizado para apoiar a geração dessas ferramentas (PlugSPL). Além disso, esta tese apresenta uma abordagem para gerar ferramentas para TBM, que foram aplicadas em dois exemplos de uso. Com base nos resultados obtidos nos exemplos de uso, podemos inferir que LPS pode ser considerada uma abordagem relevante para melhorar a produtividade e o reuso durante a geração de ferramentas de TBM. Além disso, também foi realizado um estudo experimental com o objetivo de avaliar o esforço para se utilizar uma ferramenta derivada da PLeTs para geração de scripts de teste. Os resultados apontaram que o esforço para gerar scripts de teste foi reduzido consideravelmente, quando comparado com a uma ferramenta de Capture and Replay.