| Resumo: | Desempenho é uma qualidade fundamental de sistemas de software. Teste de desempenho é uma técnica capaz de revelar gargalos do sistema na escalabilidade do ambiente de produção. No entanto, na maior parte do ciclo de desenvolvimento de software, não se aplica este tipo de teste nos seus ciclos iniciais. Deste modo, isto resulta em um fraco processo de elicitação dos requisitos e dificuldades da equipe em integrar suas atividades ao escopo do projeto. Assim, o teste baseado em modelos é uma abordagem de teste para automatizar a geração de artefatos de teste com base em modelos. Ao fazer isto, permite melhorar a comunicação da equipe, uma vez que a informação de teste é agregada aos modelos desde as fases iniciais do processo de teste, facilitando assim sua automatização. A principal contribuição desta tese é propor uma linguagem específica de domínio (Domain-Specific Language - DSL) para modelagem de teste de desempenho em aplicações Web. A DSL proposta é chamada Canopus, na qual um modelo gráfico e uma linguagem semi-natural são propostos para apoiar a modelagem de desempenho e geração automática de cenários e scripts de teste. Além disto, apresenta-se um exemplo de uso bem como um estudo de caso realizado na indústria para demonstrar o uso da Canopus. Com base nos resultados obtidos, infere-se que a Canopus pode ser considerada uma DSL válida para modelagem do teste de desempenho. A motivação para realização deste estudo foi investigar se uma DSL para modelagem do teste de desempenho pode melhorar a qualidade, custo e eficiência do teste de desempenho. Assim, também foi realizado um experimento controlado com o objetivo de avaliar o esforço (tempo), quando comparado Canopus com outra abordagem industrial - UML. Os resultados obtidos indicam que, estatisticamente, para a modelagem de desempenho usando Canopus o esforço foi menor e melhor do que usando UML.
Performance is a fundamental quality of software systems. Performance testing is a technique able to reveal system bottlenecks and/or lack of scalability of the up-and-running environment. However, usually the software development cycle does not apply this effort on the early development phases, thereby resulting in a weak elicitation process of performance requirements and difficulties for the performance team to integrate them into the project scope. Model-Based Testing (MBT) is an approach to automate the generation of test artifacts from the system models. By doing that, communication is improved among teams, given that the test information is aggregated in the system models since the early stages aiming to automate the testing process. The main contribution of this thesis is to propose a Domain-Specific Language (DSL) for modeling performance testing in Web applications. The language is called Canopus, in which a graphical model and a natural language are proposed to support performance modeling and automatic generation of test scenarios and scripts. Furthermore, this work provides an example of use and an industrial case study to demonstrate the use of Canopus. Based on the results obtained from these studies, we can infer that Canopus can be considered a valid DSL for modeling performance testing. Our motivation to perform this study was to investigate whether a DSL for modeling performance testing can improve quality, cost, and efficiency of performance testing. Therefore, we also carried out a controlled empirical experiment to evaluate the effort (time spent), when comparing Canopus with another industrial approach - UML. Our results indicate that, for performance modeling, effort using Canopus was lower than using UML. Our statistical analysis showed that the results were valid, i. e. , that to design performance testing models using Canopus is better than using UML. |
