Question-based checklist to evaluate BDD scenarios' quality

Abstract

Tradicionalmente, a engenharia de requisitos se baseia na execução sequencial de atividades. Por outro lado, a engenharia de requisitos em metodologias ágeis é informal. Projetos ágeis são bem sucedidos “sem requisitos” graças ao fato de que casos de teste são comumentemente vistos como requisitos e de que requisitos são detalhados como casos de teste que servem tambem para validar e aceitar cada funcionalidade. Um dos formato destes testes de aceitação são cenários criados a partir da técnica de desenvolvimento orientado a comportamento (do inglês, behavior-driven development, BDD). Estes cenários ajudam a evitar problemas de comunicação entre especialistas de domínio e programadores, já que estes cenários são escritos numa linguagem comum a esses dois grupos, permitindo um caminho menos ambíguo dos requisitos de negócio para a especificação do comportamento do um software. Entretanto, aqueles que formalizam cenários BDD não possuem um conjunto padrão de regras para se familiarizarem com o conceito de um “bom” cenário, o que pode permitir que cenários BDD sofram de problemas conhecidos pela engenharia de requisitos, tais como requisitos incompletos, mal especificados ou inconsistentes. Portanto, para preencher essa lacuna, nessa pesquisa foram coletados dados de entrevistas semi-estruturadas com praticantes de BDD para propormos uma lista de verificação baseada em questões com 12 perguntas associadas a 8 atributos de qualidade. Esse instrumento deve prover aos praticantes de BDD orientações padronizadas para o refinamento de seus cenários.

Traditional requirements engineering approaches are based on a sequential execution of activities. In the other hand, requirements engineering in agile development is informal. Agile projects succeed “without requirements” due to the fact that test cases are commonly viewed as requirements and detailed requirements are documented as test cases that also validate and accept each feature. One format of those acceptance test cases is Behavior-Driven Development scenarios. Those scenarios help to avoid communication problems between the domain experts and programmers on the team, as they are defined using a common language that allows for an easy, less ambiguous path from end-user business requirements to the specification of how the software should behave. However, those who formalize BDD scenarios do not have a standard set of rules to educate themselves on what a “good” BDD scenario is, which can allow BDD scenarios to suffer from other known problems in requirement engineering such as incomplete, underspecified and inconsistent requirements. Therefore, to fill that gap, this research gathered data from semi-structures interviews performed with BDD practitioners to propose a question-based checklist based on 8 newly defined quality attributes. This question-based checklist provides practitioners with an standard guideline for BDD scenarios’ refinement.