ALM – Test Manager – Executando um Teste Exploratório SBTM usando a Web do TFS
Introdução
Esse artigo tem como objetivo, auxiliar na criação de um Caso de Teste Exploratório via Web do TFS, usando a abordagem de testes SBTM (Session-based testing) que combina a técnica do Teste Exploratório com a contagem de pontos de testes, prioridades, limite de tempo e amostragem de resultados, tornando o Teste Exploratório organizado, inclusive podendo ser testado por vários integrantes da equipe sem os integrantes estarem validando os mesmos pontos.
Requisitos
- Windows 7, 8 ou superior
- Gravador de Passos do Windows
- Greenshot (aplicativo open source para captura de tela)
- Execução dos comandos: tasklist, dxdiag e eventvwr
Alinhamento com o Time de Desenvolvimento e Produtos
Para poder executar um Teste Exploratório SBTM, é necessário previamente realizar os seguintes alinhamentos:
- Quando será liberada uma versão testável do produto;
- Informações sucintas e objetivas, com explicação do time de produtos e desenvolvimento sobre quais as funcionalidades disponíveis naquela versão liberada;
- Alinhamento com o time de testes o que cada integrante irá testar (missão) do SBTM e relevância dos pontos de testes (prioridades) que devem ser definidas com o time de produtos, desenvolvimento ou analista de teste;
- Após conclusão dos testes e coletas de informações, uma reunião de alinhamento para se debater o que foi encontrado e como serão abertas as sugestões de melhoria e evidências encontradas no Team Foundation Server;
- Alinhamento para discutir se os passos executados, devem se transformar em Casos de Testes Formais;
Definindo a Missão e seu Tempo
A missão só pode ser definida, quando se sabe quais as funcionalidades disponíveis (não de forma documental, e sim em reunião de alinhamento) para assim poder realizar a definição da missão e pontos de testes a serem validados (baseados em heurísticas). Lembrando que uma missão deve conter no mínimo um ponto de teste, e o ideal é que uma missão não passe de 04 horas. Mais informações, acesse a Apresentação: Testes Exploratórios a partir do SLIDE 32.
Definindo a Heurística e Relevância dos Pontos de Testes
Existem diversas abordagens técnicas para serem usadas em seus testes exploratórios, inclusive combiná-las entre si.
Saiba mais sobre as Heurísticas nessa Apresentação: Testes Exploratórios, a partir do SLIDE 16.
Depois de definida sua Heurística (Abordagem) ou combinação de Heurística, defina quantos pontos de testes (exploratório) e a relevância do mesmo. Para saber mais sobre Test Points para Testes Exploratórios, acesse a Apresentação: Testes Exploratórios, a partir do SLIDE 37.
Ferramentas
Você precisará das ferramentas:
- Gravador de Passos do Windows, para coletar os passos que você executou, os tempos e telas;
- VIsualizador de Eventos para exportar os eventos gerados nos testes;
- Tasklist para coletar dados dos aplicativos e processos em execução;
- DXDIAG para coletar informações do computador;
Exemplo de Criação de uma Missão de Teste Exploratório no TFS Web
- Alinhamento com o Time
Após conversa com o time de desenvolvimento e produtos, foi informado que o produto em questão tem a possibilidade de criar um Artigo e publicá-lo. Com essa informação, iremos entar definir como missão a exploração dessa funcionalidade, baseando-se nas heurísticas Teste Oracle e Atributos da Qualidade, sendo que depois de coletado essas informações, será feita uma reunião com o time de testes e desenvolvimento para passar um feedback e definirmos em conjunto o que será inserido como melhoria (tarefa de desenvolvimento), e criação de Casos de Testes Formais.
- Criação da Missão no Papel
Missão: Criar um Artigo e Explorar os Recursos Disponíveis nessa Funcionalidade
Tempo da Missão: 04 horas
Heurísticas: Teste Oracle e Atributos da Qualidade
Pontos de Testes:
- Criar um artigo e verificar se funciona similar a outros sistemas Wikis – Tempo 01 hora
- Verificar se os menus disponíveis na criação do artigo são de fácil entendimento – Tempo 01 hora
- Verificar se os recursos disponíveis para a edição do artigo, possui materiais de apoio – Tempo 01 hora
Sendo que uma hora restante será usada para busca de melhorias e coleta de dados.
- Registro da Missão no TFS
Nesse caso, como não se trata de um Caso de Teste formal, o ideal é que se crie primeiramente uma Tarefa de Teste no Team Foundation Server, e depois, de todas as informações coletadas, execuções feitas, etc. Criar, se necessário, um Caso de Teste.
Importante: O Test Manager possui a funcionalidade de se executar testes exploratórios diretamente do cliente, inclusive explorar Requisitos se desejar. Pode se usar essa funcionalidade para testes AD-HOC (Free Style). Para saber mais sobre esse tipo de teste, acesse a Apresentação: Testes Exploratórios, a partir do SLIDE 46.
Dando continuidade, primeiramente abra a Web do TFS e crie uma nova Tarefa.
https://qualidadeeti.files.wordpress.com/2015/03/image_thumb82.png?w=244&h=90
https://qualidadeeti.files.wordpress.com/2015/03/image_thumb83.png?w=244&h=136
Como essa Tarefa é aberta, fica a critério do processo da empresa criar um link a algum outro Work Item ou não.
Salve, faça as devidas triagens e assine a quem irá executá-la.
https://qualidadeeti.files.wordpress.com/2015/03/image_thumb84.png?w=244&h=137
- Executando a Missão
Com seu ambiente preparado, abra a ferramenta Gravador de Passos do Windows e execute a missão em questão, seguindo as heurísticas, pontos e tempos definidos.
https://qualidadeeti.files.wordpress.com/2015/03/image_thumb85.png?w=244&h=178
https://qualidadeeti.files.wordpress.com/2015/03/image_thumb86.png?w=244&h=45
Acesse o aplicativo e execute sua missão.
https://qualidadeeti.files.wordpress.com/2015/03/image_thumb87.png?w=244&h=112
Depois de concluir sua missão, conforme o tempo e pontos definidos, salve a gravação de passos.
https://qualidadeeti.files.wordpress.com/2015/03/image_thumb88.png?w=244&h=140
https://qualidadeeti.files.wordpress.com/2015/03/image_thumb89.png?w=244&h=194
- Coletando as Informações
Dados dos Processos e DLL em Execução
Em seguida, execute o comando no CMD: tasklist /m > apprunings.txt , pois esse comando irá lista em um arquivo TXT todos os aplicativos que estão rodando no momento com suas respectivas DLLs para análise posterior se necessário. Se possível, execute na estação e no servidor o mesmo comando e salve com o nome appruningscliente.txt e appruningsservidor.txt, por exemplo.
https://qualidadeeti.files.wordpress.com/2015/03/image_thumb90.png?w=244&h=46
Caso haja erros na execução da missão, grave também os eventos do Windows (Aplicação e Sistema) tanto locais como do Servidor (caso tenha acesso).
Dados de Possíveis Erros e Exceções
Para abrir o Visualizador de Eventos, digite eventvwr.
https://qualidadeeti.files.wordpress.com/2015/03/image_thumb91.png?w=244&h=163
https://qualidadeeti.files.wordpress.com/2015/03/image_thumb92.png?w=244&h=199
https://qualidadeeti.files.wordpress.com/2015/03/image_thumb93.png?w=244&h=182
https://qualidadeeti.files.wordpress.com/2015/03/image_thumb94.png?w=244&h=158
https://qualidadeeti.files.wordpress.com/2015/03/image_thumb95.png?w=244&h=158
Dados Gerais do Computador
Depois execute o comando dxdiag e tire um Print Screen da tela exibida e salve para anexar a tarefa também.
https://qualidadeeti.files.wordpress.com/2015/03/image_thumb96.png?w=238&h=61
https://qualidadeeti.files.wordpress.com/2015/03/image_thumb97.png?w=244&h=179
https://qualidadeeti.files.wordpress.com/2015/03/image_thumb98.png?w=244&h=155
- Gerando Relatório Pós Teste Exploratório
Depois do teste executado, análises feitas e informações coletadas, você poderá inserir tais informações na Task do TFS para a reunião de alinhamento.
https://qualidadeeti.files.wordpress.com/2015/03/image_thumb99.png?w=244&h=48
Anexe as evidências de coletas.
https://qualidadeeti.files.wordpress.com/2015/03/image_thumb100.png?w=244&h=120
Insira detalhes dos logs para que o time de DEV saiba do que se trata cada um.
https://qualidadeeti.files.wordpress.com/2015/03/image_thumb101.png?w=244&h=143
https://qualidadeeti.files.wordpress.com/2015/03/image_thumb102.png?w=244&h=146
Descreva no histórico suas observações, inclusive caso tenha identificado erros, observe nos passos gravados o horário e coloque na descrição, assim o desenvolvedor poderá observar o horário e comparar com o Visualizador de Eventos para identificar se houve um registro de erro no Event Viewer como uma falha de DLL, permissão, etc.
https://qualidadeeti.files.wordpress.com/2015/03/image_thumb103.png?w=244&h=111
https://qualidadeeti.files.wordpress.com/2015/03/image_thumb104.png?w=244&h=80
Reunião de Alinhamento Pós-Teste
Depois de todas as informações inseridas, salve a Tarefa e marque uma reunião para discutir o que poderá ser gerado Tarefa de Desenvolvimento e Casos de Testes, conforme definido pelo time.
Importante: Esse tipo de Teste não substitui o Teste Funcional, e deve ser usado para ajudar em novos projetos sem definição formal de requisitos, dar velocidade nos testes, criação de novos Casos de Testes entre outros benefícios.
Maiores Informações