Compartilhar via

Relatório do Excel Análise de Falha

  • Artigo

Você pode usar o relatório de análise de falha para ajudar a monitorar quantas regressões a equipe de teste está localizando. As regressões são bugs no software que você está testando que não apareceram nas versões anteriores. Uma equipe que executa testes de regressão se focaliza especificamente em localizar bugs que apareceram apenas em uma nova versão de software. O relatório Análise de Falha mostra quantas configurações distintas de cada Caso de Teste foram aprovadas anteriormente e agora estão apresentando falha, nas últimas quatro semanas.

Esse relatório está disponível somente quando a equipe cria planos de teste e começa a executar testes usando o Microsoft Test Manager. Para obter informações sobre como definir pacotes de teste e planos de teste, consulte Planejar testes manuais usando o Team Web Access. Para obter informações sobre como acessar esse relatório, consulte Relatórios do Excel.

Dica

Você pode exibir o relatório de análise de falha do painel Testar.Você pode acessar este painel somente se o seu portal do projeto da equipe estiver configurado para o uso do SharePoint Server Enterprise Edition.

Permissões necessárias

Para exibir o relatório, você deverá estar atribuído ou pertencer a um grupo que tem permissões de Leitura no Produtos do SharePoint para o projeto de equipe.

Para modificar ou personalizar o relatório, você deve ser membro da função de segurança TfsWarehouseDataReaders em SQL Server Analysis Services. Você também deve ser atribuído ou pertencer a um grupo que tenha sido atribuído às permissões de Membros no Produtos do SharePoint para o projeto de equipe. Para obter mais informações, consulte Conceder acesso aos bancos de dados do Data Warehouse para Visual Studio ALM.

Dados no relatório

O relatório de análise de falha mostra um gráfico da área empilhada que mostra a contagem cumulativa de todos os resultados com falha de casos de teste de todas as configurações durante as quatro semanas mais recentes. Os tipos de falha incluem Novo Problema, Problema Conhecido ou Regressão.

Relatório do Excel Análise de Falha

Esse relatório é baseado em um relatório de Gráfico Dinâmico que mostra as quatro semanas mais recentes dos dados do resultado de teste que são armazenados no data warehouse.

O sistema examina cada configuração em que o caso de teste foi executada e tenta identificar o resultado predecessor para a mesma configuração para o caso de teste. O tipo de falha que é atribuído ao caso de teste/configuração é determinado com base nos seguintes critérios:

  • Regressão: quando o resultado predecessor imediato tinha um resultado Aprovado.

  • Novo Problema: quando nenhum resultado predecessor imediato puder ser encontrado.

  • Problema Conhecido: quando o resultado predecessor imediato tinha um resultado Falha.

Atividades necessárias para monitoramento de regressões

Para que o relatório de análise de falha seja útil e exato, a equipe deve executar as seguintes atividades:

  • Defina casos de teste e planos de teste e atribua casos de testes a planos de teste.

  • Para testes manuais, marque os resultados de cada etapa de validação no caso de teste como aprovado ou reprovado.

    Importante

    Os testadores devem marcar uma etapa de teste com um status, se for uma etapa de teste de validação.O resultado geral de um caso de teste reflete o status de todas as etapas de teste que o testador marcou.Dessa forma, o caso de teste terá um status de falha se o testador tiver marcado alguma etapa do teste como reprovada ou não tiver marcado nenhuma.

    Para os testes automatizados, cada caso de teste é marcado automaticamente como aprovado ou reprovado.

  • (Opcional) Para oferecer suporte à filtragem, atribua caminhos de Iteração e de Área para cada caso de teste.

Interpretando o relatório

Você deve esperar o relatório de análise de falha variar dependendo de onde você está em seu ciclo de desenvolvimento de produtos. As iterações iniciais devem mostrar pouca, se houver, atividade de regressão. Posteriormente no ciclo de desenvolvimento, você deve esperar algumas regressões. Especificamente, você deve analisar o relatório para encontrar respostas às seguintes perguntas:

  • Quantos testes estão retrocedendo no geral?

  • A equipe está mantendo o número total de regressões ou de falhas de teste dentro dos intervalos esperados ou das metas de equipe?

  • A equipe está tratando os problemas à medida que eles são identificados? Os problemas conhecidos estão sendo solucionados em tempo hábil?

Um relatório íntegro de análise de falha mostrará números moderados de novos problemas, de problemas conhecidos, e de regressões. Se ocorrerem pontos em uma ou mais dessas áreas, talvez a equipe tenha de investigar mais. Pontos podem indicar problemas na atividade de teste ou na qualidade do código do qual a equipe está fazendo o check-in.

Além disso, você pode querer verificar o status das compilações recentes, status do bug, e variação de código para determinar se as métricas de cada um desses fatores podem ajudar a explicar as alterações nas linhas das atividades de teste.

Atualizando e personalizando o relatório

Você pode atualizar o relatório de análise de falhas abrindo no Office Excel e modificando as opções de filtro para o relatório PivotTable. Você pode personalizar este relatório para fornecer suporte a outras visualizações, como a tabela a seguir descreve.

View

Ação

Análise de falha para uma iteração

Altere o filtro para Iteration (default=All)

Análise de falha para uma área do produto

Altere o filtro para Area (default=All)

Análise de falha para um plano de teste específico ou um pacote de planos de teste

Adicione o filtro para Test Plan (default=All)

Análise de falha para as últimas seis, oito ou mais semanas

Na lista de campos de tabela dinâmica de colunas, substitua @@Last 4 weeks@@ por um Setdiferente

Para obter mais informações sobre como trabalhar com relatórios PivotTables e PivotChart e como personalizá-los, consulte as páginas a seguir no site da Microsoft:

Consulte também

Outros recursos

Relatórios do Excel