Painel Qualidade (CMMI)

Artigo
06/10/2015

Enquanto seu software está em desenvolvimento, o painel de qualidade permite que você examine o progresso do teste, os estados de compilação, o progresso na resolução e no fechamento de bugs, a taxa de reativações de bugs, a porcentagem de código que foi testada e as tendências de alterações de código. Cada uma desses métricas é plotada para as quatro semanas mais recentes. Uma equipe pode usar o painel de qualidade para tomar decisões que apoiam os objetivos da equipe com relação à qualidade do produto.

Dica

Você acessa os painéis através de seu portal de projeto de equipe.Você pode acessar o painel de qualidade somente se o portal tiver sido ativado e for configurado para usar o SharePoint Server Enterprise Edition.Para obter mais informações, consulte Painéis.

Neste tópico

Dados exibidos no painel
Atividades necessárias para acompanhar a qualidade
Solução de problemas de qualidade
Personalizando o Painel de Qualidade

Você pode usar este painel para responder às seguintes perguntas:

O esforço do teste está adequado?
A equipe está testando a funcionalidade apropriada?
As correções de erro da equipe são de alta qualidade?
Os testes estão obsoletos?
A equipe tem testes suficientes?
Algum afunilamento está ocorrendo?

Permissões necessárias

Para exibir o painel, você deverá estar atribuído ou pertencer a um grupo que tem permissões de Leitura no Produtos do SharePoint para o projeto de equipe. Para modificar, copiar ou personalizar um painel, você deverá estar atribuído ou pertencer a um grupo que tem permissão de Membros no Produtos do SharePoint para o projeto de equipe. Para obter mais informações, consulte Adicionar usuários a projetos da equipe.

Para alterar um relatório em Office Excel, você deve ser um membro da função de segurança de TfsWarehouseDataReaders em analysis services SQL Server e você deve ser atribuído ou pertencer a um grupo que é atribuído à permissão de Membros em Produtos do SharePoint para o projeto de equipe. Para obter mais informações, consulte Conceder acesso aos bancos de dados do Data Warehouse para Visual Studio ALM.

Para exibir um item de trabalho, você deve ser um membro do grupo Leitores ou sua permissão de Exibir itens de trabalho neste nó deve ser definida como Permitir. Para criar ou modificar um item de trabalho, você deve ser um membro do grupo Colaboradores ou sua permissão Editar itens de trabalho neste nó deve estar definida para Permitir.

Dados exibidos no painel

Os membros da equipe podem usar o painel de qualidade para determinar a qualidade geral do produto que eles estão desenvolvendo. Em casos ideais, as taxas de aprovação de teste, bugs e chum de código mostram a mesma imagem, mas com frequência isso não acontece. Ao localizar uma discrepância, você deve examinar mais detalhadamente a compilação e a série de dados apropriados. O painel Qualidade combina os resultados do teste, a cobertura de código do teste, a variação de código e os bugs para ajudar você a entender muitas perspectivas simultaneamente.

Para saber mais sobre as Web Parts que são exibidas no painel de qualidade, consulte a ilustração e a tabela a seguir.

Painel de qualidade do produto

Dica

O relatório Progresso do Plano de Teste está disponível somente quando a equipe cria planos de teste e executa testes usando o Test Runner e o Microsoft Test Manager.

Os gráficos de progresso, criação e código, os relatórios Etapa 1 por meio do Etapa 6 não aparecem quando o data warehouse do projeto de equipe não está disponível.

Para saber mais sobre como interpretar, atualizar ou personalizar os gráficos que aparecem no painel de qualidade, consulte os tópicos na tabela a seguir.

Web Part	Dados exibidos	Tópico relacionado
	Gráfico da área empilhada dos resultados de teste de todos os testes agrupados por seus resultados gravados mais recentes - Nunca executado, Bloqueado, Com falha ou Aprovado - durante as quatro semanas mais recentes.	Relatório Progresso do Plano de Teste
	Colunas empilhadas que mostram quantas compilações Falharam ou Tiveram êxito durante as quatro semanas mais recentes.	Relatório do Excel Status da Compilação
	Um gráfico empilhado de área da contagem cumulativa de todos os erros, agrupados por estado, durante as últimas quatro últimas semanas.	Relatório do Excel Andamento de Bugs
	Um gráfico empilhado de área de quantos erros a equipe reativou do estado "resolvido" ou "fechado" durante as últimas quatro semanas.	Relatório do Excel Reativações de Bugs
	O gráfico de linhas que mostra a porcentagem de código que foi testado pela verificação de compilação (BVT) e outros testes durante as quatro semanas mais recentes.	Relatório do Excel Cobertura de Código
	Gráfico da área empilhada que mostra quantas linhas de código a equipe adicionou, removeu e modificou nos check-ins antes da compilação durante as quatro semanas mais recentes.	Relatório do Excel Variação de Código
	Lista de eventos próximos. Esta lista é derivada de uma parte de Web do SharePoint.	Não aplicável
	Contagem de itens de trabalho ativos, resolvidos e fechados. Você pode abrir a lista de itens de trabalho clicando em cada número. Esta lista é derivada de uma parte de Web do Team Web Access.	Tipos de item de trabalho e fluxo de trabalho do modelo de processo do CMMI
	Lista de compilações recentes e o status. Você pode exibir mais detalhes clicando em uma compilação específica. Esta lista é derivada de uma parte de Web do Team Web Access. Legenda: : Compilação não iniciada : Compilação em andamento : Compilação com êxito : Falha na Compilação : Compilação interrompida : Compilação parcialmente bem-sucedida	Managing and Reporting on Builds
	Lista de check-ins mais recentes. Você pode exibir mais detalhes clicando em um check-in específico. Esta lista é derivada de uma parte de Web do Team Web Access.	Desenvolver código e gerenciar alterações pendentes

Atividades necessárias para monitoramento da qualidade

Para que o Painel Qualidade seja útil e exato, a equipe deverá executar as atividades descritas por esta seção.

Atividades necessárias para rastreamento do progresso do plano de teste

Para que o relatório de progresso do plano de teste seja útil e exato, a equipe deve executar as seguintes atividades:

Defina casos e requisitos de teste e crie links Testado por entre casos de teste e requisitos.
Defina planos de teste e atribua casos de teste a planos de teste.
Para testes manuais, marque os resultados de cada etapa de validação no caso de teste como aprovado ou reprovado.

Importante

Os testadores devem marcar uma etapa de teste com um status, se for uma etapa de teste de validação.O resultado geral de um caso de teste reflete o status de todas as etapas de teste que o testador marcou.Dessa forma, o caso teste terá um status de falha se o testador tiver marcado alguma etapa do teste como reprovada ou não tiver marcado nenhuma.

Para os testes automatizados, cada caso de teste é marcado automaticamente como aprovado ou reprovado.
(Opcional) Para oferecer suporte à filtragem, atribua caminhos de Iteração e de Área para cada caso de teste.

Dica

Para obter mais informações sobre como definir caminhos de área e de iteração, consulte Adicionar e modificar área e caminhos de iteração.

Atividades necessárias para acompanhamento do progresso de bugs e reativações de bugs

Para que os relatórios Andamento de Bugs e Reativações de Bugs sejam úteis e precisos, a equipe deverá realizar as seguintes atividades:

Defina Bugs.
Atualizar o Estado de cada bug à medida que a equipe corrige, verifica, fecha ou reativa o bug.
(Opcional) Especifique os caminhos de Iteração e de Área de cada erro se você deseja filtrar por esses campos.

Atividades necessárias para rastreamento de status da compilação, cobertura de código e variação de código

Para que os relatórios Status da Compilação, Cobertura de Código e Variação de Código sejam úteis e precisos, os membros da equipe deverão realizar as seguintes atividades:

Configurar um sistema de compilação. Para usar o Team Foundation Build, você deve configurar um sistema de compilação.

Para obter mais informações, consulte Configuring Your Build System.
Criar definições de compilação. Você pode criar diversas definições de compilação, e então executar cada uma delas para produzir código para uma plataforma diferente. Além disso, você pode executar cada compilação para uma configuração diferente.

Para obter mais informações, consulte Definir o processo de compilação.
Definir testes para executar automaticamente como parte da compilação. Como parte da definição de compilação, você pode definir testes para executar como parte da compilação ou para falhar caso o teste falhe.

Para obter mais informações, consulte Usar o modelo padrão no processo de compilação.
Configurar testes para coletar dados de cobertura de código. Para que os dados de cobertura do código apareçam no relatório, os membros da equipe devem prover testes para coletar os dados.

Para obter mais informações, consulte A configuração de cobertura de código usando configurações de teste foi preterida e How to: Gather Code-Coverage Data with Generic Tests.
Executar compilações regularmente. Você pode executar compilações em intervalos regulares ou após cada check-in. Você pode criar compilações normais quando usa o disparador de cronograma.

Para obter mais informações, consulte Criar ou editar uma definição de compilação e Executar, monitorar e gerenciar compilações.

Dica

Embora um membro da equipe possa avaliar manualmente uma compilação usando Build Explorer, essa avaliação não é refletida no relatório de indexadores de qualidade de compilação.A avaliação de compilação aparece no relatório de resumo de compilação.Para obter mais informações, consulte Classificar a qualidade de uma compilação concluída e Relatório Resumo da Compilação.

Solução de problemas de qualidade

A tabela a seguir descreve problemas específicos de qualidade que o painel Qualidade pode ajudar a monitorar e identificar ações que a equipe pode executar.

Problema	Relatório para revisão	Notas de solução de problemas
Falhas da compilação	Status da compilação	Uma compilação noturna é vital para os projetos de programação de software. Quando as construções não são completarem de maneira bem-sucedida ou não estiverem passando a verificação de testes de compilação (BVT), a equipe deve corrigir o problema imediatamente.
Testes com falha	Progresso de plano de teste Variação de Código	Quando as taxas de teste e com variação de código são altas, a equipe pode investigar porque o software está falhando com tanta frequência. As causas podem incluir práticas ou testes de desenvolvimento livre que sejam muito rigorosos para um ciclo com antecedência de iteração.
Testes aprovados, mas com alta taxa de localização de bugs	Progresso de plano de teste Progresso do bug	Quando vários testes passam no mesmo período quanto bugs são encontrados, a equipe pode investigar as seguintes possibilidades: Os testes podem não ser suficientemente rigorosos para a fase atual do produto. Em iterações iniciais, os testes simples são bons. No entanto, os testes devem exercitar cenários e uma integração mais amplos à medida que o produto amadurece. Os testes podem ser obsoletos ou executados na funcionalidade incorreta. Técnicas de teste diferentes podem oferecer melhores resultados. Os bugs são relatados, mas não estão sujeitos a teste. Quando bugs são relatados e não associados a um caso de teste, eles não estão sujeitos a testes de regressão.
Os testes estão obsoletos	Progresso de plano de teste Cobertura de Código Variação de Código	Quando vários teste passam, uma quantidade significativa de código se altera e a cobertura de código diminui, a equipe pode não estar executando testes que exercitam o novo código. Como os testes não são desenvolvidos na mesma taxa que as alterações de código, a cobertura do teste pode ficar cada vez menos adequada.
A equipe não está testando, fechando nem reativando bugs solucionados	Progresso do bug	Quando uma protuberância ocorre no relatório de Andamento de Bugs para erros resolvidos, os desenvolvedores estão resolvendo bugs, mas os testadores não verificaram e os fecharam. A equipe deve investigar porque esse padrão foi desenvolvido.
Muito pouco teste	Progresso de plano de teste Variação de Código	Quando a equipe estiver executando poucos testes, a variação de código for alta, e a cobertura de código for menor do que o esperado, a equipe talvez precise atribuir mais recursos para testar. Além disso, a equipe deve garantir que os testadores estejam se concentrando nas mesmas funções que o resto de equipe.
Reativações	Reativações de bugs	Quando a equipe reativa Bugs em uma taxa alta ou crescente, os testadores estão geralmente rejeitando as correções dos desenvolvedores. A equipe deve resolver esses problemas para evitar atribuir recursos significativos para retrabalho das correções descartadas. As possíveis causas incluem o relatório de erros ruim, gerenciamento ruim de laboratório de teste, ou triagem excessivamente agressiva.
Testes de unidade inadequados	Cobertura de Código Variação de Código	Quando uma redução de cobertura de código coincide com um aumento em variação de código, os desenvolvedores podem fazer check-in do código sem nenhuma unidade de teste correspondente para abrange-lo. Na maioria dos casos, a cobertura de código deve se aproximar dos 100% caso o desenvolvimento orientado a testes de práticas de equipe ou técnicas semelhantes. Se os testes de unidade forem reutilizados como BVTs, a cobertura de código deverá aparecer nos relatórios correspondentes.

Personalizando o Painel de Qualidade

Você pode personalizar o painel de qualidade das seguintes maneiras:

Altere os filtros de cada relatório do Excel para focalizar em áreas ou iterações específicas do produto.
Adicionar uma parte da Web de consulta personalizada que exibe a lista de itens de trabalho que a consulta encontra. Por exemplo, você pode adicionar uma consulta que liste todos os Bugs ativos que não são associados a uma situação de teste. Esta consulta mostrará o volume de Bugs que estão sendo relatados, mas que não são encontrados por meio de testes e, portanto, não estão sujeitos a testes de regressão.
Adicione os relatórios existentes do Excel, como Tendências de Bug e Análise de Falha no painel.

Para obter mais informações sobre como trabalhar com relatórios do Office Excel e como personalizá-los, consulte as páginas a seguir no site da Microsoft:

Compartilhar via