Analisar e relatar os resultados do teste usando a perspectiva de teste no banco de dados do Analysis Services para o Visual Studio ALM
Usando a perspectiva de teste no SQL Server cubo do Analysis Services para Visual Studio Team Foundation Server, você pode exibir apenas as medidas, dimensões e atributos que pertencem a emissão de relatórios sobre resultados de testes e execuções de teste. Por exemplo, você pode usar essas medidas para determinar a qualidade geral de cada compilação, os testes que uma determinada compilação afetada e o número de casos de teste que foram executados. Você também pode responder perguntas sobre as alterações aos resultados do resultado.
O grupo de medidas de teste baseia-se na tabela relacional Test Results, que permite relatar resultados do teste como um resultado independente ou de propriedade dos testes. Para obter mais informações, consulte Tabelas Resultado do Teste.
.png "Grupo de medidas de teste") |
Usando a perspectiva de teste, você pode criar relatórios que responder às seguintes perguntas: Relatórios de status:
Relatórios de tendências:
Dica Se seu depósito de dados do Visual Studio Application Lifecycle Management (ALM) está usando o SQL Server Enterprise Edition, a lista de cubos incluirá o Team System e um conjunto de perspectivas.As perspectivas fornecem uma visão concentrada dos dados para que você não precise navegar por todas as dimensões e grupos de medidas em todo o cubo do Team System. |
Para usar várias medidas de teste e atributos de dimensão, a equipe de teste deve publicar resultados de teste para o armazenamento de dados para Team Foundation Server. Para obter mais informações, consulte atividades necessárias para gerenciar testes e compilações mais adiante neste tópico.
Neste tópico
Exemplo: Relatório de andamento para teste de histórias de usuários
Medidas de teste
Dimensões e atributos na perspectiva de teste que suporte a filtragem e categorização
Criar tipo de compilação e criar dimensões de plataforma
Caso de teste, configuração de teste, plano de teste e dimensões do conjunto de teste
Dimensão de resultado de teste
Dimensão de execução de teste
Item de trabalho e dimensões vinculadas de item de trabalho
Atividades necessárias
Exemplo: Relatório de andamento para teste de histórias de usuários
Usando a tabela dinâmica e gráfico dinâmico relatórios no Excel, você pode criar um relatório de status que mostra o andamento do teste nas histórias de usuários, semelhantes ao relatório na ilustração a seguir.
.png "Relatório de Excel de Status do teste de histórias de usuário")
Os modelos de processo para o Microsoft Solutions Framework (MSF) Agile e CMMI incluem o Relatório do Excel Status do Teste de Histórias de Usuário (Agile) e Relatório do Excel Status de Teste do Requisito (CMMI) no Excel, respectivamente.
Especifique e filtrar campos dinâmicos
.png "Campos da tabela dinâmica para o andamento do teste de histórias de usuário")
Executando as etapas a seguir, você pode criar um relatório de andamento do teste de histórias de usuários:
No Excel, conecte-se ao cubo do Analysis Services para Team Foundation Servere, em seguida, insira um relatório de gráfico dinâmico.
Para obter mais informações, consulte Criar relatórios do Excel a partir de uma consulta de item de trabalho.
Com o botão direito do gráfico e escolha alterar tipo de gráfico, área, barras empilhadas.
Para cada filtro de relatório, clique em cada um dos campos a seguir, especifique as hierarquias ou elementos de seu interesse e, em seguida, arraste o campo para o filtro de relatório área.
Hierarquia de projetos de equipe do projeto de equipe dimensão
Caminho de área do projeto de equipe dimensão
Caminho de iteração do caso de teste dimensão
Tipo de Item de trabalho do Item de trabalho vinculado dimensão
Especifica o tipo como história de usuário, requisitos ou outro tipo de item de trabalho com casos de teste vinculados a ele que você deseja relatar.
Arraste o tendência de contagem de ponto campo no teste grupo de medidas para o valores área.
Arraste o resultado campo no resultados de teste de dimensão para o rótulos de coluna área.
Medidas de teste
A tabela a seguir descreve as medidas que inclui o grupo de medidas de teste. Você pode analisar os resultados do teste pela agregação dos resultados de testes e seu resultado para uma determinada compilação ou pelo resultado alterado para um resultado de teste.
Medida |
Descrição |
|---|---|
Criar a tendência de contagem de resultados |
Conta a versão mais recente de cada resultado em uma determinada compilação. Para obter um exemplo de um relatório que usa essa medida, consulte Relatório do Excel Qualidade de Compilação. |
Tendência de contagem de ponto |
Contagem da versão mais recente de cada resultado de teste em uma determinada compilação. Se um teste for executado várias vezes em uma compilação, a tendência de contagem de ponto conta o resultado desse teste usando a compilação mais recente. Se um caso de teste não estiver incluído na compilação, o caso de teste é contado como "Nunca executar". Use essa medida para determinar quais testes ou quantos testes falharem na compilação atual. |
Contagem de resultados |
Conta a versão mais recente de cada resultado de teste. Use essa medida quando quiser determinar o volume total de testes. Para obter um exemplo de um relatório que usa essa medida, consulte Relatório do Excel Indicadores de Qualidade de Compilação. |
Contagem de transição do resultado |
Conta todos os resultados cujos resultados são alterados em uma determinada compilação. Use essa medida quando quiser determinar quais testes foram afetados por uma compilação específica. |
Contagem de casos de teste |
Número de casos de teste. Use essa medida quando quiser determinar quantos casos de teste foram executados para uma execução de teste específica ou compilação. |
Dimensões e atributos na perspectiva de teste que suporte a filtragem e categorização
Usando os atributos descritos nesta seção, uma medida de agregação, filtrar um relatório ou especificar um eixo de relatório. Esses atributos são além do projeto de equipe e data dimensões compartilhadas que trabalhando com dimensões compartilhadas descreve.
Criar tipo de compilação e criar dimensões de plataforma
Você pode filtrar os relatórios de teste com base na definição de compilação, tipo de compilação ou compilar plataforma usando os atributos que descreve a tabela a seguir.
Dimensão |
Atributo |
Descrição |
|---|---|---|
Compilação |
Nome da definição de compilação |
O nome atribuído à definição de compilação para que uma compilação foi executada. Para obter um exemplo de um relatório que usa esse atributo, consulte Relatório do Excel Qualidade de Compilação. |
Criar ID |
O número é atribuído à compilação. Cada vez que uma definição de compilação específico é executada, o ID de compilação é incrementado em 1. |
|
Nome da compilação |
O nome ou uma expressão que identifica exclusivamente uma compilação. Para obter mais informações, consulte Usar números de compilação para dar nomes significativos a compilações concluídas. |
|
Hora de início da compilação |
A data e hora de início da compilação. |
|
Tipo de compilação |
O motivo por que a compilação foi executada. Tipos de compilação são associados com o disparador definido para a compilação. Team Foundation Serversuporta os seguintes tipos de compilação: manual, contínua (disparado por cada check-in), sem interrupção (accumulate check-ins até termina a compilação anterior), um check-in e agendada. Para obter mais informações, consulte Especificar disparadores e razões de compilação. |
|
Local de destino |
A pasta-depósito definido para a compilação e que é especificado como um localizador de recursos uniforme (URL). Uma URL especifica o protocolo com o qual os navegadores da web localizará recursos da Internet. A URL também inclui o nome do servidor no qual reside o recurso. Você também pode incluir o caminho para um recurso. Para obter mais informações, consulte Pastas da operação de configuração. |
|
Tipo de compilação |
Tipo de compilação |
(Somente resultados de teste publicados) Um nome que designe a categoria de compilações que são atribuídos a um conjunto de compilações concluídas que foram publicados como parte de uma execução de teste. Por exemplo, um tipo de compilação pode ser usado para designar uma versão beta ou uma versão final. |
Plataforma de compilação |
Plataforma de compilação |
O nome da plataforma de computador para o qual foi feita uma compilação de ponta a ponta (não desktop) (por exemplo, x86 ou qualquer CPU). Para obter mais informações, consulte Usar o modelo padrão no processo de compilação. |
Caso de teste, configuração de teste, plano de teste e dimensões do conjunto de teste
As dimensões de caso de teste, configuração de teste, plano de teste e conjunto de testes correspondem às como organizar, configurar, automatizar e executar testes usando o Microsoft Test Manager do Visual Studio 2010 Ultimate ou Visual Studio Test Professional.
O caso de teste corresponde a um tipo de item de trabalho que a equipe de teste usa para definir os testes manuais e automatizados que sua equipe pode executar e gerenciar usando o Microsoft Test Manager. Um plano de teste consiste em configurações de teste e conjuntos de testes. Uma configuração de teste define o software ou hardware no qual você deseja executar seus testes. Um conjunto de testes define uma hierarquia no plano de forma que você pode agrupar casos de teste.
Para obter mais informações, consulte Testando o aplicativo.
Dimensão |
Atributo |
Descrição |
|---|---|---|
Caso de teste |
Hierarquia de área e muito mais |
As dimensões de Item de trabalho e casos de teste contêm todos os atributos relacionados a itens de trabalho, como estado, o tipo de Item de trabalho e o ID do Item de trabalho. Para obter informações sobre a estrutura da dimensão do caso de teste, consulte Analisar e relatar dados de item de trabalho e de caso de teste usando a perspectiva de item de trabalho. Para obter uma descrição de cada atributo, consulte Referência de campo de item de trabalho do Visual Studio ALM. Para obter informações sobre como trabalhar com data, área e iteração hierarquias, consulte Dimensões compartilhadas no Analysis Services Cube. Esse grupo de medidas contém atributos adicionais quando especificam campos personalizados na definição de um tipo de item de trabalho Dimension como o atributo reportable. Para obter mais informações sobre como usar opcional reportable atributos e seus valores, consulte Adicionar ou modificar campos de itens de trabalho para oferecer suporte a relatórios. |
Configuração de teste |
ID de configuração e o nome da configuração |
O sistema atribui o número e o nome de uma configuração de teste. |
Plano de teste |
Hierarquia de área, caminho de área, hierarquia de iteração e caminho de iteração |
A área de produto e a etapa que é atribuída ao plano de teste. Para obter mais informações, consulte Analisar e relatar dados de item de trabalho e de caso de teste usando a perspectiva de item de trabalho. |
Hierarquia de datas de término por mês ou semana Hierarquia de datas de início por mês ou semana |
Valores opcionais que pode atribuir um proprietário de plano de teste para o plano de teste. Eles representam a data em que o plano de teste deve começar e a data em que o plano de teste deverá terminar. Para obter mais informações sobre como trabalhar com hierarquias de datas, consulte Dimensões compartilhadas no Analysis Services Cube. |
|
Id do plano de teste e o nome do plano de teste |
O número que o sistema atribui e o nome que atribui o proprietário do plano de teste. |
|
Proprietário do plano de teste |
O nome de usuário do membro da equipe de teste que criou ou atualmente é atribuído como o proprietário do plano de teste. |
|
ID do plano de teste e de estado |
O número atribuído pelo sistema e o nome do estado do plano de teste. Por exemplo, inativo indica que o plano de teste está sendo definido, e ativos indica que o plano de teste está pronto para ser revisado e executado. |
|
Conjunto de testes |
Hierarquia do conjunto de teste |
Fornece um mecanismo para especificar vários filtros com base na coleção de projetos, projeto de equipe e conjunto de testes. |
Caminho de pacote |
Corresponde à hierarquia de conjuntos de testes que estão configurados para todos os projetos de equipe em todas as coleções de projetos de equipe. |
Dimensão de resultado de teste
A tabela a seguir lista todas as dimensões e atributos que são específicos para as medidas de teste no cubo. Antes de você pode relatar tipo de falha ou resolução, a equipe de teste deve preencher essas informações como parte de suas atividades de teste.
Atributo |
Descrição |
|---|---|
Tipo de falha e a Id de tipo de falha |
Corresponde a um dos seguintes motivos por que um teste de falha: nenhum, problema conhecido, novo problema, ou regressão. O Microsoft Test Manager atribui automaticamente um número ou uma ID para cada motivo. A equipe de teste pode, mas não é necessário para atribuir um tipo de falha para cada teste que falhou. Dica Você não pode adicionar ou alterar o conjunto de tipos de falha. Para obter um exemplo de um relatório de tendência que mostra o resultado dos resultados de teste com base no tipo de falha, consulte Relatório do Excel Análise de Falha. |
Resultado e a Id do resultado |
O resultado do teste (por exemplo, aprovado, falha, ou Inconclusive). Para obter um exemplo de um relatório de tendência que mostra o resultado de planos de teste e configurações de teste, consulte Relatório Progresso do Plano de Teste. |
Estado de prontidão e Id do estado de prontidão |
O estado de um teste específico dentro de uma execução de teste. Os valores válidos são concluído, InProgress, nenhum, NotReady, e pronto. |
Estado de resolução |
(Opcional) O nome do resolução com a qual um testador identificou a causa de uma falha de teste. Por padrão, todos os modelos de processo do MSF têm os seguintes estados de resolução: necessita investigação, testar problema, problema do produto, e problema de configuração. A equipe de teste pode, mas não é necessário para atribuir um estado de resolução para cada teste que falhou. Dica Você pode alterar esses estados ou adicionar estados usando o tcm ferramenta de linha de comando.Consulte Personalizar e gerenciar a experiência de teste [tcm e Microsoft Test Manager]. |
Resultado do teste executado por |
O nome do usuário ou outra conta sob a qual o teste foi executado. Para obter um exemplo de um relatório que usa esse atributo, consulte Relatório do Excel Produtividade da Equipe de Teste. |
Proprietário de resultado de teste |
O nome do usuário ou outra conta atribuída como o proprietário do resultado de teste. A atribuição corresponde ao valor que é definido usando o tcm /resultowner alternar. |
Prioridade de resultado de teste |
A prioridade de um teste específico dentro de uma execução de teste. |
Dimensão de execução de teste
A tabela a seguir descreve os atributos definidos para a dimensão de execução de teste. Muitos desses atributos correspondem aos parâmetros que a equipe de teste especifica quando executar os testes.
Atributo |
Descrição |
|---|---|
Data de conclusão, data de criação da hierarquia de datas de início por mês ou semana |
As datas em que a execução de teste foi criado, concluído ou iniciado. Você pode usar esses atributos de filtro ou a estrutura de um relatório. Para obter mais informações, consulte Dimensões compartilhadas no Analysis Services Cube. |
É automatizado |
Sinalizador que indica se a execução de teste contém um ou mais testes automatizados. Para obter um exemplo de um relatório que usa esse atributo, consulte Relatório do Excel Qualidade de Compilação. |
É a execução de verificação de compilação |
Sinalizador que indica se a execução de teste contém testes de verificação de compilação que verificam a funcionalidade básica da compilação. Esse sinalizador corresponde do tcm /buildverification alternar. Para obter um exemplo de um relatório que usa esse atributo, consulte Relatório do Excel Qualidade de Compilação. |
Id de execução de teste |
O número que o sistema atribuiu à execução de teste. |
Proprietário de execução de teste |
Corresponde ao proprietário que é atribuído ao teste que a equipe de teste criado ou publicado. Corresponde do tcm /owner alternar. |
Estado de execução de teste e Id |
Nome ou número que é designado para o estado de uma execução de teste (por exemplo, Aborted, concluído, em andamento, não iniciado, ou desconhecido). |
Título da execução de teste |
Corresponde ao título atribuído ao teste que a equipe de teste criado ou publicado. Corresponde do tcm /title alternar. |
Item de trabalho e dimensões vinculadas de item de trabalho
Você pode vincular casos de teste para outros itens de trabalho como histórias de usuários, requisitos e bugs. Usando a dimensão Item de trabalho vinculado, você pode criar um relatório que fornece resultados de testes relacionados aos itens de trabalho vinculados. O relatório de andamento para o teste de histórias de usuários, descritas anteriormente neste tópico, fornece um exemplo de como usar o item de trabalho vinculado.
Para obter uma descrição de cada atributo, consulte Referência de campo de item de trabalho do Visual Studio ALM.
Atividades necessárias
Para criar relatórios que contenham dados úteis sobre os esforços de teste e resultados de teste, os membros da equipe devem examinar as informações nos tópicos a seguir:
Consulte também
Conceitos
Relatório Progresso do Plano de Teste
Perspectivas e grupos de medição fornecidos no cubo do Analysis Services para o Visual Studio