Relatório de amostra de testes escamosos

Artigo
10/16/2024

Azure DevOps Services | Azure DevOps Server 2022 | Azure DevOps Server 2020

Você pode criar um relatório, conforme mostrado na imagem a seguir, que lista os testes instáveis que ocorrem em execuções de pipeline que incluem tarefas de teste. Um teste de regressão fornece resultados diferentes, como aprovação ou reprovação, mesmo quando não há alterações no código-fonte ou no ambiente de execução. Para obter mais informações sobre como habilitar testes instáveis, consulte Gerenciar testes instáveis. Para obter informações sobre como adicionar testes a um pipeline, consulte a seção Recursos da tarefa de teste mais adiante neste artigo.

Captura de tela do relatório da tabela de testes Flaky.

Use as consultas fornecidas neste artigo para gerar os seguintes relatórios:

Testes do Flaky para fluxo de trabalho de build
Testes do Flaky para fluxo de trabalho de lançamento
Testes do Flaky para um ramo específico
Testes do Flaky para um arquivo de teste específico
Testes instáveis para um proprietário de teste específico.

Importante

A integração do Power BI e o acesso ao feed OData do Serviço de Análise estão em disponibilidade geral para Azure DevOps Services e Azure DevOps Server 2020 e versões posteriores. As consultas de exemplo fornecidas neste artigo são válidas somente em Azure DevOps Server 2020 e versões posteriores e dependem da versão prévia v3.0 ou posterior. Incentivamos você a usar essas consultas e nos fornecer comentários.

Pré-requisitos

Acesso: ser membro de um projeto com pelo menos acesso básico.
Permissões: por padrão, os membros do projeto têm permissão para consultar o Analytics e criar exibições.
Para obter mais informações sobre outros pré-requisitos relacionados à ativação de serviços e recursos e atividades gerais de rastreamento de dados, consulte Permissões e pré-requisitos para acessar o Analytics.

Observação

Este artigo pressupõe que você leia Visão geral dos relatórios de exemplo usando consultas OData e tenha uma compreensão básica do Power BI.

Consultas de exemplo

Você pode usar as consultas a seguir do conjunto de entidades para criar relatórios de TestResultsDaily teste do Flaky de pipeline diferentes, mas semelhantes. O TestResultsDaily conjunto de entidades fornece um agregado de instantâneo diário de execuções, agrupado TestResult por teste.

Observação

Para determinar as propriedades disponíveis para fins de filtro ou relatório, consulte Referência de metadados para Análise de Planos de Teste e Referência de metadados para Azure Pipelines. Você pode filtrar suas consultas ou retornar propriedades usando qualquer um dos Property valores em um EntityType ou NavigationPropertyBinding Path valores disponíveis com um EntitySet. Cada EntitySet corresponde a um EntityType. Para obter mais informações sobre o tipo de dados de cada valor, examine os metadados fornecidos para o EntityType.

Testes do Flaky para um fluxo de trabalho de build

Use as consultas a seguir para exibir os testes instáveis para um pipeline de fluxo de trabalho de build .

Consulta do Power BI
Consulta OData

Copie e cole a seguinte consulta do Power BI diretamente na janela Obter Consulta em Branco de Dados>. Para obter mais informações, consulte Visão geral de relatórios de exemplo usando consultas OData.

let
   Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter("
                &"Pipeline/PipelineName eq '{pipelineName} "
                &"And Date/Date ge {startdate} "
                &"And Workflow eq 'Build') "
        &"/groupby((TestSK, Test/TestName), "
            &"aggregate( "
                &"ResultCount with sum as TotalCount, "
                &"ResultPassCount with sum as PassedCount, "
                &"ResultFailCount with sum as FailedCount, "
                &"ResultNotExecutedCount with sum as NotExecutedCount, "
                &"ResultNotImpactedCount with sum as NotImpactedCount, "
                &"ResultFlakyCount with sum as FlakyCount)) "
    &"/filter(FlakyCount gt 0) "
    &"/compute( "
    &"(FlakyCount div cast(TotalCount, Edm.Decimal)) mul 100 as FlaykRate) "
    ,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4]) 
in
    Source

Você pode usar o código de consulta OData a seguir para modificar ou testar a consulta antes de usá-la no Power BI. Para obter mais informações, consulte Conectar-se usando consultas do Power BI e OData.

https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter(
	Pipeline/PipelineName eq '{pipelineName}'
	And Date/Date ge {startdate}
	And Workflow eq 'Build'
	)
/groupby(
	(TestSK, Test/TestName), 
	aggregate(
	ResultCount with sum as TotalCount,
	ResultPassCount with sum as PassedCount,
	ResultFailCount with sum as FailedCount,
	ResultNotExecutedCount with sum as NotExecutedCount,
	ResultNotImpactedCount with sum as NotImpactedCount,
	ResultFlakyCount with sum as FlakyCount))
/filter(FlakyCount gt 0)
/compute(
	(FlakyCount div cast(TotalCount, Edm.Decimal)) mul 100 as FlakyRate
)

Testes do Flaky para o fluxo de trabalho de versão

Use as consultas a seguir para exibir os testes instáveis para um pipeline de fluxo de trabalho de versão .

Consulta do Power BI
Consulta OData

let
   Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter("
                &"Pipeline/PipelineName eq '{pipelineName}' "
                &"And Date/Date ge {startdate}) "
        &"/groupby((TestSK, Test/TestName, Workflow), "
        &"aggregate( "
                &"ResultCount with sum as TotalCount, "
                &"ResultPassCount with sum as PassedCount, "
                &"ResultFailCount with sum as FailedCount, "
                &"ResultNotExecutedCount with sum as NotExecutedCount, "
                &"ResultNotImpactedCount with sum as NotImpactedCount, "
                &"ResultFlakyCount with sum as FlakyCount)) "
        &"/filter(FlakyCount gt 0) "
    &"/compute( "
    &"(FlakyCount div cast(TotalCount, Edm.Decimal)) mul 100 as FlakyRate) "
    ,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4]) 
in
    Source

https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter(
	Pipeline/PipelineName eq '{pipelineName}'
	And Date/Date ge {startdate})
/groupby((TestSK, Test/TestName, Workflow), 
	aggregate(
	ResultCount with sum as TotalCount,
	ResultPassCount with sum as PassedCount,
	ResultFailCount with sum as FailedCount,
	ResultNotExecutedCount with sum as NotExecutedCount,
	ResultNotImpactedCount with sum as NotImpactedCount,
	ResultFlakyCount with sum as FlakyCount))
/filter(FlakyCount gt 0)
/compute(
(FlakyCount div cast(TotalCount, Edm.Decimal)) mul 100 as FlakyRate)

Testes Flaky filtrados por Branch

Para exibir os testes com falha de um pipeline para uma ramificação específica, use as consultas a seguir. Para criar o relatório, execute as etapas extras a seguir, juntamente com o que é especificado posteriormente neste artigo.

Expandir Branch para Branch.BranchName
Selecione Segmentação de Visualização do Power BI e adicione o campo Branch.BranchName ao campo da segmentação de dados
Selecione o nome da ramificação na segmentação de dados para a qual você precisa ver o resumo do resultado.

Para obter mais informações sobre como usar segmentações de dados, consulte Segmentações de dados no Power BI.

Consulta do Power BI
Consulta OData

let
   Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter("
                &"Pipeline/PipelineName eq '{pipelineName}' "
                &"And Date/Date ge {startdate} "
                &"And Workflow eq 'Build') "
        &"/groupby((TestSK, Test/TestName, Branch/BranchName), "
            &"aggregate( "
                &"ResultCount with sum as TotalCount, "
                &"ResultPassCount with sum as PassedCount, "
                &"ResultFailCount with sum as FailedCount, "
                &"ResultNotExecutedCount with sum as NotExecutedCount, "
                &"ResultNotImpactedCount with sum as NotImpactedCount, "
                &"ResultFlakyCount with sum as FlakyCount)) "
    &"/filter(FlakyCount gt 0) "
    &"/compute( "
    &"(FlakyCount div cast(TotalCount, Edm.Decimal)) mul 100 as FlakyRate) "
    ,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4]) 
in
    Source

https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter(
	Pipeline/PipelineName eq '{pipelineName}'
	And Date/Date ge {startdate}
	And Workflow eq 'Build')
/groupby((TestSK, Test/TestName, Branch/BranchName), 
	aggregate(
	ResultCount with sum as TotalCount,
	ResultPassCount with sum as PassedCount,
	ResultFailCount with sum as FailedCount,
	ResultNotExecutedCount with sum as NotExecutedCount,
	ResultNotImpactedCount with sum as NotImpactedCount,
	ResultFlakyCount with sum as FlakyCount))
/filter(FlakyCount gt 0)
/compute(
(FlakyCount div cast(TotalCount, Edm.Decimal)) mul 100 as FlakyRate)

Testes do Flaky filtrados por arquivo de teste

Para exibir os testes instáveis de um pipeline e um arquivo de teste específico, use as consultas a seguir. Para criar o relatório, execute as etapas extras a seguir, juntamente com o que é definido posteriormente neste artigo.

Expandir Test para Test.ContainerName
Selecione Segmentação de Visualização do Power BI e adicione o campo Test.ContainerName ao campo da segmentação de dados
Selecione o nome do contêiner na segmentação de dados para a qual você precisa ver o resumo do resultado.

Consulta do Power BI
Consulta OData

let
   Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter("
                &"Pipeline/PipelineName eq '{pipelineName}' "
                &"And Date/Date ge {startdate}) "
        &"/groupby((TestSK, Test/TestName, Test/ContainerName), "
        &"aggregate( "
                &"ResultCount with sum as TotalCount, "
                &"ResultPassCount with sum as PassedCount, "
                &"ResultFailCount with sum as FailedCount, "
                &"ResultNotExecutedCount with sum as NotExecutedCount, "
                &"ResultNotImpactedCount with sum as NotImpactedCount, "
                &"ResultFlakyCount with sum as FlakyCount)) "
        &"/filter(FlakyCount gt 0) "
    &"/compute( "
    &"(FlakyCount div cast(TotalCount, Edm.Decimal)) mul 100 as FlakyRate) "
    ,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4]) 
in
    Source

https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter(
	Pipeline/PipelineName eq '{pipelineName}'
	And Date/Date ge {startdate})
/groupby((TestSK, Test/TestName, Test/ContainerName), 
	aggregate(
	ResultCount with sum as TotalCount,
	ResultPassCount with sum as PassedCount,
	ResultFailCount with sum as FailedCount,
	ResultNotExecutedCount with sum as NotExecutedCount,
	ResultNotImpactedCount with sum as NotImpactedCount,
	ResultFlakyCount with sum as FlakyCount))
/filter(FlakyCount gt 0)
/compute(
(FlakyCount div cast(TotalCount, Edm.Decimal)) mul 100 as FlakyRate)

Testes instáveis filtrados pelo proprietário do teste

Para exibir os testes do Flaky para um pipeline e testes pertencentes a um proprietário de teste específico, use as consultas a seguir. Para criar o relatório, execute as etapas extras a seguir, juntamente com o que é definido posteriormente neste artigo.

Expandir Test para Test.TestOwner
Selecione Segmentação de Visualização do Power BI e adicione o campo Test.TestOwner ao campo da segmentação de dados
Selecione o proprietário do teste na segmentação de dados para a qual você precisa ver o resumo do resultado.

Consulta do Power BI
Consulta OData

let
   Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter("
                &"Pipeline/PipelineName eq '{pipelineName}' "
                &"And Date/Date ge {startdate}) "
        &"/groupby((TestSK, Test/TestName, Test/TestOwner), "
        &"aggregate( "
                &"ResultCount with sum as TotalCount, "
                &"ResultPassCount with sum as PassedCount, "
                &"ResultFailCount with sum as FailedCount, "
                &"ResultNotExecutedCount with sum as NotExecutedCount, "
                &"ResultNotImpactedCount with sum as NotImpactedCount, "
                &"ResultFlakyCount with sum as FlakyCount)) "
        &"/filter(FlakyCount gt 0) "
    &"/compute( "
    &"(FlakyCount div cast(TotalCount, Edm.Decimal)) mul 100 as FlakyRate) "
    ,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4]) 
in
    Source

https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter(
	Pipeline/PipelineName eq '{pipelineName}'
	And Date/Date ge {startdate})
/groupby((TestSK, Test/TestName, Test/TestOwner), 
	aggregate(
	ResultCount with sum as TotalCount,
	ResultPassCount with sum as PassedCount,
	ResultFailCount with sum as FailedCount,
	ResultNotExecutedCount with sum as NotExecutedCount,
	ResultNotImpactedCount with sum as NotImpactedCount,
	ResultFlakyCount with sum as FlakyCount))
/filter(FlakyCount gt 0)
/compute(
(FlakyCount div cast(TotalCount, Edm.Decimal)) mul 100 as FlakyRate)

Cadeias de caracteres de substituição e detalhamento de consulta

Substitua as cadeias de caracteres a seguir pelos valores. Não inclua colchetes {} com sua substituição. Por exemplo, se o nome da sua organização for "Fabrikam", substitua por {organization}Fabrikam, não {Fabrikam}.

{organization} - Nome da sua organização
{project} - Nome do seu projeto de equipe
{pipelinename} - Nome do pipeline. Exemplo: Fabrikam hourly build pipeline
{startdate} - A data para iniciar seu relatório. Formato: AAAA-MM-DDZ. Exemplo: 2021-09-01Z representa 1º de setembro de 2021. Não coloque entre aspas ou colchetes e use dois dígitos para mês e data.

Detalhamento da consulta

A tabela a seguir descreve cada parte da consulta.

Parte da consulta

Descrição

$apply=filter(

Cláusula de início filter() .

Pipeline/PipelineName eq '{pipelineName}'

Retorne execuções de teste para o pipeline especificado.

and CompletedOn/Date ge {startdate}

O teste de retorno é executado na data especificada ou após ela.

and Workflow eq 'Build'

Retorne execuções de teste para um Build fluxo de trabalho.

)

Cláusula de fechamento filter() .

/groupby(

Cláusula de início groupby() .

(TestSK, Test/TestName),

Agrupe pelo nome do teste.

aggregate(

Start aggregate para calcular as execuções de teste que correspondem aos critérios de filtro.

ResultCount with sum as TotalCount,

Conte o número total de execuções de teste como TotalCount.

ResultPassCount with sum as PassedCount,

Conte o número total de execuções de teste aprovadas como PassedCount.

ResultFailCount with sum as FailedCount,

Conte o número total de execuções de teste com falha como FailedCount.

ResultNotExecutedCount with sum as NotExecutedCount

Conte o número total de execuções de teste não executadas como NotExecutedCount.

ResultNotImpactedCount with sum as NotImpactedCount,

Conte o número total de execuções de teste não afetadas como NotImpactedCount.

ResultFlakyCount with sum as FlakyCount

Conte o número total de execuções de teste escamosas como FlakyCount.

))

Fechar aggregate() e groupby() cláusulas.

/filter(FlakyCount gt 0)

Filtre apenas os testes que foram esquisitos pelo menos uma vez.

/compute(

Cláusula de início compute() .

(FlakyCount div cast(TotalCount, Edm.Decimal)) mul 100 as FlakyRate

Para todos os testes de esquisito, calcule o FlakyRate.

)

Cláusula de fechamento compute() .

(Opcional) Renomear consulta

Você pode renomear o rótulo de consulta padrão, Query1, para algo mais significativo. Basta inserir um novo nome no painel Configurações de Consulta .

Captura de tela das opções de menu de consulta do Power BI, renomear consulta.

Expanda a coluna Teste no Power BI

Expanda a Test coluna para mostrar a entidade Test.TestNameexpandida . A expansão da coluna nivela o registro em campos específicos. Para saber como, confira Transformar dados do Analytics para gerar relatórios do Power BI, Expandir colunas.

Alterar o tipo de dados da coluna

No Editor do Power Query, selecione as TotalCountcolunas , PassedCount, FailedCount, NotExecutedCount, NotImpactedCount, e FlakyCount , selecione Tipo de Dados no menu Transformar e, em seguida, escolha Número Inteiro.
Selecione a FlakyRate coluna; selecione Tipo de Dados no menu Transformar ; e escolha Número Decimal.

Para obter mais informações sobre como alterar o tipo de dados, consulte Transformar dados do Analytics para gerar relatórios do Power BI, Transformar um tipo de dados de coluna.

Feche a consulta e aplique suas alterações

Depois de concluir todas as transformações de dados, escolha Fechar e Aplicar no menu Página Inicial para salvar a consulta e retornar à guia Relatório no Power BI.

Criar o relatório Tabela

No Power BI, em Visualizações, escolha Tabela e arraste e solte os campos na área Colunas.
Adicione os campos a seguir à seção Colunas na ordem listada.
- Test.TestName
- TotalCount
- PassedCount
- FailedCount
- FlakyCount
- FlakyRate

Seu relatório deve ser semelhante à imagem a seguir.

Captura de tela do relatório da tabela de testes Flaky de amostra.

Compartilhar via

Relatório de amostra de testes escamosos

Pré-requisitos

Consultas de exemplo

Testes do Flaky para um fluxo de trabalho de build

Testes do Flaky para o fluxo de trabalho de versão

Testes Flaky filtrados por Branch

Testes do Flaky filtrados por arquivo de teste

Testes instáveis filtrados pelo proprietário do teste

Cadeias de caracteres de substituição e detalhamento de consulta

Detalhamento da consulta

(Opcional) Renomear consulta

Expanda a coluna Teste no Power BI

Alterar o tipo de dados da coluna

Feche a consulta e aplique suas alterações

Criar o relatório Tabela

Recursos da tarefa de teste

Comentários

Recursos adicionais

Compartilhar via

Relatório de amostra de testes escamosos

Pré-requisitos

Consultas de exemplo

Testes do Flaky para um fluxo de trabalho de build

Testes do Flaky para o fluxo de trabalho de versão

Testes Flaky filtrados por Branch

Testes do Flaky filtrados por arquivo de teste

Testes instáveis filtrados pelo proprietário do teste

Cadeias de caracteres de substituição e detalhamento de consulta

Detalhamento da consulta

(Opcional) Renomear consulta

Expanda a coluna Teste no Power BI

Alterar o tipo de dados da coluna

Feche a consulta e aplique suas alterações

Criar o relatório Tabela

Recursos da tarefa de teste

Artigos relacionados

Comentários

Recursos adicionais