Report di esempio di test flaky

Articolo
10/16/2024

Azure DevOps Services | Azure DevOps Server 2022 | Azure DevOps Server 2020

È possibile creare un report, come illustrato nell'immagine seguente, che elenca i test in corso nelle esecuzioni della pipeline che includono attività di test. Un test in flaky è un test che fornisce risultati diversi, ad esempio il superamento o l'esito negativo, anche quando non sono presenti modifiche nel codice sorgente o nell'ambiente di esecuzione. Per altre informazioni sull'abilitazione di test in flaky, vedere Gestire i test in flaky. Per informazioni sull'aggiunta di test a una pipeline, vedere la sezione Test task resources più avanti in questo articolo.

Screenshot del report Tabella test flaky.

Usare le query fornite in questo articolo per generare i report seguenti:

Test flaky per il flusso di lavoro di compilazione
Test flaky per il flusso di lavoro di rilascio
Test flaky per un ramo specifico
Test flaky per un file di test specifico
Test flaky per un proprietario di test specifico.

Importante

L'integrazione di Power BI e l'accesso al feed OData del servizio di analisi sono disponibili a livello generale per Azure DevOps Services e Azure DevOps Server 2020 e versioni successive. Le query di esempio fornite in questo articolo sono valide solo per Azure DevOps Server 2020 e versioni successive e dipendono dalla versione v3.0-preview o successiva. È consigliabile usare queste query e fornire commenti e suggerimenti.

Prerequisiti

Accesso: essere un membro di un progetto con almeno l'accesso Basic .
Autorizzazioni: per impostazione predefinita, i membri del progetto dispongono dell'autorizzazione per eseguire query su Analisi e creare viste.
Per altre informazioni sugli altri prerequisiti relativi all'abilitazione di servizi e funzionalità e alle attività generali di rilevamento dei dati, vedere Autorizzazioni e prerequisiti per l'accesso ad Analytics.

Nota

Questo articolo presuppone che sia possibile leggere Panoramica dei report di esempio usando query OData e avere una conoscenza di base di Power BI.

Query di esempio

È possibile usare le query seguenti del TestResultsDaily set di entità per creare report di test diversi ma simili. Il TestResultsDaily set di entità fornisce un'aggregazione snapshot giornaliera delle TestResult esecuzioni, raggruppate per test.

Nota

Per determinare le proprietà disponibili a scopo di filtro o report, vedere Informazioni di riferimento sui metadati per l'analisi dei piani di test e i metadati per Azure Pipelines. È possibile filtrare le query o restituire proprietà usando uno qualsiasi dei Property valori in un EntityType oggetto o NavigationPropertyBinding Path i valori disponibili con un oggetto EntitySet. Ognuno EntitySet corrisponde a un oggetto EntityType. Per altre informazioni sul tipo di dati di ogni valore, esaminare i metadati forniti per l'oggetto corrispondente EntityType.

Test flaky per un flusso di lavoro di compilazione

Usare le query seguenti per visualizzare i test invisibile per una pipeline del flusso di lavoro di compilazione.

Query di Power BI
Query OData

Copiare e incollare la query di Power BI seguente direttamente nella finestra Recupera dati>query vuota. Per altre informazioni, vedere Panoramica dei report di esempio che usano query OData.

let
   Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter("
                &"Pipeline/PipelineName eq '{pipelineName} "
                &"And Date/Date ge {startdate} "
                &"And Workflow eq 'Build') "
        &"/groupby((TestSK, Test/TestName), "
            &"aggregate( "
                &"ResultCount with sum as TotalCount, "
                &"ResultPassCount with sum as PassedCount, "
                &"ResultFailCount with sum as FailedCount, "
                &"ResultNotExecutedCount with sum as NotExecutedCount, "
                &"ResultNotImpactedCount with sum as NotImpactedCount, "
                &"ResultFlakyCount with sum as FlakyCount)) "
    &"/filter(FlakyCount gt 0) "
    &"/compute( "
    &"(FlakyCount div cast(TotalCount, Edm.Decimal)) mul 100 as FlaykRate) "
    ,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4]) 
in
    Source

È possibile usare il codice di query OData seguente per modificare o testare la query prima di usarla in Power BI. Per altre informazioni, vedere Connettersi usando Power BI e query OData.

https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter(
	Pipeline/PipelineName eq '{pipelineName}'
	And Date/Date ge {startdate}
	And Workflow eq 'Build'
	)
/groupby(
	(TestSK, Test/TestName), 
	aggregate(
	ResultCount with sum as TotalCount,
	ResultPassCount with sum as PassedCount,
	ResultFailCount with sum as FailedCount,
	ResultNotExecutedCount with sum as NotExecutedCount,
	ResultNotImpactedCount with sum as NotImpactedCount,
	ResultFlakyCount with sum as FlakyCount))
/filter(FlakyCount gt 0)
/compute(
	(FlakyCount div cast(TotalCount, Edm.Decimal)) mul 100 as FlakyRate
)

Test flaky per il flusso di lavoro release

Usare le query seguenti per visualizzare i test invisibile per una pipeline del flusso di lavoro Release .

Query di Power BI
Query OData

Copiare e incollare la query di Power BI seguente direttamente nella finestra Recupera dati>query vuota. Per altre informazioni, vedere Panoramica dei report di esempio che usano query OData.

let
   Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter("
                &"Pipeline/PipelineName eq '{pipelineName}' "
                &"And Date/Date ge {startdate}) "
        &"/groupby((TestSK, Test/TestName, Workflow), "
        &"aggregate( "
                &"ResultCount with sum as TotalCount, "
                &"ResultPassCount with sum as PassedCount, "
                &"ResultFailCount with sum as FailedCount, "
                &"ResultNotExecutedCount with sum as NotExecutedCount, "
                &"ResultNotImpactedCount with sum as NotImpactedCount, "
                &"ResultFlakyCount with sum as FlakyCount)) "
        &"/filter(FlakyCount gt 0) "
    &"/compute( "
    &"(FlakyCount div cast(TotalCount, Edm.Decimal)) mul 100 as FlakyRate) "
    ,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4]) 
in
    Source

È possibile usare il codice di query OData seguente per modificare o testare la query prima di usarla in Power BI. Per altre informazioni, vedere Connettersi usando Power BI e query OData.

https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter(
	Pipeline/PipelineName eq '{pipelineName}'
	And Date/Date ge {startdate})
/groupby((TestSK, Test/TestName, Workflow), 
	aggregate(
	ResultCount with sum as TotalCount,
	ResultPassCount with sum as PassedCount,
	ResultFailCount with sum as FailedCount,
	ResultNotExecutedCount with sum as NotExecutedCount,
	ResultNotImpactedCount with sum as NotImpactedCount,
	ResultFlakyCount with sum as FlakyCount))
/filter(FlakyCount gt 0)
/compute(
(FlakyCount div cast(TotalCount, Edm.Decimal)) mul 100 as FlakyRate)

Test flaky filtrati in base al ramo

Per visualizzare i test non riusciti di una pipeline per un ramo specifico, usare le query seguenti. Per creare il report, eseguire i passaggi aggiuntivi seguenti insieme a quanto specificato più avanti in questo articolo.

Espandi Branch in Branch.BranchName
Selezionare Filtro dei dati visualizzazione di Power BI e aggiungere il campo al campo Branch.BranchName del filtro dei dati
Selezionare il nome del ramo dal filtro dei dati per il quale è necessario visualizzare il riepilogo dei risultati.

Per altre informazioni sull'uso dei filtri dei dati, vedere Filtri dei dati in Power BI.

Query di Power BI
Query OData

Copiare e incollare la query di Power BI seguente direttamente nella finestra Recupera dati>query vuota. Per altre informazioni, vedere Panoramica dei report di esempio che usano query OData.

let
   Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter("
                &"Pipeline/PipelineName eq '{pipelineName}' "
                &"And Date/Date ge {startdate} "
                &"And Workflow eq 'Build') "
        &"/groupby((TestSK, Test/TestName, Branch/BranchName), "
            &"aggregate( "
                &"ResultCount with sum as TotalCount, "
                &"ResultPassCount with sum as PassedCount, "
                &"ResultFailCount with sum as FailedCount, "
                &"ResultNotExecutedCount with sum as NotExecutedCount, "
                &"ResultNotImpactedCount with sum as NotImpactedCount, "
                &"ResultFlakyCount with sum as FlakyCount)) "
    &"/filter(FlakyCount gt 0) "
    &"/compute( "
    &"(FlakyCount div cast(TotalCount, Edm.Decimal)) mul 100 as FlakyRate) "
    ,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4]) 
in
    Source

È possibile usare il codice di query OData seguente per modificare o testare la query prima di usarla in Power BI. Per altre informazioni, vedere Connettersi usando Power BI e query OData.

https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter(
	Pipeline/PipelineName eq '{pipelineName}'
	And Date/Date ge {startdate}
	And Workflow eq 'Build')
/groupby((TestSK, Test/TestName, Branch/BranchName), 
	aggregate(
	ResultCount with sum as TotalCount,
	ResultPassCount with sum as PassedCount,
	ResultFailCount with sum as FailedCount,
	ResultNotExecutedCount with sum as NotExecutedCount,
	ResultNotImpactedCount with sum as NotImpactedCount,
	ResultFlakyCount with sum as FlakyCount))
/filter(FlakyCount gt 0)
/compute(
(FlakyCount div cast(TotalCount, Edm.Decimal)) mul 100 as FlakyRate)

Test flaky filtrati in base al file di test

Per visualizzare i test invisibile per una pipeline e un file di test specifico, usare le query seguenti. Per creare il report, eseguire i passaggi aggiuntivi seguenti insieme a quanto definito più avanti in questo articolo.

Espandi Test in Test.ContainerName
Selezionare Filtro dei dati visualizzazione di Power BI e aggiungere il campo al campo Test.ContainerName del filtro dei dati
Selezionare il nome del contenitore dal filtro dei dati per il quale è necessario visualizzare il riepilogo dei risultati.

Query di Power BI
Query OData

Copiare e incollare la query di Power BI seguente direttamente nella finestra Recupera dati>query vuota. Per altre informazioni, vedere Panoramica dei report di esempio che usano query OData.

let
   Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter("
                &"Pipeline/PipelineName eq '{pipelineName}' "
                &"And Date/Date ge {startdate}) "
        &"/groupby((TestSK, Test/TestName, Test/ContainerName), "
        &"aggregate( "
                &"ResultCount with sum as TotalCount, "
                &"ResultPassCount with sum as PassedCount, "
                &"ResultFailCount with sum as FailedCount, "
                &"ResultNotExecutedCount with sum as NotExecutedCount, "
                &"ResultNotImpactedCount with sum as NotImpactedCount, "
                &"ResultFlakyCount with sum as FlakyCount)) "
        &"/filter(FlakyCount gt 0) "
    &"/compute( "
    &"(FlakyCount div cast(TotalCount, Edm.Decimal)) mul 100 as FlakyRate) "
    ,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4]) 
in
    Source

È possibile usare il codice di query OData seguente per modificare o testare la query prima di usarla in Power BI. Per altre informazioni, vedere Connettersi usando Power BI e query OData.

https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter(
	Pipeline/PipelineName eq '{pipelineName}'
	And Date/Date ge {startdate})
/groupby((TestSK, Test/TestName, Test/ContainerName), 
	aggregate(
	ResultCount with sum as TotalCount,
	ResultPassCount with sum as PassedCount,
	ResultFailCount with sum as FailedCount,
	ResultNotExecutedCount with sum as NotExecutedCount,
	ResultNotImpactedCount with sum as NotImpactedCount,
	ResultFlakyCount with sum as FlakyCount))
/filter(FlakyCount gt 0)
/compute(
(FlakyCount div cast(TotalCount, Edm.Decimal)) mul 100 as FlakyRate)

Test flaky filtrati in base al proprietario del test

Per visualizzare i test Flaky per una pipeline e i test di proprietà di un proprietario di test specifico, usare le query seguenti. Per creare il report, eseguire i passaggi aggiuntivi seguenti insieme a quanto definito più avanti in questo articolo.

Espandi Test in Test.TestOwner
Selezionare Filtro dei dati visualizzazione di Power BI e aggiungere il campo al campo Test.TestOwner del filtro dei dati
Selezionare il proprietario del test dal filtro dei dati per il quale è necessario visualizzare il riepilogo dei risultati.

Query di Power BI
Query OData

Copiare e incollare la query di Power BI seguente direttamente nella finestra Recupera dati>query vuota. Per altre informazioni, vedere Panoramica dei report di esempio che usano query OData.

let
   Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter("
                &"Pipeline/PipelineName eq '{pipelineName}' "
                &"And Date/Date ge {startdate}) "
        &"/groupby((TestSK, Test/TestName, Test/TestOwner), "
        &"aggregate( "
                &"ResultCount with sum as TotalCount, "
                &"ResultPassCount with sum as PassedCount, "
                &"ResultFailCount with sum as FailedCount, "
                &"ResultNotExecutedCount with sum as NotExecutedCount, "
                &"ResultNotImpactedCount with sum as NotImpactedCount, "
                &"ResultFlakyCount with sum as FlakyCount)) "
        &"/filter(FlakyCount gt 0) "
    &"/compute( "
    &"(FlakyCount div cast(TotalCount, Edm.Decimal)) mul 100 as FlakyRate) "
    ,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4]) 
in
    Source

È possibile usare il codice di query OData seguente per modificare o testare la query prima di usarla in Power BI. Per altre informazioni, vedere Connettersi usando Power BI e query OData.

https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter(
	Pipeline/PipelineName eq '{pipelineName}'
	And Date/Date ge {startdate})
/groupby((TestSK, Test/TestName, Test/TestOwner), 
	aggregate(
	ResultCount with sum as TotalCount,
	ResultPassCount with sum as PassedCount,
	ResultFailCount with sum as FailedCount,
	ResultNotExecutedCount with sum as NotExecutedCount,
	ResultNotImpactedCount with sum as NotImpactedCount,
	ResultFlakyCount with sum as FlakyCount))
/filter(FlakyCount gt 0)
/compute(
(FlakyCount div cast(TotalCount, Edm.Decimal)) mul 100 as FlakyRate)

Stringhe di sostituzione e scomposizione delle query

Sostituire le stringhe seguenti con i valori. Non includere parentesi quadre {} con la sostituzione. Ad esempio, se il nome dell'organizzazione è "Fabrikam", sostituire {organization} con Fabrikam, non {Fabrikam}.

{organization} - Nome dell'organizzazione
{project} - Nome del progetto team
{pipelinename} - Nome della pipeline. Esempio: Fabrikam hourly build pipeline
{startdate} - Data di inizio del report. Formato: AAAA-MM-GG. Esempio: 2021-09-01Z rappresenta il 1° settembre 2021. Non racchiudere tra virgolette o parentesi quadre e usare due cifre per entrambi, mese e data.

Suddivisione delle query

La tabella seguente descrive ogni parte della query.

Parte della query

Descrizione

$apply=filter(

Clausola Start filter() .

Pipeline/PipelineName eq '{pipelineName}'

Restituire le esecuzioni di test per la pipeline specificata.

and CompletedOn/Date ge {startdate}

Restituisce le esecuzioni dei test in o dopo la data specificata.

and Workflow eq 'Build'

Restituire le esecuzioni dei test per un Build flusso di lavoro.

)

Clausola Close filter() .

/groupby(

Clausola Start groupby() .

(TestSK, Test/TestName),

Raggruppare in base al nome del test.

aggregate(

Clausola Start aggregate per calcolare le esecuzioni dei test corrispondenti ai criteri di filtro.

ResultCount with sum as TotalCount,

Contare il numero totale di esecuzioni di test come TotalCount.

ResultPassCount with sum as PassedCount,

Contare il numero totale di esecuzioni di test superate come PassedCount.

ResultFailCount with sum as FailedCount,

Contare il numero totale di esecuzioni di test non riuscite come FailedCount.

ResultNotExecutedCount with sum as NotExecutedCount

Contare il numero totale di esecuzioni di test non eseguite come NotExecutedCount.

ResultNotImpactedCount with sum as NotImpactedCount,

Contare il numero totale di esecuzioni di test non interessate come NotImpactedCount.

ResultFlakyCount with sum as FlakyCount

Contare il numero totale di esecuzioni di test in flaky come FlakyCount.

))

Chiudere aggregate() e groupby() clausole.

/filter(FlakyCount gt 0)

Filtra solo i test che sono stati inattivati almeno una volta.

/compute(

Clausola Start compute() .

(FlakyCount div cast(TotalCount, Edm.Decimal)) mul 100 as FlakyRate

Per tutti i test in flaky, calcolare .FlakyRate

)

Clausola Close compute() .

(Facoltativo) Rinominare la query

È possibile rinominare l'etichetta di query predefinita Query1 in qualcosa di più significativo. È sufficiente immettere un nuovo nome dal riquadro Impostazioni query.

Screenshot delle opzioni del menu query di Power BI, rinominare la query.

Espandere la colonna Test in Power BI

Espandere la Test colonna per visualizzare l'entità Test.TestNameespansa . Espandendo la colonna, il record viene appiattito in campi specifici. Per informazioni su come, vedere Trasformare i dati di Analisi per generare report di Power BI, Espandere le colonne.

Modificare il tipo di dati della colonna

Nella editor di Power Query selezionare le TotalCountcolonne , PassedCount, FailedCountNotExecutedCount, NotImpactedCount, e FlakyCount , tipo di dati dal menu Trasforma e quindi scegliere Numero intero.
Selezionare la FlakyRate colonna, selezionare Tipo di dati dal menu Trasforma e quindi scegliere Numero decimale.

Per altre informazioni sulla modifica del tipo di dati, vedere Trasformare i dati di Analisi per generare report di Power BI, Trasformare un tipo di dati di colonna.

Chiudere la query e applicare le modifiche

Dopo aver completato tutte le trasformazioni dei dati, scegliere Chiudi e applica dal menu Home per salvare la query e tornare alla scheda Report in Power BI.

Creare il report Tabella

In Power BI, in Visualizzazioni scegliere Tabella e trascinare i campi nell'area Colonne .
Aggiungere i campi seguenti alla sezione Colonne nell'ordine elencato.
- Test.TestName
- TotalCount
- PassedCount
- FailedCount
- FlakyCount
- FlakyRate

Il report dovrebbe essere simile all'immagine seguente.

Screenshot del report tabella dei test flaky di esempio.

Condividi tramite

Report di esempio di test flaky

Prerequisiti

Query di esempio

Test flaky per un flusso di lavoro di compilazione

Test flaky per il flusso di lavoro release

Test flaky filtrati in base al ramo

Test flaky filtrati in base al file di test

Test flaky filtrati in base al proprietario del test

Stringhe di sostituzione e scomposizione delle query

Suddivisione delle query

(Facoltativo) Rinominare la query

Espandere la colonna Test in Power BI

Modificare il tipo di dati della colonna

Chiudere la query e applicare le modifiche

Creare il report Tabella

Testare le risorse delle attività

Commenti e suggerimenti

Risorse aggiuntive

Condividi tramite

Report di esempio di test flaky

Prerequisiti

Query di esempio

Test flaky per un flusso di lavoro di compilazione

Test flaky per il flusso di lavoro release

Test flaky filtrati in base al ramo

Test flaky filtrati in base al file di test

Test flaky filtrati in base al proprietario del test

Stringhe di sostituzione e scomposizione delle query

Suddivisione delle query

(Facoltativo) Rinominare la query

Espandere la colonna Test in Power BI

Modificare il tipo di dati della colonna

Chiudere la query e applicare le modifiche

Creare il report Tabella

Testare le risorse delle attività

Articoli correlati

Commenti e suggerimenti

Risorse aggiuntive