Report di esempio di test flaky
Azure DevOps Services | Azure DevOps Server 2022 | Azure DevOps Server 2020
È possibile creare un report, come illustrato nell'immagine seguente, che elenca i test in corso nelle esecuzioni della pipeline che includono attività di test. Un test in flaky è un test che fornisce risultati diversi, ad esempio il superamento o l'esito negativo, anche quando non sono presenti modifiche nel codice sorgente o nell'ambiente di esecuzione. Per altre informazioni sull'abilitazione di test in flaky, vedere Gestire test instabilità. Per informazioni sull'aggiunta di test a una pipeline, vedere la sezione Test task resources più avanti in questo articolo.
Usare le query fornite in questo articolo per generare i report seguenti:
- Test flaky per il flusso di lavoro di compilazione
- Test flaky per il flusso di lavoro di rilascio
- Test flaky per un ramo specifico
- Test flaky per un file di test specifico
- Test flaky per un proprietario di test specifico.
Importante
L'integrazione di Power BI e l'accesso al feed OData del servizio di analisi sono disponibili a livello generale per Azure DevOps Services e Azure DevOps Server 2020 e versioni successive. Le query di esempio fornite in questo articolo sono valide solo per Azure DevOps Server 2020 e versioni successive e dipendono dalla versione v3.0-preview o successiva. È consigliabile usare queste query e fornire commenti e suggerimenti.
Prerequisiti
- Per visualizzare i dati di Analisi ed eseguire query sul servizio, è necessario essere membri di un progetto con accesso basic o superiore. Per impostazione predefinita, a tutti i membri del progetto vengono concesse le autorizzazioni per eseguire query su Analisi e definire le visualizzazioni di Analisi.
- Per altre informazioni sugli altri prerequisiti relativi all'abilitazione di servizi e funzionalità e alle attività generali di rilevamento dei dati, vedere Autorizzazioni e prerequisiti per l'accesso ad Analytics.
Nota
Questo articolo presuppone di avere letto Panoramica dei report di esempio usando query OData e avere una conoscenza di base di Power BI.
Query di esempio
È possibile usare le query seguenti del TestResultsDaily set di entità per creare report di test diversi ma simili. Il TestResultsDaily set di entità fornisce un'aggregazione snapshot giornaliera delle TestResult esecuzioni, raggruppate per test.
Nota
Per determinare le proprietà disponibili a scopo di filtro o report, vedere Informazioni di riferimento sui metadati per l'analisi dei piani di test e i metadati per Azure Pipelines. È possibile filtrare le query o restituire proprietà usando uno qualsiasi dei Property valori in un EntityType oggetto o NavigationPropertyBinding Path i valori disponibili con un oggetto EntitySet. Ognuno EntitySet corrisponde a un oggetto EntityType. Per altre informazioni sul tipo di dati di ogni valore, esaminare i metadati forniti per l'oggetto corrispondente EntityType.
Test flaky per un flusso di lavoro di compilazione
Usare le query seguenti per visualizzare i test invisibile per una pipeline del flusso di lavoro di compilazione.
È possibile incollare la query di Power BI elencata di seguito direttamente nella finestra Recupera query vuota dati>. Per altre informazioni, vedere Panoramica dei report di esempio che usano query OData.
let
Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter("
&"Pipeline/PipelineName eq '{pipelineName} "
&"And Date/Date ge {startdate} "
&"And Workflow eq 'Build') "
&"/groupby((TestSK, Test/TestName), "
&"aggregate( "
&"ResultCount with sum as TotalCount, "
&"ResultPassCount with sum as PassedCount, "
&"ResultFailCount with sum as FailedCount, "
&"ResultNotExecutedCount with sum as NotExecutedCount, "
&"ResultNotImpactedCount with sum as NotImpactedCount, "
&"ResultFlakyCount with sum as FlakyCount)) "
&"/filter(FlakyCount gt 0) "
&"/compute( "
&"(FlakyCount div cast(TotalCount, Edm.Decimal)) mul 100 as FlaykRate) "
,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4])
in
Source
Test flaky per il flusso di lavoro release
Usare le query seguenti per visualizzare i test invisibile per una pipeline del flusso di lavoro Release .
È possibile incollare la query di Power BI elencata di seguito direttamente nella finestra Recupera query vuota dati>. Per altre informazioni, vedere Panoramica dei report di esempio che usano query OData.
let
Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter("
&"Pipeline/PipelineName eq '{pipelineName}' "
&"And Date/Date ge {startdate}) "
&"/groupby((TestSK, Test/TestName, Workflow), "
&"aggregate( "
&"ResultCount with sum as TotalCount, "
&"ResultPassCount with sum as PassedCount, "
&"ResultFailCount with sum as FailedCount, "
&"ResultNotExecutedCount with sum as NotExecutedCount, "
&"ResultNotImpactedCount with sum as NotImpactedCount, "
&"ResultFlakyCount with sum as FlakyCount)) "
&"/filter(FlakyCount gt 0) "
&"/compute( "
&"(FlakyCount div cast(TotalCount, Edm.Decimal)) mul 100 as FlakyRate) "
,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4])
in
Source
Test flaky filtrati in base al ramo
Per visualizzare i test non riusciti di una pipeline per un ramo specifico, usare le query seguenti. Per creare il report, eseguire i passaggi aggiuntivi seguenti insieme a quanto specificato più avanti in questo articolo.
- Espandi
BranchinBranch.BranchName - Selezionare Filtro dei dati visualizzazione di Power BI e aggiungere il campo al campo
Branch.BranchNamedel filtro dei dati - Selezionare il nome del ramo dal filtro dei dati per il quale è necessario visualizzare il riepilogo dei risultati.
Per altre informazioni sull'uso dei filtri dei dati, vedere Filtri dei dati in Power BI.
È possibile incollare la query di Power BI elencata di seguito direttamente nella finestra Recupera query vuota dati>. Per altre informazioni, vedere Panoramica dei report di esempio che usano query OData.
let
Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter("
&"Pipeline/PipelineName eq '{pipelineName}' "
&"And Date/Date ge {startdate} "
&"And Workflow eq 'Build') "
&"/groupby((TestSK, Test/TestName, Branch/BranchName), "
&"aggregate( "
&"ResultCount with sum as TotalCount, "
&"ResultPassCount with sum as PassedCount, "
&"ResultFailCount with sum as FailedCount, "
&"ResultNotExecutedCount with sum as NotExecutedCount, "
&"ResultNotImpactedCount with sum as NotImpactedCount, "
&"ResultFlakyCount with sum as FlakyCount)) "
&"/filter(FlakyCount gt 0) "
&"/compute( "
&"(FlakyCount div cast(TotalCount, Edm.Decimal)) mul 100 as FlakyRate) "
,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4])
in
Source
Test flaky filtrati in base al file di test
Per visualizzare i test invisibile per una pipeline e un file di test specifico, usare le query seguenti. Per creare il report, eseguire i passaggi aggiuntivi seguenti insieme a quanto definito più avanti in questo articolo.
- Espandi
TestinTest.ContainerName - Selezionare Filtro dei dati visualizzazione di Power BI e aggiungere il campo al campo
Test.ContainerNamedel filtro dei dati - Selezionare il nome del contenitore dal filtro dei dati per il quale è necessario visualizzare il riepilogo dei risultati.
È possibile incollare la query di Power BI elencata di seguito direttamente nella finestra Recupera query vuota dati>. Per altre informazioni, vedere Panoramica dei report di esempio che usano query OData.
let
Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter("
&"Pipeline/PipelineName eq '{pipelineName}' "
&"And Date/Date ge {startdate}) "
&"/groupby((TestSK, Test/TestName, Test/ContainerName), "
&"aggregate( "
&"ResultCount with sum as TotalCount, "
&"ResultPassCount with sum as PassedCount, "
&"ResultFailCount with sum as FailedCount, "
&"ResultNotExecutedCount with sum as NotExecutedCount, "
&"ResultNotImpactedCount with sum as NotImpactedCount, "
&"ResultFlakyCount with sum as FlakyCount)) "
&"/filter(FlakyCount gt 0) "
&"/compute( "
&"(FlakyCount div cast(TotalCount, Edm.Decimal)) mul 100 as FlakyRate) "
,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4])
in
Source
Test flaky filtrati in base al proprietario del test
Per visualizzare i test Flaky per una pipeline e i test di proprietà di un proprietario di test specifico, usare le query seguenti. Per creare il report, eseguire i passaggi aggiuntivi seguenti insieme a quanto definito più avanti in questo articolo.
- Espandi
TestinTest.TestOwner - Selezionare Filtro dei dati visualizzazione di Power BI e aggiungere il campo al campo
Test.TestOwnerdel filtro dei dati - Selezionare il proprietario del test dal filtro dei dati per il quale è necessario visualizzare il riepilogo dei risultati.
È possibile incollare la query di Power BI elencata di seguito direttamente nella finestra Recupera query vuota dati>. Per altre informazioni, vedere Panoramica dei report di esempio che usano query OData.
let
Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter("
&"Pipeline/PipelineName eq '{pipelineName}' "
&"And Date/Date ge {startdate}) "
&"/groupby((TestSK, Test/TestName, Test/TestOwner), "
&"aggregate( "
&"ResultCount with sum as TotalCount, "
&"ResultPassCount with sum as PassedCount, "
&"ResultFailCount with sum as FailedCount, "
&"ResultNotExecutedCount with sum as NotExecutedCount, "
&"ResultNotImpactedCount with sum as NotImpactedCount, "
&"ResultFlakyCount with sum as FlakyCount)) "
&"/filter(FlakyCount gt 0) "
&"/compute( "
&"(FlakyCount div cast(TotalCount, Edm.Decimal)) mul 100 as FlakyRate) "
,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4])
in
Source
Stringhe di sostituzione e scomposizione delle query
Sostituire le stringhe seguenti con i valori. Non includere parentesi quadre {} con la sostituzione. Ad esempio, se il nome dell'organizzazione è "Fabrikam", sostituire {organization} con Fabrikam, non {Fabrikam}.
{organization}- Nome dell'organizzazione{project}- Nome del progetto team{pipelinename}- Nome della pipeline. Esempio:Fabrikam hourly build pipeline{startdate}- Data di inizio del report. Formato: AAAA-MM-GG. Esempio:2021-09-01Zrappresenta il 1° settembre 2021. Non racchiudere tra virgolette o parentesi quadre e usare due cifre per entrambi, mese e data.
Suddivisione delle query
La tabella seguente descrive ogni parte della query.
Parte della query
Descrizione
$apply=filter(
Clausola Start filter() .
Pipeline/PipelineName eq '{pipelineName}'
Restituire le esecuzioni di test per la pipeline specificata.
and CompletedOn/Date ge {startdate}
Restituisce le esecuzioni dei test in o dopo la data specificata.
and Workflow eq 'Build'
Restituire le esecuzioni dei test per un Build flusso di lavoro.
)
Clausola Close filter() .
/groupby(
Clausola Start groupby() .
(TestSK, Test/TestName),
Raggruppare in base al nome del test.
aggregate(
Clausola Start aggregate per calcolare le esecuzioni dei test corrispondenti ai criteri di filtro.
ResultCount with sum as TotalCount,
Contare il numero totale di esecuzioni di test come TotalCount.
ResultPassCount with sum as PassedCount,
Contare il numero totale di esecuzioni di test superate come PassedCount.
ResultFailCount with sum as FailedCount,
Contare il numero totale di esecuzioni di test non riuscite come FailedCount.
ResultNotExecutedCount with sum as NotExecutedCount
Contare il numero totale di esecuzioni di test non eseguite come NotExecutedCount.
ResultNotImpactedCount with sum as NotImpactedCount,
Contare il numero totale di esecuzioni di test non interessate come NotImpactedCount.
ResultFlakyCount with sum as FlakyCount
Contare il numero totale di esecuzioni di test in flaky come FlakyCount.
))
Chiudere aggregate() e groupby() clausole.
/filter(FlakyCount gt 0)
Filtra solo i test che sono stati inattivati almeno una volta.
/compute(
Clausola Start compute() .
(FlakyCount div cast(TotalCount, Edm.Decimal)) mul 100 as FlakyRate
Per tutti i test in flaky, calcolare .FlakyRate
)
Clausola Close compute() .
(Facoltativo) Rinominare la query
È possibile rinominare l'etichetta di query predefinita Query1 in qualcosa di più significativo. È sufficiente immettere un nuovo nome dal riquadro Query Impostazioni.
Espandere la colonna Test in Power BI
Espandere la Test colonna per visualizzare l'entità Test.TestNameespansa . Espandendo la colonna, il record viene appiattito in campi specifici. Per informazioni su come, vedere Trasformare i dati di Analisi per generare report di Power BI, Espandere le colonne.
Modificare il tipo di dati della colonna
Nella editor di Power Query selezionare le
TotalCountcolonne ,PassedCount,FailedCountNotExecutedCount,NotImpactedCount, eFlakyCount, tipo di dati dal menu Trasforma e quindi scegliere Numero intero.Selezionare la
FlakyRatecolonna, selezionare Tipo di dati dal menu Trasforma e quindi scegliere Numero decimale.
Per altre informazioni sulla modifica del tipo di dati, vedere Trasformare i dati di Analisi per generare report di Power BI, Trasformare un tipo di dati di colonna.
Chiudere la query e applicare le modifiche
Dopo aver completato tutte le trasformazioni dei dati, scegliere Chiudi e applica dal menu Home per salvare la query e tornare alla scheda Report in Power BI.
Creare il report Tabella
In Power BI, in Visualizzazioni scegliere Tabella e trascinare i campi nell'area Colonne .
Aggiungere i campi seguenti alla sezione Colonne nell'ordine elencato.
Test.TestNameTotalCountPassedCountFailedCountFlakyCountFlakyRate
Il report dovrebbe essere simile all'immagine seguente.
Testare le risorse delle attività
- Eseguire test in parallelo usando l'attività Test di Visual Studio
- Eseguire test in parallelo per qualsiasi runner di test
- Velocizzare i test usando l'analisi dell'impatto dei test (TIA)
- Gestire test in flaky
- Considerazioni sul test dell'interfaccia utente
- Test di carico di Azure
- Informazioni di riferimento sulle attività di Azure Pipelines, Attività di test
Articoli correlati
Commenti e suggerimenti
Presto disponibile: Nel corso del 2024 verranno gradualmente disattivati i problemi di GitHub come meccanismo di feedback per il contenuto e ciò verrà sostituito con un nuovo sistema di feedback. Per altre informazioni, vedere https://aka.ms/ContentUserFeedback.
Invia e visualizza il feedback per