Exemple de rapport de tests flaky

Article
10/16/2024

Azure DevOps Services | Azure DevOps Server 2022 | Azure DevOps Server 2020

Vous pouvez créer un rapport, comme illustré dans l’image suivante, qui répertorie les tests flaky qui se produisent dans les exécutions de pipeline qui incluent des tâches de test. Un test non fiable est un test qui fournit des résultats différents, tels que réussir ou échouer, même en l’absence de modifications dans le code source ou l’environnement d’exécution. Pour plus d’informations sur l’activation des tests flaky, consultez Gérer les tests flaky. Pour plus d’informations sur l’ajout de tests à un pipeline, consultez la section Ressources des tâches de test plus loin dans cet article.

Capture d’écran du rapport flaky Tests Table.

Utilisez les requêtes fournies dans cet article pour générer les rapports suivants :

Tests flaky pour le flux de travail de génération
Tests flaky pour le flux de travail de mise en production
Tests flaky pour une branche particulière
Tests flaky pour un fichier de test particulier
Tests flaky pour un propriétaire de test particulier.

Important

L’intégration de Power BI et l’accès au flux OData du service Analytics sont généralement disponibles pour Azure DevOps Services et Azure DevOps Server 2020 et versions ultérieures. Les exemples de requêtes fournis dans cet article sont valides uniquement sur Azure DevOps Server 2020 et versions ultérieures, et dépendent de la version v3.0-preview ou ultérieure. Nous vous encourageons à utiliser ces requêtes et à nous fournir des commentaires.

Prérequis

Accès : être membre d’un projet avec au moins un accès de base .
Autorisations : par défaut, les membres du projet ont l’autorisation d’interroger Analytics et de créer des vues.
Pour plus d’informations sur les autres prérequis concernant l’activation du service et des fonctionnalités et les activités de suivi des données générales, consultez Autorisations et conditions préalables pour accéder à Analytics.

Remarque

Cet article part du principe que vous lisez la vue d’ensemble des exemples de rapports à l’aide de requêtes OData et que vous avez une compréhension de base de Power BI.

Exemples de requêtes

Vous pouvez utiliser les requêtes suivantes de l’ensemble TestResultsDaily d’entités pour créer des rapports de test de pipeline différents, mais similaires. L’ensemble TestResultsDaily d’entités fournit un agrégat d’instantanés quotidiens d’exécutions TestResult , regroupés par test.

Remarque

Pour déterminer les propriétés disponibles à des fins de filtre ou de rapport, consultez la référence des métadonnées pour l’analyse des plans de test et les informations de référence sur les métadonnées pour Azure Pipelines. Vous pouvez filtrer vos requêtes ou renvoyer des propriétés à l’aide de l’une Property des valeurs sous ou EntityType des NavigationPropertyBinding Path valeurs disponibles avec un EntitySet. Chaque EntitySet correspond à un EntityType. Pour plus d’informations sur le type de données de chaque valeur, passez en revue les métadonnées fournies pour le type de données correspondant EntityType.

Tests flaky pour un flux de travail build

Utilisez les requêtes suivantes pour afficher les tests flaky pour un pipeline de flux de travail de build .

Requête Power BI
Requête OData

Copiez et collez la requête Power BI suivante directement dans la fenêtre Obtenir une requête vide de données>. Pour plus d’informations, consultez Vue d’ensemble des exemples de rapports à l’aide de requêtes OData.

let
   Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter("
                &"Pipeline/PipelineName eq '{pipelineName} "
                &"And Date/Date ge {startdate} "
                &"And Workflow eq 'Build') "
        &"/groupby((TestSK, Test/TestName), "
            &"aggregate( "
                &"ResultCount with sum as TotalCount, "
                &"ResultPassCount with sum as PassedCount, "
                &"ResultFailCount with sum as FailedCount, "
                &"ResultNotExecutedCount with sum as NotExecutedCount, "
                &"ResultNotImpactedCount with sum as NotImpactedCount, "
                &"ResultFlakyCount with sum as FlakyCount)) "
    &"/filter(FlakyCount gt 0) "
    &"/compute( "
    &"(FlakyCount div cast(TotalCount, Edm.Decimal)) mul 100 as FlaykRate) "
    ,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4]) 
in
    Source

Vous pouvez utiliser le code de requête OData suivant pour modifier ou tester la requête avant de l’utiliser dans Power BI. Pour plus d’informations, consultez Se connecter à l’aide de requêtes Power BI et OData.

https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter(
	Pipeline/PipelineName eq '{pipelineName}'
	And Date/Date ge {startdate}
	And Workflow eq 'Build'
	)
/groupby(
	(TestSK, Test/TestName), 
	aggregate(
	ResultCount with sum as TotalCount,
	ResultPassCount with sum as PassedCount,
	ResultFailCount with sum as FailedCount,
	ResultNotExecutedCount with sum as NotExecutedCount,
	ResultNotImpactedCount with sum as NotImpactedCount,
	ResultFlakyCount with sum as FlakyCount))
/filter(FlakyCount gt 0)
/compute(
	(FlakyCount div cast(TotalCount, Edm.Decimal)) mul 100 as FlakyRate
)

Tests flaky pour le flux de travail Release

Utilisez les requêtes suivantes pour afficher les tests flaky pour un pipeline de flux de travail Release .

Requête Power BI
Requête OData

let
   Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter("
                &"Pipeline/PipelineName eq '{pipelineName}' "
                &"And Date/Date ge {startdate}) "
        &"/groupby((TestSK, Test/TestName, Workflow), "
        &"aggregate( "
                &"ResultCount with sum as TotalCount, "
                &"ResultPassCount with sum as PassedCount, "
                &"ResultFailCount with sum as FailedCount, "
                &"ResultNotExecutedCount with sum as NotExecutedCount, "
                &"ResultNotImpactedCount with sum as NotImpactedCount, "
                &"ResultFlakyCount with sum as FlakyCount)) "
        &"/filter(FlakyCount gt 0) "
    &"/compute( "
    &"(FlakyCount div cast(TotalCount, Edm.Decimal)) mul 100 as FlakyRate) "
    ,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4]) 
in
    Source

https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter(
	Pipeline/PipelineName eq '{pipelineName}'
	And Date/Date ge {startdate})
/groupby((TestSK, Test/TestName, Workflow), 
	aggregate(
	ResultCount with sum as TotalCount,
	ResultPassCount with sum as PassedCount,
	ResultFailCount with sum as FailedCount,
	ResultNotExecutedCount with sum as NotExecutedCount,
	ResultNotImpactedCount with sum as NotImpactedCount,
	ResultFlakyCount with sum as FlakyCount))
/filter(FlakyCount gt 0)
/compute(
(FlakyCount div cast(TotalCount, Edm.Decimal)) mul 100 as FlakyRate)

Tests flaky filtrés par Branche

Pour afficher les tests ayant échoué d’un pipeline pour une branche particulière, utilisez les requêtes suivantes. Pour créer le rapport, effectuez les étapes supplémentaires suivantes, ainsi que ce qui est spécifié plus loin dans cet article.

Développer Branch dans Branch.BranchName
Sélectionnez Segment de visualisation Power BI et ajoutez le champ Branch.BranchName au champ du segment.
Sélectionnez le nom de la branche dans le segment pour lequel vous devez afficher le résumé des résultats.

Pour plus d’informations sur l’utilisation de segments, consultez Segments dans Power BI.

Requête Power BI
Requête OData

let
   Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter("
                &"Pipeline/PipelineName eq '{pipelineName}' "
                &"And Date/Date ge {startdate} "
                &"And Workflow eq 'Build') "
        &"/groupby((TestSK, Test/TestName, Branch/BranchName), "
            &"aggregate( "
                &"ResultCount with sum as TotalCount, "
                &"ResultPassCount with sum as PassedCount, "
                &"ResultFailCount with sum as FailedCount, "
                &"ResultNotExecutedCount with sum as NotExecutedCount, "
                &"ResultNotImpactedCount with sum as NotImpactedCount, "
                &"ResultFlakyCount with sum as FlakyCount)) "
    &"/filter(FlakyCount gt 0) "
    &"/compute( "
    &"(FlakyCount div cast(TotalCount, Edm.Decimal)) mul 100 as FlakyRate) "
    ,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4]) 
in
    Source

https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter(
	Pipeline/PipelineName eq '{pipelineName}'
	And Date/Date ge {startdate}
	And Workflow eq 'Build')
/groupby((TestSK, Test/TestName, Branch/BranchName), 
	aggregate(
	ResultCount with sum as TotalCount,
	ResultPassCount with sum as PassedCount,
	ResultFailCount with sum as FailedCount,
	ResultNotExecutedCount with sum as NotExecutedCount,
	ResultNotImpactedCount with sum as NotImpactedCount,
	ResultFlakyCount with sum as FlakyCount))
/filter(FlakyCount gt 0)
/compute(
(FlakyCount div cast(TotalCount, Edm.Decimal)) mul 100 as FlakyRate)

Tests flaky filtrés par fichier de test

Pour afficher les tests flaky pour un pipeline et un fichier de test particulier, utilisez les requêtes suivantes. Pour créer le rapport, effectuez les étapes supplémentaires suivantes, ainsi que ce qui est défini plus loin dans cet article.

Développer Test dans Test.ContainerName
Sélectionnez Segment de visualisation Power BI et ajoutez le champ Test.ContainerName au champ du segment.
Sélectionnez le nom du conteneur dans le segment pour lequel vous devez afficher le résumé des résultats.

Requête Power BI
Requête OData

let
   Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter("
                &"Pipeline/PipelineName eq '{pipelineName}' "
                &"And Date/Date ge {startdate}) "
        &"/groupby((TestSK, Test/TestName, Test/ContainerName), "
        &"aggregate( "
                &"ResultCount with sum as TotalCount, "
                &"ResultPassCount with sum as PassedCount, "
                &"ResultFailCount with sum as FailedCount, "
                &"ResultNotExecutedCount with sum as NotExecutedCount, "
                &"ResultNotImpactedCount with sum as NotImpactedCount, "
                &"ResultFlakyCount with sum as FlakyCount)) "
        &"/filter(FlakyCount gt 0) "
    &"/compute( "
    &"(FlakyCount div cast(TotalCount, Edm.Decimal)) mul 100 as FlakyRate) "
    ,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4]) 
in
    Source

https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter(
	Pipeline/PipelineName eq '{pipelineName}'
	And Date/Date ge {startdate})
/groupby((TestSK, Test/TestName, Test/ContainerName), 
	aggregate(
	ResultCount with sum as TotalCount,
	ResultPassCount with sum as PassedCount,
	ResultFailCount with sum as FailedCount,
	ResultNotExecutedCount with sum as NotExecutedCount,
	ResultNotImpactedCount with sum as NotImpactedCount,
	ResultFlakyCount with sum as FlakyCount))
/filter(FlakyCount gt 0)
/compute(
(FlakyCount div cast(TotalCount, Edm.Decimal)) mul 100 as FlakyRate)

Tests flaky filtrés par propriétaire de test

Pour afficher les tests Flaky pour un pipeline et des tests appartenant à un propriétaire de test particulier, utilisez les requêtes suivantes. Pour créer le rapport, effectuez les étapes supplémentaires suivantes, ainsi que ce qui est défini plus loin dans cet article.

Développer Test dans Test.TestOwner
Sélectionnez Segment de visualisation Power BI et ajoutez le champ Test.TestOwner au champ du segment.
Sélectionnez le propriétaire de test dans le segment pour lequel vous devez afficher le résumé des résultats.

Requête Power BI
Requête OData

let
   Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter("
                &"Pipeline/PipelineName eq '{pipelineName}' "
                &"And Date/Date ge {startdate}) "
        &"/groupby((TestSK, Test/TestName, Test/TestOwner), "
        &"aggregate( "
                &"ResultCount with sum as TotalCount, "
                &"ResultPassCount with sum as PassedCount, "
                &"ResultFailCount with sum as FailedCount, "
                &"ResultNotExecutedCount with sum as NotExecutedCount, "
                &"ResultNotImpactedCount with sum as NotImpactedCount, "
                &"ResultFlakyCount with sum as FlakyCount)) "
        &"/filter(FlakyCount gt 0) "
    &"/compute( "
    &"(FlakyCount div cast(TotalCount, Edm.Decimal)) mul 100 as FlakyRate) "
    ,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4]) 
in
    Source

https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter(
	Pipeline/PipelineName eq '{pipelineName}'
	And Date/Date ge {startdate})
/groupby((TestSK, Test/TestName, Test/TestOwner), 
	aggregate(
	ResultCount with sum as TotalCount,
	ResultPassCount with sum as PassedCount,
	ResultFailCount with sum as FailedCount,
	ResultNotExecutedCount with sum as NotExecutedCount,
	ResultNotImpactedCount with sum as NotImpactedCount,
	ResultFlakyCount with sum as FlakyCount))
/filter(FlakyCount gt 0)
/compute(
(FlakyCount div cast(TotalCount, Edm.Decimal)) mul 100 as FlakyRate)

Chaînes de substitution et répartition des requêtes

Remplacez les chaînes suivantes par vos valeurs. N’incluez pas de crochets {} avec votre substitution. Par exemple, si le nom de votre organisation est « Fabrikam », remplacez par {organization}Fabrikam, et non {Fabrikam}par .

{organization} - Nom de votre organisation
{project} - Nom de votre projet d’équipe
{pipelinename} - Nom de votre pipeline. Exemple : Fabrikam hourly build pipeline
{startdate} - Date de démarrage de votre rapport. Format : AAAA-MM-DDZ. Exemple : 2021-09-01Z représente le 1er septembre 2021. Ne placez pas entre guillemets ou crochets et utilisez deux chiffres pour les deux, mois et date.

Répartition des requêtes

Le tableau suivant décrit chaque partie de la requête.

Composant de requête

Description

$apply=filter(

Clause Start filter() .

Pipeline/PipelineName eq '{pipelineName}'

Retourne des exécutions de test pour le pipeline spécifié.

and CompletedOn/Date ge {startdate}

Retourne des exécutions de test à la date spécifiée ou après la date spécifiée.

and Workflow eq 'Build'

Retourne des exécutions de test pour un Build flux de travail.

)

Clause Close filter() .

/groupby(

Clause Start groupby() .

(TestSK, Test/TestName),

Regrouper par le nom du test.

aggregate(

Clause start aggregate pour calculer les exécutions de test correspondant aux critères de filtre.

ResultCount with sum as TotalCount,

Comptez le nombre total d’exécutions de test sous la forme TotalCount.

ResultPassCount with sum as PassedCount,

Comptez le nombre total d’exécutions de test réussies en tant que PassedCount.

ResultFailCount with sum as FailedCount,

Comptez le nombre total d’exécutions de tests ayant échoué en tant que FailedCount.

ResultNotExecutedCount with sum as NotExecutedCount

Compter le nombre total d’exécutions de tests non exécutées en tant que NotExecutedCount.

ResultNotImpactedCount with sum as NotImpactedCount,

Comptez le nombre total d’exécutions de tests non affectées en tant que NotImpactedCount.

ResultFlakyCount with sum as FlakyCount

Comptez le nombre total d’exécutions de test flaky sous la forme FlakyCount.

))

Close aggregate() et groupby() clauses.

/filter(FlakyCount gt 0)

Filtrez uniquement les tests qui étaient flassants au moins une fois.

/compute(

Clause Start compute() .

(FlakyCount div cast(TotalCount, Edm.Decimal)) mul 100 as FlakyRate

Pour tous les tests flaky, calculez le FlakyRate.

)

Clause Close compute() .

(Facultatif) Renommer la requête

Vous pouvez renommer l’étiquette de requête par défaut , Query1, en quelque chose de plus significatif. Entrez simplement un nouveau nom dans le volet Paramètres de requête .

Capture d’écran des options de menu de requête Power BI, renommer la requête.

Développer la colonne Test dans Power BI

Développez la Test colonne pour afficher l’entité Test.TestNamedéveloppée. Le développement de la colonne aplatit l’enregistrement dans des champs spécifiques. Pour savoir comment afficher les données Transform Analytics pour générer des rapports Power BI, développez des colonnes.

Modifier le type de données de colonne

Dans l’Éditeur Power Query, sélectionnez le TotalCounttype de données, puis NotExecutedCountFlakyCount PassedCountFailedCountNotImpactedCountsélectionnez Type de données dans le menu Transformer, puis choisissez Nombre entier.
Sélectionnez la FlakyRate colonne ; sélectionnez Type de données dans le menu Transformer , puis choisissez Nombre décimal.

Pour plus d’informations sur la modification du type de données, consultez Transform Analytics pour générer des rapports Power BI, Transformer un type de données de colonne.

Fermez la requête et appliquez vos modifications

Une fois que vous avez terminé toutes vos transformations de données, choisissez Fermer & Appliquer dans le menu Accueil pour enregistrer la requête et revenir à l’onglet Rapport dans Power BI.

Créer le rapport de table

Dans Power BI, sous Visualisations, choisissez Table et faites glisser et déposez les champs dans la zone Colonnes .
Ajoutez les champs suivants à la section Colonnes dans l’ordre indiqué.
- Test.TestName
- TotalCount
- PassedCount
- FailedCount
- FlakyCount
- FlakyRate

Votre rapport doit ressembler à l’image suivante.

Capture d’écran de l’exemple de rapport de table de tests flaky.

Partager via

Exemple de rapport de tests flaky

Prérequis

Exemples de requêtes

Tests flaky pour un flux de travail build

Tests flaky pour le flux de travail Release

Tests flaky filtrés par Branche

Tests flaky filtrés par fichier de test

Tests flaky filtrés par propriétaire de test

Chaînes de substitution et répartition des requêtes

Répartition des requêtes

(Facultatif) Renommer la requête

Développer la colonne Test dans Power BI

Modifier le type de données de colonne

Fermez la requête et appliquez vos modifications

Créer le rapport de table

Ressources de tâche de test

Commentaires

Ressources supplémentaires

Partager via

Exemple de rapport de tests flaky

Prérequis

Exemples de requêtes

Tests flaky pour un flux de travail build

Tests flaky pour le flux de travail Release

Tests flaky filtrés par Branche

Tests flaky filtrés par fichier de test

Tests flaky filtrés par propriétaire de test

Chaînes de substitution et répartition des requêtes

Répartition des requêtes

(Facultatif) Renommer la requête

Développer la colonne Test dans Power BI

Modifier le type de données de colonne

Fermez la requête et appliquez vos modifications

Créer le rapport de table

Ressources de tâche de test

Articles connexes

Commentaires

Ressources supplémentaires