テストの概要の傾向のサンプル レポート

Azure DevOps Services | Azure DevOps Server 2022 | Azure DevOps Server 2020

テスト タスクを含むパイプラインを照会して、テストの概要傾向レポートを作成できます。 たとえば、次のレポートには、24 日間の各列の失敗したテスト実行の数と、テスト合格率の傾向を示す折れ線グラフが表示されます。 パイプラインにテストを追加する方法については、この記事で後述する 「テスト タスク リソース 」セクションを参照してください。

具体的には、この記事では、次のレポートを生成するためのサンプル クエリを提供します。

• ビルド ワークフローのテスト概要の傾向
• リリース ワークフローのテストの概要傾向
• 特定のブランチの概要傾向をテストする
• 特定のテスト ファイルのテスト概要の傾向
• 特定のテスト所有者のテストの概要傾向。

重要

Power BI の統合と Analytics サービスの OData フィードへのアクセスは、Azure DevOps Services および Azure DevOps Server 2020 以降のバージョンで一般提供されています。 この記事で提供されるサンプル クエリは、Azure DevOps Server 2020 以降のバージョンに対してのみ有効であり、v3.0-preview 以降のバージョンによって異なります。 これらのクエリを使用し、フィードバックをお寄せください。

前提条件

• アクセス: 少なくとも Basic アクセス権を持つプロジェクトのメンバーである。
• 権限: 既定では、プロジェクト メンバーは Analytics にクエリを実行し、ビューを作成する権限を持ちます。
• サービスと機能の有効化と一般的なデータ追跡アクティビティに関するその他の前提条件の詳細については、「Analytics にアクセスするためのアクセス許可と前提条件」を参照してください。

Note

この記事では、OData クエリを使用したサンプル レポートの概要を読み、Power BI の基本的な理解を持っていることを前提としています。

サンプル クエリ

エンティティ セットの次のクエリを TestRuns 使用して、異なる似たパイプライン テストの概要傾向レポートを作成できます。 次のクエリのエンティティ セットは TestRuns 、パイプライン定義内にテスト タスクを含める場合にのみ使用できます。

Note

フィルターまたはレポートの目的で使用可能なプロパティを決定するには、「Test Plans Analytics のメタデータ リファレンス」および「Azure Pipelines のメタデータ リファレンス」を参照してください。 クエリをフィルター処理したり、 で使用可能な または 値のProperty下EntityTypeNavigationPropertyBinding Pathの値のいずれかを使用してプロパティをEntitySet返したりできます。 各 は EntitySet に EntityType対応します。 各値のデータ型の詳細については、対応する EntityType値に指定されたメタデータを確認してください。

ビルド ワークフローのテストの概要の傾向

ビルド ワークフローのパイプラインのテストの概要傾向を表示するには、次のクエリを使用します。

Power BI クエリ

次の Power BI クエリをコピーして、[データ>の空のクエリの取得] ウィンドウに直接貼り付けます。 詳細については、OData クエリを使用したサンプル レポートの概要を参照してください。

let
   Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestRuns?
$apply=filter("
                &"Pipeline/PipelineName eq '{pipelineName}' "
                &"and CompletedOn/Date ge {startdate} "
                &"and Workflow eq 'Build' "
            &") "
        &"/groupby( "
          &"(CompletedOn/Date), "
          &"aggregate( "
            &"ResultCount with sum as ResultCount, "
            &"ResultPassCount with sum as ResultPassCount, "
            &"ResultNotExecutedCount with sum as ResultNotExecutedCount, "
            &"ResultNotImpactedCount with sum as ResultNotImpactedCount, "
            &"ResultFailCount with sum as ResultFailCount "
         &")) "
       &"/compute( "
       &"iif(ResultCount gt ResultNotExecutedCount, ((ResultPassCount add ResultNotImpactedCount) div cast(ResultCount sub ResultNotExecutedCount, Edm.Decimal)) mul 100, 0) as PassRate) "
    ,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4]) 
in
    Source

OData クエリ

次の OData クエリ コードを使用して、Power BI でクエリを使用する前にクエリを変更またはテストできます。 詳細については、「 Power BI クエリと OData クエリを使用した接続」を参照してください。

https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestRuns?
$apply=filter(
	Pipeline/PipelineName eq '{pipelineName}'
	and CompletedOn/Date ge {startdate}
	and Workflow eq 'Build'
	)
/groupby(
	(CompletedOn/Date), 
	aggregate(
	ResultCount with sum as ResultCount,
	ResultPassCount with sum as ResultPassCount,
	ResultNotExecutedCount with sum as ResultNotExecutedCount,
	ResultNotImpactedCount with sum as ResultNotImpactedCount,
	ResultFailCount with sum as ResultFailCount
	))
/compute(
iif(ResultCount gt ResultNotExecutedCount, ((ResultPassCount add ResultNotImpactedCount) div cast(ResultCount sub ResultNotExecutedCount, Edm.Decimal)) mul 100, 0) as PassRate)

リリース ワークフローのテスト概要の傾向

次のクエリを使用して、リリース ワークフローに対して定義されたパイプラインのテストの概要傾向を表示します。

Power BI クエリ

次の Power BI クエリをコピーして、[データ>の空のクエリの取得] ウィンドウに直接貼り付けます。 詳細については、OData クエリを使用したサンプル レポートの概要を参照してください。

let
   Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestRuns?
$apply=filter("
                &"Pipeline/PipelineName eq '{pipelineName}' "
                &"and CompletedOn/Date ge {startdate} "
                &"and Workflow eq 'Release' "
            &") "
        &"/groupby( "
          &"(CompletedOn/Date), "
          &"aggregate( "
            &"ResultCount with sum as ResultCount, "
            &"ResultPassCount with sum as ResultPassCount, "
            &"ResultNotExecutedCount with sum as ResultNotExecutedCount, "
            &"ResultNotImpactedCount with sum as ResultNotImpactedCount, "
            &"ResultFailCount with sum as ResultFailCount "
         &")) "
       &"/compute( "
       &"iif(ResultCount gt ResultNotExecutedCount, ((ResultPassCount add ResultNotImpactedCount) div cast(ResultCount sub ResultNotExecutedCount, Edm.Decimal)) mul 100, 0) as PassRate) "
    ,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4]) 
in
    Source

OData クエリ

次の OData クエリ コードを使用して、Power BI でクエリを使用する前にクエリを変更またはテストできます。 詳細については、「 Power BI クエリと OData クエリを使用した接続」を参照してください。

https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestRuns?
$apply=filter(
	Pipeline/PipelineName eq '{pipelineName}'
	and CompletedOn/Date ge {startdate})
/groupby((Workflow, CompletedOn/Date), 
	aggregate(
	ResultPassCount with sum as ResultPassCount,
	ResultNotExecutedCount with sum as ResultNotExecutedCount,
	ResultCount with sum as ResultCount,
	ResultNotImpactedCount with sum as ResultNotImpactedCount,
	ResultFailCount with sum as ResultFailCount))
/compute(
iif(ResultCount gt ResultNotExecutedCount, ((ResultPassCount add ResultNotImpactedCount) div cast(ResultCount sub ResultNotExecutedCount, Edm.Decimal)) mul 100, 0) as PassRate)

分岐でフィルター処理されたテストの概要傾向

特定のブランチのパイプラインのテスト概要傾向を表示するには、次のクエリを使用します。 レポートを作成するには、この記事の後半で指定されているものと共に、次の追加手順を実行します。

• 次に展開します Branch 。 Branch.BranchName
• Power BI 視覚化スライサーを選択し、スライサーのフィールドにフィールドBranch.BranchNameを追加します
• 結果の概要を表示する必要があるスライサーからブランチ名を選択します。

スライサーの使用の詳細については、「Power BI のスライサー」を参照してください。

Power BI クエリ

次の Power BI クエリをコピーして、[データ>の空のクエリの取得] ウィンドウに直接貼り付けます。 詳細については、OData クエリを使用したサンプル レポートの概要を参照してください。

let
   Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestRuns?
$apply=filter("
                &"Pipeline/PipelineName eq '{pipelineName}' "
                &"and CompletedOn/Date ge {startdate} "
                &"and Workflow eq 'Build' "
            &") "
        &"/groupby((Branch/BranchName, CompletedOn/Date), "
          &"aggregate( "
            &"ResultCount with sum as ResultCount, "
            &"ResultPassCount with sum as ResultPassCount, "
            &"ResultNotExecutedCount with sum as ResultNotExecutedCount, "
            &"ResultNotImpactedCount with sum as ResultNotImpactedCount, "
            &"ResultFailCount with sum as ResultFailCount "
         &")) "
       &"/compute( "
       &"iif(ResultCount gt ResultNotExecutedCount, ((ResultPassCount add ResultNotImpactedCount) div cast(ResultCount sub ResultNotExecutedCount, Edm.Decimal)) mul 100, 0) as PassRate) "
    ,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4]) 
in
    Source

OData クエリ

次の OData クエリ コードを使用して、Power BI でクエリを使用する前にクエリを変更またはテストできます。 詳細については、「 Power BI クエリと OData クエリを使用した接続」を参照してください。

https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestRuns?
$apply=filter(
	Pipeline/PipelineName eq '{pipelineName}'
	and CompletedOn/Date ge {startdate}
	and Workflow eq 'Build')
/groupby((Branch/BranchName, CompletedOn/Date), 
	aggregate(
	ResultPassCount with sum as ResultPassCount,
	ResultNotExecutedCount with sum as ResultNotExecutedCount,
	ResultCount with sum as ResultCount,
	ResultNotImpactedCount with sum as ResultNotImpactedCount,
	ResultFailCount with sum as ResultFailCount))
/compute(
iif(ResultCount gt ResultNotExecutedCount, ((ResultPassCount add ResultNotImpactedCount) div cast(ResultCount sub ResultNotExecutedCount, Edm.Decimal)) mul 100, 0) as PassRate)

テスト ファイルでフィルター処理されたテストの概要傾向

特定のテスト ファイルのパイプラインのテスト概要傾向を表示するには、次のクエリを使用します。 レポートを作成するには、この記事の後半で定義されているものと共に、次の追加手順を実行します。

• 次に展開します Test 。 Test.ContainerName
• Power BI 視覚化スライサーを選択し、スライサーのフィールドにフィールドTest.ContainerNameを追加します
• 結果の概要を表示する必要があるスライサーからコンテナー名を選択します。

Power BI クエリ

次の Power BI クエリをコピーして、[データ>の空のクエリの取得] ウィンドウに直接貼り付けます。 詳細については、OData クエリを使用したサンプル レポートの概要を参照してください。

let
   Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestRuns?
$apply=filter("
                &"Pipeline/PipelineName eq '{pipelineName}' "
                &"and CompletedOn/Date ge {startdate} "
                &"and Workflow eq 'Build' "
            &") "
        &"/groupby((Test/ContainerName, Date/Date), "
          &"aggregate( "
            &"ResultCount with sum as ResultCount, "
            &"ResultPassCount with sum as ResultPassCount, "
            &"ResultNotExecutedCount with sum as ResultNotExecutedCount, "
            &"ResultNotImpactedCount with sum as ResultNotImpactedCount, "
            &"ResultFailCount with sum as ResultFailCount "
         &")) "
       &"/compute( "
       &"iif(ResultCount gt ResultNotExecutedCount, ((ResultPassCount add ResultNotImpactedCount) div cast(ResultCount sub ResultNotExecutedCount, Edm.Decimal)) mul 100, 0) as PassRate) "
    ,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4]) 
in
    Source

OData クエリ

次の OData クエリ コードを使用して、Power BI でクエリを使用する前にクエリを変更またはテストできます。 詳細については、「 Power BI クエリと OData クエリを使用した接続」を参照してください。

https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter(
	Pipeline/PipelineName eq '{pipelineName}'
	and CompletedOn/Date ge {startdate}
	And Workflow eq 'Build')
/groupby((Test/ContainerName, Date/Date), 
	aggregate(
	ResultPassCount with sum as ResultPassCount,
	ResultNotExecutedCount with sum as ResultNotExecutedCount,
	ResultCount with sum as ResultCount,
	ResultNotImpactedCount with sum as ResultNotImpactedCount,
	ResultFailCount with sum as ResultFailCount))
/compute(
iif(ResultCount gt ResultNotExecutedCount, ((ResultPassCount add ResultNotImpactedCount) div cast(ResultCount sub ResultNotExecutedCount, Edm.Decimal)) mul 100, 0) as PassRate)

テスト所有者によってフィルター処理されたテストの概要傾向

特定のテスト所有者が所有するテストのパイプラインのテスト概要傾向を表示するには、次のクエリを使用します。 レポートを作成するには、この記事の後半で定義されているものと共に、次の追加手順を実行します。

• 次に展開します Test 。 Test.TestOwner
• Power BI 視覚化スライサーを選択し、スライサーのフィールドにフィールドTest.TestOwnerを追加します
• 結果の概要を表示する必要があるスライサーからテスト所有者を選択します。

Power BI クエリ

次の Power BI クエリをコピーして、[データ>の空のクエリの取得] ウィンドウに直接貼り付けます。 詳細については、OData クエリを使用したサンプル レポートの概要を参照してください。

let
   Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestRuns?
$apply=filter("
                &"Pipeline/PipelineName eq '{pipelineName}' "
                &"and CompletedOn/Date ge {startdate} "
                &"and Workflow eq 'Build' "
            &") "
        &"/groupby((Test/TestOwner, Date/Date), "
          &"aggregate( "
            &"ResultCount with sum as ResultCount, "
            &"ResultPassCount with sum as ResultPassCount, "
            &"ResultNotExecutedCount with sum as ResultNotExecutedCount, "
            &"ResultNotImpactedCount with sum as ResultNotImpactedCount, "
            &"ResultFailCount with sum as ResultFailCount "
         &")) "
       &"/compute( "
       &"iif(ResultCount gt ResultNotExecutedCount, ((ResultPassCount add ResultNotImpactedCount) div cast(ResultCount sub ResultNotExecutedCount, Edm.Decimal)) mul 100, 0) as PassRate) "
    ,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4]) 
in
    Source

OData クエリ

次の OData クエリ コードを使用して、Power BI でクエリを使用する前にクエリを変更またはテストできます。 詳細については、「 Power BI クエリと OData クエリを使用した接続」を参照してください。

https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter(
	Pipeline/PipelineName eq '{pipelineName}'
	and CompletedOn/Date ge {startdate}
	And Workflow eq 'Build')
/groupby((Test/TestOwner, Date/Date), 
	aggregate(
	ResultPassCount with sum as ResultPassCount,
	ResultNotExecutedCount with sum as ResultNotExecutedCount,
	ResultCount with sum as ResultCount,
	ResultNotImpactedCount with sum as ResultNotImpactedCount,
	ResultFailCount with sum as ResultFailCount))
/compute(
iif(ResultCount gt ResultNotExecutedCount, ((ResultPassCount add ResultNotImpactedCount) div cast(ResultCount sub ResultNotExecutedCount, Edm.Decimal)) mul 100, 0) as PassRate)

置換文字列とクエリの内訳

次の文字列を実際の値に置き換えます。 置換に角かっこを {} 含めないでください。 たとえば、組織名が "Fabrikam" の場合は、 ではなく {Fabrikam}を にFabrikam置き換えます{organization}。

• {organization} - 組織名
• {project} - チーム プロジェクト名
• {pipelinename} - パイプライン名。 例: Fabrikam の時間単位のビルド パイプライン
• {startdate} レポートを開始する日付。 形式: YYYY-MM-DDZ。 例: 2023-01-01Z は、2023 年 1 月 1 日の 12:50:54 を表します。 引用符または角かっこで囲む必要はありません。

クエリの内訳

次の表では、クエリの各部分について説明します。

クエリ パーツ

説明

$apply=filter(

Start filter() 句。

Pipeline/PipelineName eq '{pipelineName}'

指定したパイプラインのテスト実行を返します。

and CompletedOn/Date ge {startdate}

指定した日付以降にテストが実行されます。

and Workflow eq 'Build'

ワークフローを使用してパイプラインのテスト実行を Build 返す

)

Close filter() 句

/groupby(

Start groupby() 句。

(CompletedOn/Date),

テストの実行が完了した日付でグループ化します。

aggregate(

Start aggregate 句。 フィルター条件に一致するすべてのテスト実行について、一連のカウントを合計します。

ResultCount with sum as ResultCount,

テスト実行の合計数を次のように ResultCountカウントします。

ResultPassCount with sum as ResultPassCount,

成功したテスト実行の合計数を次のように ResultPassCountカウントします。

ResultNotExecutedCount with sum as ResultNotExecutedCount,

未実行のテスト実行の合計数を次のように ResultNotExecutedCountカウントします。

ResultNotImpactedCount with sum as ResultNotImpactedCount

影響を受けなかったテスト実行の合計数を次のように ResultNotImpactedCountカウントします。

ResultFailCount with sum as ResultFailCount

失敗したテスト実行の合計数を次のように ResultFailCountカウントします。

))

groupby()閉じてaggregate()句を指定します。

/compute(

Start compute() 句。

iif(ResultCount gt ResultNotExecutedCount, ((ResultPassCount add ResultNotImpactedCount) div cast(ResultCount sub ResultNotExecutedCount, Edm.Decimal)) mul 100, 0) as PassRate

すべての日について、計算 PassRateします。

)

Close compute() 句。

(省略可能)クエリの名前を変更する

既定のクエリ ラベル Query1 の名前を、より意味のある名前に変更できます。 [ クエリ設定] ペインから新しい名前を入力するだけです。

Power BI で CompletedOn 列を展開する

列を CompletedOn 展開します。 列を展開すると、レコードが特定のフィールドにフラット化されます。 方法については、「Analytics データを変換して Power BI レポートを生成する」の「列を展開する」を参照してください。

列のデータ型を変更する

Power Query エディターから列をPassRate選択し、[変換] メニューから [データ型] を選択し、[10 進数] を選択します。

データ型の変更の詳細については、「 Analytics データを変換して Power BI レポートを生成する」の「列データ型の変換」を参照してください。

クエリを閉じて変更を適用する

すべてのデータ変換が完了したら、[ホーム] メニューから [閉じる] & [適用] を選択してクエリを保存し、Power BI の [レポート] タブに戻ります。

折れ線グラフと積み上げ縦棒グラフ レポートを作成する

1. Power BI の [視覚化] で、折れ線グラフと積み上げ縦棒グラフを選択し、フィールドをグラフ領域にドラッグ アンド ドロップします。

   

2. X 軸に追加CompletedOn.Dateし、フィールドを右クリックし、日付階層ではなく Date.Date を選択します。

3. 列 y 軸に追加ResultFailCountします。

4. 線 y 軸に追加PassRateします。

レポートは次の図のようになります。

タスク リソースのテスト

• Visual Studio テスト タスクを使用してテストを並列で実行する
• テスト ランナーに対して並列でテストを実行する
• テスト影響分析 (TIA) を使用してテストを高速化する
• 不安定なテストを管理する
• UI テストの考慮事項
• Azure Load Testing
• Azure Pipelines タスク リファレンス、テスト タスク

関連記事

• Analytics の OData クエリを作成する
• Azure Pipelines のメタデータ リファレンス
• サンプル レポートとクイック リファレンス インデックス