テスト分析

Azure DevOps Services | Azure DevOps Server 2022 - Azure DevOps Server 2019

テスト品質を経時的に追跡し、テスト関連情報を改善することは、正常な DevOps パイプラインを維持する上で不可欠です。 テスト分析では、ビルドとリリースのテスト データをほぼリアルタイムで可視化できます。 繰り返し発生する影響の大きい品質上の問題を特定することで、パイプラインの効率を向上させることができます。

注意

現在、テスト分析は Azure Pipelines でのみ使用できます。

テスト レポートの用語については、用語集を参照してください。

必要に応じて、Analytics 拡張機能をインストールします。

詳細については、Analytics Marketplace 拡張機能に関するページを参照してください。

ビルドのテスト分析を表示する

チームが頻繁または断続的に失敗するテストを見つけて修正するには、失敗数が上位のテストのレポートを使用します。 ビルドの概要には、このレポートをホストする [分析] ページが含まれています。 最上位ビューには、選択したビルド パイプラインについて、指定期間のテスト合格率と結果の概要が表示されます。 既定の範囲は 14 日間です。

リリースのテスト分析を表示する

リリースの一部として実行されるテストの場合は、右上隅にある [分析] リンクからテスト分析にアクセスします。 ビルドと同様に、概要には、指定期間のテスト合格率と結果の集計ビューが表示されます。

テスト不合格

ビルドまたはリリースの概要を開いて、失敗数が上位のテストのレポートを表示します。 このレポートでは、パイプライン内の失敗数が上位のテストと、エラーの詳細を表示します。

詳細ビューには、次の 2 つのセクションが含まれています。

• [概要]: ビルドまたはリリースで指定期間中に実行されたテストの主要な定量的メトリックを提供します。 既定のビューには、14 日間のデータが表示されます。

  • 合格率と結果: 合格率と、さまざまな結果にわたるテストの分布が表示されます。

    

  • 失敗したテスト: 指定期間中に失敗したテストの件数を示します。 前の例では、124 個のテストから 986 個のテストが失敗しています。

    

  • グラフ ビュー: 指定期間における日単位のテスト失敗の合計数と平均合格率の推移。

    

• [結果]: 失敗の合計数に基づいて、失敗数が上位のテストの一覧。 問題のあるテストを特定し、結果の詳細な概要を掘り下げることができます。

  

テスト エラーをグループ化する

グループ化オプションを使用すると、レポート ビューをいくつかの方法で整理できます。 テスト結果をグループ化すると、失敗数が上位のテストのさまざまな側面について詳細な分析情報を得ることができます。 次の例では、テスト結果は、そのテスト ファイルが属するテスト ファイルに基づいてグループ化されています。 指定期間中のテスト ファイルと、テスト エラーの合計に対するそれぞれの寄与の度合いが表示され、次のステップの特定と優先順位付けを容易にします。 さらに、各テスト ファイルに対して、これらのエラーの原因となるテストを示します。

個々のテストをドリルダウンする

[詳細] セクションで 1 つ以上のテストを特定したら、分析する個々のテストを選択します。 このアクションは、選択したテストのドリルダウン ビューと、指定した期間の各日のテストの合格または不合格のインスタンスなどのさまざまな結果の積み上げグラフを提供します。 このビューは隠れたパターンを推論し、それに応じてアクションを実行するのに役立ちます。

対応するグリッド ビューには、その期間中に選んだテスト実行インスタンスがすべて一覧表示されます。

エラー分析

根本原因のエラー分析を実行するには、ドリルダウン ビューで 1 つ以上のテスト実行インスタンスを選び、コンテキストでエラーの詳細を表示します。

隠れたパターンを推論する

実行の 1 つのインスタンスのテストの失敗を見ても、多くの場合はパターンを推測することは困難です。 次の例は、テストの失敗が特定の期間に発生し、調査の範囲を絞り込むのに役立ちます。

別の例は、非決定論的な動作を示すテストです (多くの場合、信頼不能テストと呼ばれます)。 テスト実行の個々のインスタンスを見ても、動作に関する有意義な分析情報が得られない場合があります。 ただし、一定期間のテスト実行の傾向を観察することで隠れたパターンを推定し、エラーを解決するのに役立てることができます。

レポートの情報源

テスト分析の情報源は、ビルドまたはリリース パイプラインの一連の公開されたテスト結果です。 これらの結果は、テスト分析が提供する豊富な分析情報に基づいて一定期間にわたって蓄積されます。

ヘルプとサポート

• トラブルシューティング ページを参照してください。
• Stack Overflow に関するアドバイスを受け取り、Developer Community を介してサポートを受ける