次の方法で共有


テスト チームの進捗 Excel レポート

ソフトウェアのテストを担当するチームは、テスト チームの進捗レポートを使用してテスト アクティビティの監視を行い、テストの作成、テストの自動化、および回帰テストの実行におけるチームの進捗状況をレポートすることができます。テスト チームの進捗レポートには、次の 6 つのレポートがあります。これらのレポートは、チーム プロジェクト用に定義されたテスト ケース用に収集されたデータとテスト結果に基づいて生成されます。

  • テスト計画の進行状況: チームによるテスト作業の進捗状況と、テスト動作を予定どおりに終了できるかどうかを判断する場合に使用します。

  • テスト ケースの作成状態: チームによるテスト ケース定義作業の進捗状況を追跡し、テスト ケースを実行できるかどうかを判断する場合に使用します。

  • スイート別のテストの状態: 各テスト スイートにおけるチームのテスト作業の進捗状況を判断する場合に使用します。

  • 領域別のテストの状態: 各製品区分におけるチームのテスト作業の進捗状況を判断する場合に使用します。

  • 失敗の分析: テスト中に検出された回帰の数を監視する場合に使用します。

  • オートメーション デザインの状態: 自動化が必要なテスト ケースの数を追跡する場合に使用します。

このテスト チームの進捗レポートは、チーム内でテスト計画を作成し、Microsoft Test Manager を使用してテストを開始してから使用できるようになります。詳細については、「アプリケーションのテスト」を参照してください。

[!メモ]

チーム エクスプローラーのチーム プロジェクト用の [Excel レポート] フォルダーにある [テスト チーム管理] フォルダーから、テスト チームの進捗レポートにアクセスできます。このフォルダーにアクセスできるのは、チーム プロジェクト ポータルが有効に設定され、SharePoint 製品を使用するようにプロビジョニングされている場合だけです。詳細については、「チーム プロジェクト ポータルまたはプロセス ガイダンスへのアクセス」を参照してください。

このトピックの内容

  • レポートのデータ

  • テスト チームの進捗状況の監視に必要なアクティビティ

  • レポートの更新とカスタマイズ

関連トピック

必要なアクセス許可

レポートを表示するには、チーム プロジェクトの SharePoint 製品に対する [読み取り] アクセス許可が割り当てられているグループに割り当てられているか、そのグループに属している必要があります。

レポートを変更またはカスタマイズするには、SQL Server Analysis Services の TfsWarehouseDataReaders セキュリティ ロールのメンバーである必要があります。また、チーム プロジェクトの SharePoint 製品に対する [メンバー] アクセス許可が割り当てられているグループに割り当てられているか、そのグループに属している必要があります。詳細については、「Visual Studio ALM 用データ ウェアハウスのデータベースへのアクセスの許可」および「アクセス許可の管理」を参照してください。

レポートのデータ

テスト チームのプロジェクト レポートには、データ ウェアハウス内のデータを参照するピボットテーブル レポートに基づくデータが表示されます。このレポートのデータは、チームのメンバーが Microsoft Test Manager を使用してテスト ケースを定義し、テストを実行するときに生成される結果から派生します。詳細については、「Microsoft テスト マネージャーでのテストの実行」および「Microsoft テスト マネージャーでのテスト結果の確認」を参照してください。

Ee730420.collapse_all(ja-jp,VS.110).gifテスト ケースの作成とオートメーション デザインの状態

テスト チーム内でテスト ケースの作成状態レポートを使用することにより、テスト ケースの定義と設計作業の進行状況を監視できます。このレポートには、過去 4 週間以内にデザイン状態および準備状態だったテスト ケースの数がバーンダウン グラフで表示されます。

テスト ケース編集 Excel レポート

テスト チーム内でオートメーション デザインの状態レポートを使用することにより、テスト ケースの自動化作業の進行状況を監視できます。このレポートには、過去 6 週間以内に自動化状態に移行したテスト ケースの数がバーンダウン グラフで表示されます。

オートメーション デザインの状態 Excel レポート

テスト ケースの作成状態レポートとオートメーション デザインの状態レポートを生成するピボットテーブル レポートで使用されるレポート フィルターとレポート フィールドを、次の表に示します。

フィルター

フィールド

  • チーム プロジェクト - チーム プロジェクト階層: 選択されたチーム プロジェクト用に定義された作業項目を抽出します。

  • 作業項目 - 作業項目.イテレーション階層: 選択されたイテレーション パスに割り当てられた作業項目を抽出します。

  • 作業項目 - 作業項目.区分階層: 選択された製品区分に割り当てられた作業項目を抽出します。

  • 作業項目 - 作業項目.作業項目の種類: 選択された作業項目だけを抽出します。テスト ケースの作成状態レポートとオートメーション デザインの状態レポートの場合、テスト ケースが選択されます。

  • (メジャー) 作業項目 - 作業項目数: 作業項目の数を表示します。レポートはこのフィールドを使用して、指定された状態のすべての作業項目をカウントします。

  • 日付 - 設定 - 過去 6 週間以内: アクティビティを報告する間隔を表示します。

テスト ケースの作成状態レポート専用フィールド:

  • 作業項目 - 状態: テスト ケースの状態を表示します。レポートはこのフィールドを使用して列のラベルを定義し、デザイン状態と準備完了状態のテスト ケースのフィルター処理を行います。

オートメーション デザインの状態レポート専用フィールド:

  • 作業項目 - Microsoft.VSTS.TCM - 自動化されている: テスト ケースの自動化の状態を表示します。レポートはこのフィールドを使用して、列のラベルを [自動] 状態または [自動化なし] 状態として定義します。

Ee730420.collapse_all(ja-jp,VS.110).gifテスト計画の進行状況

テスト計画の進行状況レポートには、すべてのテスト ケースのテスト結果が積み上げ面グラフで表示されます。このレポートでは、テスト結果は最後に記録された結果でグループ化され、過去 4 週間のデータが示されます。結果には、実行しないブロック失敗、および成功があります。

テスト計画の進行状況レポート

このレポートを確認することにより、スプリントやイテレーションなどの期間におけるチーム作業の進行状況を把握できます。たとえば、次のような状況をチーム内で確認できます。

  • チームによるテスト作業はどの程度完了しているか。

  • チームがテストを時間どおりに完了できるか。

  • 実行予定のテストの残り件数。

  • 成功しているテストの件数。

  • 失敗しているテストの件数。

  • ブロックされているテストの件数。

Ee730420.collapse_all(ja-jp,VS.110).gifテスト スイート別または製品区分別のテスト結果

スイート別のテストの状態レポートと領域別のテストの状態レポートには、記録されたテスト結果を基に、すべてのテスト ケースに対して収集されたすべてのテスト結果のカウントが一覧表示されます。このテスト結果は、テスト スイート別または製品区分別にグループ化されます。テスト結果の状態には、実行しないブロック失敗、または成功があります。

チーム内でこれらのレポートを使用することにより、高い失敗件数を示すテスト結果や実行されなかったテスト ケースのテスト スイートまたは製品区分を調査することができます。

Ee730420.collapse_all(ja-jp,VS.110).gif回帰テスト

テスト チームで失敗の分析レポートを使用すると、検出された回帰の数を監視するのに役立ちます。回帰とは、以前のバージョンのソフトウェアでは出現せず、テスト対象のバージョンのソフトウェアでは出現したバグです。回帰テストを実行するチームは、新しいバージョンのソフトウェアにのみ出現するバグを検出することに重点を置きます。

失敗の分析レポートには、失敗したすべてのテスト結果の累積数が積み上げ面グラフで表示されます。このレポートでは、すべてのテスト ケースおよびテスト構成について結果が失敗の種類でグループ化され、過去 6 週間の結果が示されます。失敗の種類には、回帰なし新しい問題、および既知の問題があります。

失敗の分析 Excel レポート

失敗が発生した場合、システムはテスト ケースが実行された各テスト構成を検証し、このテスト ケースに対して同じ構成の過去の結果を識別しようとします。テスト ケースまたはテスト構成に割り当てられる失敗の種類は、次の基準に基づいて指定されます。

  • 回帰: 直前の結果が "成功" だった場合。

  • なし: 直前の結果が "成功" または "失敗" 以外だった場合。

  • 新しい問題: 直前の結果が見つからない場合。

  • 既知の問題: 直前の結果が "失敗" だった場合。

このレポートをレビューして、次の事項を確認できます。

  • 全体でいくつのテストが回帰しているか。

  • チームは回帰または失敗したテストの総数を想定の範囲内またはチームのゴール内に抑えているか。

  • チームは問題を特定してからすぐにその問題に対処しているか。既知の問題に適時に対処しているか。

正常な失敗の分析レポートには、適度な数の新しい問題、既知の問題、および回帰が示されます。これらの区分の 1 つ以上でスパイクが発生した場合、チームはこの問題をさらに詳しく調査する必要があります。スパイクの発生は、チームがチェックインしているテスト動作またはコード品質のいずれかの問題を示している可能性があります。また、最新のビルドの状態、バグの状態、およびコード チャーンをチーム内で確認し、これらの要因の測度によってテスト動作の線が変化したのかどうかを判断することをお勧めします。

Ee730420.collapse_all(ja-jp,VS.110).gifレポート フィルターとレポート フィールド

テスト計画の進行状況レポート、スイート別のテストの状態レポート、領域別のテストの状態レポート、および失敗の分析レポートを生成するピボットテーブルで使用されるレポート フィルターとレポート フィールドを、次の表に示します。

フィルター

フィールド

  • チーム プロジェクト - チーム プロジェクト階層: 選択されたチーム プロジェクト用に収集されたテスト結果を抽出します。

  • テスト結果 - イテレーション階層: 選択されたイテレーションに割り当てられたテスト ケースから実行されたテスト結果を抽出します。

  • テスト結果 - テスト計画の名前: 選択されたテスト計画に属するテスト ケースから実行されたテスト結果を抽出します。

テスト計画の進行状況レポート専用フィルター:

  • テスト結果 - 区分階層: 選択された製品区分に割り当てられたテスト ケースから実行されたテスト結果を抽出します。

  • テスト スイート - テスト スイート階層: 選択されたテスト スイートに属するテスト ケースから実行されたテスト結果を抽出します。

スイート別のテストの状態レポート専用フィルター:

  • テスト結果 - 区分階層: 選択された製品区分に割り当てられたテスト ケースから実行されたテスト結果を抽出します。

失敗の分析レポート専用フィルター:

  • テスト結果 - 区分階層: 選択された製品区分に割り当てられたテスト ケースから実行されたテスト結果を抽出します。

  • テスト スイート - テスト スイート階層: 選択されたテスト スイートに属するテスト ケースから実行されたテスト結果を抽出します。

  • テスト結果 - 結果: 選択された結果に該当するテスト結果を抽出します。レポートはこのフィールドを使用してテスト結果カウントのフィルター処理を行い、"失敗" という状態のテスト結果だけを抽出します。

  • テスト結果 - 結果: テストの結果を表示します。レポートはこのフィールドを使用して列のラベルを定義し、"成功"、"失敗"、"ブロック"、"実行しない" という各結果によってテスト結果のフィルター処理を行います。

  • (メジャー) テスト - ポイント数の傾向: 特定のビルドにおける各テスト結果の最新バージョンをカウントします。1 つのビルドに対してテストを複数回実行した場合、このビルドを使用するテストの最新の結果が "ポイント数の傾向" フィールドによってカウントされます。対象のビルド内にテスト ケースが含まれていない場合は、"実行しない" テスト ケースとしてカウントされます。

テスト計画の進行状況レポート専用フィールド:

  • 日付 - 設定 - 過去 6 週間以内: アクティビティを報告する間隔を表示します。

スイート別のテストの状態レポート専用フィールド:

  • テスト スイート - テスト スイート階層: レポート内に一覧表示されるテスト スイートを表示します。

領域別のテストの状態レポート専用フィールド:

  • テスト結果 - 区分階層: 実行されたテスト ケースに割り当てられた区分パスに基づいて、テスト結果のセットをレポート上に表示します。

失敗の分析レポート専用フィールド:

  • テスト結果 - エラーの種類: レポートはこのフィールドを使用して、レポート内の列をビルドします。

  • 日付 - 設定 - 過去 6 週間以内: アクティビティを報告する間隔を表示します。

テスト チームの進捗状況の監視に必要なアクティビティ

正確で効果的なテスト チームの進捗レポートを生成するには、次のアクティビティをチーム内で実行する必要があります。

  • テスト ケースとテスト計画を定義し、テスト ケースをテスト計画に割り当てます。詳細については、「テスト計画の定義」を参照してください。

  • テストを実行します。詳細については、「Microsoft テスト マネージャーでのテストの実行」を参照してください。

  • 手動テストの場合は、テスト ケースの各検証手順の結果を、成功または失敗としてマークします。

    重要 : 重要

    テスト担当者は、テスト ステップが検証テスト ステップである場合、そのことを示す状態でマークする必要があります。テスト ケース全体の結果には、テスト担当者がマークしたすべてのテスト ステップの状態が反映されます。したがって、テスト担当者がテスト ステップを失敗とマークしている場合、または何もマークしていない場合、テスト ケースは失敗の状態になっています。

    自動テストの場合は、各テスト ケースは成功または失敗として自動的にマークされます。

  • (省略可能) レポートを製品区分とイテレーションでフィルター処理する場合は、各テスト ケースの区分パスとイテレーション パスを指定します。

正確で効果的なテスト ギャップ レポートを作成するには、次の表に示すアクティビティをチーム内で実行する必要があります。

ワークシート レポート

必要なアクティビティ

  • テスト ケースの作成状態

  • オートメーション デザインの状態

  • テスト ケースを定義し、テスト ケースの [状態][デザイン] から [準備完了] に更新します。

  • オートメーション デザインの状態

  • テスト計画の進行状況

  • スイート別のテストの状態

  • 領域別のテストの状態

  • 失敗の分析

  • テスト ケースの作成状態

  • オートメーション デザインの状態

  • テスト計画の進行状況

  • スイート別のテストの状態

  • 領域別のテストの状態

  • 失敗の分析

  • (省略可能) フィルター処理をサポートするには、イテレーション パスと区分パスを各テスト ケースに割り当てます。[テスト結果 - イテレーション階層] フィールドと [テスト結果 - 区分階層] フィールドの値は、対応するテスト ケースに割り当てられているイテレーション パスと区分パスから取得されます。

レポートの更新とカスタマイズ

テスト チームの進捗レポートを更新する場合は、レポートを Office Excel で開き、いずれかのワークシートに対してピボットテーブル レポートのフィルター オプションを変更します。各レポートは、次の表に示すとおり、他のビューをサポートするようにカスタマイズできます。

ビュー

アクション

  • イテレーションの作成状態とオートメーション状態

  • イテレーションのテスト計画の進行状況とテスト結果

  • イテレーションの回帰テスト

Iteration のフィルターを変更します (既定 = すべて)。

  • 製品区分の作成状態とオートメーション状態

  • 製品区分のテスト計画の進行状況とテスト結果

  • 製品区分の回帰テスト

Area のフィルターを変更します (既定 = すべて)。

  • 選択されたテスト計画の進行状況とテスト結果

  • 選択されたテスト計画の回帰テスト

  • 選択されたテスト計画の失敗分析

Test Plan のフィルターを変更します (既定 = すべて)。

  • 過去 8 週間、10 週間、またはそれ以上の期間の作成状態とオートメーション状態

  • 過去 8 週間、10 週間、またはそれ以上の期間のテスト計画の進行状況

  • 過去 8 週間、10 週間、またはそれ以上の期間のイテレーション失敗分析の回帰テスト

列の [ピボットテーブルのフィールド リスト] で、@@Last 6 weeks@@ を別の Set に置き換えます。

ピボットテーブル レポートおよびピボットグラフ レポートの使用とカスタマイズの方法の詳細については、Microsoft Web サイトの次のページを参照してください。

参照

概念

区分およびイテレーションの作成および修正

その他の技術情報

テスト管理レポート

Excel レポート (アジャイル)

Excel レポート (CMMI)