テスト ギャップ Excel レポート (CMMI)

ソフトウェアのテストを担当するチームは、テスト ギャップ レポートを使用して、テスト計画、テスト構成、およびテスト カバレッジに不備がないかどうかを判断することができます。テスト ギャップ レポートには、次の 5 つのレポートがあります。これらのレポートは、チーム プロジェクト用に定義および実行されたビルドとテスト結果に基づいて生成されます。

• 要件の状態: 各要件について、テスト カバレッジの矛盾点を特定する場合に使用します。このレポートを使用するチーム メンバーは、テスト ケースを要件にリンクする必要があります。

• 構成別の要件の状態: 各要件における各テスト構成について、テスト カバレッジの矛盾点を特定する場合に使用します。このレポートを使用するチーム メンバーは、テスト ケースを要件にリンクする必要があります。

• 領域別のテストの状態: 製品区分のテスト カバレッジの矛盾点を特定する場合に使用します。このレポートを使用するチーム メンバーは、テスト ケースを製品区分に割り当てる必要があります。

• 実行されていないテスト: 各テスト構成に対してこれまでに実行されていないテスト ケースを特定する場合に使用します。

• コード カバレッジ: コード カバレッジ率が高い (または低い) ビルドとビルド アセンブリを特定する場合に使用します。

最初の 4 つのレポートは、チーム内でテスト計画を作成し、Microsoft Test Manager を使用してテストを開始してから使用できるようになります。テスト スイートおよびテスト計画を定義する方法の詳細については、「テスト スイートを使用したテスト ケースの整理」を参照してください。

[!メモ]

チーム エクスプローラーのチーム プロジェクト用の [Excel レポート] フォルダーにある [テスト チーム管理] フォルダーから、テスト ギャップ レポートにアクセスできます。このフォルダーにアクセスできるのは、チーム プロジェクト ポータルが有効に設定され、SharePoint 製品を使用するようにプロビジョニングされている場合だけです。詳細については、「チーム プロジェクト ポータルまたはプロセス ガイダンスへのアクセス」を参照してください。

このトピックの内容 レポートのデータ テスト ギャップの監視に必要なアクティビティ レポートの更新とカスタマイズ

関連トピック ビルドの品質評価 Excel レポート テスト チームの進捗 Excel レポート テスト チームの生産性 Excel レポート

必要なアクセス許可

レポートを表示するには、チーム プロジェクトの SharePoint 製品に対する [読み取り] アクセス許可が割り当てられているグループに割り当てられているか、そのグループに属している必要があります。

レポートを変更またはカスタマイズするには、SQL Server Analysis Services の TfsWarehouseDataReaders セキュリティ ロールのメンバーである必要があります。また、チーム プロジェクトの SharePoint 製品に対する [メンバー] アクセス許可が割り当てられているグループに割り当てられているか、そのグループに属している必要があります。詳細については、「Visual Studio ALM 用データ ウェアハウスのデータベースへのアクセスの許可」および「アクセス許可の管理」を参照してください。

レポートのデータ

テスト ギャップ レポートには、チーム プロジェクト用に定義されたテスト計画、テスト構成、およびテスト ケースに対するテスト結果の累積値が表示されます。どのレポートも、データ ウェアハウス内のデータを参照するピボットテーブルに基づいて作成されます。

要件のテスト カバレッジ

要件の状態レポートには、各要件について成功したテストの数と、失敗したテストの数がそれぞれ表示されます。このレポートには、チームが各要件用に定義したテスト ケースとテスト構成の組み合わせごとの結果数を示す横棒グラフが表示されます。このレポートには、要件にリンクされたすべてのテスト ケースに対して実行されたテスト結果の累積値が表示されます。また、テスト結果を結果 ("成功" (緑)、"失敗" (赤)、"実行しない" (青)、または "ブロック" (黄色)) でフィルター処理して表示することができます。

構成別の要件の状態レポートには、各要件のテスト結果がテスト構成別にグループ化されて表示されます。

要件のテスト カバレッジに関するレポートを生成するピボットテーブルで使用されるレポート フィルターとレポート フィールドを、次の表に示します。

フィルター

フィールド

チーム プロジェクト - チーム プロジェクト階層: 選択されたチーム プロジェクト用に収集されたテスト結果を抽出します。 テスト結果 - イテレーション階層: 選択されたイテレーションに割り当てられたテスト ケースから実行されたテスト結果を抽出します。 テスト結果 - 区分階層: 選択された製品区分に割り当てられたテスト ケースから実行されたテスト結果を抽出します。 テスト結果 - テスト計画の名前: 選択されたテスト計画に属するテスト ケースから実行されたテスト結果を抽出します。 リンクされた作業項目 - リンクされた作業項目.作業項目の種類: 選択された作業項目にリンクされたテスト ケースから実行されたテスト結果を抽出します。テスト ケースが要件にリンクされている場合のみ、テスト ケースに対するテスト結果がレポート上で集計されます。 構成別の要件の状態レポート専用フィルター: テスト スイート - テスト スイート階層: 選択されたテスト スイートに属するテスト ケースから実行されたテスト結果を抽出します。

テスト結果 - 結果: テストの結果を表示します。レポートはこのフィールドを使用して列のラベルを定義し、"成功"、"失敗"、"ブロック"、"実行しない" という各結果によってテスト結果のフィルター処理を行います。 (メジャー) テスト - ポイント数の傾向: 特定のビルドにおける各テスト結果の最新バージョンをカウントします。1 つのビルドに対してテストを複数回実行した場合、このビルドを使用するテストの最新の結果が [ポイント数の傾向] フィールドによってカウントされます。 作業項目リンク - タイトル: テスト ケースにリンクされている作業項目のタイトルを表示します。このレポートの場合、要件のタイトルは一覧表示されます。 構成別の要件の状態レポート専用フィールド: テスト構成 - 構成名: レポート内で一覧表示されるテスト構成の名前を表示します。

製品区分別のテスト カバレッジ

領域別のテストの状態レポートには、チーム プロジェクトで成功したテスト ケースの数と失敗したテスト ケースの数が製品区分別に表示されます。領域別のテストの状態レポートを生成するピボットテーブルで使用されるレポート フィルターとレポート フィールドを、次の表に示します。

フィルター	フィールド
チーム プロジェクト - チーム プロジェクト階層: 選択されたチーム プロジェクト用に収集されたテスト結果を抽出します。 テスト結果 - イテレーション階層: 選択されたイテレーションに割り当てられたテスト ケースから実行されたテスト結果を抽出します。 テスト結果 - テスト計画の名前: 選択されたテスト計画に属するテスト ケースから実行されたテスト結果を抽出します。	テスト結果 - 結果: テストの結果を表示します。レポートはこのフィールドを使用して列のラベルを定義し、"成功"、"失敗"、"ブロック"、"実行しない" という各結果によってテスト結果のフィルター処理を行います。 (メジャー) テスト - ポイント数の傾向: 特定のビルドにおける各テスト結果の最新バージョンをカウントします。1 つのビルドに対してテストを複数回実行した場合、このビルドを使用するテストの最新の結果が [ポイント数の傾向] フィールドによってカウントされます。 テスト結果 - 区分階層: 実行されたテスト ケースに割り当てられた区分パスに基づいて、テスト結果のセットをレポート上に表示します。

実行されていないテスト ケース

実行されていないテスト レポートには、実行されなかったテスト ケースの数が表示されます。これらのテスト ケースは、テスト構成とテスト結果の所有者によってグループ化されます。領域別のテストの状態レポートを生成するピボットテーブルで使用されるレポート フィルターとレポート フィールドを、次の表に示します。

フィルター

フィールド

チーム プロジェクト - チーム プロジェクト階層: 選択されたチーム プロジェクト用に収集されたテスト結果を抽出します。 テスト結果 - イテレーション階層: 選択されたイテレーションに割り当てられたテスト ケースから実行されたテスト結果を抽出します。 テスト結果 - 区分階層: 選択された製品区分に割り当てられたテスト ケースから実行されたテスト結果を抽出します。 テスト結果 - テスト計画の名前: 選択されたテスト計画に属するテスト ケースから実行されたテスト結果を抽出します。 テスト スイート - テスト スイート階層: 選択されたテスト スイートに属するテスト ケースから実行されたテスト結果を抽出します。 テスト結果 - 結果: 選択された結果に基づいてテスト結果を抽出します。レポートはこのフィールドを使用してテスト ケース カウントのフィルター処理を行い、"実行しない" という結果のテスト結果だけを抽出します。

(メジャー) テスト - ポイント数の傾向: 特定のビルドにおける各テスト結果の最新バージョンをカウントします。対象のビルド内にテスト ケースが含まれていない場合は、"実行しない" テスト ケースとしてカウントされています。 テスト構成 - 構成名: レポート内で一覧表示されるテスト構成の名前を表示します。 テスト ケース - タイトル: テスト ケースのタイトルを表示します。 テスト結果 - 所有者: テストを実行したチーム メンバーの名前を表示します。

コード カバレッジ

コード カバレッジ レポートには、各ビルドとビルド アセンブリに対する対象コード行、対象外のコード行、または一部だけ対象のコード行が一覧表示されます。このレポートを使用して、コード カバレッジ率が最も高い (または最も低い) ビルドとビルド アセンブリを特定できます。コード カバレッジ レポートを生成するピボットテーブル レポートで使用されるレポート フィルターとレポート フィールドを、次の表に示します。

フィルター	フィールド
チーム プロジェクト - チーム プロジェクト階層: 選択されたチーム プロジェクト用に定義されたビルドを抽出します。 ビルド - ビルド定義名: 選択されたビルド定義に関連付けられたビルドを抽出します。	ビルド カバレッジ - カバーされた行数: 選択されたビルド内で対象となる行数を表示します。 ビルド カバレッジ - 未カバーの行数: 選択されたビルド内で対象とならなかった行数を表示します。 ビルド カバレッジ - 部分的にカバーされた行数: 選択されたビルド内で一部だけ対象となった行数を表示します。 メモ 1 つのビルドに対して複数のテストが実行された場合は、行が重複して実行されることを考慮して、複数のテスト実行のコード カバレッジを加算した数値が表示されます。 ビルド - ビルド名: ビルド名を表示します。ビルドが実行されるたびに、プレフィックスとしてビルド定義名を使用するビルド名が割り当てられます。 アセンブリ - アセンブリ: コード カバレッジの統計情報が生成されたアセンブリ名を表示します。

テスト ギャップの監視に必要なアクティビティ

正確で効果的なテスト ギャップ レポートを作成するには、次の表に示すアクティビティをチーム内で実行する必要があります。

ワークシート レポート	必要なアクティビティ
要件の状態 構成別の要件の状態 領域別のテストの状態 実行されていないテスト	テスト ケースとテスト計画を定義し、テスト ケースをテスト計画に割り当てます。詳細については、「テスト計画の定義」を参照してください。 テストを実行し、手動テストの場合は、テスト ケースの各検証手順の結果を成功または失敗としてマークします。詳細については、「Microsoft テスト マネージャーでのテストの実行」を参照してください。
要件の状態 構成別の要件の状態	要件を定義し、テスト ケースを要件にリンクします。リンクの種類は [テスト担当者] を使用することをお勧めします。
構成別の要件の状態 実行されていないテスト	テスト構成を定義し、テスト計画またはテスト スイートに割り当てます。詳細については、「テスト構成 - テスト プラットフォームの指定」を参照してください。
要件の状態 構成別の要件の状態 領域別のテストの状態 実行されていないテスト	(省略可能) フィルター処理をサポートするには、イテレーション パスと区分パスを各テスト ケースに割り当てます。[テスト結果 - イテレーション階層] フィールドと [テスト結果 - 区分階層] フィールドの値は、対応するテスト ケースに割り当てられているイテレーション パスと区分パスから取得されます。
要件の状態 構成別の要件の状態 領域別のテストの状態 実行されていないテスト コード カバレッジ	ビルド システムの設定。Team Foundation ビルドを使用するには、ビルド システムを設定する必要があります。 詳細については、「Configuring Your Build System」を参照してください。 ビルド定義の作成。いくつかのビルド定義を作成し、各ビルド定義を実行して別のプラットフォームのコードを生成できます。また、別の構成で各ビルドを実行することもできます。 詳細については、「ビルド処理の定義」を参照してください。 ビルドの一部として自動的に実行するテストの定義。ビルド定義では、ビルドの一部としてテストを実行し、テストに失敗した場合はビルドが失敗するように定義できます。 詳細については、「既定テンプレートに基づくビルド プロセスの定義」を参照してください。 コード カバレッジ データを収集するテストの設定。コード カバレッジ データをレポートに表示するために、チーム メンバーはテストをインストルメントしてそのデータを収集する必要があります。 詳細については、「テスト設定を使用したコード カバレッジの構成は使用されなくなりました」および「How to: Gather Code-Coverage Data with Generic Tests」を参照してください。 ビルドの定期的な実行。ビルドは、設定された間隔で、またはチェックインが行われるたびに実行できます。スケジュール トリガーを使用すると、定期的なビルドを作成できます。 詳細については、「ビルド定義の作成」および「ビルドの実行、監視、管理」を参照してください。 メモ チーム メンバーはビルド エクスプローラーを使用してビルドを手動で評価することができますが、この評価はビルド品質指標レポートには反映されません。ビルド評価は、ビルドの概要レポートに表示されます。詳細については、「完了したビルドの品質の評価」および「ビルドの概要レポート」を参照してください。

レポートの更新とカスタマイズ

テスト ギャップ レポートを更新する場合は、レポートを Office Excel で開き、いずれかのワークシートに対してピボットテーブル レポートのフィルター オプションを変更します。各レポートは、次の表に示すとおり、他のビューをサポートするようにカスタマイズできます。

ワークシート	ビュー	アクション
要件の状態 構成別の要件の状態 領域別のテストの状態 実行されていないテスト	イテレーションのテスト ギャップ	Iteration のフィルターを変更します (既定 = すべて)。
要件の状態 構成別の要件の状態 領域別のテストの状態 実行されていないテスト	製品区分のテスト ギャップ	Area のフィルターを変更します (既定 = すべて)。
要件の状態 構成別の要件の状態 領域別のテストの状態 実行されていないテスト	特定のテスト計画またはテスト計画のセットにおけるテスト ギャップ	Test Plan のフィルターを変更します (既定 = すべて)。
構成別の要件の状態 実行されていないテスト	特定のテスト スイートのテスト ギャップ	Test Suite Hierarchy のフィルターを変更します (既定 = すべて)。
コード カバレッジ	特定のビルド定義またはビルド定義のセットに対するコード カバレッジ	Build Definition Name のフィルターを変更します (既定 = すべて)。
要件の状態 構成別の要件の状態 領域別のテストの状態 実行されていないテスト コード カバレッジ	過去 6 週間、8 週間、またはそれ以上の期間のデータを含むコード カバレッジまたはテスト ギャップ	[ピボットテーブルのフィールド リスト] 列で Date - Sets フィールドを追加し、@@Last 6 weeks@@ などのセットを選択します。

ピボットテーブル レポートおよびピボットグラフ レポートの使用とカスタマイズの方法の詳細については、Microsoft Web サイトの次のページを参照してください。

• ピボットテーブル レポートを変更する方法

• Excel Services からブックを編集または削除する

• ブックを Excel Services に発行する

• SharePoint ライブラリまたは別の Web 上の場所にファイルを保存する

参照

概念

区分およびイテレーションの作成および修正

テスト結果テーブル

その他の技術情報

テスト管理レポート

Excel レポート (CMMI)