Visual Studio ALM の Analysis Services データベースでのテスト パースペクティブを使用したテスト結果の分析およびレポート

SQL Server 用の Visual Studio Team Foundation Server Analysis Services キューブでテスト パースペクティブを使用すると、テスト結果とテスト実行のレポートに関連するメジャー、ディメンション、および属性を表示できます。 たとえば、これらのメジャーを使用して、各ビルドの全体的な品質、特定のビルドが影響するテスト、および実行されたテスト ケースの数を特定できます。 また、結果に対する変更に関する疑問を解消することもできます。

テスト メジャー グループはテスト結果のリレーショナル テーブルに基づいています。これにより、テストのプロパティまたは独立した結果として、テスト結果に関するレポートが可能になります。 詳細については、「テスト結果テーブル」を参照してください。

テスト パースペクティブを使用すると、次の事項を確認するレポートを作成できます。 状態レポート: 特定のユーザー ストーリーまたは製品区分のテストの状態はどうなっているか。 失敗したテストと成功したテストの数に基づくビルドの品質はどうなっているか。 一度も実行されていないテスト ケースはいくつあるか。 一度も実行されていないテスト ケースはどれか。 傾向レポート: 一定期間内にブロックされたテスト、成功したテスト、失敗したテストはいくつあるか。 いくつのテストが回帰しているか。 一定期間内の手動テスト アクティビティは一貫しているか。 注意 Visual Studio アプリケーション ライフサイクル管理 (ALM) 用データ ウェアハウスで SQL Server Enterprise Edition を使用している場合は、キューブの一覧に Team System と一連のパースペクティブが含まれます。パースペクティブにより、対象を絞ったデータのビューが表示されるので、Team System キューブ全体ですべてのディメンションやメジャー グループをスクロールする必要はありません。

複数のテスト メジャーおよびディメンション属性を使用するには、テスト チームが Team Foundation Server のデータ ストアにテスト結果を発行する必要があります。 詳細については、このトピックの「テストおよびビルドの管理に必要なアクティビティ」を参照してください。

このトピックの内容

• 例: ユーザー ストーリーのテストの進行状況レポート

• テスト メジャー

• フィルター処理と分類をサポートするテスト パースペクティブのディメンションおよび属性

  • ビルド、ビルド フレーバー、およびビルド プラットフォーム ディメンション

  • テスト ケース、テスト構成、テスト計画、およびテスト スイート ディメンション

  • テスト結果ディメンション

  • テスト実行ディメンション

  • 作業項目ディメンションおよび作業項目リンク ディメンション

• 必要なアクティビティ

例: ユーザー ストーリーのテストの進行状況レポート

Excel でピボットテーブル レポートおよびピボットグラフ レポートを使用すると、次の図のレポートのような、ユーザー ストーリーのテストの進行状況を示す状態レポートを作成できます。

Microsoft Solutions Framework (MSF) Agile と CMMI のプロセス テンプレートにはそれぞれ、Excel 形式のユーザー ストーリー テスト状態 Excel レポート (アジャイル) と 要件テスト状態 Excel レポート (CMMI) が含まれています。

ピボット フィールドの指定とフィルター処理

次の手順を実行することにより、ユーザー ストーリーのテストの進行状況レポートを作成できます:

1. Excel で、Team Foundation Server の Analysis Services キューブに接続し、ピボットグラフ レポートを挿入します。

   詳細については、「Create Excel reports from a work item query」を参照してください。

2. グラフを右クリックし、[グラフの種類の変更]、[面]、[積み上げ横棒] を選択します。

3. 各レポート フィルターについて、次の各フィールドを右クリックし、目的の階層や要素を指定し、[レポート フィルター] 領域にフィールドをドラッグします。

   • [チーム プロジェクト] ディメンションの [チーム プロジェクト階層]

   • チーム プロジェクト ディメンションの区分パス

   • テスト ケース ディメンションのイテレーション パス

   • リンクされた作業項目ディメンションの作業項目の種類

     ユーザー ストーリー、要件、またはレポートするテスト ケースがリンクされた別の種類の作業項目として種類を指定します。

4. [ポイント数の傾向] フィールドを [テスト] メジャー グループから [値] 領域にドラッグします。

5. [結果] フィールドを [テスト結果] ディメンションから [列ラベル] 領域にドラッグします。

テスト メジャー

次の表は、テスト メジャー グループに含まれるメジャーを示します。 特定のビルドについてのテスト結果とその成果の集計ごと、またはテスト結果の変更された成果ごとに、テスト結果を分析できます。

メジャー	説明
ビルド結果数の傾向	特定のビルドにおける各結果の最新バージョンをカウントします。 このメジャーを使用するレポートの例については、「ビルドの品質評価 Excel レポート」を参照してください。
ポイント数の傾向	特定のビルドにおける各テスト結果の最新バージョンの数。 1 つのビルドに対してテストを複数回実行した場合、このビルドを使用するテストの最新の結果が [ポイント数の傾向] フィールドによってカウントされます。 対象のビルド内にテスト ケースが含まれていない場合は、"実行しない" テスト ケースとしてカウントされます。 現在のビルドでどのテストが失敗しているか、いくつのテストが失敗しているかを確認するには、このメジャーを使用します。
結果数	各テスト結果の最新バージョンをカウントします。 テストの全体的な量を確認するには、このメジャーを使用します。 このメジャーを使用するレポートの例については、「ビルド品質指標レポート」を参照してください。
結果移行数	特定のビルドで成果が変更されたすべての結果をカウントします。 どのテストが特定のビルドに影響されているかを確認するには、このメジャーを使用します。
テスト ケース数	テスト ケースの数。 特定のテストの実行またはビルドについて実行されたテスト ケースの数を確認するには、このメジャーを使用します。

フィルター処理と分類をサポートするテスト パースペクティブのディメンションおよび属性

ここで説明している属性を使用して、メジャーの集計、レポートのフィルター処理、またはレポートの軸の指定を行うことができます。 これらの属性は、「共有ディメンションの使用」で説明する [チーム プロジェクト] および [日付] 共有ディメンションを補完します。

ビルド、ビルド フレーバー、およびビルド プラットフォーム ディメンション

次の表に示す属性を使用して、ビルド定義、ビルド フレーバー、またはビルド プラットフォームに基づいてテスト レポートをフィルター処理できます。

ディメンション	属性	説明
ビルド	ビルド定義名	実行されたビルドのビルド定義に割り当てられた名前。 この属性を使用するレポートの例については、「ビルドの品質評価 Excel レポート」を参照してください。
	ビルド ID	ビルドに割り当てられた番号。 これが特定のビルド定義が実行されるたびに、ビルド ID は 1 ずつインクリメントされます。
	ビルド名	ビルドを一意に識別する名前または式。 詳細については、「完了したビルドにわかりやすい名前を付けるためにビルド番号を使用」を参照してください。
	ビルド開始時間	ビルドが開始された日時。
	ビルドの種類	ビルドが実行された理由。 ビルドの種類は、ビルドに対して定義されたトリガーに関連付けられます。 Team Foundation Server でサポートしているビルドの種類は、手動、継続的 (チェックインごとにトリガーされます)、ロール (前のビルドが完了するまでチェックインを蓄積します)、ゲート チェックイン、およびスケジュールです。 詳細については、「ビルド トリガーと理由の指定」を参照してください。
	格納場所	ビルドについて定義され、URL (Uniform Resource Locator) として指定される格納フォルダー。 URL は、Web ブラウザーがインターネット リソースを特定するためのプロトコルを指定します。 URL には、リソースが存在するサーバーの名前も含まれています。 また、リソースへのパスを含めることもできます。 詳細については、「ドロップ フォルダーのセットアップ」を参照してください。
ビルド フレーバー	ビルド フレーバー	(発行されたテスト結果のみ) テスト実行の一環として発行された完了済みビルドに割り当てられるビルドのカテゴリを示す名前。 たとえば、ビルド フレーバーを使用して、ベータ リリースや最終リリースを示すことができます。
ビルド プラットフォーム	ビルド プラットフォーム	エンド ツー エンドの (デスクトップではない) ビルドが行われたコンピューター プラットフォームの名前 (たとえば、[x86] や [Any CPU])。 詳細については、「ビルド プロセスに既定のテンプレートを使用」を参照してください。

テスト ケース、テスト構成、テスト計画、およびテスト スイート ディメンション

テスト ケース、テスト構成、テスト計画、およびテスト スイートのディメンションは、Visual Studio Ultimate または Visual Studio Test Professional の Microsoft Test Manager を使用してテストを編成、構成、自動化、実行する方法に対応します。

テスト ケースは、チームが Microsoft Test Manager を使用して実行および管理できる手動テストおよび自動テストの両方を定義するために、テスト チームが使用する作業項目の種類に対応します。 テスト計画は、テスト構成およびテスト スイートで構成する必要があるためです。 テスト構成は、テストで実行するソフトウェアやハードウェアを定義します。 テスト スイートは、テスト ケースをグループ化できるように計画内の階層を定義します。

詳細については、「アプリケーションのテスト」を参照してください。

ディメンション	属性	説明
テスト ケース	区分階層、その他	作業項目ディメンションおよびテスト ケース ディメンションには、状態、作業項目の種類、作業項目 ID などの作業項目に関連するすべての属性が含まれています。 テスト ケース ディメンションの構造の詳細については、「作業項目パースペクティブを使用した作業項目とテスト ケース データの分析およびレポート」を参照してください。 各属性の説明については、「Visual Studio ALM の作業項目フィールド参照」を参照してください。 日付、区分、およびイテレーション階層の操作方法の詳細については、「Analysis Services キューブでの共有ディメンション」を参照してください。 このメジャー グループには、作業項目の種類の定義に含まれるカスタム フィールドが Dimension をレポート可能属性として指定する場合の追加の属性が含まれています。 省略可能な reportable 属性とその値を使用する方法の詳細については、「レポート作成をサポートするための作業項目フィールドの追加および変更」を参照してください。
テスト構成	構成 ID と構成名	システムが割り当てる番号とテスト構成の名前。
テスト計画	区分階層、区分パス、イテレーション階層、およびイテレーション パス	テスト計画に割り当てる製品区分とマイルストーン。 詳細については、「作業項目パースペクティブを使用した作業項目とテスト ケース データの分析およびレポート」を参照してください。
	月別または週別の終了日階層 月別または週別の開始日階層	テスト計画の所有者がテスト計画に割り当てることができる省略可能な値。 これらの値は、テスト計画を開始する日付とテスト計画を終了する日付を表します。 日付階層を操作する方法の詳細については、「Analysis Services キューブでの共有ディメンション」を参照してください。
	テスト計画 ID とテスト計画の名前	システムが割り当てる番号とテスト計画の所有者が割り当てる名前。
	テスト計画の所有者	テスト計画を作成したか、現在テスト計画の所有者として割り当てられているテスト チーム メンバーのユーザー名。
	テスト計画 ID と状態	システムが割り当てる番号とテスト計画の状態の名前。 たとえば、非アクティブはテスト計画が定義中であることを示し、アクティブはテスト計画のレビューと実行の準備ができていることを示します。
テスト スイート	テスト スイート階層	プロジェクト コレクション、チーム プロジェクト、テスト スイートに基づいて複数のフィルターを指定するための機構を提供します。
	スイートのパス	すべてのチーム プロジェクト コレクションに含まれるすべてのチーム プロジェクト用に構成されたテスト スイートの階層に対応します。

テスト結果ディメンション

次の表に、キューブ内のテスト メジャーに固有のすべてのディメンションと属性を示します。 エラーの種類または解決策についてレポートするには、テスト チームがテスト動作の一部としてこの情報を設定しておく必要があります。

属性	説明
エラーの種類とエラーの種類 ID	テストが失敗した理由で、なし、既知の問題、新しい問題、回帰のいずれかに対応します。 Microsoft Test Manager は、各理由に自動的に数値または ID を割り当てます。 テスト チームは、失敗した各テストにエラーの種類を割り当てることができますが、これは必須ではありません。 注意 一連のエラーの種類に対して追加または変更を行うことはできません。 エラーの種類に基づいてテスト結果の成果を示す傾向レポートの例については、「失敗の分析 Excel レポート」を参照してください。
結果と結果 ID	テストの結果 (たとえば、成功、失敗、または結果不確定)。 テスト計画およびテスト構成の成果を示す傾向レポートの例については、「テスト計画の進行状況レポート」を参照してください。
準備状態と準備状態 ID	テストの実行内の特定のテストの状態。 有効な値は、完了、処理中、なし、準備不完了、および準備完了です。
解決状態	(省略可能) テスト担当者がテストの失敗の原因を特定するために使用した解決策の名前。 既定では、すべての MSF プロセス テンプレートに、調査が必要、テストの懸案事項、製品の懸案事項、および構成の懸案事項の各状態が含まれています。 テスト チームは、失敗した各テストに解決状態を割り当てることができますが、これは必須ではありません。 注意 これらの状態を変更するか、状態を追加するには、tcm コマンド ライン ツールを使用します。「テスト エクスペリエンスのカスタマイズおよび管理 [tcm および Microsoft テスト マネージャー]」を参照してください。
テスト結果の実行者	テストを実行したユーザーまたはその他のアカウントの名前。 この属性を使用するレポートの例については、「テスト チームの生産性 Excel レポート」を参照してください。
テスト結果の所有者	テスト結果の所有者として割り当てられているユーザーまたはその他のアカウントの名前。 この割り当ては tcm /resultowner スイッチによって設定された値に対応します。
テスト結果の優先度	テストの実行内の特定のテストの優先度。

テスト実行ディメンション

次の表に、テストの実行ディメンションについて定義されている属性を示します。 これらの属性の多くは、テスト チームがテストを実行するときに指定するパラメーターに対応しています。

属性	説明
月別または週別の完了日、作成日、開始日階層	テストの実行が作成、完了、または開始された日付。 これらの属性を使用して、レポートをフィルター処理、または構成することができます。 詳細については、「Analysis Services キューブでの共有ディメンション」を参照してください。
自動化されている	テストの実行に 1 つ以上の自動テストが含まれていることを示すフラグ。 この属性を使用するレポートの例については、「ビルドの品質評価 Excel レポート」を参照してください。
ビルド検証が実行されている	このテストの実行に、ビルドの基本機能を確認するビルド検証テストが含まれていることを示すフラグ。 このフラグは tcm /buildverification スイッチに対応しています。 この属性を使用するレポートの例については、「ビルドの品質評価 Excel レポート」を参照してください。
テストの実行 ID	システムがテストの実行に割り当てる番号。
テストの実行の所有者	テスト チームが作成または発行したテストの実行に割り当てられている所有者に対応します。 tcm /owner スイッチに対応しています。
テストの実行の状態と ID	テストの実行の状態に割り当てられている名前または番号 (たとえば、中止、完了、作業中、未開始状態、または不明)。
テストの実行のタイトル	テスト チームが作成または発行したテストの実行に割り当てられているタイトルに対応します。 tcm /title スイッチに対応しています。

作業項目ディメンションおよび作業項目リンク ディメンション

テスト ケースを、ユーザー ストーリー、要件、バグなど、他の作業項目にリンクできます。 作業項目のリンク ディメンションを使用して、リンクされた作業項目に関連するテスト結果を提供するレポートを作成できます。 このトピックで前に説明したユーザー ストーリーのテストの進行状況レポートは、リンクされた作業項目を使用する例を示します。

各属性の説明については、「Visual Studio ALM の作業項目フィールド参照」を参照してください。

必要なアクティビティ

チーム メンバーがテスト工数およびテスト結果に関する有用なデータを含むレポートを作成するには、次のトピックの情報を確認する必要があります。

• ビルド プロセスでのテストの実行

• コード カバレッジを使用した、テストされるプロジェクトのコード割合の確認

参照

概念

テスト計画の進行状況レポート

Visual Studio の Analysis Services キューブで用意されているパースペクティブとメジャー グループ

その他の技術情報

テスト管理レポート