テスト結果の追跡
テストを作成し実行する際、ステータスを追跡できるようにする必要があります。 たとえば、実行準備のできているテストの数、テストの成功/失敗の割合、または既に実行されているテストの数などです。
レポート作成のオプションにはどのようなものがありますか。
軽量のグラフ (Visual Studio Online または Team Web Access)
作業項目クエリ (Visual Studio Online または Team Web Access)
ウェアハウス データの既存のレポート (オンプレミスの TFS のみ)
ウェアハウス データから独自のレポートを作成する (オンプレミスの TFS のみ)
軽量のグラフを使用すると、テスト ステータスに関する多くの質問に対する回答を簡単に確認できます。 これらのグラフをホーム ページに固定すれば、チーム全員が進行状況を一目で確認できます。 (Team Web Access で軽量のグラフを使用するには、TFS 2013 更新プログラム 4 以上が必要です。)
![[グラフ] タブから作成された任意のグラフを表示](images/dn282443.tracktestresultsoverview(vs.120).png "[グラフ] タブから作成された任意のグラフを表示")
作業ハブからレポートを生成するには、作業項目クエリを作成し実行します。 フラット リスト作業項目クエリから、そのクエリに関するグラフも生成できます。 たとえば、アクティブなバグとその優先度を示すクエリを作成し、次にグラフを生成して、これらのアクティブなバグを優先度ごとにすばやくグループ化できます。
しかし、軽量のグラフでは必要なレポートが得られない場合、オンプレミスの TFS を使用しているのであればデータをさらに深く掘り下げることができます。 ウェアハウス データの既存のレポートにアクセスすることも、Excel を使用して独自のレポートを作成することもできます。
軽量のグラフによるテスト ステータス
これらのグラフは、Team Web Access、または Visual Studio Online 用にテスト ハブから作成できます。
テストの進行状況を追跡する
テスト結果のグラフを使用して、テストの状況を追跡します。 結果に関連する事前設定された一連のフィールドから選択します。 既定では、テスト計画ごとに円グラフが作成されます。 このグラフは結果フィールド別にグループ化され、テスト計画に含まれる全テストの最新結果を表示します。
この既定のグラフが [グラフ] タブに表示されます。
![[グラフ] タブをクリックして既定のグラフを表示](images/dn282443.trackdefaultchart(vs.120).png "[グラフ] タブをクリックして既定のグラフを表示")
独自のテスト結果グラフを追加して、チームにとって重要な内容を視覚化します。 グラフの追加方法を既に知っている場合は、下記の作成可能なグラフの例に進んでください。
[テスト計画] タブで、グラフにテスト計画かテスト スイートを選択します。 次に、新しいグラフを作成します。
![[グラフ] タブ、[新規作成] をクリック](images/dn282443.tracknewtestresultchart(vs.120).png "[グラフ] タブ、[新規作成] をクリック")
グラフの種類を選択します。 そのグラフに基づいて、グループ化に使用するフィールド、または行や列のフィールドを構成します。
.png "グラフのフィールドを構成")
いずれのグラフでも、選択したテスト計画またはテスト スイートの子テスト スイートの情報はロールアップされます。
グラフを保存します。 これで、選択したテスト計画またはテスト スイートのグラフが [グラフ] タブに表示されます。
テスト結果の例
あるテスト スイートのテスト ステータスを知りたい。
[テスト計画] タブでテスト スイートを選択し、テスト結果の円グラフを追加します。 結果でグループ化します。
.png "グループ化の結果を選択")
チームがこのスプリントでテストしているユーザー ストーリーのテスト ステータスを知りたい。
ユーザー ストーリーのテスト計画で要件ベースのテスト スイートを作成していた場合は、そのグラフを作成できます。
これらの要件ベースのテスト スイートをグループ化して、静的テスト スイートにまとめます。
[テスト計画] タブで、この静的テスト スイートを選択します。
テスト結果の積み上げ横棒グラフを追加します。 行のピボットに [スイート] を、列のピボットに [結果] を選択します。
.png "グラフのスイートと結果を選択")
各テスト担当者が実行予定のテストの残り件数を知りたい。
[テスト計画] タブでテスト計画を選択し、テスト結果のピボット テーブル グラフを追加します。 行のピボットに [テスト担当者] を、列のピボットに [結果] を選択します。
.png "グラフのテスターと結果を選択")
構成に基づいて品質を確認するにはどうすればよいですか。
積み上げ横棒グラフかピボット テーブル グラフを使用します。 行のピボットに [構成] を、列のピボットに [結果] を選択します。
テストが失敗している理由をチームで追跡するにはどうすればよいですか。
失敗を分析するには、積み上げ横棒グラフかピボット テーブル グラフを使用します。 行に [テスト担当者] を、列に [エラーの種類] を選択します。 (テスト結果のエラーの種類は Microsoft テスト マネージャーでのみ設定できます。)
失敗したテストの解決をチームで追跡するにはどうすればよいですか。
解決を分析するには、積み上げ横棒グラフかピボット テーブル グラフを使用します。 行に [テスト担当者] を、列に [解決] を選択します。 (テスト結果の解決の種類は Microsoft テスト マネージャーでのみ設定できます。)
テスト ケースのステータスを追跡する
テスト ケースのグラフを使用すると、テスト ケースの作成の進行状況を確認できます。テスト ケースのグラフでは、[テスト] タブに列を追加して柔軟にレポートを生成できます。 既定では、テスト ケースのフィールドは [テスト] タブのビューに追加されていません。
グラフの追加方法を既に知っている場合は、テスト ケースに作成可能なグラフの例に進んでください。
[テスト] タブから、テスト ケースのグラフに使用するフィールドを [列] オプションを指定して追加します。 すると、テスト ケースのグラフをグループ化するための選択肢として、ドロップダウン リストにフィールドが表示されます。
[テスト計画] タブで、グラフにテスト計画かテスト スイートを選択します。 次に、テスト ケースのグラフを追加します。
![[グラフ] タブ、[新規作成] を選択](images/dn282443.tracknewtestcasechart(vs.120).png "[グラフ] タブ、[新規作成] を選択")
いずれのグラフでも、選択したテスト計画またはテスト スイートの子テスト スイートの情報はロールアップされます。
グラフの種類を選択します。 そのグラフに基づいて、グループ化、行および列、範囲 (トレンド グラフのみ) に使用するフィールドを構成します。
.png "グラフのフィールドを構成")
テスト ケースのグラフでは、テスト スイート別にグループ化することはできません。
グラフを保存します。 これで、選択したテスト計画またはテスト スイートのグラフが [グラフ] タブに表示されます。
テスト ケースの例
テスト ケース作成のバーンダウンを追跡するにはどうすればよいですか。
積み上げ面のトレンド グラフを使用して、実行する準備ができているテスト ケース数のバーンダウンを表示します。 [積み上げ基準] フィールドで [状態] を、[並べ替え] フィールドで [昇順] を選択します。
.png "このための積み上げ面グラフを作成する")
オートメーションの状態のバーンダウンを追跡するにはどうすればよいですか。
積み上げ面トレンド グラフを使用して、自動化されているテスト ケース数のバーンダウンを表示します。 [積み上げ基準] フィールドで [オートメーションの状態] を、[並べ替え] フィールドで [昇順] を選択します。
テスト計画のテスト ケースを複数のチームが所有している場合、各チームが所有している件数とテストの優先順位を確認できますか。
チームが区分パスによって整理されている場合は、テスト ケースの円グラフを使用できます。 [グループ化] フィールドで [区分パス] を選択します。
テストの優先順位を知りたい場合は、積み上げ横棒グラフを作成します。 行に [区分パス] を、列に [優先順位] を選択します。
チーム メンバー別にテスト作成のステータスを追跡するにはどうすればよいですか。
テスト ケースの所有者は、[担当者] フィールドで追跡します。 積み上げ横棒グラフかピボット テーブル グラフを使用します。 行に [担当者] を、列に [ステータス] を選択します。
Q&A
Q: 個々のテスト ケースについて、最近のテスト結果を表示できますか。
A: できます。 テスト スイート内でテスト ケースを選択し、[テストの詳細] ペインを選択して表示します。
![[テスト] タブ、選択してテスト詳細ペインを表示](images/dn282443.trackshowdetailspane(vs.120).png "[テスト] タブ、選択してテスト詳細ペインを表示")
このテスト ケースの最近のテスト結果が表示されます。
.png "ビューからテスト結果を選択")
Q: 複数のテスト スイートに含まれているテスト ケースの場合、データはグラフでどのように表示されますか。
A: テスト ケースのグラフでは、1 つのテスト ケースは、計画内の複数のテスト スイートに追加されていても 1 回だけカウントされます。 テスト結果のグラフでは、実行されたテストの各インスタンスがテスト スイート別にカウントされます。
Q: だれがグラフを作成できますか。
A: グラフを作成するには、少なくとも Basic ライセンスが必要です。
Q: チームのテスト ステータスをすべての利害関係者と共有するにはどうすればよいですか。
A: チーム全員が見られるように、チームのホーム ページにグラフを固定します。 グラフのコンテキスト メニューを使用します。
.png "グラフのコンテキスト メニューを選択")
これを行うには、チーム管理者である必要があります。 利害関係者ライセンスを持つチーム メンバーも、ホーム ページのテスト グラフを見ることができます。 ホーム ページの詳細については、こちらを参照してください。 チーム管理については、チーム管理を参照してください。
Q: グラフを編集または削除するにはどうすればよいですか。
A: グラフのコンテキスト メニューから目的のオプションを選択します。
軽量のグラフを使用したバグの追跡
アプリの品質を理解するには、どのようなバグが見つかって修正されているのかを知ることも重要です。 アクティブなバグで優先度の高いものはどれですか。 バグの傾向はどのような様子ですか。 [クエリ] ページの作業ハブに作成するすべてのフラット リスト クエリに対して軽量のグラフを生成できます。 これを Team Web Access または Visual Studio Online で行う方法については、こちらを参照してください。
Q&A
Q: テスト ケースから作成された特定のバグを追跡することはできますか。
A: テスト ランナーからバグを作成すると、そのバグは、実行していたテスト ケースに自動的にリンクされます。 テスト ケースから作成されたすべてのバグを確認するには、Microsoft Test Manager を開き、[テスト] タブに移動し、[バグの検証] をクリックします。 修正されたバグのテストを再実行するには、[確認] をクリックします。
Microsoft Test Manager を使用した自動テストの結果の追跡
最新のテストの実行のグラフを表示するには、Microsoft Test Manager を使用します。 この Microsoft Test Manager は、Visual Studio Test Professional または Visual Studio Ultimate がインストールされているすべてのコンピューターで開くことができます。 それをチーム プロジェクトとテスト計画に接続し、[テスト センター] をクリックします。
最新のテストの実行の一覧を取得するには、[テスト]、[テストの実行を分析] の順にクリックします。 一覧の各項目は、テストの実行です。
.png "テストの実行を分析")
Microsoft Test Manager では、テストの完了後にテスト結果を確認するプロセスをサポートされています。 失敗したテストが含まれている実行には、[調査が必要] というフラグが付けられます。 テストの実行の詳細を開くと、コメントを追加したり、失敗の理由を割り当てたり、バグまたはその他の作業項目を作成したりできます。また、フラグを [完了] に変更することもできます。
.png "エラーの種類の設定")
テスト プロセスに必要であれば、失敗の種類に対する理由を変更することができます。
ビルドの品質の追跡
オンプレミスの TFS の場合、このレポートを使用して、ビルド プロセスの一部として実行されている自動テストの成功/失敗の割合を確認できます。 これらのテストの成功率をビルドごとに表示できます。 テストが向上しているかどうかを確認できます。
また、このレポートを使用するには、TFS 用に SQL Services Reporting Services がインストールされている必要があります。
リリースの準備状態の追跡
オンプレミスの TFS の場合、成功したテストと失敗したテストの履歴を確認できます。 このレポートを使用して成功率の傾向を確認し、リリースできるタイミングを判断します。 テストを実行する際に、アプリの品質が向上しているかどうかを確認します。
また、このレポートを使用するには、TFS 用に SQL Services Reporting Services がインストールされている必要があります。
オンプレミスの TFS 専用のカスタム レポート
カスタム レポートを使用するには、TFS 用に SQL Services Reporting Services がインストールされている必要があります。
オンプレミスの TFS の場合、テスト計画およびテスト スイートは TFS 2013 更新プログラム 3 以上の作業項目です。 テスト計画、テスト スイート、テスト ケース、ユーザー ストーリー、要件、およびバグのニーズに基づくクエリから、独自の Excel レポートを作成できます。 フラット リスト クエリの Excel レポートの作成方法については、こちら を参照してください。
チーム プロジェクト ポータルが SharePoint Server Enterprise Edition で構成されていれば、さらにカスタマイズすることができます。 その場合は、Excel レポートを使用してダッシュボードを作成できます。
それでも必要なレポートが得られない場合は、データを直接表示する他のオプションがあります。 レポート作成に最適化されたオンライン分析処理 (OLAP: Online Analytical Processing) データ キューブ (TFS_Analysis) を使用してレポートを作成する他の方法を調べるか、リレーショナル ウェアハウス データベース (TFS_Warehouse) を使用してレポートを作成できます。 その方法については、こちらを参照してください。
Q&A
Q: 軽量のグラフ用に TFS 2013 更新プログラム 4 がない場合に使用できるレポートはありますか。
A: オンプレミスの TFS インストールにレポート サービスが含まれている場合は、テスト計画の進行状況グラフを表示できます。このグラフには、スプリントのテストの成功数または失敗数が示されます。 http://<your Team Foundation Server>/Reports を開き、TfsReports > DefaultCollection > your project > Tests に移動します。 また、Visual Studio では、チーム エクスプローラーで、[レポート] を開きます。
Q: MTM から最新のテスト結果の概要を確認することはできますか。
A: できます。 MTM から [計画] タブに移動し、[結果] をクリックします。 スイートごとに結果を表示して、各ユーザー ストーリーがテストに合格したかどうかを確認します。