異なる構成のテスト

Azure DevOps Services | Azure DevOps Server 2022 - Azure DevOps Server 2019 | TFS 2018

ユーザーは、さまざまなオペレーティング システム、Web ブラウザー、その他のバリエーションなど、さまざまな構成でアプリをインストールまたは実行する可能性があります。 少なくとも一部のテストを、構成が異なる段階で実行する必要があります。

テスト計画を使用して、どの構成で実行するテストを決定します。 テストを実行するときに、必要な構成のステージを設定していることを確認する必要があります。

テストする組み合わせのスケマティック マトリックスを描画できます。

ブラウザーとオペレーティング システムの構成のテスト マトリックス

次に、以下のことができます。

前提条件

  • プロジェクトに接続する必要があります。 プロジェクトがまだない場合は、作成します。
  • ユーザーがプロジェクトに追加されている必要があります。 メンバーになるには、プロジェクトまたはチームにユーザーを追加します。
  • テスト構成を表示または追加するには、Basic 以上のアクセス権が必要です。
  • テスト構成を追加するには、プロジェクト レベルのテスト構成の管理アクセス許可が [許可] に設定されている必要があります。 既定では、このアクセス許可は共同作成者グループとプロジェクト管理者グループのメンバーに付与されます。

詳細については、「 手動テストアクセスとアクセス許可」を参照してください。

TCM コマンド ライン ツールを使用する

TCM コマンド ライン ツールを使用するには、次の項目が配置されている必要があります。

  • Visual Studio 2017 Professional 以前のバージョンがインストールされています。 TCM には、コマンド プロンプトと次のディレクトリからアクセスします。

    • %programfiles(x86)%\Microsoft Visual Studio\2017\Professional\Common7\IDE
    • %programfiles(x86)%\Microsoft Visual Studio\2017\Enterprise\Common7\IDE
    • %programfiles(x86)%\Microsoft Visual Studio 14.0\Common7\IDE
  • TCM コマンドを実行するには、必要に /collection 応じてパラメーターと /teamproject パラメーターを /login 指定します。

    パラメーター 説明
    /コレクション:CollectionURL 必須。 チーム プロジェクト コレクションの URI を指定します。 URI の形式は次のとおりです。
    - Azure DevOps Services の場合: http://dev.azure.com/OrganizationName
    - Azure DevOps Server の場合: http://ServerName:Port/VirtualDirectoryName/CollectionName 仮想ディレクトリが使用されていない場合、URI の形式は次のようになりますhttp://ServerName:Port/CollectionName
    /teamproject:project 必須。 自動テストを複製またはインポートするテスト オブジェクトを含むプロジェクトの名前。
    /login:username,[password] 省略可能。 有効な Azure DevOps ユーザーの名前とパスワード、およびコマンドを実行するアクセス許可を持つユーザーを指定します。 Windows 資格情報に適切なアクセス許可がない場合、または基本認証を使用している場合、またはドメインに接続していない場合は、このオプションを使用します。
  • アクセスする 1 つ以上のプロジェクトの有効なメンバーであり、実行するコマンドに基づいて必要なアクセス許可を持っている必要があります。 詳細については、「手動テストアクセスとアクセス許可」を参照してください

  • テスト オブジェクトを複製またはインポートするためにテスト 計画とテスト スイートを追加するために必要なのと同じアクセス レベルが必要です。

構成と変数を表示する

多くの場合、テストを実行するために既に使用できる構成を確認する必要があります。

[構成] ページから、テスト構成と構成変数の一覧を表示できます。

プロジェクト内で、左側のナビゲーション領域から [Test Plans Configurations]\(テスト プラン>の構成\) を選択します。 ここでは、テスト計画で現在使用できるすべてのテスト構成と変数を確認できます。

クエリ エディター、クエリ テスト プランのスクリーンショット。

構成または変数を選択すると、右側のウィンドウに詳細が表示されます。

構成と変数を作成する

テスト構成は、構成変数値の組み合わせです。 構成変数は、オペレーティング システム、ブラウザー、CPU の種類、データベースなどです。 構成には、"Windows 8 + 32 ビット CPU" または "Windows 10 + 64 ビット CPU" があります。

最初に構成変数を作成します。 次に、複数の変数値を組み合わせて構成を作成します。

  1. テスト 計画 Web ポータルで [構成] ページを開き、アイコンを+選択して、[新しい構成変数] を選択します

    [新規] メニューの [新しい構成変数] オプションを示すスクリーンショット。

  2. 変数の名前 (Browser など) と説明を入力します。 [新しい値の追加] を選択し、値を追加します。 構成変数に必要な数の値を追加し、保存します。

    新しい構成変数への値の追加を示すスクリーンショット。

  3. 手順を繰り返して、必要なその他の構成変数を作成します。 たとえば、テスト対象の各オペレーティング システムの名前を使用して、オペレーティング システムという名前の構成変数を作成します。

    オペレーティング システム構成変数の値の設定を示すスクリーンショット。

  4. アイコンを+選択し、[新しいテスト構成] を選択します

    [新規] メニューの [新しいテスト構成] オプションを示すスクリーンショット。

  5. テスト構成の名前を入力し、作成した構成変数を追加します。 この構成の各変数の値を選択します。

    新しいテスト構成への変数の追加を示すスクリーンショット。

    [新しいテスト 計画に割り当てる] がオンになっていることを確認して、この構成を作成するすべての新しいテスト 計画の既定値にします。

  6. 新しいテスト構成を保存します。

テスト構成は、構成変数値の組み合わせです。 構成変数は、オペレーティング システム、ブラウザー、CPU の種類、データベースなどです。 構成には、"Windows 8 + 32 ビット CPU" または "Windows 10 + 64 ビット CPU" があります。

最初に構成変数を作成する必要があります。 次に、複数の変数値を組み合わせて構成を作成します。

  1. テスト 計画 Web ポータルで [構成] ページを開き、アイコンをnew選択して、[新しい構成変数] を選択します

    新しい構成変数の追加

  2. 変数の名前 (Browser など) を入力し、値を入力します。 構成変数に必要な数の値を追加し、保存します。

    新しい構成変数の値の設定

  3. 手順を繰り返して、必要なその他の構成変数を作成します。 たとえば、テスト対象の各オペレーティング システムの名前を使用して、オペレーティング システムという名前の構成変数を作成します。

    オペレーティング システム構成変数の値の設定

  4. アイコンをnew選択し、[新しいテスト構成] を選択します

    新しいテスト構成の追加

  5. テスト構成の名前を入力し、作成した構成変数を追加します。 この構成の各変数の値を選択します。

    新しいテスト構成への変数の追加

    [新しいテスト プランに割り当てる] がオンになっていることを確認して、作成するすべての新しいテスト プランの既定の構成にします。

  6. 新しいテスト構成を保存します。

テスト 計画とスイートに構成を割り当てる

構成は、テスト スイートまたは個々のテスト ケースに割り当てることができます。 テスト スイートに割り当てられた構成は、その中のすべてのテストまたはスイートに適用されます。

  1. テスト スイートに構成を割り当てるには、[テスト プラン] ページでプランを選択します。 [テスト スイート] 領域で、テスト スイートを選択し、[その他のオプション] を選択するか、右クリックしてコンテキスト メニューを開き、[構成の割り当て] を選択します。

    [構成の割り当て] メニュー オプションを示すスクリーンショット。

    テスト スイートに複数の構成を追加すると、割り当てた各構成でテスト ケースが繰り返されます。

    テスト スイートへの複数の構成割り当てを示すスクリーンショット。

  2. 必要に応じて、テスト ケースに割り当てられている既定の構成をオーバーライドし、必要な構成を割り当てます。 1 つ以上のテスト ケースを選択し、コンテキスト メニューを開き、[構成の割り当て] を選択します

    テスト ケースに割り当てられた構成の割り当てを示すスクリーンショット。

  3. テスト ケースに割り当てる構成を検索して選択します。

    テスト ケースの構成の設定を示すスクリーンショット。

構成は、テスト計画、テスト スイート、または個々のテスト ケースに割り当てることができます。 テスト計画またはテスト スイートに割り当てられた構成は、その中のすべてのテストまたはスイートに適用されます。

  1. テスト計画に構成を割り当てるには、[テスト 計画] ページで、プランのショートカット メニューを開き、[構成をテスト計画に割り当てる] を選択します

    テスト計画への構成の割り当て

  2. テスト スイートに構成を割り当てるには、スイートのショートカット メニューを開き、[構成をテスト スイートに割り当てる] を選択します

    テスト スイートへの構成の割り当て

    テスト 計画またはスイートに複数の構成を追加すると、割り当てた構成ごとに、テスト ケースがプランまたはスイートで繰り返されます。

    テスト スイートへの複数の構成割り当て

  3. 必要に応じて、テスト ケースに割り当てられている既定の構成をオーバーライドし、必要な構成を割り当てます。 1 つ以上のテスト ケースを選択し、ショートカット メニューを開き、[構成の割り当て] を選択 します

    テスト ケースに割り当てられた既定の構成のオーバーライド

  4. これらのテスト ケースに割り当てる構成を検索して選択します。

    テスト ケースに必要な構成の設定

各構成でテストを実行する

Windows 10 で Google Chrome を使用してアプリをテストするなど、特定の構成のテスト プラットフォームを設定します。

  1. この構成が割り当てられているテストを選択して実行します。

    スクリーンショットには、特定の構成と [Web アプリケーションの実行] オプションが選択されたテストが示されています。

    テストを実行すると、ステータス バーに構成のリマインダーが表示されます。

    スクリーンショットは、ステータス バーのこのテストの構成を示しています。

  1. Windows 10 で Google Chrome を使用してアプリをテストするなど、特定の構成のテスト プラットフォームを設定します。

  2. この構成が割り当てられているテストを選択して実行します。

    構成が割り当てられたテストの実行

    テストを実行すると、[テスト ランナー] ウィンドウのステータス バーに必要な構成が表示されます。

    必要な構成が [テスト ランナー] ウィンドウに表示される

各構成のテスト結果を追跡する

  1. テスト スイートの [グラフ] ページを開き、[新規] を選択して、[新しいテスト結果グラフ] を選択します

    [新しいテスト結果グラフ] メニュー オプションを示すスクリーンショット。

  2. 円グラフや横棒グラフなどのグラフの種類を選択し、[構成>グループ化] を選択し、[OK] を選択します。

    スクリーンショットは、[グラフの構成] ダイアログ ボックスでグループ化の構成オプションを選択する方法を示しています。

    構成に基づいてテストを追跡するのに役立つグラフが作成されます。 このグラフはダッシュボードにピン留めできます。

    スクリーンショットは、[実行しない]、[成功]、[失敗] の値を含む横棒グラフを示しています。

複数のテスト スイートに表示されるテスト ケースがある場合は、スイートごとに異なる構成を設定できます。 同じテスト ケースで、異なるテスト スイートとテスト 計画で異なる構成設定を設定できます。

  1. テスト計画またはテスト スイートの [グラフ] ページを開き、[新規] を選択して、[新しいテスト結果グラフ] を選択します

    新しいテスト結果グラフの作成

  2. 必要なグラフの種類を選択し、[グループ化] リストで [構成] を選択して、[OK] を選択します

    必要なグラフの種類の選択

    構成に基づいてテストを追跡するのに役立つグラフが作成されます。 このグラフはダッシュボードにピン留めできます。

    構成テストの結果グラフ

複数のテスト 計画とテスト スイートに表示されるテスト ケースがある場合は、それぞれに異なる構成を設定できます。 同じテスト ケースで、異なるテスト スイートとテスト 計画で異なる構成設定を設定できます。