異なる構成のテスト

Azure DevOps Services |Azure DevOps Server 2022 - Azure DevOps Server 2019 |TFS 2018

ユーザーは、さまざまなオペレーティング システム、Web ブラウザーなど、多種多様な構成上でアプリケーションをインストールしたり、実行したりします。 これらの構成が異なるステージで、少なくとも一部のテストを実行する必要があります。

テスト 計画を使用して、どの構成で実行するテストを決定します。 テストを実行するときに、必要な構成のステージを設定していることを確認する必要があります。

テストする組み合わせの回路図マトリックスを描画できます。

ブラウザーとオペレーティング システムの構成のテスト マトリックス

その後、次のことができます。

前提条件

  • プロジェクトに接続する必要があります。 プロジェクトがまだない場合は、プロジェクトを 作成します
  • プロジェクトに追加する必要があります。 追加するには、 プロジェクトまたはチームにユーザーを追加します。
  • テスト構成を表示または追加するには、 Basic 以上のアクセス権が必要です。
  • テスト構成を追加するには、プロジェクト レベルの テスト構成の管理 アクセス許可が [許可] に設定されている必要があります。 既定では、このアクセス許可は共同作成者グループとプロジェクト管理者グループのメンバーに付与されます。

詳細については、「 手動テストアクセスとアクセス許可」を参照してください。

TCM コマンド ライン ツールを使用する

TCM コマンドライン ツールを実行するには、次の場所が必要です。

  • Visual Studio 2017 Professional 以前のバージョンがインストールされています。 TCM には、コマンド プロンプトと次のディレクトリからアクセスします。 %programfiles(x86)%\Microsoft Visual Studio\2017\Professional\Common7\IDE
    %programfiles(x86)%\Microsoft Visual Studio\2017\Enterprise\Common7\IDE %programfiles(x86)%\Microsoft Visual Studio 14.0\Common7\IDE

  • TCM コマンドを実行するには、必要に/collection応じてパラメーターと/login/teamprojectパラメーターを指定します。

    パラメーター 説明
    /collection:CollectionURL 必須。 チーム プロジェクト コレクションの URI を指定します。URI の形式は次のとおりです。
    - Azure DevOps Servicesの場合:http://dev.azure.com/OrganizationName
    - Azure DevOps Serverの場合: http://ServerName:Port/VirtualDirectoryName/CollectionName. 仮想ディレクトリを使用していない場合、URI の形式は次のようになります。http://ServerName:Port/CollectionName
    /teamproject:project 必須。 自動テストを複製またはインポートするテスト オブジェクトを含むプロジェクトの名前。
    /login:username,[password] 省略可能。 有効な Azure DevOps ユーザーの名前とパスワード、およびコマンドを実行するアクセス許可を持つユーザーを指定します。 Windows 資格情報に適切なアクセス許可がない場合、または基本認証を使用している場合、またはドメインに接続していない場合は、このオプションを使用します。
  • アクセスするプロジェクトの有効なメンバーであり、実行するコマンドに基づいて必要なアクセス許可を持っている必要があります。 詳細については、「 手動テストアクセスとアクセス許可」を参照してください。

  • テスト オブジェクトを複製またはインポートするには、「 前提条件」の説明に従って、テスト 計画とテスト スイートを追加するために必要なのと同じアクセス レベルが付与されている必要があります。

構成と変数を表示する

多くの場合、テストを実行するために既に使用できる構成を確認する必要があります。

[ 構成] ページから、テスト構成と構成変数の一覧を表示できます。

プロジェクトで、左側のナビゲーション領域から Test Plans>Configurations を選択します。 ここでは、テスト計画で現在使用できるすべてのテスト構成と変数が表示されます。

クエリ エディター、クエリ テスト プランのスクリーンショット。

構成または変数を選択すると、右側のウィンドウに詳細が表示されます。

構成と変数を作成する

テスト構成は、構成変数の値の組み合わせです。 オペレーティング システム、ブラウザー、CPU の種類、データベースなどを構成変数として指定できます。 構成には、"Windows 8 + 32 ビット CPU" または "Windows 10 + 64 ビット CPU" があります。

最初に構成変数を作成します。 次に、複数の変数値を組み合わせて構成を作成します。

  1. Test Plans Web ポータルで [構成] ページを開き、アイコンを+選択して、[新しい構成変数] を選択します。

    [新しい] メニューの [新しい構成変数] オプションを示すスクリーンショット。

  2. Browser などの変数の名前と説明を入力します。 [ 新しい値の追加] を選択し、値を追加します。 構成変数に必要な数の値を追加し、保存します。

    新しい構成変数に値を追加するスクリーンショット。

  3. 手順を繰り返して、必要なその他の構成変数を作成します。 たとえば、テスト対象の各オペレーティング システムの名前を使用して、 オペレーティング システム という名前の構成変数を作成します。

    オペレーティング システム構成変数の値の設定を示すスクリーンショット。

  4. アイコンを + 選択し、[ 新しいテスト構成] を選択します。

    [新規] メニューの [新しいテスト構成] オプションを示すスクリーンショット。

  5. テスト構成の名前を入力し、作成した構成変数を追加します。 この構成の各変数の値を選択します。

    新しいテスト構成への変数の追加を示すスクリーンショット。

    [ 新しいテスト プランに割り当てる] がオンになっていることを確認して、この構成を作成するすべての新しいテスト プランの既定値にします。

  6. 新しいテスト構成を保存します。

テスト構成は、構成変数の値の組み合わせです。 オペレーティング システム、ブラウザー、CPU の種類、データベースなどを構成変数として指定できます。 構成には、"Windows 8 + 32 ビット CPU" または "Windows 10 + 64 ビット CPU" があります。

最初に構成変数を作成する必要があります。 次に、複数の変数値を組み合わせて構成を作成します。

  1. Test Plans Web ポータルで [構成] ページを開き、新しいアイコンを選択して、[新しい構成変数] を選択します。

    新しい構成変数の追加

  2. Browser などの変数の名前を入力し、値を入力します。 構成変数に必要な数の値を追加し、保存します。

    新しい構成変数の値の設定

  3. 必要なその他の構成変数を作成するには、手順を繰り返します。 たとえば、オペレーティング システム という名前の構成変数を、テスト対象の各オペレーティング システムの名前で作成します。

    オペレーティング システム構成変数の値の設定

  4. 新しいアイコンを選択し、[新しいテスト構成] を選択します。

    新しいテスト構成の追加

  5. テスト構成の名前を入力し、作成した構成変数を追加します。 この構成の各変数の値を選択します。

    新しいテスト構成への変数の追加

    [新しいテスト プランに割り当てる] がオンになっていることを確認して、作成するすべての新しいテスト プランの既定の構成にします。

  6. 新しいテスト構成を保存します。

構成をテスト プランとスイートに割り当てる

構成は、テスト スイートまたは個々のテスト ケースに割り当てることができます。 テスト スイートに割り当てられた構成は、その中のすべてのテストまたはスイートに適用されます。

  1. テスト スイートに構成を割り当てるには、[テスト プラン ] ページでプランを選択します。 [ テスト スイート ] 領域で、テスト スイートを選択し、[ その他のオプション ] を選択するか、右クリックしてコンテキスト メニューを開 き、[構成の割り当て] を選択します。

    [構成の割り当て] メニュー オプションを示すスクリーンショット。

    テスト スイートに複数の構成を追加した場合、テスト ケースは、割り当てた各構成で繰り返されます。

    スクリーンショットは、テスト スイートへの複数の構成の割り当てを示しています。

  2. 必要に応じて、テスト ケースに割り当てられた既定の構成をオーバーライドし、必要な構成を割り当てます。 1 つ以上のテスト ケースを選択し、コンテキスト メニューを開 き、[構成の割り当て] を選択します。

    テスト ケースに割り当てられた構成の割り当てを示すスクリーンショット。

  3. テスト ケースに割り当てる構成を検索して選択します。

    テスト ケースの構成の設定を示すスクリーンショット。

構成は、テスト 計画、テスト スイート、または個々のテスト ケースに割り当てることができます。 テスト 計画またはテスト スイートに割り当てられた構成は、その中のすべてのテストまたはスイートに適用されます。

  1. テスト 計画に構成を割り当てるには、[ テスト プラン ] ページでプランのショートカット メニューを開 き、[構成をテスト計画に割り当てる] を選択します。

    テスト 計画への構成の割り当て

  2. テスト スイートに構成を割り当てるには、スイートのショートカット メニューを開き、[ 構成をテスト スイートに割り当てる] を選択します。

    テスト スイートへの構成の割り当て

    テスト 計画またはスイートに複数の構成を追加した場合、テスト ケースは、割り当てた各構成でプランまたはスイートで繰り返されます。

    テスト スイートへの複数の構成の割り当て

  3. 必要に応じて、テスト ケースに割り当てられた既定の構成をオーバーライドし、必要な構成を割り当てます。 1 つ以上のテスト ケースを選択し、ショートカット メニューを開 き、[構成の割り当て] を選択します。

    テスト ケースに割り当てられた既定の構成のオーバーライド

  4. これらのテスト ケースに割り当てる構成を検索して選択します。

    テスト ケースに必要な構成を設定する

各構成でテストを実行する

Windows 10で Google Chrome を使用してアプリをテストするなど、特定の構成のテスト プラットフォームを設定します。

  1. この構成が割り当てられているテストを選択して実行します。

    スクリーンショットは、特定の構成と [Web アプリケーションの実行] オプションが選択されたテストを示しています。

    テストを実行すると、ステータス バーに構成のアラームが表示されます。

    ステータス バーのこのテストの構成を示すスクリーンショット。

  1. Windows 10で Google Chrome を使用してアプリをテストするなど、特定の構成のテスト プラットフォームを設定します。

  2. この構成が割り当てられているテストを選択して実行します。

    構成が割り当てられたテストの実行

    テストを実行すると、[テスト ランナー] ウィンドウのステータス バーに必要な構成が表示されます。

    必要な構成が [テスト ランナー] ウィンドウに表示されます

各構成のテスト結果を追跡する

  1. テスト スイートの [グラフ] ページを開き、[ 新規] を選択して、[ 新しいテスト結果グラフ] を選択します。

    [新しいテスト結果グラフ] メニュー オプションを示すスクリーンショット。

  2. 円グラフや横棒グラフなどのグラフの種類を選択し、[構成>にグループ化] を選択し、[OK] を選択します

    [グラフの構成] ダイアログ ボックスでグループ化の構成オプションを選択するスクリーンショット。

    構成に基づいてテストを追跡するのに役立つグラフが作成されます。 このグラフはダッシュボードにピン留めできます。

    [未実行]、[合格]、[失敗] の値を含む横棒グラフを示すスクリーンショット。

複数のテスト スイートに表示されるテスト ケースがある場合は、スイートごとに異なる構成を設定できます。 同じテスト ケースに対し、テスト スイートとテスト計画ごとに異なる構成設定を指定できます。

  1. テスト 計画またはテスト スイートの [グラフ] ページを開き、[ 新規] を選択して、[ 新しいテスト結果グラフ] を選択します。

    新しいテスト結果グラフの作成

  2. 必要なグラフの種類を選択し、[グループ別] リストで [構成] を選択し、[OK] を選択します

    必要なグラフの種類の選択

    構成に基づいてテストを追跡するのに役立つグラフが作成されます。 このグラフはダッシュボードにピン留めできます。

    構成テストの結果グラフ

複数のテスト プランとテスト スイートに表示されるテスト ケースがある場合は、それぞれに異なる構成を設定できます。 同じテスト ケースに対し、テスト スイートとテスト計画ごとに異なる構成設定を指定できます。