測試不同的組態

Azure DevOps Services |Azure DevOps Server 2022 - Azure DevOps Server 2019 |TFS 2018

您的使用者可能會在各種不同的設定上安裝或執行您的應用程式,例如不同的作業系統、網頁瀏覽器和其他變化。 您會想要在具有這些不同組態的階段中至少執行一些測試。

使用測試計劃來決定您要在哪些設定上執行的測試。 您必須確定當您執行測試時,您已針對所需的設定設定設定階段。

您可以繪製您要測試之組合的圖解矩陣:

瀏覽器和操作系統組態的測試矩陣

然後您可以:

必要條件

  • 您必須連線到專案。 如果您還沒有專案, 請建立一個專案
  • 您必須新增至專案。 若要新增, 請將使用者新增至專案或小組
  • 若要檢視或新增測試組態,您必須具有 基本 存取權或更高許可權。
  • 若要新增測試組態,您必須將專案層級 的管理測試組態 許可權設定為 [允許]。 根據預設,此許可權會授與參與者和專案管理員群組的成員。

若要深入瞭解,請參閱 手動測試存取權和許可權

使用 TCM 命令行工具

若要使用 TCM 命令列工具,您必須具備下列專案:

  • 已安裝 Visual Studio 2017 Professional 或舊版。 您可以從命令提示字元與下列目錄存取 TCM:

    • %programfiles(x86)%\Microsoft Visual Studio\2017\Professional\Common7\IDE
    • %programfiles(x86)%\Microsoft Visual Studio\2017\Enterprise\Common7\IDE
    • %programfiles(x86)%\Microsoft Visual Studio 14.0\Common7\IDE
  • 若要執行 TCM 命令,請視需要指定 /collection/teamproject 參數 /login

    參數 描述
    /收集:CollectionURL 必要。 指定 Team 專案集合的 URI。 URI 格式如下所示:
    - 針對 Azure DevOps Services: http://dev.azure.com/OrganizationName
    - 針對 Azure DevOps Server: http://ServerName:Port/VirtualDirectoryName/CollectionName。 如果沒有使用虛擬目錄,則 URI 的格式如下:http://ServerName:Port/CollectionName
    /teamprojectproject 必要。 包含您要複製或匯入自動化測試之測試物件的項目名稱。
    /loginusername,[password] 選擇性。 指定有效 Azure DevOps 使用者的名稱和密碼,以及有權執行命令的人員。 如果您的 Windows 認證沒有適當的許可權,或您使用基本身份驗證,或未連線到網域,請使用此選項。
  • 您必須是想要存取的一或多個專案的有效成員,並根據您執行的命令擁有所需的許可權。 如需詳細資訊,請參閱 手動測試存取權和許可權

  • 您必須具有相同的存取層級,才能新增測試計劃和測試套件來複製或匯入測試物件。

檢視組態和變數

您通常會想要查看已可供執行測試的組態。

您可以從 [組態] 頁面檢視測試組態和組態變數的清單。

在您的專案中,從左側導覽區域選取 [測試計劃>組態]。 在這裡,您會看到測試計劃目前可用的所有測試組態和變數。

查詢編輯器、查詢測試計劃的螢幕快照。

選取組態或變數,以在右側的視窗中查看其詳細資訊。

建立組態和變數

測試組態是組態變數值的組合。 您的組態變數可能是操作系統、瀏覽器、CPU 類型、資料庫。 設定可能是「Windows 8 + 32 位 CPU」或「Windows 10 + 64 位 CPU」。

請先建立組態變數。 然後結合多個變數值來建立組態。

  1. 在 Test Plans 入口網站中開啟 [設定] 頁面,選取+圖示,然後選取 [新增組態變數]。

    此螢幕快照顯示 [新增] 功能表中的 [新增組態變數] 選項。

  2. 輸入變數的名稱,例如 Browser 和描述。 選取 [ 新增值],然後新增值。 視需要新增至組態變數的值數目,然後加以儲存。

    顯示將值新增至新組態變數的螢幕快照。

  3. 重複步驟以建立您需要的任何其他組態變數。 例如,使用您要測試的每個操作系統名稱,建立名為 Operating system 的組態變數。

    顯示設定作業系統組態變數值的螢幕快照。

  4. 選取圖示, + 然後選取 [ 新增測試組態]。

    此螢幕快照顯示 [新增] 功能表中的 [新增測試組態] 選項。

  5. 輸入測試組態的名稱,並新增您所建立的組態變數。 為此組態的每個變數選擇一個值。

    顯示將變數新增至新測試組態的螢幕快照。

    請確定 已核取 [指派給新的測試計劃 ],讓此設定成為您所建立之所有新測試計劃的預設設定。

  6. 儲存新的測試組態。

測試組態是組態變數值的組合。 您的組態變數可能是操作系統、瀏覽器、CPU 類型、資料庫。 設定可能是「Windows 8 + 32 位 CPU」或「Windows 10 + 64 位 CPU」。

您必須先建立組態變數。 然後結合多個變數值來建立組態。

  1. 在 Test Plans 入口網站中開啟 [設定] 頁面,選擇new圖示,然後選取 [新增組態變數]。

    新增組態變數

  2. 輸入變數的名稱,例如 Browser,並輸入值。 視需要新增至組態變數的值數目,然後加以儲存。

    設定新組態變數的值

  3. 重複步驟以建立您需要的任何其他組態變數。 例如,使用您要測試的每個操作系統名稱,建立名為 Operating system 的組態變數。

    設定作業系統組態變數的值

  4. 選擇圖示, new 然後選取 [ 新增測試組態]。

    新增測試組態

  5. 輸入測試組態的名稱,並新增您所建立的組態變數。 為此組態的每個變數選擇一個值。

    將變數新增至新的測試組態

    請確定 已核取 [指派給新的測試計劃 ],讓此設定成為您所建立之所有新測試計劃的預設組態。

  6. 儲存新的測試組態。

將組態指派給測試計劃和套件

您可以將組態指派給測試套件或個別測試案例。 指派給測試套件的組態會套用至其中的所有測試或套件。

  1. 若要將設定指派給測試套件,請在 [測試計劃 ] 頁面中選取方案。 在 [ 測試套件 ] 區域中,選取測試套件,然後選取 [更多選項 ] 或以滑鼠右鍵按兩下以開啟操作功能表,然後選取[ 指派組態]。

    顯示 [指派設定] 功能表選項的螢幕快照。

    如果您將多個組態新增至測試套件,測試案例會隨著您指派的每個組態重複。

    此螢幕快照顯示測試套件的多個組態指派。

  2. 如有必要,請覆寫指派給測試案例的預設組態,並指派您需要的設定。 選取一或多個測試案例、開啟操作功能表,然後選取 [ 指派組態]。

    顯示指派給測試案例之設定的螢幕快照。

  3. 搜尋並選取要指派給測試案例的組態。

    此螢幕快照顯示設定測試案例的設定。

您可以將組態指派給測試計劃、測試套件或個別測試案例。 指派給測試計劃或測試套件的設定會套用至其中的所有測試或套件。

  1. 若要將組態指派給測試計劃,請在 [測試計劃 ] 頁面中開啟計劃的快捷方式功能表,然後選擇 [ 指派組態給測試計劃]。

    將組態指派給測試計劃

  2. 若要將組態指派給測試套件,請開啟套件的快捷方式功能表,然後選擇 [ 指派組態給測試套件]。

    將組態指派給測試套件

    如果您將多個組態新增至測試計劃或套件,測試案例會在計劃或套件中重複,其中包含您已指派的每個組態。

    將多個組態指派指派給測試套件

  3. 如有必要,請覆寫指派給測試案例的預設組態,並指派您需要的設定。 選取一或多個測試案例,開啟快捷方式功能表,然後選擇 [ 指派組態]。

    覆寫指派給測試案例的預設組態

  4. 搜尋並選取要指派給這些測試案例的組態。

    設定測試案例的必要組態

使用每個設定執行測試

為特定設定設定設定測試平臺,例如在 Windows 10 上使用 Google Chrome 測試應用程式。

  1. 選取並執行已指派此設定的測試。

    這個螢幕快照顯示已選取特定組態和 [執行 Web 應用程式] 選項的測試。

    當您執行測試時,設定的提醒會出現在狀態列中。

    螢幕快照:顯示狀態列中此測試的組態。

  1. 為特定設定設定設定測試平臺,例如在 Windows 10 上使用 Google Chrome 測試應用程式。

  2. 選取並執行已指派此設定的測試。

    使用指派的組態執行測試

    當您執行測試時,提醒您在 [測試執行器] 視窗的狀態列中顯示的必要設定。

    必要的設定會出現在 [測試執行器] 視窗中

追蹤每個設定的測試結果

  1. 開啟測試套件的 [ 圖表 ] 頁面,選取 [ 新增],然後選取 [ 新增測試結果圖表]。

    顯示 [新增測試結果圖表] 功能表選項的螢幕快照。

  2. 選擇圖表類型,例如餅圖或條形圖,然後選取 [依>組態分組],然後選擇 [確定]。

    此螢幕快照顯示在 [設定圖表] 對話框中,選擇群組的組態選項。

    系統會建立圖表,以協助您根據組態追蹤測試。 您可以將此圖表釘選到儀錶板。

    此螢幕快照顯示條形圖,其值為 [未執行]、[已傳遞] 和 [失敗]。

如果您有數個測試套件中顯示的測試案例,您可以為每個套件設定不同的組態。 相同的測試案例可以在不同的測試套件和測試計劃中有不同的組態設定。

  1. 開啟測試計劃或測試套件的 [ 圖表 ] 頁面,選擇 [ 新增],然後選取 [ 新增測試結果圖表]。

    建立新的測試結果圖表

  2. 選擇您需要的圖表類型,在 [群組依據] 列表中選取 [設定],然後選擇 [確定]。

    選擇您需要的圖表類型

    系統會建立圖表,以協助您根據組態追蹤測試。 您可以將此圖表釘選到儀錶板。

    組態測試結果圖表

如果您有數個測試計劃和測試套件中顯示的測試案例,您可以為每個測試方案設定不同的組態。 相同的測試案例可以在不同的測試套件和測試計劃中有不同的組態設定。