使用您的建置系統執行測試
更新:2011 年 5 月
您可以定義一個執行測試並分析程式碼變更對測試之影響的建置流程。 例如,您可以定義一個建置流程做為小組定期排程的組建驗證測試 (BVT) 回合。
本主題內容
準備在建置流程中執行測試
在以 DefaultTemplate.xaml 為基礎的組建中處理測試
必要的使用權限
執行自動化測試
暫時停用測試
啟用測試影響分析
在自訂建置流程中處理測試
如需詳細資訊
準備在建置流程中執行測試
準備測試:確認將從建置流程執行的測試不會顯示使用者介面。 一般而言,顯示 UI 的測試不適合建置系統執行。 如果要使用建置系統執行顯示 UI 的測試,必須在以互動式執行的電腦上執行組建定義。 如需詳細資訊,請參閱設定組建電腦。
準備組建電腦:某些種類的測試只能由組建代理程式在經過特別設定的電腦上執行。 在您嘗試使用建置流程執行測試之前,確認這些測試可以在您打算使用的組建電腦上執行。 如需詳細資訊,請參閱使用組建代理程式執行測試。
在以 DefaultTemplate.xaml 為基礎的組建中處理測試
您可以設計組建來執行一個或多個自動化測試回合,以及分析程式碼變更對測試的影響。
必要的使用權限
若要執行這些程序,必須將 [編輯組建定義] 權限設定為 [允許]。 如需詳細資訊,請參閱 Team Foundation Server 使用權限。
執行自動化測試
您可以將組建設計成執行一個或多個自動化測試回合。 針對所設定的每個測試回合,您可以指定下列設定:
執行的測試
用來執行測試的設定
測試失敗時組建是否應該失敗
若要將您的組建設定成執行自動化測試
在組建定義的 [流程] 索引標籤上,展開 [基本] 節點。
選取 [自動化測試] 方塊,然後按一下這個方塊中的省略符號按鈕 (...)。
[自動化測試] 對話方塊隨即出現。
請執行下列其中一個步驟:
若要加入測試回合,請按一下 [加入]。
若要修改現有的測試回合,請按一下它,然後再按一下 [編輯]。
[加入/編輯測試] 對話方塊隨即出現。
按一下要用來執行測試的方法:
測試組件檔案規格 (建議選項)
如果您想要讓組建代理程式在組建代理程式工作目錄的 binaries 子目錄中,以遞迴方式搜尋任何符合 *test*.dll 的 .dll 檔案,請保留預設值 (**\*test*.dll)。 或者,您也可以修改檔案規格以符合您的需求。
(選擇性) 指定 [測試設定檔案] 設定測試的執行方式。 如需詳細資訊,請參閱建立測試設定以便從 Visual Studio 執行自動化的測試。
測試中繼資料檔 (.vsmdi)
如果按一下這個選項,請按一下 [瀏覽] 尋找並指定要使用的測試中繼資料檔。 然後,您可以將 [執行這個 VSMDI 檔案中的所有測試] 核取方塊保留選取狀態,或清除此核取方塊,然後在 [要執行的測試清單] 清單中選取一個或多個測試。
如需詳細資訊,請參閱定義測試清單以分組測試。
按一下 [準則/引數] 索引標籤。
(選擇性) 依照分類篩選要執行的測試。
如需詳細資訊,請參閱本主題後面的指定測試分類。
(選擇性) 依照優先順序篩選要執行的測試。
秘訣 如果您指派優先順序給測試,就可以使用這個參數,使全面性測試和快速組建更好地平衡。
將 [最低測試優先順序] 設定為等於或小於 [最高測試優先順序] 的正整數,或設定為 -1 表示沒有最小值。
將 [最高測試優先順序] 設定為等於或高於 [最低測試優先順序] 的正整數,或設定為 -1 表示沒有最大值。
當這個測試回合中的任何測試失敗時,如果您希望組建失敗,請選取 [在測試失敗時使組建失敗] 核取方塊。 如果您將此核取方塊保留清除狀態,而且任何測試失敗,則完成的組建會被分類為 [已部分成功]。
按一下 [確定]。
指定測試分類
您可以使用測試分類來篩選在測試回合期間執行的測試。
將測試分類
您可以使用 Test Professional 將分類指派給測試。 例如,您可以建立名為 CI 的測試分類,然後在連續整合組建中指定該分類。 您可以針對組建驗證測試建立另一個名為 bvt 的分類,然後在排程的組建中指定該分類,例如夜間組建。
如需詳細資訊,請參閱定義測試分類以分組測試。
指定測試回合的測試分類
您可以透過下列方式指定測試分類:
建立測試回合時,依照本主題前面所述處理。
透過修改現有的測試回合。 (您可以依序展開 [基本] 節點、[自動化測試] 節點以及您想要修改的測試回合,然後按一下 [分類篩選] 方塊,藉以修改現有的測試回合)。
您可以用下列其中一種格式指定測試分類:
**指定要包含或排除的單一測試分類。**例如,您可能有一個稱為 bvt 的測試分類。 您會將這個參數設定為 bvt 表示只執行此分類中的測試,或 !bvt 表示執行所有測試但此分類中的測試除外。
**使用 && ("and" 運算子) 和 !("not" 運算子) 來指定多個測試分類。**例如,您可以指定 quick&&gui&&!deep,以便只執行那些同時在 quick 和 gui 分類但不在 deep 分類中的測試。
使用 | ("or" 運算子) 和 !("not" 運算子)。例如,您可以指定 quick|gui|!deep,以便執行 quick 分類中的測試、gui 分類中的測試,以及任何不在 deep 分類中的測試。
設定多個測試回合
您可以視需要設定任意數目的測試回合,以便符合小組建置和測試流程的需求。 例如在下列情節中,您可能需要在單一組建中設定多個測試回合:
您有兩組測試:
一組必須成功的最高優先順序核心測試。 您加入將 [最低測試優先順序] 和 [最高測試優先順序] 指定為 1 的測試回合。 您選取 [在測試失敗時使組建失敗] 核取方塊。
一組較不重要的測試,而這些是您想要執行但不需要成功就能讓組建可供使用的測試。 您加入將 [最低測試優先順序] 指定為 2 並將 [最高測試優先順序] 指定為 3 的測試回合。 您將 [在測試失敗時使組建失敗] 核取方塊保留清除狀態。
您想要使用不同的測試設定來執行同一組測試。
您想要讓所建置的主要組件組受制於程式碼涵蓋範圍。 不過,您有另一組來自外部來源且不需要程式碼涵蓋範圍的組件。 若要進行這種程序,您可以使用兩個設定為使用兩組測試設定檔案的測試回合。
暫時停用測試
如果您必須暫時停用測試,但不刪除測試回合,請展開 [進階] 節點,然後將 [停用測試] 設定為 [True]。 當您想要重新啟用測試時,請將此值設定回 [False]。
啟用測試影響分析
您的測試人員和開發人員可能需要知道完成組建中所包含的程式碼變更對測試有何影響。 當您在組建中啟用測試影響分析時,系統就會進行分析,然後在完成組建的組建報告中回報程式碼變更對測試有何影響。
若要啟用測試影響分析
在測試設定檔案中設定測試影響分析。
如需詳細資訊,請參閱 HOW TO:收集資料以檢查程式碼變更後應該要執行的測試。
建立設定成使用測試設定檔案的測試回合。
如需詳細資訊,請參閱本主題前面的執行自動化測試。
展開 [進階] 節點,並確定 [分析測試影響] 設定為 [True] 而且 [停用測試] 設定為 [False]。
在自訂建置流程中處理測試
您可以從自訂建置流程執行測試並分析程式碼變更對測試的影響。 如需詳細資訊,請參閱執行測試 (MSTest 活動)。
如需詳細資訊
使用預設範本定義組建提供如何建立以 DefaultTemplate.xaml 為基礎的組建定義的詳細資訊。
HOW TO:在建置應用程式之後設定和執行已排程的測試提供如何從建置系統執行測試的詳細資訊。
請參閱
其他資源
變更記錄
日期 |
記錄 |
原因 |
---|---|---|
2011 年 5 月 |
加入主題。 |
資訊加強。 |