什麼是 Azure Test Plans？
Azure DevOps Services | Azure DevOps Server 2022 - Azure DevOps Server 2019
Azure 測試計劃提供功能強大的工具，可在整個開發過程中推動品質和共同作業。 此瀏覽器型測試管理解決方案支援規劃的手動測試、使用者驗收測試、探勘測試和專案關係人意見反應。
注意
本文適用於 Azure DevOps Services 和 Azure DevOps Server 2020 和更新版本。 大部分的資訊對舊版內部部署版本都是有效的，不過，映像只會顯示最新版本的範例。 此外，隨著 Azure DevOps Server 2020 的發行，使用者介面已大幅變更。 如需新介面和支援功能的概觀，請參閱 瀏覽測試計劃。
Azure Test Plans 如何運作？
Azure Test Plans 透過瀏覽器型工具的組合—測試計畫、進度報告、參數、組態、執行和測試工具，以及 DevOps 整合功能，Azure Test Plans 支援下列測試目標：
-
- 組織計劃性手動測試：指定測試人員和測試潛在客戶，將測試組織成測試計劃和測試套件。
- 進行使用者驗收測試：指定使用者驗收測試人員，以確認交付的值符合客戶需求，重複使用工程小組所建立的測試成品。
- 執行探勘測試：讓開發人員、測試人員、UX 小組、產品擁有者和其他人員不使用測試計劃或測試套件來探索軟體系統。
- 收集項目關係人意見反應：與開發小組以外的專案關係人互動，例如營銷和銷售部門的使用者，以進行測試。
自動化測試：整合 Azure Test Plans 與 Azure Pipelines，以支援 CI/CD 內的測試。 將測試計劃和測試案例與組建或發行管線產生關聯。 新增管線工作以擷取和發佈測試結果。 透過內建進度報告和管線測試報告來檢閱測試結果。
確保可追蹤性：將測試案例和測試套件連結至使用者案例、功能或端對端可追蹤性的需求。 自動將測試和瑕疵連結至所測試的需求和組建。 從面板新增並執行測試，或使用適用於較大型小組的測試計劃中樞。 使用管線結果和需求小工具追蹤需求測試。
追蹤報告和分析：使用可設定的追蹤圖表監視測試結果和進度、儀錶板的測試特定小工具，以及內建報表，例如進度報表、管線測試結果報告，以及 Analytics 服務。
注意
負載和效能測試：雖然 Azure DevOps 雲端式負載測試服務已被取代，但可使用 Azure 負載測試。 Azure 負載測試是完全受控的負載測試服務，可讓您使用現有的 Apache JMeter 腳本來產生大規模的負載。 如需詳細資訊，請參閱什麼是 Azure 負載測試？。 如需淘汰 Azure DevOps 負載測試的詳細資訊，請參閱 Visual Studio 中的負載測試功能變更和 Azure DevOps 中的雲端負載測試。
重點優勢
Azure Test Plans 提供軟體開發小組下列優點。
在任何平台上進行測試：使用 Test Plans 入口網站，您可以使用任何支援的瀏覽器來存取所有手動測試功能。 它可讓您透過易於使用的瀏覽器型介面，建立和執行手動測試，讓使用者可以在任何平臺上從所有主要瀏覽器存取。
豐富的診斷數據收集：使用 Web 型測試執行器和測試執行器用戶端，您可以在 手動測試期間收集豐富的診斷數據 。 此數據報含螢幕快照、影像動作記錄、螢幕錄製、程式代碼涵蓋範圍、IntelliTrace 追蹤，以及測試中應用程式的影響數據。 這項數據會自動包含在您在測試期間建立的所有 Bug 中，讓開發人員輕鬆地重現問題。
端對端可追蹤性：Azure DevOps 提供需求、組建、測試和 Bug 的端對端可追蹤性，並將 工作項目連結至其他物件。 使用者可以從面板上的卡片追蹤其需求品質。 測試時建立的 Bug 會自動連結至所測試的需求和組建，以協助您追蹤需求或組建的品質。
整合式分析：分析服務會提供數據，將數據饋送至內建報表、可設定的儀錶板小工具，以及使用Power BI自定義的報表。 數據會追蹤手動和自動化測試的測試計劃進度和趨勢。 測試分析可讓您近乎即時地查看組建和發行的測試數據。 Teams 可以處理此數據，以改善測試附屬數據，以協助維護狀況良好的管線。
可延伸平臺。 您可以結合您已經知道的工具和技術與最適合您整合及 擴充 Azure DevOps 的開發工具。 使用測試平臺可用的 REST API 和貢獻模型來建立延伸模組，以提供測試管理生命週期所需的體驗。
支援的案例和存取需求
Azure DevOps 入口網站功能的存取權是透過指派給使用者的存取層級來管理。 三個主要存取層級是項目關係人、基本和基本+測試計劃，如關於存取層級中所述。 下表指出使用 Azure Test Plans 執行相關聯工作所需的存取層級。 除了存取層級之外，選取功能還需要執行許可權。 如需詳細資訊，請參閱 手動測試存取權和許可權。
案例和工作
利益相關 者
基本
基本 +測試計劃
測試規劃
- 建立測試計劃和測試套件
- 管理測試計劃回合設定
- 管理設定
✔️
測試執行
- 使用測試執行器在任何平台上執行測試（Windows、Linux、Mac）
✔️
✔️
使用 Test & Feedback 擴充功能執行探勘測試
✔️
✔️
✔️
分析和檢閱測試
- 建立具有各種樞紐的圖表，例如優先順序、設定等，以追蹤測試進度
- 瀏覽測試結果
- 匯出測試計劃和測試套件以供檢閱
- 使用者驗收測試 – 透過電子郵件指派測試和邀請
✔️
✔️
手動與探勘測試
為了支援手動和探勘測試，Azure Test Plans 會使用測試特定的工作專案類型來規劃和撰寫測試。 此外，它提供兩個測試工具來支援執行測試。 測試計劃、參數和組態中樞提供工具，以有效率地建立和管理測試專案、其設定和組態。 測試套件可以是動態的-需求型套件和查詢型套件，可協助您了解開發中相關需求的品質，或靜態以協助您涵蓋回歸測試。
測試特定的工作項目類型
工作專案類型—測試計劃、測試套件、測試案例、共用步驟和共用參數—支援數個明確的連結，以支援需求追蹤，並跨許多測試案例共用測試步驟和數據。 測試案例可以指派為手動或自動化。 如需每個測試專案的描述，請參閱 測試物件和詞彙。
在 Azure DevOps 中，測試結果、測試回合和測試案例之間的關聯性可理解如下：
- 測試案例： 特定案例或一組旨在驗證特定特性或功能的步驟。
- 測試回合： 執行一或多個測試案例的實例。 每個測試回合都可以包含多個測試案例。
- 測試結果： 測試回合的結果。 測試回合中的每個測試案例都有自己的測試結果，指出它是否已通過或失敗。
注意
透過 Azure DevOps Server 2020 和更新版本，您可以將測試工作新增至管線來執行自動化測試。 使用測試工作時，不需要定義測試計劃、測試案例和測試套件。
定義測試計劃和測試套件
您可以從測試計劃中樞建立和管理測試計劃和測試套件。 將一或多個測試套件新增至測試計劃，以靜態、需求為基礎或以查詢為基礎。 匯出和共用測試計劃和測試套件與您的小組。 若要瞭解如何，請參閱 建立測試計劃和測試套件 和 複製或複製測試計劃、測試套件和測試案例。
使用測試案例撰寫測試
您可以定義測試步驟，並選擇性地定義要參考的測試數據，以定義手動測試案例。 測試套件包含一或多個測試案例。 您可以在測試套件內共享測試案例。 用於定義測試案例的方格檢視支援複製、貼上、插入和刪除作業。 快速指派單一或多個測試人員來執行測試。 檢視測試案例的測試結果和測試案例的參考。 若要瞭解如何，請參閱 建立測試案例。
在每個測試案例中，您會指定一組具有預期結果的測試步驟。 您可以選擇性地新增 共用步驟 或 共用參數。 若要追蹤，請將測試案例連結到他們測試的用戶劇本、功能或 Bug。
管理共用參數
使用Parameters中樞，定義及管理跨測試案例共用的參數。 共用參數支援使用不同的測試數據多次重複手動測試。 例如，如果您的使用者可以將不同數量的產品新增至購物車，則您想要檢查 200 個數量是否有效，且數量為 1。
管理測試組態和變數
透過設定中樞，小組可以定義、檢閱及管理測試計劃所參考的測試組態和變數。 測試組態支援在不同作業系統、網頁瀏覽器和版本上測試您的應用程式。 如同共用參數，測試組態可以跨多個測試計劃共用。
測試執行和測試工具
透過下列工具，開發人員、測試人員和專案關係人可以在執行測試時起始測試並擷取豐富的數據，並自動記錄連結至測試的程式碼缺失。 透過在傳統型應用程式或 Web 應用程式之間執行測試，來測試您的應用程式。
- 測試執行器：用於測試 Web 應用程式的瀏覽器型工具，以及用於測試從 測試計劃 中樞啟動之傳統型應用程式的桌面用戶端版本，以執行手動測試。 測試執行器支援豐富的數據收集，同時執行測試，例如影像動作記錄、視訊錄製、程式代碼涵蓋範圍等等。它也允許使用者建立 Bug，並標示測試的狀態。
- 測試與意見反應延伸模組：免費延伸模組，可支援您從 Chrome、Microsoft Edge 或 Firefox 瀏覽器存取的探勘測試。 延伸模組會擷取與透過影像或視訊探索的應用程式互動，並輸入口頭或類型撰寫的批注。 資訊會擷取在意見反應回應工作項目類型中，以協助追蹤響應數據。
測試執行功能
您可以使用指示的工具執行下列工作。
| Task | 測試計劃中樞 | 測試執行器 | 測試與意見反應延伸模組 |
|---|---|---|---|
| 大量標記測試 | ✔️ | ||
| 通過或失敗測試或測試步驟 | ✔️ | ✔️ | |
| 執行期間測試的內嵌變更 | ✔️ | ✔️ | |
| 暫停和繼續測試 | ✔️ | ✔️ | |
| 測試執行期間的檔案錯誤 | ✔️ | ✔️ | |
| 在測試執行期間擷取螢幕快照、影像動作記錄和屏幕錄製 | ✔️ | ✔️ | |
| 在測試執行期間更新現有的 Bug | ✔️ | ✔️ | |
| 確認 Bug | ✔️ | ✔️ | |
| 指派測試回合的組建 | ✔️ | ||
| 指派測試設定 | ✔️ | ||
| 檢閱測試回合 | ✔️ |
執行測試
從 [測試計劃] 中樞 [執行] 索引標籤，小組成員可以針對針對測試套件定義的一或多個測試案例起始測試執行。 選擇包括執行 Web 或傳統型應用程式的測試執行器 。 或者，小組成員可以選擇 [ 使用選項 執行]，以選擇其他支援的用戶端進行手動測試，或選取要進行自動化測試的組建。 如需詳細資訊，請參閱 執行手動測試。
測試執行器
測試執行器 會執行 Web 和傳統型應用程式的測試。 將測試步驟和測試結果標示為通過或失敗，並在測試時收集診斷數據，例如系統資訊、影像動作記錄、螢幕錄製和螢幕擷取。 在測試期間提交的 Bug 會自動包含所有擷取的診斷數據，以協助開發人員重現問題。 如需詳細資訊，請參閱 執行 Web 應用程式的 測試，以及 執行傳統型應用程式的測試。
使用者接受度測試
使用者驗收測試 （UAT） 可協助確保小組提供客戶所要求的價值。 您可以建立 UAT 測試計劃和套件、邀請數個測試人員執行這些測試，以及使用輕量型圖表監視測試進度和結果。 若要瞭解如何，請參閱 使用者驗收測試。
使用測試與意見反應延伸模組進行探勘測試
Test 和 Feedback 擴充功能是一個簡單的瀏覽器型擴充功能 ，可讓您隨時及隨處測試 Web 應用程式，而且足以讓小組中的每個人使用。 它可讓您花更多的時間尋找問題，減少提交問題的時間，有助於提升生產力。
利害關係人意見反應
您應該向開發小組外部的利害關係人尋求意見反應，例如行銷和銷售小組，這對開發高質量的軟體至關重要。 開發人員可以要求使用者劇本和功能的意見反應。 項目關係人可以使用瀏覽器型測試和意見反應延伸模組來回應意見反應要求，而不只是以評分和傳送批注，還可以直接擷取豐富的診斷數據，並提交 Bug 和工作。 如需詳細資訊 ，請參閱要求專案關係人意見反應 和 提供專案關係人意見反應。
自動化測試
自動化測試可藉由在 Azure Pipelines 內執行測試來促進。 測試分析可讓您近乎即時地查看組建和發行的測試數據。 它藉由識別重複的高影響質量問題，協助改善管線效率。
Azure Test Plans 支援以下列方式進行自動化測試：
將測試計劃或測試案例與組建或發行管線產生關聯
指定管線定義內的測試啟用工作。 Azure Pipelines 提供數項工作，包括下列工作，可支援完整的測試報告和分析體驗。
- 發佈測試結果工作：用來將測試結果發佈至 Azure Pipelines。
- Visual Studio 測試工作：使用 Visual Studio 測試執行器來執行單元和功能測試（Selenium、Appium、自動程式化 UI 測試等等）。
- .NET Core CLI 工作：用來建置、測試、封裝或發佈 dotnet 應用程式。
如需更多工作，請參閱 發佈測試結果工作
提供內建報表和可設定的儀錶板小工具，以顯示管線測試結果。
將測試結果和相關聯的測試數據收集到 Analytics 服務中。
可追蹤性
Azure Test Plans 支援將 Bug 和需求連結至測試案例和測試套件。 此外，下列入口網站、測試相關工具支援可追蹤性：
- 檢視連結至測試案例的專案：檢視測試案例所連結的測試計劃、測試套件、需求和 Bug。
- 從面板新增並執行測試：支援從面板定義測試案例、功能或 Bug 的 Azure Boards 功能。 此外，您可以啟動測試執行器或測試與意見反應延伸模組來執行測試或執行探勘測試。
- 需求品質小工具：可設定的小工具，用來從組建或發行管線持續追蹤品質。 小工具會顯示需求與針對該需求執行的最新測試結果之間的對應。 其提供需求可追蹤性的深入解析。 例如，不符合品質的需求、未測試的需求等等。
檢視連結至測試案例的專案
從測試計劃中樞，您可以檢視及開啟連結至測試案例的測試套件、需求和 Bug。 [測試套件] 索引標籤也會指出參考測試案例的測試計劃和專案。 [需求] 索引標籤會列出連結至屬於需求類別之測試案例的工作專案。 此外，您可以建立直接連結查詢，以列出透過 測試/測試連結 類型連結至測試案例的專案。 如需詳細資訊，請參閱 建立測試案例 和使用 直接連結來檢視相依性。
從面板新增並執行測試
從 Azure Boards 面板，您可以從使用者劇本或功能新增測試，自動將測試案例連結到使用者劇本或功能。 您可以直接從面板檢視、執行及與測試案例互動，並逐步從卡片監視狀態。 若要深入瞭解，請參閱 新增、執行和更新內嵌測試。
需求品質小工具
需求品質小工具會顯示範圍中所有需求的清單，以及測試的通過率和失敗測試計數。 選取 [失敗的測試計數] 會開啟 所選組建或發行的 [測試 ] 索引標籤。 小工具也有助於追蹤需求，而不需要任何相關聯的測試。 如需詳細資訊，請參閱 需求可追蹤性。
報告和分析
為了支持報告和分析，Azure Test Plans 支援測試追蹤圖表、測試 回合 中樞、數個內建管線測試報告、儀錶板小工具，以及儲存在 Analytics 服務中的測試數據。
- 可設定的測試圖表：您可以藉由建立測試追蹤圖表來深入瞭解測試計劃撰寫和執行活動。
- 進度報告：追蹤一個或測試計劃或測試套件的進度。
- 測試回合：檢閱手動和自動化測試回合的結果。
- 儀錶板小工具：可根據選取的組建或版本顯示測試結果的可設定小工具。 小工具包括 部署狀態 小工具和 測試結果趨勢 （進階） 小工具。
- 測試分析：透過查詢 Analytics 服務，從內建管線報告取得詳細見解，或建立自定義報告。
可設定的測試圖表
使用您選擇的圖表類型快速設定輕量型圖表來追蹤手動測試結果，並將圖表釘選到儀錶板，以輕鬆分析這些結果。 選擇保留原則來控制手動測試結果的保留時間長度。 如需詳細資訊，請參閱 追蹤測試狀態。
進度報告
使用進度報表中樞，小組可以追蹤多個測試計劃或測試套件的進度。 此報告可協助回答下列問題：
- 測試完成多少？
- 有多少測試通過、失敗或遭到封鎖？
- 測試是否可能及時完成？
- 每日執行率為何？
- 哪些測試區域需要注意？
測試執行
[執行] 中樞會顯示測試回合的結果，包括手動和自動化的所有測試回合。
注意
執行中樞適用於 Azure DevOps Server 2020 和更新版本。 它需要啟用用來儲存和管理測試回合數據的 Analytics 服務。 如需服務的詳細資訊，請參閱 什麼是 Analytics 服務？
選擇任何特定的回合，以檢視測試回合的摘要。
部署狀態
[部署狀態] 小工具可設定的小工具會顯示部署狀態的合併檢視，以及針對一組最近的組建，跨多個環境測試通過率。 您可以藉由指定組建管線、分支和鏈接發行管線來設定小工具。 若要在發行的多個環境中檢視測試摘要，小工具會提供每個環境的矩陣檢視，以及對應的測試通過率。
將滑鼠停留在任何組建摘要上，您可以檢視更多詳細數據，特別是通過和失敗的測試數目。
![[部署狀態] 小工具的螢幕快照，其中將滑鼠停留在組建實例上所顯示的詳細數據。](media/overview/deployment-status-details-hover-over.png?view=azure-devops-2022)
測試結果趨勢 （進階）
測試結果趨勢 （進階） 小工具可讓您近乎即時地查看多個組建和發行的測試數據。 小工具會顯示所選管線測試結果的趨勢。 您可以使用它來追蹤測試、通過率和測試持續時間的每日計數。 追蹤一段時間的測試品質並改善測試附屬品是維護良好 DevOps 管線的關鍵。 小工具支持追蹤一或多個組建管線或發行管線的進階計量。 小工具也允許依結果篩選測試結果、堆疊計量等等。 如需詳細資訊，請參閱 設定測試結果趨勢 （進階） 小工具。
![[測試結果趨勢] 小工具的螢幕快照，其中以 Analytics 服務為基礎的進階版本。](../report/dashboards/media/test-results-trend-widget/passed-bypriority-pass.png?view=azure-devops-2022)
資料分析
內建測試和測試支援的 Widget 會從 Analytics 服務衍生其數據。 Analytics 服務是 Azure DevOps 的報告平臺，並支援 [分析 與 測試 ] 索引標籤，以及可從 Pipelines 中樞取得的向下切入報告。 測試 失敗 向下切入報告提供通過和失敗測試的摘要。 如需詳細資訊，請參閱 Test Analytics。
![[管線分析摘要] 頁面的螢幕快照。](media/overview/pipeline-analytics.png?view=azure-devops-2022)
此外，您可以藉由查詢 Analytics 服務來建立自定義報表。 如需詳細資訊，請參閱 使用 OData 查詢的範例報表概觀。