檢閱測試結果

  • 發行項

Azure DevOps Services |Azure DevOps Server 2022 - Azure DevOps Server 2019 |TFS 2018

自動化測試可以設定為作為各種 語言組建或發行的一部分執行。 測試報告提供有效且一致的方式來檢視使用不同的測試架構執行的測試結果，以測量管線品質、檢閱可追蹤性、疑難排解失敗和驅動失敗擁有權。 此外，它提供下列各節所探索的許多進階報告功能。

您也可以使用 Analytics Service執行更深入的測試結果分析。 如需搭配建置和部署管線使用此範例，請參閱 分析測試結果。

閱讀 詞彙 以瞭解測試報告術語。

注意

測試報告適用于 TFS 2015 和更新版本，不過本主題中所述的新體驗目前僅適用于 Azure Pipelines。

注意

在 Microsoft Team Foundation Server (TFS) 2018 和舊版中，組建和發行管線稱為定義、執行稱為組建、服務連線稱為服務端點、階段稱為環境，而作業稱為階段。

您可以在組建或發行摘要的 [ 測試 ] 索引標籤中檢視已發佈的測試結果。

[測試] 索引標籤中的 Surface 測試結果

您可以使用下列其中一個選項，在 [ 測試 ] 索引標籤中顯示測試結果：

  • 自動推斷的測試結果。 根據預設，您的管線可以自動推斷幾個熱門測試執行器的測試輸出。 這是藉由剖析建置作業期間所產生的錯誤記錄，然後檢查測試失敗的簽章來完成。 Azure DevOps 目前支援下列語言和測試執行器，以自動推斷測試結果：

  • 測試執行工作。 Visual Studio Test之類的內建測試執行工作，會自動將測試結果發佈至管線，或是其他專案，例如Ant、Maven、Gulp、Grunt和Xcode，可提供這項功能做為工作內的選項。

  • 發佈測試結果工作。 使用您選擇的執行器執行測試時，將測試結果發佈至 Azure Pipelines 或 TFS 的工作，且結果可使用任何 支援的測試結果格式。

  • API () 。 使用 測試管理 API () 直接發佈的測試結果。

[測試] 索引標籤以外的 Surface 測試資訊

[ 測試] 索引標籤提供測試執行的詳細摘要。 這有助於追蹤管線的品質，以及針對失敗進行疑難排解。 Azure DevOps 也提供其他方式來呈現測試資訊：

  • 儀表板可讓您瞭解小組的進度。 新增一或多個顯示測試相關資訊的小工具：

  • 測試分析 提供經過一段時間測量之測試結果的豐富見解。 它可藉由提供最上層失敗測試等資料，協助您找出測試中有問題的區域。

檢視組建中的測試結果

建置摘要提供建置中執行之重要步驟的時間軸檢視。 如果測試已執行並回報為組建的一部分，則時間軸檢視中會出現測試里程碑。 測試里程碑會提供測試結果的摘要，做為 通過百分比 的量值，以及這些 失敗 和 中止的 指標。

在建置時程表檢視中檢視測試

檢視發行中的測試結果

在管線檢視中，您可以看到所有階段和相關聯的測試。 檢視會提供測試結果的摘要，做為通過百分比的量值，以及這些失敗和中止的指標。 這些指標與在建置時程表檢視中相同，在建置和發行之間提供一致的體驗。

在發行畫布檢視中檢視測試

[測試] 索引標籤

組建和發行摘要都提供測試執行的詳細資料。 選擇 [測試摘要 ] 以檢視 [ 測試 ] 索引標籤中的詳細資料。此頁面有下列各節

  • 摘要：提供測試執行的重要量化計量，例如測試計數總計、失敗的測試、通過百分比等等。 它也會提供與先前執行相比之變更的差異指標。

  • 結果：列出執行的所有測試，並報告為目前組建或發行的一部分。 預設檢視只會顯示失敗和中止的測試，以便專注于需要注意的測試。 不過，您可以使用所提供的篩選來選擇其他結果。

  • 詳細資料：您可以排序、分組、搜尋和篩選的測試清單，以尋找您需要的測試結果。

檢視測試索引標籤

選取任何測試回合或結果，即可檢視詳細資料窗格，其中顯示疑難排解所需的其他資訊，例如錯誤訊息、堆疊追蹤、附件、工作專案、歷程趨勢等等。

檢視詳細資料索引標籤

提示

如果您使用 Visual Studio 測試工作來執行測試，使用任何 Console.WriteLine、Trace.WriteLine 或 TestCoNtext.WriteLine 方法) ，從測試 (記錄的診斷輸出會顯示為失敗測試的附件。

[ 測試 ] 索引標籤的下列功能有助於改善生產力和疑難排解體驗。

篩選大型測試結果

經過一段時間後，測試會累算，而且對於大型應用程式，可以輕鬆地成長到數十萬個測試。 對於具有非常多測試的這些應用程式，很難流覽結果來識別測試失敗、建立根本原因的關聯，或取得問題的擁有權。 篩選可讓您輕鬆地快速流覽至您感興趣的測試結果。 您可以篩選 測試名稱、 結果 (失敗、通過等等) 、 測試檔案 (保存測試) 和 擁有者 (的測試檔案) 。 所有篩選準則本質上都是累計的。

篩選大型測試結果集

此外，使用多個 群組 選項，例如 測試回合、 測試檔案、 優先順序、 需求等等，您可以依照需求來組織 結果 檢視。

使用 Bug 測試貸款管理

若要管理失敗或長時間執行測試的測試債務，您可以建立 Bug 或將資料新增至現有的 Bug，以及所有檢視工作專案索引標籤中的所有相關聯工作專案。

沈浸式疑難排解體驗

錯誤訊息和堆疊追蹤本質上很冗長，而且需要足夠的實際空間，才能在疑難排解期間檢視詳細資料。 為了提供沈浸式疑難排解體驗，詳細 資料檢視 可以展開為完整頁面檢視，同時仍能夠在內容中執行必要的作業，例如針對所選測試結果建立錯誤或需求關聯。

全頁面板檢視

針對測試失敗的資料進行疑難排解

針對測試失敗，錯誤訊息和堆疊追蹤可用於疑難排解。 您也可以在 [ 附件 ] 索引標籤中檢視與測試失敗相關聯的所有附件。

測試貸款管理

您可以建立或新增至現有的 Bug，以管理失敗的測試貸款或長時間執行的測試。 [ 工作專案] 索引 標籤會詳細說明與測試相關聯的所有 Bug 和需求，以協助您分析需求影響，以及誰正在處理 Bug。

測試執行的歷程記錄可提供對測試可靠性或效能有意義的深入解析。 針對失敗進行疑難排解時，瞭解過去測試的執行方式非常重要。 [ 測試 ] 索引標籤會提供測試結果內容中的測試歷程記錄。 從目前的組建管線開始，測試歷程記錄資訊會以漸進方式公開給其他分支，或目前階段分別公開至其他階段，以進行建置和發行。

檢視歷程趨勢

檢視進行中的測試執行

整合和功能測試等測試可以長時間執行。 因此，請務必隨時查看測試執行的目前或近乎即時狀態。 即使測試快速執行的情況，也有助於知道相關測試結果的狀態， (儘快) ;特別是發生失敗時。 進行中檢視不需要等待測試執行完成。 執行進度時，結果會以近乎即時的方式提供，協助您更快採取動作。 您可以偵錯失敗、提出 Bug 或中止管線。

進行中發行檢視

注意

此功能目前適用于使用 Multi Agent 作業中的 Visual Studio 測試 工作來建置和發行。 未來版本將可供單一代理程式作業使用。

以下檢視顯示版本中 的進行 中測試摘要，報告特定時間點的測試計數和測試失敗總數。 測試失敗可用於疑難排解、建立 bug (s) ，或採取任何其他適當的動作。

進行中摘要檢視

檢視摘要測試結果

在測試執行期間，測試可能會繁衍多個實例或參與整體結果的測試。 某些範例包括重新執行的測試、由其他測試的已排序組合所組成的測試， (排序的測試) ，或根據輸入參數 (資料驅動測試) 的不同實例的測試。

當這些測試相關時，它們必須與衍生自個別實例或測試的整體結果一起報告。 這些測試結果會在 [ 測試 ] 索引標籤中回報為摘要測試結果：

  • 重新執行失敗的測試：可在最新版 的 Visual Studio 測試 工作中取得重新執行失敗的測試。 在重新執行期間，可以針對失敗的測試進行多個嘗試，而且每個失敗可能會因為測試的非決定性行為而有不同的根本原因。 測試報告會針對重新執行的所有嘗試提供合併檢視，以及整體測試結果作為摘要單元。 此外， 測試管理 API () 現在支援發佈和查詢摘要測試結果的能力。

    重新執行失敗的測試

  • 資料驅動測試：類似于重新執行失敗的測試，資料驅動測試的所有反復專案都會在摘要檢視中回報該測試。 摘要檢視也適用于 Visual Studio) 中的已排序測試 (.orderedtest 。

    資料驅動測試

注意

測試摘要區段中的計量，例如使用摘要測試結果的根層級來計算測試總數、通過、失敗或其他計量。

檢視中止的測試

測試執行可能會因為數個原因而中止，例如測試程式碼錯誤、測試中來源中的錯誤，或環境問題。 不論中止的原因為何，請務必能夠診斷行為並識別根本原因。 在 [ 測試 ] 索引標籤中，可以同時檢視中止的測試與測試回合。

檢視已停止的測試。

注意

此功能目前適用于建置和發行，使用 Multi Agent 作業中的 Visual Studio 測試 工作，或使用 測試管理 API (s) 發佈測試結果。 未來版本將可供單一代理程式作業使用。

自動推斷的測試結果

Azure DevOps 可以針對一些支援的測試架構，自動推斷管線中執行的測試輸出。 這些自動推斷的測試報告不需要您管線的特定設定，而且是開始使用 Test Reporting 的零心方法。

自動推斷的測試報表範例

請參閱 自動推斷測試結果的執行器清單。

由於這類推斷報表中只有有限的測試中繼資料存在，因此它們在特性和功能中受到限制。 下列功能不適用於推斷的測試報告：

  • 依測試檔案、擁有者、優先順序和其他欄位分組測試結果
  • 搜尋並篩選測試結果
  • 檢查通過測試的詳細資料
  • 預覽 Web UI 本身內測試期間產生的任何附件
  • 建立測試失敗與新 Bug 的關聯，或查看此失敗的相關工作專案清單
  • 請參閱建置內部建置 分析以在管線中進行測試

注意

某些執行器，例如 Mocha 有多個內建主控台報告程式，例如 點矩陣 和 進度列。 如果您已為測試執行器設定非預設主控台輸出，或使用自訂報告程式，Azure DevOps 將無法推斷測試結果。 它只能推斷 預設 報告程式的結果。

說明及支援