測試分析

Azure DevOps Services | Azure DevOps Server 2022 - Azure DevOps Server 2019

追蹤一段時間的測試品質並改善測試附隨品是維護狀況良好 DevOps 管線的關鍵。 測試分析可讓您近乎即時地查看組建和發行的測試資料。 它可藉由識別重複、高影響品質的問題,來協助改善管線的效率。

注意

測試分析目前僅適用于 Azure Pipelines。

閱讀 詞彙 以瞭解測試報告術語。

視需要安裝 Analytics 擴充功能

如需詳細資訊,請參閱 Analytics Marketplace 擴充功能

檢視組建的測試分析

若要協助小組尋找並修正經常或間歇性 失敗的測試,請使用前幾個失敗的測試 報告。 組建摘要包含裝載此報表 的 [分析 ] 頁面。 最上層檢視會針對指定的期間,提供所選組建管線的測試通過率和結果摘要。 預設範圍是 14 天。

檢視組建中的趨勢

檢視版本的測試分析

針對在發行過程中執行的測試,請從右上角的 Analytics 連結存取測試分析。 如同建置,摘要會提供指定期間之測試通過率和結果的匯總檢視。

檢視發行的趨勢

測試失敗

開啟組建或發行摘要,以檢視前幾名失敗的測試報告。 此報告提供管線中前幾個失敗測試的細微檢視,以及失敗詳細資料。

測試分析詳細資料檢視

詳細檢視包含兩個區段:

  • 摘要:提供在指定期間內建置或發行中執行之測試的重要量化計量。 預設檢視會顯示 14 天的資料。

    • 通過率和結果:顯示 通過百分比,以及各種結果的測試分佈。

      檢視通過率

    • 失敗的測試:提供在指定期間內失敗的測試相異計數。 在上述範例中,986 個測試失敗源自 124 個測試。

      檢視失敗的測試

    • 圖表檢視:指定期間每天的總測試失敗和平均通過率的趨勢。

      檢視圖表

  • 結果:根據失敗總數,排名最高的測試清單。 有助於識別有問題的測試,並讓您深入探索結果的詳細摘要。

    檢視結果。

群組測試失敗

您可以使用 [依群組 ] 選項,以數種不同的方式組織報表檢視。 將測試結果分組可提供最上層失敗測試各層面的深入解析。 在下列範例中,測試結果會根據其所屬 的測試檔案 分組。 它會在指定的期間顯示測試檔案及其各自對測試失敗總數的貢獻,以協助您輕鬆識別並排定後續步驟的優先順序。 此外,針對每個測試檔案,它會顯示參與這些失敗的測試。

依測試檔案分組

向下切入至個別測試

在 [ 詳細資料 ] 區段中識別出一或多個測試之後,請選取您想要分析的個別測試。 這會提供所選測試的向下切入檢視,其中包含各種結果的堆疊圖表,例如在指定的期間內每天通過或失敗的測試實例。 此檢視可協助您推斷隱形模式,並據以採取動作。

向下切入以進行測試

對應的方格檢視會列出在該期間內所選測試執行的所有實例。

檢視所有測試實例

失敗分析

若要針對根本原因執行失敗分析,請在向下切入檢視中選擇一或多個測試執行的實例,以查看內容中的失敗詳細資料。

檢視失敗詳細資料

推斷隱形模式

查看單一執行實例的測試失敗時,通常很難推斷任何模式。 在下列範例中,測試失敗在特定期間發生,並瞭解這可協助縮小調查範圍。

測試失敗模式的範例。

另一個範例是展示不具決定性行為的測試 (通常稱為 ) 的 flaky 測試 。 查看測試執行的個別實例可能不會提供任何有意義的行為見解。 不過,觀察一段時間的測試執行趨勢有助於推斷隱形模式,並協助您解決失敗。

報表資訊來源

測試分析的資訊來源是組建或發行管線的 已發佈測試結果 集。 這些結果會在一段時間後累算,並形成測試分析所提供的豐富深入解析基礎。

說明及支援