失敗分析 Excel 報表
您可以使用 [失敗分析] 報表來協助監控測試小組正在尋找的回復數目。 回復是指您正在測試之軟體中的 Bug,但這些 Bug 沒有出現在先前的版本中。 執行回復測試的小組會特別著重於尋找只有出現在新版軟體中的 Bug。 [失敗分析] 報表會就最近四週,針對先前成功但現在失敗的每個測試案例顯示不同組態的數目。
只有在小組建立測試計劃並使用 Microsoft Test Manager開始執行測試時,才能使用此報表。 如需如何定義測試套件和測試計劃的詳細資訊,請參閱使用 Team Web Access 計劃手動測試。 如需如何存取此報表的詳細資訊,請參閱 Excel 報表。
注意事項 |
---|
您可以從 [測試] 儀表板檢視 [失敗分析] 報表。只有在 Team 專案入口網站已啟用,而且已設定為使用 SharePoint Server Enterprise Edition,您才能存取這個儀表板。 |
必要的使用權限
若要檢視報表,您必須在 SharePoint 產品具有 Team 專案的 [讀取] 權限,或屬於具有該權限的群組。
您必須是 SQL Server Analysis Services [TfsWarehouseDataReaders] 安全性角色的成員,才能修改或自訂報表。 您也必須在 SharePoint 產品具有 Team 專案的 [Members] 權限,或屬於具有該權限的群組。 如需詳細資訊,請參閱授與 Visual Studio ALM 所需之資料倉儲資料庫的存取權限。
報表中的資料
[失敗分析] 報表會提供一個堆疊區域圖,其中顯示最近四週內所有組態之測試案例失敗結果的累加計數。 失敗類型包括 [新問題]、[已知問題] 或 [回復]。
此報表以顯示最近四週測試結果資料的樞紐分析圖為基礎,而這些資料會儲存在資料倉儲中。
系統會檢查用來執行測試案例的每個組態,然後嘗試識別此測試案例之相同組態的前置項結果。 指派給測試案例/組態的失敗類型是根據下列準則來決定的:
回復:當立即前置項結果為 [成功] 時。
新問題:找不到任何立即前置項結果時。
已知問題:當立即前置項結果為 [失敗] 時。
監控回復時的必要活動
若要讓 [失敗分析] 報表變得更加實用與精確,小組必須執行下列活動:
定義測試案例和測試計劃,並將測試案例指派給測試計劃。
在手動測試中,將測試案例中每個驗證步驟的結果標記為成功或失敗。
重要
如果測試步驟是驗證測試步驟,則測試人員必須將該測試步驟標上狀態。測試案例的整體結果會反映測試人員標記的所有測試步驟狀態。因此,如果測試人員將任何測試步驟標記為失敗或未標記,則測試案例會變成失敗狀態。
在自動化測試中,每個測試案例都會自動標記為成功或失敗。
(選擇性) 若要支援篩選,請將 [反覆項目] 和 [區域] 路徑指派給每個測試案例。
解譯報表
您將會發現 [失敗分析] 報表會根據您在產品開發週期中的位置而改變。 早期的反覆項目應該會顯示少數回復活動 (如果有的話)。 在開發週期的後期階段中,您應該會發現一些回復。 具體來說,您應該檢閱此報表來找出下列問題的答案:
有多少整體測試回復?
小組是否將回復或測試失敗的總數保持在預期範圍或小組目標內?
小組是否處理所識別的問題? 是否及時處理已知問題?
狀況良好的 [失敗分析] 報表將會顯示適量的新問題、已知問題和回復。 如果其中一個或多個區域中出現爆增情形,小組可能需要進一步調查。 如果看到爆增情形,可能表示測試活動或是小組要簽入之程式碼的品質有問題。
此外,您可能想要檢查最近組建、Bug 狀態和程式碼變換的狀態,以判斷任何這些因素的度量是否有助於解釋測試活動線條中的變化。
更新和自訂報表
您可以在 Office Excel 中開啟 [失敗分析] 報表,並且變更樞紐分析表的篩選條件選項,藉以更新 [失敗分析] 報表。 您可以自訂此報表來支援其他檢視,如下表所述。
檢視 |
動作 |
---|---|
反覆項目的失敗分析 |
變更 Iteration 的篩選條件 (預設值=全部) |
產品區域的失敗分析 |
變更 Area 的篩選條件 (預設值=全部) |
特定測試計劃或測試計劃套件的失敗分析 |
加入 Test Plan 的篩選條件 (預設值=全部) |
最近六、八或更多週的失敗分析 |
在 [樞紐分析表欄位清單] 欄中,將 @@Last 4 weeks@@ 取代成不同的 Set |
如需如何使用和自訂樞紐分析表和樞紐分析圖報表的詳細資訊,請參閱下列 Microsoft 網站頁面: