失敗分析 Excel 報表
您可以使用 [失敗分析] 報表來協助監控測試小組正在尋找的回復數目。回復是指您正在測試之軟體中的 Bug,但這些 Bug 沒有出現在先前的版本中。執行回復測試的小組會特別著重於尋找只有出現在新版軟體中的 Bug。[失敗分析] 報表會就最近四週,針對先前成功但現在失敗的每個測試案例顯示不同組態的數目。
只有在小組建立測試計劃並使用 Microsoft Test Manager開始執行測試時,才能使用此報表。如需如何定義測試套件和測試劃的詳細資訊,請參閱定義測試計劃。如需如何存取此報表的詳細資訊,請參閱 Excel 報表 (Agile)。
注意事項 |
---|
您可以從 [測試] 儀表板檢視 [失敗分析] 報表。只有在 Team 專案入口網站已啟用並設定使用 Microsoft Office SharePoint Server 2007 時,您才能存取此儀表板。如需詳細資訊,請參閱存取 Team 專案入口網站或流程指引。 |
本主題內容
|
相關主題 |
注意事項 |
---|
小組會使用測試案例來定義手動測試和自動化測試,而這些測試可以使用測試執行器和 Microsoft Test Manager來執行和管理。透過使用 Microsoft Test Manager,您不只可以建立測試案例,還可以建立方便您測試專案的測試套件和測試組態。您可以使用測試組態來定義要使用哪種方式執行測試案例和測試套件。在測試計劃中,您可以將測試案例組合在一起變成測試套件,並按階層架構組織。透過建立測試套件,您可以將多個測試案例當成一個群組來執行。如需詳細資訊,請參閱定義測試計劃。 |
必要的使用權限
若要檢視報表,您必須在 SharePoint 產品具有 Team 專案的 [讀取] 權限,或屬於具有該權限的群組。
您必須是 SQL Server Analysis Services [TfsWarehouseDataReaders] 安全性角色的成員,才能修改或自訂報表。您也必須在 SharePoint 產品具有 Team 專案的 [Members] 權限,或屬於具有該權限的群組。如需詳細資訊,請參閱授與 Visual Studio ALM 所需之資料倉儲資料庫的存取權限和管理使用權限。
報表中的資料
[失敗分析] 報表會提供一個堆疊區域圖,其中顯示最近四週內所有組態之測試案例失敗結果的累加計數。失敗類型包括 [新問題]、[已知問題] 或 [回復]。
此報表以顯示最近四週測試結果資料的樞紐分析圖為基礎,而這些資料會儲存在資料倉儲中。
系統會檢查用來執行測試案例的每個組態,然後嘗試識別此測試案例之相同組態的前置項結果。指派給測試案例/組態的失敗類型是根據下列準則來決定的:
回復:當立即前置項結果為 [成功] 時。
新問題:找不到任何立即前置項結果時。
已知問題:當立即前置項結果為 [失敗] 時。
監控回復時的必要活動
若要讓 [失敗分析] 報表變得更加實用與精確,小組必須執行下列活動:
定義測試案例和測試計劃,並將測試案例指派給測試計劃。
在手動測試中,將測試案例中每個驗證步驟的結果標記為成功或失敗。
重要事項 如果測試步驟是驗證測試步驟,則測試人員必須將該測試步驟標上狀態。測試案例的整體結果會反映測試人員標記的所有測試步驟狀態。因此,如果測試人員將任何測試步驟標記為失敗或未標記,則測試案例會變成失敗狀態。
在自動化測試中,每個測試案例都會自動標記為成功或失敗。
(選擇性) 若要支援篩選,請將 [反覆項目] 和 [區域] 路徑指派給每個測試案例。
解譯報表
您將會發現 [失敗分析] 報表會根據您在產品開發週期中的位置而改變。早期的反覆項目應該會顯示少數回復活動 (如果有的話)。在開發週期的後期階段中,您應該會發現一些回復。具體來說,您應該檢閱此報表來找出下列問題的答案:
有多少整體測試回復?
小組是否將回復或測試失敗的總數保持在預期範圍或小組目標內?
小組是否處理所識別的問題?是否及時處理已知問題?
狀況良好的 [失敗分析] 報表將會顯示適量的新問題、已知問題和回復。如果其中一個或多個區域中出現爆增情形,小組可能需要進一步調查。如果看到爆增情形,可能表示測試活動或是小組要簽入之程式碼的品質有問題。
此外,您可能想要檢查最近組建、Bug 狀態和程式碼變換的狀態,以判斷任何這些因素的度量是否有助於解釋測試活動線條中的變化。
更新和自訂報表
您可以在 Office Excel 中開啟 [失敗分析] 報表,並且變更樞紐分析表的篩選條件選項,藉以更新 [失敗分析] 報表。您可以自訂此報表來支援其他檢視,如下表所述。
檢視 |
動作 |
---|---|
反覆項目的失敗分析 |
變更 Iteration 的篩選條件 (預設值=全部) |
產品區域的失敗分析 |
變更 Area 的篩選條件 (預設值=全部) |
特定測試計劃或測試計劃套件的失敗分析 |
加入 Test Plan 的篩選條件 (預設值=全部) |
最近六、八或更多週的失敗分析 |
在 [樞紐分析表欄位清單] 欄中,將 @@Last 4 weeks@@ 取代成不同的 Set |
如需如何使用和自訂樞紐分析表和樞紐分析圖報表的詳細資訊,請參閱下列 Microsoft 網站頁面: