在 Analysis Services 資料庫中使用測試透視圖分析和報告測試結果 (適用於 Visual Studio ALM)
您可以使用在 SQL Server Analysis Services Cube 的檢視方塊 Visual Studio Team Foundation Server測試的,您可以檢視與報告測試結果和測試回合的量值、維度和屬性。 例如,您可以使用這些測量會決定每個組建,受影響的特定組建和測試案例的數目執行測試的整體品質。 您也可以回答有關變更的問題對結果。
測試測量群組根據測試結果關聯式資料表,啟用測試結果的報告為測試屬性或獨立結果。 如需詳細資訊,請參閱測試結果資料表。
您可以使用測試檢視方塊,您可以建立回答下列問題的報表: 狀態] 報表:
[Bug 趨勢] 報表:
注意事項
如果您的 Visual Studio Application Lifecycle Management (ALM) 資料倉儲使用的是 SQL Server Enterprise Edition,則 Cube 清單將包含 Team System 與一組檢視方塊。這些檢視方塊可對資料提供更深入的檢視,如此一來,您就不用捲動整個 Team System Cube 中的全部維度與量值群組。
|
若要使用許多測試測量及維度屬性,測試小組必須將測試結果發行至 Team Foundation Server的資料存放區。 如需詳細資訊,請參閱 管理測試和組建時的必要活動 本主題後面的。
本主題內容
範例:測試的使用者劇本的進度報表
測試測量
支援篩選和分類的維度和屬性在測試檢視方塊
組建代理程式、組建類別、建置平台維度
測試案例、測試組態、測試計劃和測試套件維度
[測試結果] 維度
[測試回合] 維度
工作項目和工作項目連結的維度
管理測試和組建的必要活動
範例:測試的使用者劇本的進度報表
您可以使用 Excel 中的樞紐分析表和樞紐分析圖報表,您可以建立會顯示使用者劇本的測試進度的狀態] 報表,類似下圖的報表。
Microsoft Solutions Framework (MSF) v5.0 的流程範本中包含 Excel 使用者劇本測試狀態] 報表和 [需求測試狀態] 報表。 如需詳細資訊,請參閱使用者劇本測試狀態 Excel 報表 (Agile)與需求測試狀態 Excel 報表 (CMMI)。
回到頁首
指定和篩選樞紐分析欄位
藉由執行下列步驟,您可以建立測試的使用者劇本的進度] 報表:
在 Excel 中,連接到 Analysis Services Cube 的 Team Foundation Server,並且將樞紐分析圖報表。
如需詳細資訊,請參閱在 Microsoft Excel 中建立 Visual Studio ALM 的報表。
以滑鼠右鍵按一下圖表上,按一下 [變更圖表類型][區域],按一下 [],然後按一下 [堆疊橫條]。
對於每個報表的篩選,請以滑鼠右鍵按一下欄位中,指定階層或項目,然後將欄位拖曳至 [報告篩選條件] 區域。
從 [Team 專案] 維度的 [Team 專案階層架構] 。
從 [Team 專案] 維度的 [區域路徑]
從 [測試案例] 維度的 [反覆項目路徑]
從 [連結的工作項目] 維度的 [工作項目類型]
指定此型別會在使用者劇本、需求,或是已連結至測試案例的其他類型的工作項目類型要報告。
從 [測試] 量值群組下方拖曳 [點計數趨勢] 欄位對應至 [值] 區域。
從 [測試結果] 維度底下 [結果] 欄位拖曳至 [資料行標籤] 區域。
回到頁首
測試測量
下表描述測試測量群組中的測量。 您可以分析測試結果的測試結果和其結果彙總特定組建的或已變更的測試結果的。
量值 |
描述 |
---|---|
建置結果計數趨勢] |
計算每個結果的最新版本已在特定組建中的。 如需使用此量值之報表的範例,請參閱組建品質 Excel 報表。 |
點計數趨勢 |
每項測試結果的最新版本的計算特定組建中。 如果針對某個組建多次執行測試,則 [點計數趨勢] 會計算最近一次測試的測試結果。 未納入組建中的測試案例,此測試會被計為「永不執行」的測試案例。 使用此測量決定哪些測試或有多少測試目前組建失敗。 |
結果計數。 |
計算每項測試結果的最新版本。 例如,當您想要判斷測試時,的整體容量使用測量。 如需使用此量值之報表的範例,請參閱組建品質指標報表。 |
結果轉換計數。 |
計算結果已在特定組建中變更的所有結果。 請使用此測量,當您想要判斷有哪些測試受到特定組建的影響。 |
測試案例計數。 |
測試案例的數目。 請使用此測量,當您想要判斷有多少個測試案例執行特定測試回合或組建的。 |
支援篩選和分類的維度和屬性在測試檢視方塊
您可以使用屬性這一節所述,您可以彙總量值,篩選報表或指定報表)。 這些屬性是 使用共用維度搭配使用。 描述的 [Team 專案] 和 [日期] 共用維度之外。
本節內容
組建代理程式、組建類別、建置平台維度
測試案例、測試組態、測試計劃和測試套件維度
[測試結果] 維度
[測試回合] 維度
工作項目和工作項目連結的維度
回到頁首
組建代理程式、組建類別、建置平台維度
您可以根據組建定義的測試報表,來建立類別或產生平台使用下表中說明的屬性。
維度 |
屬性 |
描述 |
---|---|---|
建置 |
組建定義名稱 |
指派組建定義執行組建的名稱。 如需使用此屬性的範例,請參閱組建品質 Excel 報表。 |
組件ID |
指派組建的編號。 每當特定組建定義執行, [組建 ID] x 1. 加入。 |
|
組建名稱 |
唯一識別某個組建的名稱或運算式。 如需詳細資訊,請參閱使用組建編號。 |
|
建置開始時間 |
日期和時間,在建置開始時。 |
|
組建類型 |
原因執行組建 (Build)。 組建類型與用於組建定義的觸發程序。 Team Foundation Server 支援下列類型的組建:手動、連續 (由每個簽入觸發)、正在復原 (累積簽入,直到前一次組建完成)、閘道簽入和排程。 如需詳細資訊,請參閱指定組建觸發程序和原因。 |
|
置放位置 |
指定組建定義,並指定做為統一資源定位器 (URL) (URL) 置放資料夾。 URL 指定 Web 瀏覽器會設定網際網路資源的通訊協定。 URL 也包含資源所在的伺服器名稱。 您也可以包含資源的路徑。 如需詳細資訊,請參閱設定置放資料夾。 |
|
組建類別 |
組建類別 |
(僅限發行的測試結果) 為測試回合時,一併將組建分類指派給一組完整建置發行的名稱。 例如,組建類別可用於指定為 Beta 版或最終版本。 如需詳細資訊,請參閱發行測試結果的命令列選項。 |
組建平台 |
組建平台 |
端對端機器平台名稱 (非桌面) (例如建置此組建 (, [x86] 或 [任何 CPU])。 如需詳細資訊,請參閱根據預設範本定義建置流程。 |
回到頁首
測試案例、測試組態、測試計劃和測試套件維度
測試案例、測試組態、測試計劃和測試套件維度對應於如何組織,配置,自動化和執行測試時使用 Microsoft 測試管理員從 Visual Studio 2010 Ultimate 或 Visual Studio Test Professional 試用版。
測試案例會對應到使用 Microsoft 測試管理員,測試小組使用定義手動測試和自動化測試您的小組可以執行及管理工作項目的類型。 測試計劃中測試組態和測試套件。 測試組態來定義要執行測試的軟體或硬體。 測試套件定義在配置中的階層架構,因此您可以使用測試案例分組。
如需詳細資訊,請參閱下列主題:
維度 |
屬性 |
描述 |
---|---|---|
測試案例 |
區域階層架構和詳細 |
工作項目和測試案例維度包含與工作項目相關聯,例如狀態、工作項目和工作項目 ID. 的所有屬性。 如需測試案例維度的結構的詳細資訊,請參閱 使用工作項目透視圖分析和報告工作項目與測試案例資料。 如需每個屬性的說明,請參閱Visual Studio ALM 的工作項目欄位參考。 如需與日期時,區域和反覆項目階層架構,請參閱 在 Analysis Services Cube 中使用共用維度。 在中定義的自訂欄位的工作項目類型指定 Dimension 為可報告屬性時,這個量值群組包含其他屬性。 如需如何使用選擇性 reportable 屬性及其值的詳細資訊,請參閱 加入和修改工作項目欄位以支援報告。 |
測試組態 |
設定 ID 和組態名稱 |
系統指派的編號和測試組態的名稱。 |
測試計劃 |
區域階層架構、區域路徑、反覆項目階層架構和反覆項目路徑 |
指派給測試計劃的產品區域和里程碑。 如需詳細資訊,請參閱使用工作項目透視圖分析和報告工作項目與測試案例資料。 |
結束日期階層架構中在週或月之前 開始日期階層架構中在週或月之前 |
測試計劃擁有者可以指派給測試計劃的選擇性值。 它們代表測試計劃應該開始的日期和測試計劃應完成的日期。 如需如何使用的詳細資訊日期階層架構一起使用,請參閱 在 Analysis Services Cube 中使用共用維度。 |
|
測試計劃 ID 和測試計劃名稱 |
系統指派的編號和測試計劃擁有者指派名稱。 |
|
測試計劃擁有者 |
建立或目前測試小組成員的使用者名稱指派做為測試計劃的擁有人。 |
|
測試計劃 ID 和狀態。 |
測試計劃的狀態的系統指派的編號及名稱。 例如, [非現用] 表示測試計劃定義,因此, [作用中] 表示測試計劃準備要檢閱並執行。 |
|
測試套件 |
測試套件階層架構 |
提供一個機制是根據指定專案集合、Team 專案和測試套件的多個篩選條件。 |
套件的路徑。 |
對應於上所有 Team 專案集合中所有 Team 專案中設定測試套件的階層架構。 |
回到頁首
[測試結果] 維度
下表列出專屬於 Cube 中的測量測試的所有維度的屬性。 在可報告 [失敗類型] 或 [解析] 之前,做為其測試活動中,測試小組必須填入此資訊。
屬性 |
描述 |
---|---|
失敗類型和失敗類型 ID |
對應至下列其中一項原因為何測試失敗: [無]、 [已知問題]、 [新增問題] 或 [回復]。 Microsoft 測試管理員自動指派數值或 ID 為每個原因。 測試小組可以,,但並非必要,指派失敗類型為每個失敗的測試。
注意事項
您不可以加入或變更集失敗類型。
如需示範趨勢] 報表的範例測試結果是根據失敗類型,請參閱 失敗分析 Excel 報表。 |
結果和結果 ID |
測試的結果 (例如, [成功]、 [失敗] 或 [結果不明])。 如需顯示測試計劃和測試組態的結果趨勢] 報表的範例,請參閱 測試計劃進度報表。 |
準備狀態和準備陳述 ID |
特定測試的狀態在測試回合內。 有效值為、、 [已完成][InProgress][無]、 [NotReady] 和 [準備好]。 |
解決狀態。 |
(選擇性) 在測試人員識別為失敗的測試的原因 [解析] 的名稱。 根據預設,所有 MSF 流程範本包含下列解析狀態: [需要調查]、 [測試問題]、 [產品問題] 和 [組態問題]。 測試小組可以,,但並非必要,指派解析狀態為每個失敗的測試。
注意事項
在 Team 專案建立後,您即無法變更這些狀態或加入狀態。如需詳細資訊,請參閱定義測試解析狀態。
|
要執行的測試結果 |
使用者或其他名稱下測試執行所在的帳戶。 如需使用此屬性的範例,請參閱測試小組產能 Excel 報表。 |
測試結果擁有者 |
指派為測試結果的擁有人或其他使用者帳戶的名稱。 這項指派對應於使用 tcm /resultowner 參數,設定的值。 |
測試結果的優先權。 |
特定測試的優先權在測試回合內。 |
回到頁首
[測試回合] 維度
下表說明 [測試回合] 維度中定義的屬性。 這些屬性大部分都對應於測試小組指定參數時執行和發行測試結果。 如需詳細資訊,請參閱tcm:使用命令列公用程式執行測試計劃中的測試。
屬性 |
描述 |
---|---|
結束日期,建立日期,開始日期階層架構中在週或月之前 |
日期,建立測試回合完成,或是啟動。 您可以使用這些屬性篩選或結構產生報表。 如需詳細資訊,請參閱在 Analysis Services Cube 中使用共用維度。 |
自動執行 |
旗標表示測試回合包含一或多個自動化測試。 如需使用此屬性的範例,請參閱組建品質 Excel 報表。 |
是建置驗證執行 |
旗標表示測試回合是否包含檢查組建的基本功能的組建驗證測試。 這個旗標對應到 tcm /buildverification 參數。 如需使用此屬性的範例,請參閱組建品質 Excel 報表。 |
測試回合 ID。 |
系統指派給測試回合數。 |
測試回合擁有者 |
對應至指派給測試回合測試小組建立或發行的擁有人。 對應至 tcm /owner 參數。 |
測試回合運作狀態和 ID |
例如指派給測試回合的狀態的名稱或編號, [已中止](、、、 [已完成][進行中][未開始] 或 [未知])。 |
測試回合標題 |
對應至指派給測試回合測試小組建立或發行的標題。 對應至 tcm /title 參數。 |
回到頁首
工作項目和工作項目連結的維度
您可以和其他工作項目連結至測試案例 (例如使用者劇本、需求和 Bug。 您可以使用工作項目連結的維度,您可以建立提供測試結果與連結的工作項目類型的相關報表。 測試的使用者劇本的進度報告,稍早在本主題中,提供的使用範例連結的工作項目。
如需每個屬性的說明,請參閱Visual Studio ALM 的工作項目欄位參考。
測試和管理組建時的必要活動
若要建立包含有用的資料的測試報表,小組成員必須執行下列活動來管理組建和測試:
組建活動
設定建置系統: 若要使用 Team Foundation Build,小組必須建置系統。
如需詳細資訊,請參閱Configure Your Build System。
建立組建定義: 小組必須至少會建立一個組建定義。 團隊可以建立數個組建定義,以用每個定義產生不同平台適用的程式碼。 此外,團隊也可以針對不同的組態執行每個組建。
如需詳細資訊,請參閱建立組建定義。
(建議) 定期執行組建。 小組可以自動執行建置它們在每次簽入之後或指定的時間間隔。 使用排程觸發程序,小組可以同時自動執行其指定的組建或時間和日期或日期。
如需詳細資訊,請參閱指定組建觸發程序和原因與執行、監視和管理組建。
如需詳細資訊,請參閱Team Foundation Build 活動。
測試管理活動。
定義測試案例、測試計劃和測試組態。 若要報告測試案例和測試計劃,測試小組必須定義這些項目。 測試小組也可以定義測試套件和指派測試案例給測試計劃。
(選擇性) 將產品區域和里程碑的測試,並且追蹤狀態。。 測試小組可以針對每個測試案例和測試計劃中指定 [區域] 和 [ 反覆項目] 路徑。 指定每個測試案例 [狀態] 和每個測試計劃 [測試計劃狀態] 。
(選擇性) 與工作項目連結至測試案例。 例如,測試小組可以監視在每個劇本的測試進度使用 [測試者] 連結類型將測試案例連結至使用者劇本。
(選擇性) 標記測試的結果。 然後在手動測試中,測試團隊可以將測試案例中每個驗證步驟的結果標記為成功或失敗。
重要
測試人員必須將每個驗證測試步驟狀態。測試的整體結果會反映所有已標記的測試步驟狀態。因此,如果測試人員將任何測試步驟標記為失敗或沒有標記全部步驟,則測試也會變成失敗狀態。
每項測試都會自動標記為成功或失敗。
(選擇性的)設定測試來收集程式碼涵蓋範圍資料: 若要在報表中顯示程式碼涵蓋範圍資料,小組成員必須設定測試來收集該資料。
重要
要收集資料之程式碼涵蓋範圍,您必須安裝 Visual Studio Premium 或 Visual Studio Ultimate 在組建代理程式電腦。如需詳細資訊,請參閱部署和設定組建代理程式。
如需詳細資訊,請參閱使用測試設定來設定程式碼涵蓋範圍的方式已被取代與How to: Gather Code-Coverage Data with Generic Tests。
定義要隨組建自動執行的測試: 在組建定義的一部分,您可以定義自動化測試當做組建的一部分,並分析程式碼的影響在測試變更。
如需詳細資訊,請參閱根據預設範本定義建置流程。
發行測試結果。 做為組建和測試活動中,測試小組必須將測試結果發行至 Team Foundation Server的資料存放區。
如需詳細資訊,請參閱發行測試結果的命令列選項。
回到頁首
請參閱
概念
Team System 之 Analysis Services Cube 中提供的透視圖和測量群組