테스트 팀 진행률 Excel 보고서
소프트웨어 테스트를 담당하는 팀은 테스트 팀 진행률 보고서를 사용하여 테스트 작업을 모니터링할 수 있으며 테스트 작성 및 자동화, 재발 테스트 수행과 관련하여 팀의 진행률을 보고할 수 있습니다. 테스트 팀 진행률 보고서는 팀 프로젝트에 정의된 테스트 사례에 대해 수집된 데이터 및 테스트 결과에 따라 다음과 같은 6개의 보고서를 제공합니다.
테스트 계획 진행률: 팀에서 완료한 테스트가 얼마나 되는지 그리고 테스트 작업을 제 시간 내에 완료할 가능성이 높은지 등을 확인할 수 있습니다.
테스트 사례 작성 상태: 팀에서 테스트 사례를 실행할 수 있도록 테스트 사례 정의의 완료 상태를 추적할 수 있습니다.
도구 모음별 테스트 상태: 팀에서 각 테스트 도구 모음 내에서 완료된 테스트의 양을 확인할 수 있습니다.
영역별 테스트 상태: 팀에서 각 제품 영역 내에서 완료된 테스트의 양을 확인할 수 있습니다.
실패 분석: 팀에서 발견하는 재발의 수를 모니터링할 수 있습니다.
자동화 디자인 상태: 팀에서 자동화해야 할 테스트 사례의 수를 추적할 수 있도록 지원합니다.
테스트 팀 진행률 보고서는 팀에서 테스트 계획을 만들고 Microsoft Test Manager를 사용하여 테스트 실행을 시작하는 경우에만 사용할 수 있습니다. 자세한 내용은 응용 프로그램 테스트을 참조하십시오.
참고
팀 탐색기에서 팀 프로젝트의 Excel 보고서 폴더 아래에 있는 테스트 팀 관리 폴더에서 테스트 팀 진행률 보고서에 액세스할 수 있습니다.팀 프로젝트 포털이 사용하도록 설정되어 있고 SharePoint 제품을 사용하도록 구성된 경우에만 이 폴더에 액세스할 수 있습니다.자세한 내용은 프로젝트 포털을 사용하여 정보 공유을 참조하십시오.
필요한 권한
보고서를 보려면 SharePoint 제품에서 팀 프로젝트에 대한 읽기 권한이 할당된 그룹에 할당되거나 속해야 합니다.
보고서를 수정하거나 사용자 지정하려면 SQL Server Analysis Services에서 TfsWarehouseDataReaders 보안 역할의 멤버여야 합니다. 또한 SharePoint 제품에서 팀 프로젝트에 대한 멤버 권한이 할당된 그룹에 할당되거나 속해야 합니다. 자세한 내용은 Visual Studio ALM용 데이터 웨어하우스의 데이터베이스에 대한 액세스 부여을 참조하십시오.
보고서의 데이터
테스트 팀 진행률 보고서에서 제공하는 데이터는 데이터 웨어하우스에 저장된 데이터에 액세스하는 피벗 테이블 보고서를 기반으로 합니다. 데이터는 팀 멤버가 Microsoft Test Manager를 사용해서 테스트 사례를 정의하고 테스트를 실행할 때 생성된 결과로부터 파생됩니다. 자세한 내용은 Team Web Access를 사용하여 수동 테스트 실행 및 테스트 결과 추적를 참조하십시오.
테스트 사례 작성 상태 및 자동화 디자인 상태
팀에서는 테스트 사례 작성 상태 보고서를 사용하여 테스트 사례 정의 및 디자인 작업에 대한 팀의 진행률을 모니터링할 수 있습니다. 이 보고서에는 가장 최근 6주 동안 디자인 및 준비 상태에 있던 테스트 사례의 수를 나타내는 번다운(burndown) 차트가 표시됩니다.
.png "테스트 사례 작성 Excel 보고서")
팀에서는 자동화 디자인 상태 보고서를 사용하여 테스트 사례 자동화 작업에 대한 팀의 진행률을 모니터링할 수 있습니다. 이 보고서에는 가장 최근 6주 동안 자동화 상태로 전환된 테스트 사례의 수를 나타내는 번다운(burndown) 차트가 표시됩니다.
.png "자동화 디자인 상태 Excel 보고서")
다음 표에서는 테스트 사례 작성 상태 및 자동화 디자인 상태 보고서를 생성하는 피벗 테이블 보고서에 사용되는 보고서 필터 및 필드에 대해 설명합니다.
필터 |
필드 |
|---|---|
|
테스트 사례 작성 상태 보고서에만 사용되는 필드:
자동화 디자인 상태 보고서에만 사용되는 필드:
|
테스트 계획 진행률
테스트 계획 진행률 보고서에서는 모든 테스트 사례의 테스트 결과에 대한 누적 영역형 그래프를 제공합니다. 이 보고서에는 테스트 결과가 가장 최근에 기록된 결과로 그룹화되고 최근 4주 동안의 데이터가 표시됩니다. 결과에는 실행 안 함, 차단됨, 실패 또는 성공이 포함됩니다.
.png "테스트 계획 진행률 보고서")
팀에서는 이 보고서를 검토하여 스프린트, 반복 또는 시간별 진행률을 확인할 수 있습니다. 예를 들어 다음과 같은 질문에 대한 답을 얻을 수 있습니다.
팀에서 완료한 테스트는 얼마나 됩니까?
팀에서 테스트를 제 시간 내에 완료할 가능성이 높습니까?
실행할 테스트가 몇 개 남아 있습니까?
통과하는 테스트는 몇 개입니까?
실패하는 테스트는 몇 개입니까?
차단된 테스트는 몇 개입니까?
테스트 도구 모음 또는 제품 영역별 테스트 결과
도구 모음별 테스트 상태 및 영역별 테스트 상태 보고서에는 기록된 결과를 기반으로 모든 테스트 사례에 대해 수집된 모든 테스트 결과의 수가 표시됩니다. 이 보고서에는 테스트 결과가 테스트 도구 모음 또는 제품 영역별로 그룹화됩니다. 테스트 결과에는 실행 안 함, 차단됨, 실패 또는 성공이 포함됩니다.
팀에서는 이러한 보고서를 사용하여 실패 수가 많은 테스트 결과 또는 실행되지 않은 테스트 사례를 포함하는 테스트 도구 모음이나 제품 영역을 확인할 수 있습니다.
재발 테스트
테스트 팀에서는 실패 분석 보고서를 사용하여 테스트 팀에서 발견하는 재발의 수를 모니터링할 수 있습니다. 재발은 테스트하는 소프트웨어의 이전 버전에서는 나타나지 않은 버그입니다. 재발 테스트를 수행하는 팀은 특히 소프트웨어의 새 버전에서만 나타나는 버그를 찾는 데 초점을 맞춥니다.
실패 분석 보고서에서는 실패한 모든 테스트 결과의 누적 개수를 보여 주는 누적 영역형 그래프를 제공합니다. 이 보고서에는 결과가 모든 테스트 사례 및 테스트 구성에 대한 실패 유형별로 그룹화되고 최근 6주 동안의 결과가 표시됩니다. 실패 유형에는 재발, 없음, 새 문제 및 알려진 문제가 포함됩니다.
.png "실패 분석 Excel 보고서")
시스템은 테스트 사례가 실행된 각 테스트 구성을 검사하고 해당 테스트 사례에 대해 같은 구성의 선행 작업 결과를 식별하려고 합니다. 테스트 사례/구성에 할당되는 실패 유형은 다음과 같은 기준에 따라 결정됩니다.
재발: 바로 이전 선행 작업의 결과가 성공인 경우
없음: 바로 이전 선행 작업의 결과가 성공 또는 실패가 아닌 경우
새 문제: 바로 이전 선행 작업의 결과를 찾을 수 없는 경우
알려진 문제: 바로 이전 선행 작업의 결과가 실패인 경우
팀에서 보고서를 검토하여 다음 질문에 대한 답을 얻을 수 있습니다.
전체적으로 재발하는 테스트는 몇 개입니까?
전체 재발 또는 테스트 실패 수가 팀의 예상 범위 또는 목표 내에서 유지되고 있습니까?
식별된 문제를 팀에서 처리하고 있습니까? 알려진 문제가 적시에 처리되었습니까?
정상적인 실패 분석 보고서에는 적당한 수의 새 문제, 알려진 문제 및 재발이 표시됩니다. 이러한 영역 중 하나 이상에서 스파이크가 발생하면 팀에서 이 문제를 더 조사해야 할 수도 있습니다. 스파이크는 팀에서 체크 인하는 코드의 품질 또는 테스트 작업에 문제가 있음을 나타낼 수 있습니다. 또한 팀에서 최근 빌드의 상태, 버그 상태 및 코드 변동(code churn)을 검사하여 이러한 각 요인의 메트릭이 테스트 작업의 변경을 설명하는 데 유용한지 여부를 확인할 수도 있습니다.
보고서 필터 및 필드
다음 표에서는 테스트 계획 진행률, 도구 모음 또는 영역별 테스트 상태 및 실패 분석 보고서를 생성하는 피벗 테이블에 사용되는 보고서 필터와 필드에 대해 설명합니다.
필터 |
필드 |
|---|---|
테스트 계획 진행률 보고서에만 사용되는 필터:
도구 모음별 테스트 상태 보고서에만 사용되는 필터:
실패 분석 보고서에만 사용되는 필터:
|
테스트 계획 진행률 보고서에만 사용되는 필드:
도구 모음별 테스트 상태 보고서에만 사용되는 필드:
영역별 테스트 상태 보고서에만 사용되는 필드:
실패 분석 보고서에만 사용되는 필드:
|
테스트 팀 진행률 모니터링에 필요한 작업
테스트 팀 진행률 보고서의 유용성과 정확도를 높이려면 팀에서 다음과 같은 작업을 수행해야 합니다.
테스트 사례 및 테스트 계획을 정의하고 테스트 사례를 테스트 계획에 할당합니다.
수동 테스트의 경우 테스트 사례에서 각 유효성 검사 단계의 결과를 성공 또는 실패로 표시합니다.
중요
테스터는 유효성 검사 단계를 수행하는 경우 테스트 단계의 상태를 표시해야 합니다.테스트 사례의 전체 결과는 테스터가 표시한 모든 테스트 단계의 상태를 반영합니다.따라서 테스터가 테스트 단계를 실패로 표시했거나 아무 것도 표시하지 않은 경우에는 테스트 사례의 상태가 실패로 설정됩니다.
자동화된 테스트의 경우 각 테스트 사례가 통과 또는 실패로 자동으로 표시됩니다.
(선택 사항) 제품 영역 및 반복별로 보고서를 필터링하려면 각 테스트 사례의 영역 및 반복 경로를 지정합니다.
테스트 간격 보고서에 유용하고 정확한 정보를 나타내려면 팀에서 다음 표에 설명된 대로 작업을 수행해야 합니다.
워크시트 보고서 |
필요한 작업 |
|---|---|
|
|
|
|
|
|
|
|
보고서 업데이트 및 사용자 지정
Office Excel에서 테스트 팀 진행률 보고서를 열고 워크시트 중 하나에 대해 피벗 테이블 보고서의 필터 옵션을 변경하면 이 보고서를 업데이트할 수 있습니다. 다음 표의 설명에 따라 다른 뷰를 지원하도록 각 보고서를 사용자 지정할 수 있습니다.
보기 |
작업 |
|---|---|
|
Iteration의 필터 변경(기본값=모두) |
|
Area의 필터 변경(기본값=모두) |
|
Test Plan의 필터 변경(기본값=모두) |
|
피벗 테이블 필드 목록 열에서 @@Last 6 weeks@@를 다른 Set로 바꿉니다. |
피벗 테이블 및 피벗 차트 보고서를 사용하여 작업하고 사용자 지정하는 방법에 대한 자세한 내용은 Microsoft 웹 사이트의 다음 페이지를 참조하십시오.