테스트 대시보드(CMMI)

아티클
08/15/2011

테스트 대시보드를 사용하면 테스트 작업 모니터링, 진행률 보고, 테스트 검사의 간격 찾기, 추가 확인이 필요한 테스트 영역 식별 등을 수행할 수 있습니다. 이 대시보드에는 가장 최근 4주 동안 실행된 테스트에 대한 정보를 제공하는 5개의 보고서가 표시됩니다.

참고

팀 프로젝트 포털을 통해 대시보드에 액세스합니다. 포털이 사용 가능한 상태로 설정되어 있고 Microsoft Office SharePoint Server 2007을 사용하도록 프로비전된 경우에만 테스트 대시보드에 액세스할 수 있습니다. 자세한 내용은 대시보드(Agile) 또는 팀 프로젝트 포털 및 프로세스 지침 액세스를 참조하십시오.

항목 내용

대시보드에 나타나는 데이터
테스트 추적에 필요한 활동
테스트 진행률 모니터링
테스트 간격 확인
테스트 실패 및 재발 모니터링
테스트 대시보드 사용자 지정

다음과 같은 질문에 답할 때 이 대시보드를 사용할 수 있습니다.

테스트 사례 작성 과정을 추적하고 있습니까?
팀에서 모든 요구 사항에 대해 테스트 사례를 정의했습니까?
통과, 실패 또는 차단된 테스트 사례의 비율은 얼마입니까?
테스트 실패 메트릭을 볼 때 추가 확인이 필요한 문제가 있습니까?
어젯밤 빌드의 상태는 무엇입니까?
가장 최근의 체크 인은 무엇입니까?

필요한 권한

대시보드를 보려면 SharePoint 제품에서 팀 프로젝트에 대한 읽기 권한이 할당된 그룹에 할당되거나 속해야 합니다. 대시보드를 수정, 복사 또는 사용자 지정하려면 SharePoint 제품에서 팀 프로젝트에 대한 멤버 권한이 할당된 그룹에 할당되거나 속해야 합니다. 자세한 내용은 팀 프로젝트에 사용자 추가를 참조하십시오.

Office Excel에서 보고서를 수정하려면 SQL Server Analysis Services에서 TfsWarehouseDataReaders 보안 역할의 멤버여야 하고, SharePoint 제품에서 팀 프로젝트에 대한 멤버 권한이 지정된 그룹에 할당되거나 속해야 합니다. 자세한 내용은 Visual Studio ALM용 데이터 웨어하우스의 데이터베이스에 대한 액세스 부여를 참조하십시오.

작업 항목을 보려면 Readers 그룹의 멤버이거나 이 노드의 작업 항목 보기 권한이 허용으로 설정되어 있어야 합니다. 작업 항목을 만들거나 수정하려면 Contributors 그룹의 멤버이거나 이 노드의 작업 항목 편집 권한이 허용으로 설정되어 있어야 합니다. 자세한 내용은 권한 관리를 참조하십시오.

테스트 대시보드에 나타나는 데이터

테스트 대시보드를 사용하면 팀에서 요구 사항 테스트를 올바르게 진행하고 있는지 판단할 수 있습니다. 특히 이 대시보드에는 다음 그림 및 표의 설명과 같은 웹 파트가 표시됩니다.

테스트 대시보드

참고

테스트 계획 진행률, 테스트 사례 준비, 요구 사항 테스트 상태 및 테스트 작업 보고서는 팀에서 테스트 계획을 만들고 Test Runner 및 Microsoft Test Manager를 사용하여 테스트를 실행하는 경우에만 사용할 수 있습니다. 테스트 도구 모음 및 테스트 계획을 정의하는 방법에 대한 자세한 내용은 테스트 도구 모음을 사용하여 테스트 사례 구성을 참조하십시오.

팀 프로젝트에 대해 Analysis Services를 호스팅하는 서버를 사용할 수 없으면 번다운(Burndown), 진행률, 추세 차트 및 보고서( 1단계 ~ 5단계 )가 나타나지 않습니다.

웹 파트	표시되는 데이터	관련 항목
	지난 4주 동안 가장 최근에 기록된 결과로 그룹화된 모든 테스트의 테스트 결과를 보여 주는 누적 영역형 그래프입니다. 결과에는 실행 안 함, 차단됨, 실패 및 성공이 포함됩니다.	테스트 계획 진행률 보고서
	가장 최근 4주 동안 디자인 또는 준비 상태에 있었던 테스트 사례의 수를 보여 주는 누적 영역형 그래프입니다.	테스트 사례 준비 보고서
	각 요구 사항에 정의된 테스트 구성과 테스트 사례의 각 조합에 대한 테스트 결과의 수를 보여 주는 가로 막대형 차트입니다. 이 차트에서는 가장 최근의 테스트 실행에 따라 테스트 결과를 성공(녹색), 실패(빨강), 차단됨(자주) 또는 실행 안 함(회색) 옵션으로 그룹화합니다.	요구 사항 테스트 상태 Excel 보고서(CMMI)
	가장 최근 4주 동안 모든 수동 테스트 사례에 대해 실행된 모든 결과의 수를 누적하여 보여 주는 꺾은선형 차트입니다.	테스트 활동 Excel 보고서
	가장 최근 4주 동안 테스트를 실행하여 실패한 결과의 누적 개수를 실패 유형별로 정렬하여 보여 주는 누적 영역형 그래프입니다. 실패 유형에는 재발, 새 문제 및 알려진 문제가 있습니다.	오류 분석 Excel 보고서
	예정 이벤트의 목록입니다. 이 목록은 SharePoint 웹 파트에서 파생됩니다.	해당 없음
	활성 작업 항목, 해결된 작업 항목 및 닫힌 작업 항목의 수입니다. 각 번호를 클릭하여 작업 항목의 목록을 열 수 있습니다. 이 목록은 Team Web Access 웹 파트에서 파생됩니다.	작업 항목 및 워크플로(CMMI)
	최근 빌드와 해당 빌드 상태의 목록입니다. 특정 빌드를 클릭하여 자세한 정보를 볼 수 있습니다. 이 목록은 Team Web Access 웹 파트에서 파생됩니다. 범례: : 빌드가 진행 중임 : 빌드가 시작되지 않음 : 빌드 성공 : 빌드 실패 : 빌드 중지됨 : 빌드가 부분적으로 성공함	완료된 빌드 관리 및 보기
	가장 최근의 체크 인 목록입니다. 특정 체크 인을 클릭하여 자세한 정보를 볼 수 있습니다. 이 목록은 Team Web Access 웹 파트에서 파생됩니다.	체크 인 및 보류 중인 변경 내용 창 사용

테스트 추적에 필요한 활동

테스트 대시보드에 유용하고 정확한 보고서를 표시하려면 팀에서 다음과 같은 작업을 수행해야 합니다.

테스트 사례와 요구 사항을 정의하고 테스트 사례와 요구 사항을 연결하는 테스트한 사람 링크를 만듭니다.
테스트 계획을 정의하고 테스트 사례를 테스트 계획에 할당합니다.

자세한 내용은 테스트 계획을 사용하여 테스트 관련 활동 정의를 참조하십시오.
수동 테스트의 경우 테스트 사례에서 각 유효성 검사 단계의 결과를 성공 또는 실패로 표시합니다.

중요

테스터는 유효성 검사 단계를 수행하는 경우 테스트 단계의 상태를 표시해야 합니다. 테스트의 전체 결과는 테스터가 표시한 모든 테스트 단계의 상태를 반영합니다. 따라서 테스터가 테스트 단계를 실패로 표시했거나 아무 것도 표시하지 않은 경우에는 테스트 상태가 실패로 설정됩니다.

자동화된 테스트의 경우 각 테스트가 자동으로 성공 또는 실패로 표시됩니다.
(선택 사항) 필터링을 지원하려면 반복 및 영역 경로를 각 테스트 사례에 할당합니다.

테스트 진행률 모니터링

테스트 대시보드의 처음 세 보고서를 사용하여 테스트 진행률을 모니터링하고 다음 표의 질문에 답할 수 있습니다.

보고서	질문	참고
테스트 사례 준비	팀에서 정의한 테스트 사례는 몇 개입니까? 오늘 실행할 준비가 된 테스트 사례는 몇 개입니까? 팀이 작성하고 검토해야 할 테스트 사례는 몇 개입니까? 팀에서 구현하는 요구 사항 수와 비교하여 전체 테스트 사례의 수가 충분한 것 같습니까? 테스트 팀에서 오늘 실행할 수 있는 테스트 사례의 비율은 얼마입니까? 반복이 끝날 때까지 팀에서 모든 테스트 사례를 준비할 수 있습니까?	정상적인 진행은 팀이 디자인하고 준비 상태로 전환하는 테스트 사례의 수가 일정하게 증가하는 패턴을 보입니다. 비정상적인 진행은 실행할 준비가 된 테스트 사례가 전혀 또는 거의 없음을 보여 줍니다. 모든 테스트 사례가 오랫동안 디자인 상태로 유지되면 어떤 문제로 인해 진행이 중단된 것입니다. 이 경우에는 중단 원인을 조사할 수 있습니다. 테스트 사례의 수가 충분하지 않으면 테스트 간격이 나타날 수 있습니다. 프로젝트에 대해 정의된 테스트 사례의 수는 팀이 구현하는 요구 사항의 수보다 많거나 같아야 합니다. 테스트 사례의 수가 충분하지 않은 것 같습니다.
테스트 계획 진행률	통과하는 테스트 사례는 몇 개입니까? 실패하는 테스트 사례는 몇 개입니까? 차단된 테스트 사례는 몇 개입니까? 실행되지 않는 테스트 사례는 몇 개입니까? 모든 테스트 계획을 통과하는 테스트 사례의 비율은 얼마입니까? 팀에서 완료한 테스트는 얼마나 됩니까? 팀에서 테스트를 제 시간 내에 완료할 가능성이 높습니까?	개발 주기가 진행됨에 따라 통과하는 테스트 사례의 수는 증가하고 다른 상태의 테스트 사례 수는 감소해야 합니다. 실패하는 테스트 사례가 너무 많으면 비정상적인 진행이 발생합니다. 제품 주기에서 어느 위치에 있는지에 따라 테스트 사례가 많이 실패하는 이유를 조사할 수도 있습니다. 실패하거나 실행되지 않는 테스트 사례의 수가 변동이 없으면 각 영역에 영향을 주는 특정 원인을 조사할 수 있습니다.
요구 사항 테스트 상태	각 요구 사항에 대해 테스트 사례가 실행되고 있습니까? 테스트 사례가 차단되었거나 실행되지 않는 경우 팀에서 차단 문제를 이해하고 해결하고 있습니까?	정상적인 진행은 각 요구 사항에 대해 대부분의 테스트 사례가 통과하는 모습을 보입니다. 비정상적인 진행은 특정 요구 사항에 대해 실행 안 함, 차단됨 또는 실패 상태의 테스트 사례가 너무 많은 모습을 보입니다. 요구 사항에 대해 정의된 테스트 사례가 통과하지 못하는 원인을 조사할 수 있습니다.

테스트 간격 확인

요구 사항 테스트 상태 보고서를 사용하면 테스트가 모든 코드를 대상으로 하는지 확인하고 다음과 같은 질문에 답할 수 있습니다.

전체 테스트 사례의 수가 적은 요구 사항은 무엇입니까?
차단되거나 실행되지 않는 전체 테스트 사례의 수가 많은 요구 사항은 무엇입니까?
각 요구 사항에 대한 테스트 사례 검사가 기대에 충족됩니까?
테스트 실패율이 높은 요구 사항은 무엇입니까?
각 요구 사항에 대해 정의된 평균 테스트 사례의 수는 몇 개입니까?

테스트 실패 및 재발 모니터링

테스트 실패를 모니터링하면 초기에 코드에서 문제를 식별하고 처리할 수 있습니다. 테스트 대시보드의 마지막 두 보고서를 사용하면 실패하는 테스트의 수를 쉽게 파악할 수 있습니다.

보고서	질문	참고
수동 테스트 작업	팀에서 실행하지 않은 테스트의 수가 감소하고 있습니까? 팀은 차단된 테스트의 전체 수를 최소화하고 있습니까? 시간이 지남에 따라 실패하는 테스트의 수가 줄어들고 있습니까? 통과하는 테스트가 증가하고 있습니까? 설명할 수 없는 스파이크가 테스트 작업에 포함되어 있습니까?	수동 테스트 작업 보고서는 각 테스트 구성과 모든 테스트 계획에 대해 실행되는 각 테스트 사례의 결과를 나타냅니다. 스파이크가 발생하면 팀에서 체크 인하는 코드의 품질 또는 테스트 작업에서 문제가 있음을 알 수 있습니다. 최근 빌드, 버그 상태 및 코드 변동(code churn)의 메트릭을 확인하여 이 중에서 변경을 설명하는 데 도움이 되는 요소가 있는지 판단할 수 있습니다.
테스트 실패 분석	재발하는 테스트는 몇 개입니까? 전체 재발 또는 테스트 실패 수가 팀의 예상 범위 또는 목표 내에서 유지되고 있습니까? 팀에서 알려진 문제로 식별된 문제를 적시에 처리하고 있습니까?	정상적인 테스트 실패 분석 보고서에는 적당한 수의 새 문제, 알려진 문제 및 재발이 표시됩니다. 이러한 영역에서 스파이크가 발생하면 팀에서 추가로 조사를 수행해야 할 수도 있습니다. 스파이크는 팀에서 체크 인하는 코드의 품질 또는 테스트 작업에서 문제가 있음을 나타낼 수 있습니다. 또한 최근 빌드, 버그 상태 및 코드 변동(code churn)의 메트릭을 확인하여 이 중에서 변경을 설명하는 데 도움이 되는 요소가 있는지 판단할 수도 있습니다.

수동 테스트 작업

팀에서 실행하지 않은 테스트의 수가 감소하고 있습니까?
팀은 차단된 테스트의 전체 수를 최소화하고 있습니까?
시간이 지남에 따라 실패하는 테스트의 수가 줄어들고 있습니까?
통과하는 테스트가 증가하고 있습니까?
설명할 수 없는 스파이크가 테스트 작업에 포함되어 있습니까?

수동 테스트 작업 보고서는 각 테스트 구성과 모든 테스트 계획에 대해 실행되는 각 테스트 사례의 결과를 나타냅니다. 스파이크가 발생하면 팀에서 체크 인하는 코드의 품질 또는 테스트 작업에서 문제가 있음을 알 수 있습니다.

최근 빌드, 버그 상태 및 코드 변동(code churn)의 메트릭을 확인하여 이 중에서 변경을 설명하는 데 도움이 되는 요소가 있는지 판단할 수 있습니다.

테스트 실패 분석

재발하는 테스트는 몇 개입니까?
전체 재발 또는 테스트 실패 수가 팀의 예상 범위 또는 목표 내에서 유지되고 있습니까?
팀에서 알려진 문제로 식별된 문제를 적시에 처리하고 있습니까?

정상적인 테스트 실패 분석 보고서에는 적당한 수의 새 문제, 알려진 문제 및 재발이 표시됩니다. 이러한 영역에서 스파이크가 발생하면 팀에서 추가로 조사를 수행해야 할 수도 있습니다. 스파이크는 팀에서 체크 인하는 코드의 품질 또는 테스트 작업에서 문제가 있음을 나타낼 수 있습니다.

또한 최근 빌드, 버그 상태 및 코드 변동(code churn)의 메트릭을 확인하여 이 중에서 변경을 설명하는 데 도움이 되는 요소가 있는지 판단할 수도 있습니다.

테스트 대시보드 사용자 지정

다음과 같은 방법을 사용하여 테스트 대시보드를 사용자 지정할 수 있습니다.

특정 제품 영역 또는 반복만 볼 수 있도록 Office Excel에서 각 보고서의 필터를 변경합니다.
Office Excel에서 특정 테스트 계획이나 수동 또는 자동 테스트 사례에 대해 수동 테스트 작업 보고서를 필터링합니다.
버그 상태, 코드 변동(code churn) 및 코드 검사와 같은 기존 Excel 보고서를 대시보드에 추가합니다.
Office Excel에서 팀의 특정 멤버별로 진행률을 보여 주는 보고서를 만들고 추가합니다. 예제를 보려면 할당별 버그 Excel 보고서를 참조하십시오.