테스트 결과 추적

테스트를 만들고 실행할 때 상태를 추적할 수 있습니다. 예를 들어 실행할 준비가 된 테스트 수, 테스트 성공/실패율 또는 지금까지 실행된 테스트 수를 추적할 수 있습니다.

어떤 보고 옵션이 있나요?

• 간단한 차트(Visual Studio Online 또는 Team Web Access)

• 작업 항목 쿼리(Visual Studio Online 또는 Team Web Access)

• 웨어하우스 데이터에 대한 기존 보고서(온-프레미스 TFS 전용)

• 웨어하우스 데이터에서 고유한 보고서 만들기(온-프레미스 TFS 전용)

간단한 차트를 사용하여 여러 테스트 상태 질문에 대한 답변을 쉽게 확인할 수 있습니다. 이러한 차트를 홈 페이지에 고정하면 모든 팀이 진행률을 한눈에 확인할 수 있습니다. (Team Web Access와 함께 간단한 차트를 사용하려면 TFS 2013 업데이트 4 이상이 있어야 합니다.)

작업 항목 쿼리를 만들고 실행하여 작업 허브에서 보고서를 생성합니다. 단순 목록 작업 항목 쿼리에서 해당 쿼리에 대한 차트를 생성할 수도 있습니다. 예를 들어 쿼리를 만들어 활성 버그 및 우선 순위를 표시한 다음 차트를 생성하여 이러한 활성 버그를 우선 순위별로 그룹화합니다.

하지만 간단한 차트에 필요한 보고서가 없다면 온-프레미스 TFS를 사용하는 경우 데이터를 더 자세히 살펴볼 수 있습니다. 웨어하우스 데이터에 대한 기존 보고서에 액세스하거나 Excel을 사용하여 보고서를 직접 만들 수 있습니다.

간단한 차트로 제공되는 테스트 상태

Team Web Access 또는 Visual Studio Online에 대한 테스트 허브에서 이러한 차트를 만들 수 있습니다.

테스트 진행률 추적

테스트 결과 차트를 사용하여 테스트가 어떻게 진행되고 있는지 추적할 수 있습니다. 이를 위해 결과와 관련되어 있으며 미리 채워진 고정된 수의 필드 집합을 선택합니다. 기본적으로 각각의 테스트 계획에 대해서는 원형 차트가 만들어집니다. 이 차트는 테스트 계획에 있는 모든 테스트에 대한 최신 결과를 표시하는 테스트 결과 필드로 그룹화됩니다.

차트 탭에서 이 기본 차트를 확인합니다.

테스트 결과에 대해 직접 만든 차트를 추가하여 팀에 중요한 내용을 시각화합니다. 차트를 추가하는 방법을 이미 알고 있는 경우 생성할 수 있는 차트를 보여 주는 아래의 예로 이동하세요.

1. 테스트 계획 탭에서 차트의 테스트 계획 또는 테스트 도구 모음을 선택합니다. 그런 다음 새 차트를 만듭니다.

   

2. 차트 종류를 선택합니다. 차트를 토대로 그룹화하는 데 사용할 필드 또는 행 및 열에 대한 필드를 구성합니다.

   

   모든 차트에서 선택한 테스트 계획 또는 테스트 도구 모음의 자식 테스트 도구 모음에 대한 정보가 롤업됩니다.

3. 차트를 저장합니다. 이제 이 차트가 선택한 테스트 계획 또는 테스트 도구 모음의 차트 탭에 표시됩니다.

테스트 결과 예

특정 테스트 도구 모음의 테스트 상태는 무엇입니까?

테스트 계획 탭에서 테스트 도구 모음을 선택하고 테스트 결과 원형 차트를 추가합니다. 테스트 결과별로 그룹화합니다.

팀에서 이 스프린트를 테스트하는 사용자 스토리에 대한 테스트 상태는 무엇입니까?

사용자 스토리에 대한 테스트 계획에 요구 사항을 기반으로 하는 테스트 도구 모음을 만든 경우 이에 대한 차트를 만들 수 있습니다.

1. 이러한 요구 사항 기반의 테스트 도구 모음을 모두 정적 테스트 도구 모음에 그룹화합니다.

2. 테스트 계획 탭에서 이 정적 테스트 도구 모음을 선택합니다.

3. 테스트 결과 누적 가로 막대형 차트를 추가합니다. 테스트 도구 모음을 행 피벗으로 선택하고 테스트 결과를 열 피벗으로 선택합니다.

   

테스터별로 실행할 테스트가 몇 개씩 남아 있나요?

테스트 계획 탭에서 테스트 계획을 선택하고 테스트 결과 피벗 테이블 차트를 추가합니다. 테스터를 행 피벗으로 선택하고 테스트 결과를 열 피벗으로 선택합니다.

구성을 토대로 품질을 확인하려면 어떻게 해야 하나요?

누적 가로 막대형 차트 또는 피벗 테이블 차트를 사용합니다. 구성을 행 피벗으로 선택하고 테스트 결과를 열 피벗으로 선택합니다.

팀에 대해 테스트가 실패한 이유를 추적하려면 어떻게 해야 하나요?

실패를 분석하려면 누적 가로 막대형 차트 또는 피벗 테이블 차트를 사용합니다. 행에 대해 테스터를 선택하고 열에 대해서는 실패 유형을 선택합니다. 테스트 결과의 실패 유형은 Microsoft Test Manager를 통해서만 설정할 수 있습니다.

팀의 실패한 테스트에 대한 확인을 추적하려면 어떻게 해야 하나요?

확인을 분석하려면 누적 가로 막대형 차트 또는 피벗 테이블 차트를 사용합니다. 행에 대해 테스터를 선택하고 열에 대해서는 확인을 선택합니다. 테스트 결과의 확인 유형은 Microsoft Test Manager를 통해서만 설정할 수 있습니다.

테스트 사례 상태 추적

테스트 사례 차트를 사용하여 테스트 사례 작성의 진행 상태를 알아봅니다. 테스트 사례 차트는 테스트 탭에 추가하는 열에 대해 보고할 유연성을 제공합니다. 기본적으로 테스트 사례 필드는 테스트 탭의 보기에 추가되지 않습니다.

차트를 추가하는 방법을 이미 알고 있는 경우 테스트 사례에 대해 생성할 수 있는 차트를 보여 주는 아래의 예로 이동하세요.

1. 열 옵션과 함께 테스트 탭에서 테스트 차례 차트에 사용할 필드를 추가합니다. 그러면 이러한 필드가 테스트 사례 차트의 그룹화를 위한 옵션으로 드롭다운 목록에 나타납니다.

2. 테스트 계획 탭에서 차트의 테스트 계획 또는 테스트 도구 모음을 선택합니다. 그런 후에 테스트 사례 차트를 추가합니다.

   

   모든 차트에서 선택한 테스트 계획 또는 테스트 도구 모음의 자식 테스트 도구 모음에 대한 정보가 롤업됩니다.

3. 차트 종류를 선택합니다. 차트를 토대로 그룹화하는 데 사용할 필드, 행 및 열에 대한 필드 또는 범위(추세 차트만 해당)를 구성합니다.

   

   테스트 사례 차트에 대해 테스트 도구 모음을 기준으로 그룹화할 수는 없습니다.

4. 차트를 저장합니다. 이제 이 차트가 선택한 테스트 계획 또는 테스트 도구 모음의 차트 탭에 표시됩니다.

테스트 사례 예

테스트 사례 생성에 대한 번다운(Burndown)을 추적하려면 어떻게 해야 하나요?

누적 영역형 추세 차트를 사용하여 실행할 준비가 된 테스트 사례의 수를 보여 주는 번다운을 확인할 수 있습니다. 누적 기준 필드에 대해 상태를 선택하고 정렬 필드에 대해 오름차순을 선택합니다.

자동 상태에 대한 번다운을 추적하려면 어떻게 해야 하나요?

누적 영역형 추세 차트를 사용하여 자동화된 테스트 사례의 수를 보여 주는 번다운을 확인할 수 있습니다. 누적 기준 필드에 대해 자동화 상태를 선택하고 정렬 필드에 대해 오름차순을 선택합니다.

테스트 계획의 테스트 사례를 여러 팀에서 소유하고 있는 경우 얼마나 많은 팀에서 이를 소유하고 있는지와 테스트의 우선 순위를 확인할 수 있나요?

팀이 영역 경로로 구성되어 있으면 테스트 사례 원형 차트를 사용할 수 있습니다. 그룹화 기준 필드에 대해 영역 경로를 선택합니다.

이러한 테스트의 우선 순위를 알려는 경우 누적 원형 차트를 만듭니다. 행에 대해 영역 경로를 선택하고 열에 대해서는 우선 순위를 선택합니다.

팀 멤버별로 테스트 생성 상태를 추적하려면 어떻게 해야 하나요?

테스트 사례 소유자는 담당자 필드를 기준으로 추적합니다. 누적 가로 막대형 차트 또는 피벗 테이블 차트를 사용합니다. 행에 대해 담당자를 선택하고 열에 대해서는 상태를 선택합니다.

Q&A

Q: 개별 테스트 사례에 대한 최신 테스트 결과를 확인할 수 있나요?

A: 예. 테스트 도구 모음 내의 테스트 사례를 선택한 후 테스트 세부 정보 창을 선택하여 확인합니다.

이 테스트 사례의 최신 테스트 결과를 확인합니다.

Q: 여러 테스트 도구 모음에 있는 테스트 사례의 경우에는 차트의 데이터가 어떻게 표시되나요?

A: 테스트 사례 차트의 경우 테스트가 계획의 여러 테스트 도구 모음에 추가된 경우 이러한 테스트는 한 번만 계산됩니다. 테스트 결과 차트의 경우 실행되는 테스트의 각 인스턴스는 각각의 테스트 도구 모음에 대해 개별적으로 계산됩니다.

Q: 누가 차트를 만들 수 있나요?

A: 차트를 만들려면 하나 이상의 기본 라이선스가 있어야 합니다.

Q: 팀의 테스트 상태를 모든 관련자와 공유하려면 어떻게 해야 하나요?

A: 모든 팀이 볼 수 있도록 차트를 팀의 홈 페이지에 고정합니다. 차트의 컨텍스트 메뉴를 사용합니다.

이 절차를 완료하려면 팀 관리자 권한이 있어야 합니다. 관련자 라이선스가 있는 팀 멤버도 홈 페이지에서 테스트 차트를 볼 수 있습니다. 여기에서 홈 페이지에 대한 자세한 내용을 확인하세요. 또는 팀 관리에 대해 자세히 알아보세요.

Q: 차트를 편집 또는 삭제하려면 어떻게 해야 하나요?

A: 차트의 컨텍스트 메뉴에서 원하는 옵션을 선택합니다.

간단한 차트를 사용하여 버그 추적

앱의 품질을 이해하기 위해 어떤 버그가 발견되어 수정되는지 아는 것도 중요합니다. 모든 활성 버그의 우선 순위는 무엇인가요? 버그 추세는 어떠한가요? 쿼리 페이지의 작업 허브에서 만드는 단순 목록 쿼리에 대해 간단한 차트를 만들 수 있습니다. Team Web Access 또는 Visual Studio Online을 사용하여 차트를 만드는 방법을 여기에서 알아보세요.

Q&A

Q: 테스트 사례에서 특별히 생성된 버그를 추적할 수 있나요?

A: Test Runner에서 버그를 만들 경우 실행 중이던 테스트 사례에 자동으로 연결됩니다. 테스트 사례에서 만들어진 모든 버그를 조회하려면 Microsoft Test Manager를 열고 테스트 탭으로 이동한 다음 버그 확인을 선택합니다. 수정된 버그의 테스트를 다시 실행하려면 확인을 누릅니다.

Microsoft Test Manager를 사용하여 자동화된 테스트 결과 추적

최근의 테스트 실행에 대한 차트를 보려면 Microsoft Test Manager를 사용합니다. Visual Studio Test Professional 또는 Visual Studio Ultimate이 설치된 컴퓨터에서 열 수 있습니다. 팀 프로젝트 및 테스트 계획에 연결하고 테스트 센터를 선택합니다.

최근 테스트 실행 목록을 확인하려면 테스트, 테스트 실행 분석을 선택합니다. 목록에 있는 각 항목이 테스트 실행입니다.

Microsoft Test Manager는 테스트 완료되면 테스트 결과를 검토하는 프로세스를 지원합니다. 실패한 테스트가 포함된 실행은 확인 필요라는 플래그가 지정됩니다. 테스트 실행 정보를 여는 경우 설명을 추가하고, 실패 이유를 할당하고, 버그 또는 기타 작업 항목을 만든 다음 완료에 대한 플래그를 변경할 수 있습니다.

테스트 프로세스에서 필요한 경우 오류 유형의 이유를 변경할 수 있습니다.

빌드 품질 추적

온-프레미스 TFS가 있는 경우 이 보고서를 사용하여 빌드 프로세스의 일부로 실행되는 자동화된 테스트의 성공/실패율을 표시할 수 있습니다. 각 빌드의 이러한 테스트에 대한 성공률을 표시할 수 있습니다. 향상되고 있는지 아닌지를 확인할 수 있습니다.

이 보고서의 경우 TFS에 SQL Services Reporting Services가 설치되어 있어야 합니다.

릴리스 준비 추적

온-프레미스 TFS가 있는 경우에는 통과 및 실패한 테스트에 대한 기록도 볼 수 있습니다. 이 보고서를 사용하여 성공률 추세를 보고 언제 릴리스할 준비가 되는지를 확인합니다. 테스트를 실행하면서 앱의 품질이 향상되었는지 확인합니다.

이 보고서의 경우 TFS에 SQL Services Reporting Services가 설치되어 있어야 합니다.

온-프레미스 TFS 전용 사용자 지정 보고서

사용자 지정 보고서의 경우 TFS에 SQL Services Reporting Services가 설치되어 있어야 합니다.

온-프레미스 TFS가 있는 경우 테스트 계획 및 테스트 도구 모음은 TFS 2013 업데이트 3 이상에서 작동합니다. 테스트 계획, 테스트 도구 모음, 테스트 사례, 사용자 스토리, 요구 사항 및 버그에 대해 필요한 사항을 기준으로 쿼리에서 Excel 보고서를 직접 만들 수 있습니다. 여기에서 단순 목록 쿼리에 대해 Excel 보고서를 만드는 방법을 알아보세요.

팀 프로젝트 포털이 SharePoint Server Enterprise Edition으로 구성된 경우 추가로 사용자 지정할 수 있습니다. 그 경우 Excel 보고서를 사용하여 대시보드를 만들 수 있습니다.

여전히 필요한 보고서가 없는 경우 데이터를 직접 볼 수 있는 옵션이 더 있습니다. 보고에 최적화된 OLAP(온라인 분석 처리) 데이터 큐브(TFS_Analysis)를 사용하여 보고서를 만들거나 관계형 웨어하우스 데이터베이스(TFS_Warehouse)를 사용하여 데이터를 만드는 다른 방법에 대해 알아보세요. 여기에서 이 작업을 수행하는 방법을 알아보세요.

Q&A

Q: 간단한 차트에 대해 TFS 2013 업데이트 4가 없는 경우 사용할 수 있는 보고서가 있나요?

A: 온-프레미스 TFS 설치에 서비스 보고서를 포함하는 경우 스프린트의 테스트가 성공 또는 실패한 횟수를 보여 주는 테스트 계획 진행률 차트를 확인할 수 있습니다. http://<사용자의 Team Foundation Server>/Reports를 열고 TfsReports > DefaultCollection > 프로젝트 > Tests를 탐색합니다. 또는 Visual Studio의 팀 탐색기에서 보고서를 엽니다.

Q: MTM에서 최신 테스트 결과의 요약을 볼 수 있나요?

A: 예. MTM에서 계획 탭으로 이동한 다음 결과를 선택합니다. 도구 모음별로 결과를 확인하여 각 사용자 스토리의 해당 테스트 통과 여부를 확인할 수 있습니다.