수동 테스트 실행 추세 샘플 보고서
Azure DevOps Services | Azure DevOps Server 2022 | Azure DevOps Server 2020
이 문서에서는 Power BI에서 하나 이상의 테스트 계획의 실행 상태를 가져오는 방법을 보여 줍니다. 생성된 보고서는 다음 이미지 및 진행률 보고서의 결과 추세 차트와 유사합니다.
보고서에는 지정된 기간 동안 실행된 테스트 계획의 수와 결과 상태를 요약하는 추세 차트가 표시됩니다.
- 통과: 통과한 테스트 사례 수입니다.
- 실패: 실패한 테스트 사례 수입니다.
- NotApplicable: 테스트 사례 수
- 차단됨: 실행이 차단된 테스트 사례 수입니다.
- NotExecuted: 정의되었지만 실행되지 않은 테스트 사례 수입니다.
보고서의 답변에 대한 질문
이 보고서는 다음 질문에 답변하여 제품 또는 서비스의 계획된 테스트와 관련하여 팀의 진행 상황을 추적하는 데 도움이 됩니다.
- 얼마나 많은 테스트가 완료된가요?
- 통과, 실패 또는 차단되는 테스트의 현재 상태는 무엇인가요?
- 얼마나 많은 테스트를 통과하고 있으며 추세는 소프트웨어 품질에 대해 무엇을 나타내나요?
- 실패하는 테스트는 몇 개입니까?
- 차단되는 테스트 수는 몇 개이고 추세는 무엇을 나타내나요?
정상 테스트 실행 추세 보고서는 테스트 계획 실행 및 통과의 꾸준한 진행률을 보여 줍니다. 이 보고서는 지정된 계획에 대해 상대적으로 평평한 테스트 사례를 보여 줍니다. 개발 주기가 진행됨에 따라 테스트 사례 통과 횟수가 증가하고 다른 상태의 테스트 사례 수가 감소해야 합니다.
Important
Analytics Service의 OData 피드에 대한 Power BI 통합 및 액세스는 일반적으로 Azure DevOps Services 및 Azure DevOps Server 2020 이상 버전에서 사용할 수 있습니다. 이 문서에서 제공하는 샘플 쿼리는 Azure DevOps Server 2020 이상 버전에 대해서만 유효하며 v3.0 미리 보기 이상 버전에 따라 달라집니다. 이러한 쿼리를 사용하고 피드백을 제공하는 것이 좋습니다.
필수 조건
- 액세스: 최소한 기본 액세스 권한이 있는 프로젝트의 멤버여야 합니다.
- 사용 권한: 기본적으로 프로젝트 멤버는 분석을 쿼리하고 뷰를 만들 수 있는 권한이 있습니다.
- 서비스 및 기능 사용 및 일반 데이터 추적 활동과 관련된 기타 필수 구성 요소에 대한 자세한 내용은 Analytics에 액세스하기 위한 사용 권한 및 필수 구성 요소를 참조 하세요.
참고 항목
이 문서에서는 OData 쿼리를 사용하여 샘플 보고서 개요를 읽고 Power BI에 대한 기본적인 이해를 가지고 있다고 가정합니다 .
보고서에서 유용한 데이터를 생성하려면 팀에서 테스트 계획을 관리하기 위해 다음 작업을 수행해야 합니다.
테스트 계획, 테스트 도구 모음 및 테스트 사례를 정의합니다. 상태를 지정합니다. Test Suite를 실행하려면 진행 중 상태여야 합니다. 테스트 사례를 실행하려면 준비 상태여야 합니다. 자세한 내용은 테스트 계획 및 테스트 도구 모음 만들기 및 수동 테스트 사례 만들기를 참조하세요.
수동 테스트를 실행하고 결과를 확인합니다. 테스트 사례에서 각 유효성 검사 단계의 결과를 통과 또는 실패로 표시합니다. 자세한 내용은 수동 테스트 실행을 참조 하세요.
참고 항목
테스트 단계가 유효성 검사 테스트 단계인 경우 테스터는 테스트 단계를 상태로 표시해야 합니다. 테스트의 전체 결과는 표시된 모든 테스트 단계의 상태를 반영합니다. 따라서 테스트 단계가 실패한 것으로 표시되거나 표시되지 않은 경우 테스트 상태가 실패합니다.
샘플 쿼리
엔터티 집합의 TestPointHistorySnapshot 다음 쿼리를 사용하여 서로 다르지만 유사한 테스트 계획 실행 추세 보고서를 만들 수 있습니다.
참고 항목
필터 또는 보고서 용도로 사용 가능한 속성을 확인하려면 테스트 계획 분석에 대한 메타데이터 참조를 참조 하세요. 에서 사용할 수 있는 값 또는 아래 값을 Property 사용하여 쿼리를 EntityType 필터링하거나 NavigationPropertyBinding Path 속성을 반환할 수 있습니다 EntitySet. 각각 EntitySet 은 .에 EntityType해당합니다. 각 값의 데이터 형식에 대한 자세한 내용은 해당 EntityType값에 대해 제공된 메타데이터를 검토하세요.
다음 Power BI 쿼리를 복사하여 데이터>빈 쿼리 가져오기 창에 직접 붙여넣습니다. 자세한 내용은 OData 쿼리를 사용하는 샘플 보고서 개요를 참조 하세요.
let
Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v3.0-preview/TestPointHistorySnapshot?"
&"$apply=filter((TestSuite/TestPlanTitle eq '{testPlanTitle}') and (DateSK ge {startDate} and DateSK le {endDate}))"
&"/groupby("
&"(DateSK),"
&"aggregate("
&"$count as TotalCount,"
&"cast(ResultOutcome eq 'Passed', Edm.Int32) with sum as Passed,"
&"cast(ResultOutcome eq 'Failed', Edm.Int32) with sum as Failed,"
&"cast(ResultOutcome eq 'Blocked', Edm.Int32) with sum as Blocked,"
&"cast(ResultOutcome eq 'NotApplicable', Edm.Int32) with sum as NotApplicable,"
&"cast(ResultOutcome eq 'None', Edm.Int32) with sum as NotExecuted,"
&"cast(ResultOutcome ne 'None', Edm.Int32) with sum as Executed
)
)", null, [Implementation="2.0"])
in
Source
대체 문자열 및 쿼리 분석
다음 문자열을 값으로 바꿉니다. 대괄호를 대체에 {} 포함하지 마세요. 예를 들어 조직 이름이 "Fabrikam"{organization}Fabrikam{Fabrikam}인 경우 .
{organization}- 조직 이름{project}- 프로젝트 간 쿼리의 경우 팀 프로젝트 이름 또는 "/{project}"를 완전히 생략합니다.{testPlanTitle}- 테스트 계획의 제목입니다. 예:Fabrikam test plan{startDate}및{endDate}- 관심 있는 날짜 범위입니다. 날짜를 YYYYMMDD 형식으로 입력할 수 있습니다. 예를 들어202208152022년 8월 15일입니다.
쿼리 분석
다음 표에서는 쿼리의 각 부분을 설명합니다.
쿼리 파트
설명
filter((TestSuite/TestPlanTitle eq '{testPlanTitle}'))
선택한 테스트 계획에 대해서만 데이터를 반환합니다. 와 같은 filter((TestSuite/TestPlanTitle eq '{testPlanTitle1}' 절을 TestSuite/TestPlanTitle eq '{testPlanTitle2}'))사용하여 여러 계획을 추가할 수 있습니다. 테스트 도구 모음 및 테스트 구성과 관련된 다른 필터를 여기에 적용할 수도 있습니다.
and (DateSK ge {startDate} and DateSK le {endDate})
관심 날짜 범위입니다. 날짜를 형식으로 입력할 YYYYMMDD 수 있습니다.
/groupby((DateSK)
데이터를 동일한 날짜의 bin으로 그룹화합니다. 지정된 날짜 범위에서 하루에 하나의 값 집합을 생성합니다.
/aggregate($count as TotalCount,
개수가 TotalCount인 필터링된 테스트 지점에서 데이터를 집계합니다.
cast(LastResultOutcome eq 'Passed', Edm.Int32) with sum as Passed,
집계하는 동안 최신 실행 결과가 '통과'된 형식 캐스트 테스트 지점을 1로 지정하고 이를 메트릭으로 Passed 합산합니다.
(선택 사항) 쿼리 이름 바꾸기
기본 쿼리 레이블인 Query1의 이름을 좀 더 의미 있는 것으로 바꿀 수 있습니다. 쿼리 설정 창에서 새 이름을 입력하기만 하면 됩니다.
열 데이터 형식 변경
Power Query 편집기 열과 다른 모든 열을 선택한 TotalCount 다음 변환 메뉴에서 데이터 형식을 선택하고 정수를 선택합니다. 데이터 형식 변경에 대한 자세한 내용은 Power BI 보고서를 생성하기 위한 분석 데이터 변환, 열 데이터 형식 변환을 참조 하세요.
(선택 사항) 열 필드 이름 바꾸기
열 필드의 이름을 바꿀 수 있습니다. 예를 들어 열 NotApplicable Not Applicable이름을 TotalCount Total Count열로 바꿀 수 있습니다. 방법을 알아보려면 열 필드 이름을 바꿉니다.
쿼리를 닫고 변경 내용 적용
모든 데이터 변환을 완료한 후 홈 메뉴에서 닫기 및 적용 을 선택하여 쿼리를 저장하고 Power BI의 보고서 탭으로 돌아갑니다.
누적 영역형 차트 보고서 만들기
Power BI의 시각화 아래에서 누적 영역형 차트 보고서를 선택합니다.
DateSK를 X축으로 끌어서 놓습니다.
통과, 실패, 차단됨, NotApplicable 및 NotExecuted를 Y축으로 끌어서 놓습니다.
보고서는 다음 이미지와 비슷해야 합니다.