테스트 분석
Azure DevOps Services | Azure DevOps Server 2022 - Azure DevOps Server 2019
시간이 지남에 따라 테스트 품질을 추적하고 테스트 담보를 개선하는 것이 정상 DevOps 파이프라인을 유지하는 데 핵심입니다. 테스트 분석은 빌드 및 릴리스에 대한 테스트 데이터에 대한 거의 실시간 가시성을 제공합니다. 반복적이고 영향력이 높은 품질 문제를 식별하여 파이프라인의 효율성을 개선하는 데 도움이 됩니다.
참고 항목
테스트 분석은 현재 Azure Pipelines에서만 사용할 수 있습니다.
용어집을 읽고 테스트 보고서 용어를 이해합니다.
필요한 경우 분석 확장 설치
자세한 내용은 Analytics Marketplace 확장을 참조하세요.
빌드에 대한 테스트 분석 보기
팀이 자주 또는 간헐적으로 실패하는 테스트를 찾아서 수정할 수 있도록 하려면 실패하는 상위 테스트 보고서를 사용합니다. 빌드 요약에는 이 보고서를 호스트하는 분석 페이지가 포함되어 있습니다. 최상위 뷰는 지정된 기간 동안 선택한 빌드 파이프라인에 대한 테스트 통과율 및 결과의 요약을 제공합니다. 기본 범위는 14일입니다.
릴리스에 대한 테스트 분석 보기
릴리스의 일부로 실행되는 테스트의 경우 오른쪽 위 모서리에 있는 Analytics 링크에서 테스트 분석에 액세스합니다. 빌드와 마찬가지로, 요약은 지정된 기간 동안의 테스트 통과율 및 결과에 대한 집계된 뷰를 제공합니다.
테스트 실패
빌드 또는 릴리스 요약을 열어 실패한 상위 테스트 보고서를 봅니다. 이 보고서는 실패 세부 정보와 함께 파이프라인의 상위 실패 테스트에 대한 세분화된 보기를 제공합니다.
자세한 보기에는 다음 두 개의 섹션이 포함되어 있습니다.
요약: 지정된 기간 동안 빌드 또는 릴리스에서 실행된 테스트에 대한 주요 양적 메트릭을 제공합니다. 기본 보기는 14일 동안의 데이터를 표시합니다.
통과율 및 결과: 다양한 결과에 대한 테스트 분포와 함께 통과 비율을 표시합니다.
실패한 테스트: 지정된 기간 동안 실패한 테스트의 고유 개수를 제공합니다. 이전 예제에서는 124개의 테스트에서 986개의 테스트 오류가 발생했습니다.
차트 보기: 지정된 기간의 각 날짜에 대한 총 테스트 실패율 및 평균 통과률 추세입니다.
결과: 총 실패 횟수를 기준으로 실패한 상위 테스트 목록입니다. 문제가 있는 테스트를 식별하는 데 도움이 되며 결과의 자세한 요약을 드릴할 수 있습니다.
그룹 테스트 실패
보고서 보기는 옵션별로 그룹을 사용하여 여러 가지 방법으로 구성할 수 있습니다. 테스트 결과를 그룹화하면 상위 실패 테스트의 다양한 측면에 대한 심층적인 인사이트를 제공할 수 있습니다. 다음 예제에서는 테스트 결과가 속한 테스트 파일을 기반으로 그룹화됩니다. 다음 단계를 쉽게 식별하고 우선 순위를 지정하는 데 도움이 되도록 지정된 기간 동안 총 테스트 실패에 대한 테스트 파일 및 해당 기여도를 보여 줍니다. 또한 각 테스트 파일에 대해 이러한 실패에 기여하는 테스트를 보여 줍니다.
개별 테스트로 드릴다운
세부 정보 섹션에서 하나 이상의 테스트를 식별한 후 분석할 개별 테스트를 선택합니다. 이 작업은 지정된 기간의 매일에 대해 테스트의 통과 또는 실패 인스턴스와 같은 다양한 결과의 누적 차트를 사용하여 선택한 테스트의 드릴다운 보기를 제공합니다. 이 보기를 사용하면 숨겨진 패턴을 유추하고 그에 따라 작업을 수행할 수 있습니다.
해당 그리드 보기는 해당 기간 동안 선택한 테스트의 모든 실행 인스턴스를 나열합니다.
실패 분석
근본 원인에 대한 오류 분석을 수행하려면 드릴다운 보기에서 하나 이상의 테스트 실행 인스턴스를 선택하여 컨텍스트에서 오류 세부 정보를 확인합니다.
숨겨진 패턴 유추
단일 실행 인스턴스에 대한 테스트 실패를 살펴보면 패턴을 유추하기가 어려운 경우가 많습니다. 다음 예제에서는 특정 기간 동안 테스트 오류가 발생하여 조사 범위를 좁히는 데 도움이 됩니다.
또 다른 예는 비결정적 동작을 나타내는 테스트입니다(종종 벗겨진 테스트라고도 함). 테스트 실행의 개별 인스턴스를 살펴보면 동작에 대한 의미 있는 인사이트를 제공하지 않을 수 있습니다. 그러나 한 기간 동안 테스트 실행 추세를 관찰하면 숨겨진 패턴을 유추하고 오류를 해결하는 데 도움이 될 수 있습니다.
보고서 정보 원본
테스트 분석의 정보 원본은 빌드 또는 릴리스 파이프라인에 대해 게시된 테스트 결과 집합입니다. 이러한 결과는 일정 기간 동안 누적되며 테스트 분석에서 제공하는 풍부한 인사이트의 기초를 형성합니다.