테스트 결과 검토
Azure DevOps Services | Azure DevOps Server 2022 - Azure DevOps Server 2019
자동화된 테스트는 다양한 언어에 대한 빌드 또는 릴리스의 일부로 실행되도록 구성할 수 있습니다. 테스트 보고서는 파이프라인 품질을 측정하고, 추적 가능성을 검토하고, 오류를 해결하고, 오류 소유권을 유도하기 위해 다양한 테스트 프레임워크를 사용하여 실행된 테스트 결과를 볼 수 있는 효과적이고 일관된 방법을 제공합니다. 또한 다음 섹션에서 살펴보는 많은 고급 보고 기능을 제공합니다.
Analytics Service를 사용하여 테스트 결과에 대한 심층 분석을 수행할 수도 있습니다. 빌드 및 배포 파이프라인에서 이를 사용하는 예제는 테스트 결과 분석을 참조하세요.
테스트 보고서 용어를 이해하려면 용어집을 읽어보십시오.
게시된 테스트 결과는 빌드 또는 릴리스 요약의 테스트 탭에서 볼 수 있습니다.
테스트 탭의 Surface 테스트 결과
테스트 결과는 다음 옵션 중 하나를 사용하여 테스트 탭에 표시될 수 있습니다.
테스트 결과를 자동으로 유추합니다. 기본적으로 파이프라인은 인기 있는 몇 가지 테스트 실행기에서 테스트 출력을 자동으로 유추할 수 있습니다. 빌드 작업 중에 생성된 오류 로그를 구문 분석한 다음 테스트 실패의 서명을 확인합니다. 현재 Azure DevOps는 테스트 결과를 자동으로 유추하기 위해 다음 언어 및 테스트 실행기를 지원합니다.
JavaScript - Mocha, Jest 및 Jasmine
Python- Unittest
참고 항목
이 유추된 테스트 보고서는 제한된 환경입니다. 완전 형식의 테스트 보고서에서 사용할 수 있는 일부 기능은 여기에 없습니다(자세한 내용). 파이프라인에서 전체 테스트 및 인사이트 환경을 얻으려면 완전히 구성된 테스트 보고서를 게시하는 것이 좋습니다. 또한 다음을 참조하세요.
실행 태스크를 테스트합니다. 테스트 결과를 파이프라인에 자동으로 게시하는 Visual Studio Test와 같은 기본 제공 테스트 실행 작업 또는 작업 내에서 이 기능을 옵션으로 제공하는 Ant, Maven, Gulp, Grunt 및 Xcode와 같은 다른 작업입니다.
테스트 결과 게시 태스크입니다. 선택한 실행기를 사용하여 테스트가 실행될 때 테스트 결과를 Azure Pipelines 또는 TFS에 게시하는 태스크이며, 결과는 지원되는 테스트 결과 형식 중 에서 사용할 수 있습니다.
API. 테스트 관리 API를 사용하여 직접 게시된 테스트 결과입니다.
테스트 탭을 벗어난 Surface 테스트 정보
테스트 탭은 테스트 실행에 대한 자세한 요약을 제공합니다. 이는 파이프라인의 품질을 추적하고 오류 문제를 해결하는 데 유용합니다. Azure DevOps는 테스트 정보를 노출하는 다른 방법도 제공합니다.
대시보드는 팀의 진행 상황을 표시합니다. 테스트 관련 정보를 표시하는 위젯을 하나 이상 추가합니다.
테스트 분석은 일정 기간 동안 측정된 테스트 결과에 대한 풍부한 인사이트를 제공합니다. 상위 실패 테스트 등과 같은 데이터를 제공하여 테스트에서 문제가 있는 영역을 식별하는 데 도움이 될 수 있습니다.
빌드에서 테스트 결과 보기
빌드 요약은 빌드에서 실행된 주요 단계의 타임라인 보기를 제공합니다. 테스트를 실행하고 빌드의 일부로 보고한 경우 테스트 중요 시점이 타임라인 보기에 표시됩니다. 테스트 마일스톤은 테스트 결과에 대한 요약을 통과 백분율의 측정값으로 제공하고 실패에 대한 지표 및 중단(있는 경우)을 제공합니다.
릴리스에서 테스트 결과 보기
파이프라인 보기에서 모든 단계 및 관련 테스트를 볼 수 있습니다. 이 보기에서는 테스트 결과에 대한 요약을 통과 백분율의 측정값으로 제공하며 실패에 대한 지표 및 중단(있는 경우)을 제공합니다. 이러한 지표는 빌드 타임라인 보기와 동일하므로 빌드 및 릴리스에서 일관된 환경을 제공합니다.
테스트 탭
빌드 및 릴리스 요약은 모두 테스트 실행에 대한 세부 정보를 제공합니다. 테스트 탭에서 세부 정보를 보려면 테스트 요약을 선택합니다. 이 페이지에는 다음 섹션이 있습니다.
요약: 총 테스트 수, 실패한 테스트, 통과 비율 등 테스트 실행에 대한 주요 양적 메트릭을 제공합니다. 또한 이전 실행과 비교하여 변경의 차등 표시기를 제공합니다.
결과: 현재 빌드 또는 릴리스의 일부로 실행되고 보고된 모든 테스트를 나열합니다. 기본 보기는 주의가 필요한 테스트에 집중하기 위해 실패한 테스트와 중단된 테스트만 표시합니다. 그러나 제공된 필터를 사용하여 다른 결과를 선택할 수 있습니다.
세부 정보: 정렬, 그룹화, 검색 및 필터링하여 필요한 테스트 결과를 찾을 수 있는 테스트 목록입니다.
테스트 실행 또는 결과를 선택하여 오류 메시지, 스택 추적, 첨부 파일, 작업 항목, 기록 추세 등과 같은 문제 해결에 필요한 추가 정보를 표시하는 세부 정보 창을 봅니다.
팁
Visual Studio 테스트 작업을 사용하여 테스트를 실행하는 경우 테스트에서 기록된 진단 출력(Console.WriteLine, Trace.WriteLine 또는 TestContext.WriteLine 메서드 사용)은 실패한 테스트에 대한 첨부 파일로 표시됩니다.
테스트 탭의 다음 기능은 생산성 및 문제 해결 환경을 개선하는 데 도움이 됩니다.
큰 테스트 결과 필터링
시간이 지남에 따라 테스트가 누적되고 대규모 애플리케이션의 경우 수만 개의 테스트로 쉽게 확장할 수 있습니다. 많은 테스트가 있는 이러한 애플리케이션의 경우 결과를 탐색하여 테스트 실패를 식별하거나 근본 원인을 연결하거나 문제의 소유권을 가져오기 어려울 수 있습니다. 필터를 사용하면 관심 있는 테스트 결과를 쉽게 탐색할 수 있습니다. 테스트 이름, 결과(실패, 통과 등), 테스트 파일(테스트를 보유하는 파일) 및 소유자(테스트 파일의 경우)를 필터링할 수 있습니다. 모든 필터 조건은 기본적으로 누적됩니다.
또한 테스트 실행, 테스트 파일, 우선 순위, 요구 사항 등과 같은 여러 그룹화 옵션을 사용하여 필요에 따라 결과 보기를 정확하게 구성할 수 있습니다.
버그를 사용하여 부채 관리 테스트
실패 또는 장기 실행 테스트에 대한 테스트 부채를 관리하려면 버그를 만들거나 기존 버그에 데이터를 추가하고 모든 연결된 작업 항목을 작업 항목 탭에서 볼 수 있습니다.
몰입형 문제 해결 환경
오류 메시지 및 스택 추적은 본질적으로 길며 문제 해결 중에 세부 정보를 볼 수 있는 충분한 부동산이 필요합니다. 몰입형 문제 해결 환경을 제공하기 위해 세부 정보 보기를 전체 페이지 보기로 확장하면서 선택한 테스트 결과에 대한 버그 만들기 또는 요구 사항 연결과 같은 컨텍스트에서 필요한 작업을 수행할 수 있습니다.
테스트 실패에 대한 데이터 문제 해결
테스트 실패의 경우 오류 메시지와 스택 추적을 문제 해결에 사용할 수 있습니다. 첨부 파일 탭에서 테스트 실패와 관련된 모든 첨부 파일을 볼 수도 있습니다 .
부채 관리 테스트
기존 버그를 만들거나 추가하여 실패 또는 장기 실행 테스트에 대한 테스트 부채를 관리할 수 있습니다. 작업 항목 탭은 테스트와 관련된 모든 버그 및 요구 사항을 자세히 설명하여 요구 사항 영향뿐만 아니라 상태 및 버그에 대해 작업 중인 사용자를 분석하는 데 도움이 됩니다.
기록 데이터를 사용하여 추세 테스트
테스트 실행 기록은 테스트의 안정성 또는 성능에 대한 의미 있는 인사이트를 제공할 수 있습니다. 실패 문제를 해결할 때는 과거에 테스트가 어떻게 수행되었는지 아는 것이 중요합니다. 테스트 탭은 컨텍스트에서 테스트 결과와 함께 테스트 기록을 제공합니다. 테스트 기록 정보는 빌드 및 릴리스를 위해 현재 빌드 파이프라인부터 다른 분기로의 현재 단계 또는 다른 단계로의 현재 단계부터 점진적으로 노출됩니다.
진행 중인 테스트의 실행 보기
통합 및 기능 테스트와 같은 테스트는 오랫동안 실행할 수 있습니다. 따라서 지정된 시간에 테스트 실행의 현재 또는 거의 실시간 상태를 확인하는 것이 중요합니다. 테스트가 빠르게 실행되는 경우에도 가능한 한 빨리 관련 테스트 결과의 상태를 파악하는 것이 유용합니다. 특히 오류가 발생하는 경우 진행 중인 보기는 테스트 실행이 완료되기를 기다릴 필요가 없습니다. 실행이 진행됨에 따라 결과를 거의 실시간으로 사용할 수 있으므로 작업을 더 빠르게 수행할 수 있습니다. 오류를 디버그하거나, 버그를 제출하거나, 파이프라인을 중단할 수 있습니다.
참고 항목
이 기능은 현재 다중 에이전트 작업에서 Visual Studio 테스트 작업을 사용하여 빌드 및 릴리스 모두에 사용할 수 있습니다. 이후 릴리스에서는 단일 에이전트 작업에 사용할 수 있습니다.
다음 예제에서는 릴리스의 진행 중인 테스트 요약을 보여 줍니다. 지정된 시점에 총 테스트 수 및 테스트 실패 수를 보고합니다. 테스트 실패는 문제 해결, 버그 만들기 또는 기타 적절한 조치를 취할 수 있습니다.
요약된 테스트 결과 보기
테스트 실행 중에 테스트는 전체 결과에 영향을 주는 여러 인스턴스 또는 테스트를 생성할 수 있습니다. 몇 가지 예로는 다시 실행되는 테스트, 다른 테스트의 순서가 지정된 조합으로 구성된 테스트(순서가 지정된 테스트) 또는 입력 매개 변수(데이터 기반 테스트)에 따라 다른 인스턴스가 있는 테스트가 있습니다.
이러한 테스트는 관련되어 있으므로 개별 인스턴스 또는 테스트에서 파생된 전체 결과와 함께 보고해야 합니다. 이러한 테스트 결과는 테스트 탭에서 요약된 테스트 결과로 보고됩니다.
실패한 테스트 다시 실행: 실패한 테스트를 다시 실행하는 기능은 최신 버전의 Visual Studio 테스트 태스크에서 사용할 수 있습니다. 다시 실행하는 동안 실패한 테스트에 대해 여러 번 시도할 수 있으며 각 실패는 테스트의 비결정적 동작으로 인해 다른 근본 원인을 가질 수 있습니다. 테스트 보고서는 요약된 단위로 전체 테스트 결과와 함께 재실행의 모든 시도에 대한 결합된 보기를 제공합니다. 이제 테스트 관리 API는 요약된 테스트 결과를 게시하고 쿼리하는 기능을 지원합니다.
데이터 기반 테스트: 실패한 테스트의 다시 실행과 마찬가지로 데이터 기반 테스트의 모든 반복은 요약된 보기에서 해당 테스트 아래에 보고됩니다. 요약 보기는 Visual Studio에서 순서가 지정된 테스트
.orderedtest에도 사용할 수 있습니다.
참고 항목
테스트 요약 섹션의 메트릭(예: 총 테스트 수, 통과, 실패 또는 기타)은 요약된 테스트 결과의 루트 수준을 사용하여 계산됩니다.
중단된 테스트 보기
잘못된 테스트 코드, 테스트 중인 원본의 오류 또는 환경 문제와 같은 여러 가지 이유로 인해 테스트 실행이 중단됩니다. 중단 이유에 관계없이 동작을 진단하고 근본 원인을 식별할 수 있어야 합니다. 중단된 테스트 및 테스트 실행은 테스트 탭에서 완료된 실행과 함께 볼 수 있습니다 .
참고 항목
이 기능은 현재 빌드 및 릴리스 모두에서 사용할 수 있으며, 다중 에이전트 작업에서 Visual Studio 테스트 작업을 사용하거나 테스트 관리 API를 사용하여 테스트 결과를 게시합니다. 이후 릴리스에서는 단일 에이전트 작업에 사용할 수 있습니다.
자동으로 유추된 테스트 결과
Azure DevOps는 지원되는 몇 가지 테스트 프레임워크에 대해 파이프라인에서 실행되는 테스트의 출력을 자동으로 유추할 수 있습니다. 이러한 자동으로 유추된 테스트 보고서에는 파이프라인의 특정 구성이 필요하지 않으며 테스트 보고를 사용하여 시작하는 데는 아무런 노력이 필요하지 않습니다.
테스트 결과가 자동으로 유추되는 실행기 목록을 참조하세요.
이러한 유추된 보고서에는 제한된 테스트 메타데이터만 존재하므로 기능 및 기능이 제한됩니다. 유추된 테스트 보고서에는 다음 기능을 사용할 수 없습니다.
- 테스트 파일, 소유자, 우선 순위 및 기타 필드를 사용하여 테스트 결과 그룹화
- 테스트 결과 검색 및 필터링
- 통과된 테스트의 세부 정보 확인
- 웹 UI 자체 내에서 테스트하는 동안 생성된 첨부 파일 미리 보기
- 테스트 실패를 새 버그와 연결하거나 이 오류에 대한 연결된 작업 항목 목록을 참조하세요.
- 파이프라인에서 테스트에 대한 빌드 기반 분석 참조
참고 항목
Mocha와 같은 일부 주자에는 점 매트릭스 및 진행률 표시줄과 같은 여러 기본 제공 콘솔 기자가 있습니다. 테스트 실행기에서 기본이 아닌 콘솔 출력을 구성했거나 사용자 지정 기자를 사용하는 경우 Azure DevOps는 테스트 결과를 유추할 수 없습니다. 기본 보고자의 결과만 유추할 수 있습니다.