신뢰도가 낮은 테스트 관리

Azure DevOps Services

개발자를 위한 생산성은 테스트 기능을 사용하여 개발 중인 코드에 대한 실제 문제를 찾거나 시기 적절한 신뢰할 수 있는 방식으로 업데이트합니다. 오류는 테스트 중인 변경 내용과 관련이 없는 경우가 많기 때문에 Flaky 테스트는 실제 문제를 찾는 데 장벽을 제시합니다. 벗겨진 테스트는 소스 코드 또는 실행 환경에 변경 내용이 없는 경우에도 통과 또는 실패와 같은 다양한 결과를 제공하는 테스트입니다. 벗겨진 테스트는 배송된 코드의 품질에도 영향을 줍니다.

참고

이 기능은 Azure DevOps Services만 사용할 수 있습니다. 일반적으로 새로운 기능이 먼저 클라우드 서비스에 도입된 다음, 다음 주 버전 또는 Azure DevOps Server 업데이트에서 온-프레미스에서 사용할 수 있습니다. 자세한 내용은 Azure DevOps 기능 타임라인을 참조하세요.

벗겨진 테스트 관리를 제품 내로 가져오는 목표는 벗겨진 테스트로 인한 개발자 통증 원인을 줄이고 전체 워크플로를 수용하는 것입니다. Flaky 테스트 관리는 다음과 같은 이점을 제공합니다.

• 검색 - 사용자 고유의 사용자 지정 검색 방법을 연결하기 위해 재실행 또는 확장성을 사용하여 벗겨진 테스트 자동 검색

• flakiness 관리 - 테스트가 flaky로 표시되면 해당 분기의 모든 파이프라인에 데이터를 사용할 수 있습니다.

• 벗겨진 테스트에 대한 보고서 - 벗겨진 테스트로 인한 빌드 실패를 방지할지 아니면 문제 해결에만 벗겨진 태그를 사용할지 선택할 수 있습니다.

• 해결 방법 - 수동 버그 생성 또는 수동 표시 및 표시 해제 테스트를 분석에 따라 가연성으로 표시 해제

• 루프 닫기 - 버그 확인/수동 입력의 결과로 벗겨진 테스트 다시 설정

신뢰도 낮은 테스트 관리 사용

벗겨진 테스트 관리를 구성하려면 프로젝트 설정을 선택하고 파이프라인 섹션에서 테스트 관리를 선택합니다.

켜기/끄기 단추를 켜기로 밉 니다.

모든 프로젝트의 기본 설정은 문제 해결을 위해 벗겨진 테스트를 사용하는 것입니다.

벗겨진 테스트 감지

Flaky 테스트 관리는 시스템 및 사용자 지정 검색을 지원합니다.

• 시스템 검색: 제품 내 벗겨진 검색은 테스트 다시 실행 데이터를 사용합니다. 검색은 실패한 테스트 기능의 VSTest 태스크 다시 실행 또는 파이프라인의 스테이지 재시도를 통해 수행됩니다. 프로젝트에서 벗겨진 테스트를 검색하려는 특정 파이프라인을 선택할 수 있습니다.

  참고

  테스트가 flaky로 표시되면 모든 파이프라인에서 문제 해결을 지원하기 위해 해당 분기의 모든 파이프라인에 데이터를 사용할 수 있습니다.

• 사용자 지정 검색: 고유한 flaky 검색 메커니즘을 Azure Pipelines와 통합하고 보고 기능을 사용할 수 있습니다. 사용자 지정 검색을 사용하면 벗겨진 테스트에 대한 테스트 결과 메타데이터를 업데이트해야 합니다. 자세한 내용은 테스트 결과, 결과 메타 데이터 - REST API 업데이트를 참조하세요.

벗겨진 테스트 옵션

Flaky 테스트 옵션은 다음 섹션에 설명된 대로 테스트 보고 및 해상도 기능에서 flaky 테스트를 사용할 수 있는 방법을 지정합니다.

신뢰도 낮은 테스트 관리 및 보고

테스트 관리 페이지의 Flaky 테스트 옵션 아래에서 테스트 요약 보고서에 flaky 테스트가 포함되는 방법에 대한 옵션을 설정할 수 있습니다. 통과된 테스트와 실패한 테스트 모두에 대한 벗겨진 테스트 데이터는 테스트 결과에서 사용할 수 있습니다. Flaky 태그는 벗겨진 테스트를 식별하는 데 도움이 됩니다. 기본적으로 벗겨진 테스트는 테스트 요약에 포함됩니다. 그러나 테스트 실패가 파이프라인에 실패하지 않도록 하려면 테스트 요약에 포함하지 않고 테스트 실패를 표시하지 않도록 선택할 수 있습니다. 이 옵션을 사용하면 다음 스크린샷과 같이 테스트가 보고되지 않은 상태로 통과 비율에서 벗겨진 테스트(통과 및 실패 모두)가 제거됩니다.

참고

테스트 요약 보고서는 Visual Studio 테스트 작업 및 테스트결과 게시 태스크에 대해서만 업데이트됩니다. 다른 시나리오에서 테스트 실패를 표시하지 않으려면 사용자 지정 스크립트를 추가해야 할 수 있습니다.

벗겨진 것으로 표시된 테스트

Flaky(또는 테스트가 이미 flaky로 표시되어 있는지 여부에 따라 UnFlaky)를 선택하여 분석 또는 컨텍스트에 따라 테스트를 flaky로 표시하거나 표시 해제할 수 있습니다.

테스트가 파이프라인에서 벗겨지거나 아첨하지 않는 것으로 표시되면 현재 파이프라인에서 변경되지 않습니다. 해당 테스트의 향후 실행에서만 변경된 변경된 flaky 설정이 평가됩니다. flaky로 표시된 테스트에는 사용자 인터페이스에 표시된 벗겨진 태그가 있습니다.

도움말 및 지원

• 문제 해결 페이지 참조
• Stack Overflow에 대한 조언을 얻고 Developer Community 통해 지원을 받으세요.

관련 문서

• 테스트 결과 검토
• Visual Studio 테스트 작업
• 테스트 결과 게시 작업
• 테스트 결과, 결과 메타 데이터 - REST API 업데이트