Compartilhar via

PublishTestResults@2 – Tarefa Publicar Resultados do Teste v2

Publicar os resultados do teste no Azure Pipelines.

Sintaxe

# Publish Test Results v2
# Publish test results to Azure Pipelines.
- task: PublishTestResults@2
  inputs:
    testResultsFormat: 'JUnit' # 'JUnit' | 'NUnit' | 'VSTest' | 'XUnit' | 'CTest'. Alias: testRunner. Required. Test result format. Default: JUnit.
    testResultsFiles: '**/TEST-*.xml' # string. Required. Test results files. Default: **/TEST-*.xml.
    #searchFolder: '$(System.DefaultWorkingDirectory)' # string. Search folder. Default: $(System.DefaultWorkingDirectory).
    #mergeTestResults: false # boolean. Merge test results. Default: false.
    #failTaskOnFailedTests: false # boolean. Fail if there are test failures. Default: false.
    #failTaskOnFailureToPublishResults: false # boolean. Fail if there is failure in publishing test results. Default: false.
    #failTaskOnMissingResultsFile: false # boolean. Fail if no result files are found. Default: false.
    #testRunTitle: # string. Test run title. 
  # Advanced
    #buildPlatform: # string. Alias: platform. Build Platform. 
    #buildConfiguration: # string. Alias: configuration. Build Configuration. 
    #publishRunAttachments: true # boolean. Upload test results files. Default: true.

# Publish Test Results v2
# Publish test results to Azure Pipelines.
- task: PublishTestResults@2
  inputs:
    testResultsFormat: 'JUnit' # 'JUnit' | 'NUnit' | 'VSTest' | 'XUnit' | 'CTest'. Alias: testRunner. Required. Test result format. Default: JUnit.
    testResultsFiles: '**/TEST-*.xml' # string. Required. Test results files. Default: **/TEST-*.xml.
    #searchFolder: '$(System.DefaultWorkingDirectory)' # string. Search folder. Default: $(System.DefaultWorkingDirectory).
    #mergeTestResults: false # boolean. Merge test results. Default: false.
    #failTaskOnFailedTests: false # boolean. Fail if there are test failures. Default: false.
    #testRunTitle: # string. Test run title. 
  # Advanced
    #buildPlatform: # string. Alias: platform. Build Platform. 
    #buildConfiguration: # string. Alias: configuration. Build Configuration. 
    #publishRunAttachments: true # boolean. Upload test results files. Default: true.

Entradas

testResultsFormat - Formato do resultado do teste
Alias de entrada: testRunner. string. Obrigatório Valores permitidos: JUnit, NUnit, VSTest, XUnit, CTest. Valor padrão: JUnit.

Especifica o formato dos arquivos de resultados que você deseja publicar. Há suporte para os seguintes formatos: CTest, JUnit, NUnit 2, NUnit 3, TRX (Visual Studio Test) e xUnit 2.

Dica

VSTest formato refere-se ao formato TRX. Portanto, ele também funciona se você estiver produzindo TRX com Microsoft.Testing.Platform (MTP) e não for específico para VSTest. O valor é VSTest por motivos históricos, antes da introdução do MTP.


testResultsFiles - arquivos de resultados de teste
string. Obrigatório Valor padrão: **/TEST-*.xml.

Especifica um ou mais arquivos de resultados de teste.

  • Você pode usar um curinga de pasta única (*) e curingas recursivos (**). Por exemplo, **/TEST-*.xml pesquisa todos os arquivos XML cujos nomes começam com TEST- em todos os subdiretórios. Se estiver usando o VSTest como o formato de resultado do teste, o tipo de arquivo deverá ser alterado para .trx por exemplo, **/TEST-*.trx
  • Vários caminhos podem ser especificados, separados por uma nova linha.
  • Além disso, aceita padrões de minimatch.

Por exemplo, !TEST[1-3].xml exclui arquivos chamados TEST1.xml, TEST2.xmlou TEST3.xml.


da pasta pesquisa
string. Valor padrão: $(System.DefaultWorkingDirectory).

Opcional. Especifica a pasta para pesquisar os arquivos de resultados de teste.


mergeTestResults - Mesclar resultados do teste
boolean. Valor padrão: false.

Quando o valor desse booliano é true, a tarefa relata os resultados do teste de todos os arquivos em um único execução de teste. Se o valor for false, a tarefa criará uma execução de teste separada para cada arquivo de resultado de teste. Para otimizar para obter um melhor desempenho, os resultados sempre serão mesclados em uma única execução se houver mais de 100 arquivos de resultados, mesmo que essa opção esteja definida como false.

Observação

Use a configuração de resultados de teste de mesclagem para combinar arquivos da mesma estrutura de teste para garantir que o mapeamento e a duração dos resultados sejam calculados corretamente.


failTaskOnFailedTests - Falha se houver falhas de teste
boolean. Valor padrão: false.

Opcional. Quando o valor desse booleano for true, a tarefa falhará se qualquer um dos testes no arquivo de resultados for marcado como reprovado. O padrão é false, que simplesmente publicará os resultados do arquivo de resultados.


failTaskOnFailureToPublishResults - Falha se houver falha na publicação dos resultados do teste
boolean. Valor padrão: false.

Quando true, falha na tarefa se houver falha na publicação dos resultados do teste.


failTaskOnMissingResultsFile - Falha se nenhum arquivo de resultado for encontrado
boolean. Valor padrão: false.

Falha na tarefa se nenhum arquivo de resultado for encontrado.


testRunTitle - Título da execução de teste
string.

Opcional. Especifica um nome para a execução de teste na qual os resultados serão relatados. Nomes de variáveis declarados no pipeline de build ou versão podem ser usados.


buildPlatform - Construir plataforma
Alias de entrada: platform. string.

Opcional. Especifica a plataforma de build na qual a execução de teste deve ser relatada. Por exemplo: x64 ou x86. Se você definiu uma variável para a plataforma em sua tarefa de build, use-a aqui.


buildConfiguration - Configuração de compilação
Alias de entrada: configuration. string.

Opcional. Especifica a configuração de build na qual a execução de teste deve ser relatada. Por exemplo: Debug ou Release. Se você definiu uma variável para a configuração em sua tarefa de build, use-a aqui.


publishRunAttachments - Carregar arquivos de resultados de teste
boolean. Valor padrão: true.

Opcional. Quando o valor desse booliano é true, a tarefa carrega todos os arquivos de resultado de teste como anexos para a execução do teste.


Opções de controle de tarefa

Todas as tarefas têm opções de controle além das suas entradas de tarefas. Para obter mais informações, consulte as opções de Controle de e as propriedades comuns da tarefa.

Variáveis de saída

Nenhum.

Observações

Essa tarefa publica os resultados do teste no Azure Pipelines ou no TFS quando os testes são executados para fornecer uma experiência abrangente de análise e relatórios de teste. Você pode usar o executor de teste de sua escolha que suporta o formato de resultados necessário. Os formatos de resultados com suporte incluem CTest, JUnit (incluindo PHPUnit), NUnit 2, NUnit 3, Visual Studio Test (TRX) e xUnit 2.

Outras tarefas internas, como a tarefa de teste do Visual Studio e a tarefa da CLI do Dot NetCore , publicam automaticamente os resultados do teste no pipeline. Tarefas como Ant, Maven, Gulp, Grunt e Xcode fornecem resultados de publicação como uma opção dentro da tarefa ou criam bibliotecas como Cobertura e JaCoCo. Se você estiver usando qualquer uma dessas tarefas, não precisará de uma tarefa separada Publicar Resultados do Teste no pipeline.

Os resultados de teste publicados são exibidos na guia Testes no resumo do pipeline. Os resultados ajudam você a medir a qualidade do pipeline, revisar a rastreabilidade, solucionar falhas e conduzir a propriedade da falha.

O exemplo a seguir mostra que a tarefa está configurada para publicar os resultados do teste.

Abra a página do histórico de testes

Você também pode usar essa tarefa em um pipeline de build para publicar resultados de cobertura de código produzidos ao executar testes no Azure Pipelines ou no TFS para obter relatórios de cobertura.

Pré-requisitos

Se você estiver usando um agente auto-hospedado do Windows, seu computador deverá ter este pré-requisito instalado:

Padrões de tarefa

A opção padrão usa o formato JUnit para publicar os resultados do teste. Ao usar o VSTest como testRunner, a opção testResultsFiles deve ser alterada para **/TEST-*.trx.

testResultsFormat é um alias para o nome de entrada testRunner . Os arquivos de resultados podem ser produzidos por vários executores, não apenas por um executor específico. Por exemplo, o formato de resultados do jUnit é suportado por muitos executores e não apenas pelo jUnit.

Para publicar resultados de teste para Python usando YAML, consulte Python na seção Ecossistemas desses tópicos, que também inclui exemplos para outras linguagens.

Mapeamento de formatos de resultado

Esta tabela lista os campos relatados na guia Testes em um resumo de build ou versão e o mapeamento correspondente com os atributos nos formatos de resultado de teste suportados.

Escopo Campo Teste do Visual Studio (TRX)
Execução de teste Título Título da execução de teste especificado na tarefa
Data de início /TestRun/Times.Attributes["iniciar"]. Valor
Data de conclusão /TestRun/Times.Attributes["terminar"]. Valor
Duração Data de conclusão - Data de início
Anexos Consulte a seção Suporte de anexos abaixo
Resultado do teste Título /TestRun/Results/UnitTestResult.Attributes["testName"]. Valor ou /TestRun/Results/WebTestResult.Attributes["testName"]. Valor ou /TestRun/Results/TestResultAggregation.Attributes["testName"]. Valor
Data de início /TestRun/Results/UnitTestResult.Attributes["startTime"]. Valor ou /TestRun/Results/WebTestResult.Attributes["startTime"]. Valor ou /TestRun/Results/TestResultAggregation.Attributes["startTime"]. Valor
Data de conclusão /TestRun/Results/UnitTestResult.Attributes["startTime"]. Valor + /TestRun/Results/UnitTestResult.Attributes["duration"]. Valor ou /TestRun/Results/WebTestResult.Attributes["startTime"]. Valor + /TestRun/Results/WebTestResult.Attributes["duration"]. Valor ou /TestRun/Results/TestResultAggregation.Attributes["startTime"]. Valor + /TestRun/Results/TestResultAggregation.Attributes["duration"]. Valor
Duração /TestRun/Results/UnitTestResult.Attributes["duration"]. Valor ou /TestRun/Results/WebTestResult.Attributes["duration"]. Valor ou /TestRun/Results/TestResultAggregation.Attributes["duration"]. Valor
Proprietário /TestRun/TestDefinitions/UnitTest/Owners/Owner.Attributes["name"]. Valor
Resultado /TestRun/Results/UnitTestResult.Attributes["outcome"]. Valor ou /TestRun/Results/WebTestResult.Attributes["outcome"]. Valor ou /TestRun/Results/TestResultAggregation.Attributes["resultado"]. Valor
Mensagem de erro /TestRun/Results/UnitTestResult/Output/ErrorInfo/Message.InnerText Ou /TestRun/Results/WebTestResultOutput/ErrorInfo/Message.InnerText Ou /TestRun/Results/TestResultAggregation/Output/ErrorInfo/Message.InnerText
Rastreamento de pilha /TestRun/Results/UnitTestResult/Output/ErrorInfo/StackTrace.InnerText Ou /TestRun/Results/WebTestResultOutput/ErrorInfo/StackTrace.InnerText Ou /TestRun/Results/TestResultAggregation/Output/ErrorInfo/StackTrace.InnerText
Anexos Consulte a seção Suporte de anexos abaixo
Log do console /TestRun/Results/UnitTestResult/Output/StdOut.InnerText Ou /TestRun/Results/WebTestResultOutput/Output/StdOut.InnerText Ou /TestRun/Results/TestResultAggregation/Output/StdOut.InnerText
Log de erros do console /TestRun/Results/UnitTestResult/Output/StdErr.InnerText ou /TestRun/Results/WebTestResultOutput/Output/StdErr.InnerText ou /TestRun/Results/TestResultAggregation/Output/StdErr.InnerText
Nome do agente /TestRun/Results/UnitTestResult.Attributes["computerName"]. Valor ou /TestRun/Results/WebTestResult.Attributes["computerName"]. Valor ou /TestRun/Results/TestResultAggregation.Attributes["computerName"]. Valor
Arquivo de teste /TestRun/TestDefinitions/UnitTest.Attributes["armazenamento"]. Valor
Prioridade /TestRun/TestDefinitions/UnitTest.Attributes["prioridade"]. Valor

Observação

A duração é usada somente quando a Data de início e a Data de conclusão não estão disponíveis.

O formato de nome totalmente qualificado para testName é Namespace.Testclass.Methodname com um limite de caracteres de 512. Se o teste for controlado por dados e tiver parâmetros, o limite de caracteres incluirá os parâmetros.

Ao publicar o resultado do teste, você pode receber este erro: Falha ao publicar os resultados do teste: Prioridade inválida especificada

Esse erro ocorrerá se algum dos métodos de teste tiver prioridade definida acima de 255, corrija a prioridade do método de teste no código e execute os testes novamente. Você pode examinar o arquivo trx gerado para ver todos os testes com prioridade maior que 255.

Suporte de anexos

A tarefa Publicar Resultados do Teste fornece suporte para anexos para execução de teste e resultados de teste para os seguintes formatos. Para projetos públicos, oferecemos suporte a 2 GB de anexos totais.

Teste do Visual Studio (TRX)

Escopo Tipo Caminho
Execução de teste Coletor de Dados /TestRun/ResultSummary/CollectorDataEntries/Collector/UriAttachments/UriAttachment/A.Attributes["href"]. Valor
Resultado do teste /TestRun/ResultSummary/ResultFiles/ResultFile.Attributes["caminho"]. Valor
Cobertura de código /TestRun/TestSettings/Execution/AgentRule/DataCollectors/DataCollector/Configuration/CodeCoverage/Regular/CodeCoverageItem.Attributes["binaryFile"]. Valor e /TestRun/TestSettings/Execution/AgentRule/DataCollectors/DataCollector/Configuration/CodeCoverage/Regular/CodeCoverageItem.Attributes["pdbFile"]. Valor
Resultado do teste Coletores de Dados /TestRun/Results/UnitTestResult/CollectorDataEntries/Collector/UriAttachments/UriAttachment/A.Attributes["href"]. Valor ou /TestRun/Results/WebTestResult/CollectorDataEntries/Collector/UriAttachments/UriAttachment/A.Attributes["href"]. Valor ou /TestRun/Results/TestResultAggregation/CollectorDataEntries/Collector/UriAttachments/UriAttachment/A.Attributes["href"]. Valor
Resultado do teste /TestRun/Results/UnitTestResult/ResultFiles/ResultFile.Attributes["caminho"]. Valor ou /TestRun/Results/WebTestResult/ResultFiles/ResultFile.Attributes["path"]. Valor ou /TestRun/Results/TestResultAggregation/ResultFiles/ResultFile.Attributes["caminho"]. Valor

Observação

A opção de carregar o arquivo de resultados do teste como um anexo é uma opção padrão na tarefa, aplicável a todos os formatos.

Exemplos

Estivador

Para aplicativos baseados em Docker, há muitas maneiras de criar seu aplicativo e executar testes:

  • Compilar e testar em um pipeline de build: builds e testes são executados no pipeline e os resultados do teste são publicados usando a tarefa Publicar Resultados do Teste .
  • Compilar e testar com um Dockerfile de vários estágios: builds e testes são executados dentro do contêiner usando um arquivo do Docker de vários estágios, pois esses resultados de teste não são publicados de volta no pipeline.
  • Compilar, testar e publicar resultados com um Dockerfile: builds e testes são executados dentro do contêiner e os resultados são publicados de volta no pipeline. Veja o exemplo abaixo.

Criar, testar e publicar resultados com um arquivo do Docker

Nessa abordagem, você cria seu código e executa testes dentro do contêiner usando um arquivo do Docker. Os resultados do teste são copiados para o host para serem publicados no pipeline. Para publicar os resultados do teste no Azure Pipelines, você pode usar a tarefa Publicar Resultados do Teste . A imagem final será publicada no Docker ou no Registro de Contêiner do Azure.

Obter o código

  1. Crie um Dockerfile.build arquivo na raiz do diretório do projeto com o seguinte:

    # Build and run tests inside the docker container
FROM mcr.microsoft.com/dotnet/sdk:2.1
WORKDIR /app
# copy the contents of agent working directory on host to workdir in container
COPY . ./
# dotnet commands to build, test, and publish
RUN dotnet restore
RUN dotnet build -c Release
RUN dotnet test dotnetcore-tests/dotnetcore-tests.csproj -c Release --logger "trx;LogFileName=testresults.trx"
RUN dotnet publish -c Release -o out
ENTRYPOINT dotnet dotnetcore-sample/out/dotnetcore-sample.dll

    Esse arquivo contém as instruções para criar código e executar testes. Os testes são copiados para um arquivo testresults.trx dentro do contêiner.

  2. Para tornar a imagem final o menor possível, contendo apenas os artefatos de tempo de execução e implantação, substitua o conteúdo do existente Dockerfile pelo seguinte:

    # This Dockerfile creates the final image to be published to Docker or
# Azure Container Registry
# Create a container with the compiled asp.net core app
FROM mcr.microsoft.com/dotnet/aspnet:2.1
# Create app directory
WORKDIR /app
# Copy only the deployment artifacts
COPY /out .
ENTRYPOINT ["dotnet", "dotnetcore-sample.dll"]
Definir o pipeline de build

  1. Se você tiver uma conta do Docker Hub e quiser enviar a imagem por push para o registro do Docker, substitua o .vsts-ci.docker.yml conteúdo do arquivo pelo seguinte:

    # Build Docker image for this app, to be published to Docker Registry
pool:
  vmImage: 'ubuntu-latest'
variables:
  buildConfiguration: 'Release'
steps:
- script: |
    docker build -f Dockerfile.build -t $(dockerId)/dotnetcore-build:$BUILD_BUILDID .
    docker run --name dotnetcoreapp --rm -d $(dockerId)/dotnetcore-build:$BUILD_BUILDID
    docker cp dotnetcoreapp:app/dotnetcore-tests/TestResults $(System.DefaultWorkingDirectory)
    docker cp dotnetcoreapp:app/dotnetcore-sample/out $(System.DefaultWorkingDirectory)
    docker stop dotnetcoreapp

- task: PublishTestResults@2
  inputs:
    testRunner: VSTest
    testResultsFiles: '**/*.trx'
    failTaskOnFailedTests: true

- script: |
    docker build -f Dockerfile -t $(dockerId)/dotnetcore-sample:$BUILD_BUILDID .
    docker login -u $(dockerId) -p $pswd
    docker push $(dockerId)/dotnetcore-sample:$BUILD_BUILDID
  env:
    pswd: $(dockerPassword)

    Como alternativa, se você configurar um Registro de Contêiner do Azure e quiser enviar a imagem por push para esse registro, substitua o .vsts-ci.yml conteúdo do arquivo pelo seguinte:

    # Build Docker image for this app to be published to Azure Container Registry
pool:
  vmImage: 'ubuntu-latest'
variables:
  buildConfiguration: 'Release'

steps:
- script: |
    docker build -f Dockerfile.build -t $(dockerId)/dotnetcore-build:$BUILD_BUILDID .
    docker run --name dotnetcoreapp --rm -d $(dockerId)/dotnetcore-build:$BUILD_BUILDID
    docker cp dotnetcoreapp:app/dotnetcore-tests/TestResults $(System.DefaultWorkingDirectory)
    docker cp dotnetcoreapp:app/dotnetcore-sample/out $(System.DefaultWorkingDirectory)
    docker stop dotnetcoreapp

- task: PublishTestResults@2
  inputs:
    testRunner: VSTest
    testResultsFiles: '**/*.trx'
    failTaskOnFailedTests: true

- script: |
    docker build -f Dockerfile -t $(dockerId).azurecr.io/dotnetcore-sample:$BUILD_BUILDID .
    docker login -u $(dockerId) -p $pswd $(dockerid).azurecr.io
    docker push $(dockerId).azurecr.io/dotnetcore-sample:$BUILD_BUILDID 
  env:
    pswd: $(dockerPassword)

  2. Envie a alteração para o branch principal em seu repositório.

  3. Se você usar o Registro de Contêiner do Azure, verifique se você pré-criou o registro no portal do Azure. Copie o nome de usuário administrador e a senha mostrados na seção Chaves de acesso das configurações do Registro no portal do Azure.

  4. Atualize seu pipeline de build com o seguinte

    • Pool de agentes: Hosted Ubuntu 1604
      • dockerId: defina o valor como sua ID do Docker para DockerHub ou o nome de usuário administrador para o Registro de Contêiner do Azure.
      • dockerPassword: defina o valor como sua senha para o DockerHub ou a senha de administrador do Registro de Contêiner do Azure.
    • Caminho do arquivo YAML: /.vsts-ci.docker.yml

  5. Enfileire um novo build e observe-o criar e enviar por push uma imagem do Docker para o registro e os resultados do teste para o Azure DevOps.

Requisitos

Requisito Descrição
Tipos de pipeline YAML, build clássico, versão clássica
Execuções em Agent, DeploymentGroup
de demandas Nenhum
recursos Essa tarefa não atende a nenhuma demanda para tarefas subsequentes no trabalho.
restrições de comando Qualquer
variáveis settable Qualquer
Versão do agente 2.0.0 ou superior
Categoria de tarefa Teste