Testar configurações diferentes

Azure DevOps Services | Azure DevOps Server 2022 - Azure DevOps Server 2019

Seus usuários provavelmente instalarão ou executarão seu aplicativo em uma ampla variedade de configurações, como diferentes sistemas operacionais, navegadores da Web e outras variações. Você desejará executar pelo menos alguns de seus testes em estágios que tenham essas configurações diferentes.

Use seus planos de teste para decidir quais testes você deseja executar em quais configurações. Você precisa certificar-se de que, ao executar os testes, você tenha configurado seus estágios para as configurações necessárias.

Você pode desenhar uma matriz esquemática das combinações que deseja testar:

Então você pode:

• Exibir configurações e variáveis disponíveis
• Criar configurações e variáveis
• Atribuir as configurações a planos de teste e conjuntos de testes
• Executar testes com cada uma das configurações
• Acompanhe os resultados do teste para cada configuração

Pré-requisitos

• Você precisa se conectar a um projeto. Se ainda não tiver um projeto, crie um.
• Você deve ser adicionado a um projeto. Para ser adicionado, confira Adicionar usuários a um projeto ou uma equipe.
• Para exibir ou adicionar configurações de teste, você deve ter acesso Básico ou superior.
• Para adicionar configurações de teste, você deve ter a permissão Gerenciar configurações de teste em nível de projeto definida como Permitir. Por padrão, essa permissão é concedida aos membros dos grupos Colaboradores e Administradores do Projeto.

Para saber mais, confira Acesso e permissões de teste manual.

Trabalhar com a ferramenta de linha de comando TCM

Para usar a ferramenta de linha de comando TCM, você deve ter os seguintes itens no lugar:

• Instalado o Visual Studio 2017 Professional ou versão anterior. Você acessa o TCM no prompt de comando e nos seguintes diretórios:

  • %programfiles(x86)%\Microsoft Visual Studio\2017\Professional\Common7\IDE
  • %programfiles(x86)%\Microsoft Visual Studio\2017\Enterprise\Common7\IDE
  • %programfiles(x86)%\Microsoft Visual Studio 14.0\Common7\IDE

• Para executar um comando TCM, especifique os /collection parâmetros e /teamproject conforme /login necessário.

  Parâmetro	Descrição
  /coleção:CollectionURL	Obrigatória. Especifica o URI da coleção de projeto de equipe. O formato do URI é o seguinte: - Para os Serviços de DevOps do Azure: http://dev.azure.com/OrganizationName - Para o Servidor de DevOps do Azure: http://ServerName:Port/VirtualDirectoryName/CollectionName. Se nenhum diretório virtual for usado, o formato do URI será o seguinte:http://ServerName:Port/CollectionName.
  /teamproject:project	Obrigatória. O nome do projeto que contém os objetos de teste para os quais você deseja clonar ou importar testes automatizados.
  /login:username,[password]	Opcional. Especifica o nome e a senha de um usuário válido do Azure DevOps e quem tem permissões para executar o comando. Use essa opção se suas credenciais do Windows não tiverem as permissões apropriadas, se você estiver usando a autenticação básica ou se não estiver conectado a um domínio.

• Você deve ser um membro válido de um ou mais projetos que deseja acessar e ter as permissões necessárias com base nos comandos executados. Para obter mais informações, consulte Acesso e permissões de teste manual.

• Você deve ter os mesmos níveis de acesso necessários para adicionar planos de teste e conjuntos de testes para clonar ou importar objetos de teste.

Exibir configurações e variáveis

Você geralmente deseja ver as configurações que já estão disponíveis para executar seus testes.

Navegador

Você pode exibir uma lista de configurações de teste e variáveis de configuração na página Configurações .

Enquanto estiver no projeto, selecione Configurações de planos>de teste na área de navegação à esquerda. Aqui você verá todas as configurações de teste e variáveis atualmente disponíveis para seus planos de teste.

Selecione uma configuração ou variável para ver mais informações sobre ela na janela à direita.

TCM CLI

Use tcm configs /list para exibir as configurações disponíveis para os planos de teste e suítes de teste em seu projeto. Quando nenhum parâmetro opcional é especificado, todas as configurações de teste são listadas para o projeto de equipe.

tcm configs /list [/querytext:query] /collection:teamprojectcollectionurl
            /teamproject:project [/login:username,[password]]

Parâmetro	Descrição
/querytext:query	Opcional. Especifica a consulta a ser usada para listar um subconjunto de configurações de teste.

Para obter descrições de /collectione /teamproject/login parâmetros, consulte Trabalhar com a ferramenta de linha de comando TCM.

Exemplo

O comando a seguir lista as configurações de teste disponíveis no projeto Fabrikam Fiber hospedado na organização fabrikamprime . O ID corresponde ao Nome da configuração. Por exemplo, o ID de configuração 9 está alinhado com a configuração de teste do Google Chrome no Windows 10 .

tcm configs /list /collection:https://dev.azure.com/fabrikamprime /teamproject:"Fabrikam Fiber"

Id        Name
--------- ----------------------------------------------------------------
2         Windows 8
7         Windows 7
9         Google Chrome on Windows 10

Criar configurações e variáveis

Uma configuração de teste é uma combinação de valores de variáveis de configuração. Suas variáveis de configuração podem ser, por exemplo, sistema operacional, navegador, tipo de CPU, banco de dados. Uma configuração pode ser "Windows 8 + CPU de 32 bits" ou "Windows 10 + CPU de 64 bits".

Crie as variáveis de configuração primeiro. Em seguida, combine vários valores de variáveis para criar uma configuração.

1. Abra a página Configurações no portal da Web Planos de Teste, selecione o + ícone e selecione Nova variável de configuração.

   

2. Digite um nome para a variável, como Navegador, e uma descrição. Selecione Adicionar novo valor e, em seguida, adicione um valor. Adicione quantos valores desejar à variável de configuração e salve-a.

   

3. Repita as etapas para criar quaisquer outras variáveis de configuração necessárias. Por exemplo, crie uma variável de configuração chamada Sistema operacional com os nomes de cada sistema operacional no qual você deseja testar.

   

4. Selecione o + ícone e selecione Nova configuração de teste.

   

5. Digite um nome para a configuração de teste e adicione as variáveis de configuração criadas. Escolha um valor para cada variável para essa configuração.

   

   Certifique-se de que a opção Atribuir a novos planos de teste esteja marcada para tornar essa configuração o padrão para todos os novos planos de teste criados.

6. Salve sua nova configuração de teste.

Atribuir configurações a planos e suítes de teste

Você pode atribuir configurações a um conjunto de testes ou a um caso de teste individual. As configurações atribuídas a um conjunto de testes se aplicam a todos os testes ou suítes dentro dele.

1. Para atribuir uma configuração a um conjunto de testes, na página Planos de teste, selecione um plano. Na área Test Suites, selecione um conjunto de testes e selecione Mais opções ou clique com o botão direito do mouse para abrir o menu de contexto e, em seguida, selecione Atribuir configuração.

   

   Se você adicionar várias configurações a um conjunto de testes, os casos de teste serão repetidos com cada uma das configurações atribuídas.

   

2. Se necessário, substitua a configuração padrão atribuída a um caso de teste e atribua a configuração necessária. Selecione um ou mais casos de teste, abra o menu de contexto e selecione Atribuir configuração.

   

3. Pesquise e selecione as configurações a serem atribuídas aos casos de teste.

   

Executar testes com cada configuração

Configure uma plataforma de teste para uma configuração específica, como testar o aplicativo usando o Google Chrome no Windows 10.

1. Selecione e execute um teste que tenha essa configuração atribuída.

   

   À medida que você executa o teste, um lembrete da configuração aparece na barra de status.

   

Controlar os resultados dos testes para cada configuração

1. Abra a página Gráficos do conjunto de testes, selecione Novo e selecione Novo gráfico de resultados de teste.

   

2. Escolha um tipo de gráfico, como um gráfico de pizza ou gráfico de barras, selecione Agrupar por>Configuração e escolha OK.

   

   É criado um gráfico que pode ajudá-lo a controlar os testes com base nas configurações. Você pode fixar esse gráfico no seu painel.

   

Se você tiver um caso de teste que aparece em vários conjuntos de testes, poderá definir as diferentes configurações para cada pacote. O mesmo caso de teste pode ter definições de configuração diferentes em diferentes conjuntos de testes e planos de teste.

Artigos relacionados

• Visão geral dos testes manuais e exploratórios
• Teste exploratório e envie comentários diretamente do navegador