O que é Azure Test Plans?

Serviços Azure DevOps | Azure DevOps Server | Azure DevOps Server 2022

O Azure Test Plans oferece ferramentas poderosas para impulsionar a qualidade e a colaboração em todo o processo de desenvolvimento. Essa solução de gerenciamento de testes baseada em navegador oferece suporte a testes manuais planejados, testes de aceitação do usuário, testes exploratórios e feedback das partes interessadas.

Observação

Este artigo se aplica a Azure DevOps Services e Azure DevOps Server 2020 e versões posteriores. A maioria das informações é válida para versões locais anteriores, no entanto, as imagens mostram apenas exemplos para a versão mais recente. Além disso, a interface do usuário mudou significativamente com a versão do Azure DevOps Server 2020. Para obter uma visão geral da nova interface e dos recursos com suporte, consulte Navegar Test Plans.

Como Azure Test Plans funciona?

Por meio de uma combinação de ferramentas baseadas em navegador — planos de teste, relatório de progresso, parâmetros, configurações, execuções e ferramentas de teste— e recursos de integração do DevOps, Azure Test Plans dá suporte aos seguintes objetivos de teste:

• Realize testes manuais e exploratórios:

  • Organize os testes manuais planejados: Atribua testadores e líderes de teste para organizar os testes em planos de teste e suítes de teste.
  • Realize testes de aceitação do usuário: Designe testadores de aceitação do usuário para verificar se o valor entregue atende aos requisitos do cliente, reutilizando artefatos de teste criados por equipes de engenharia.
  • Execute testes exploratórios: faça com que desenvolvedores, testadores, equipes de UX, proprietários de produtos e outros explorem os sistemas de software sem usar planos de teste ou conjuntos de testes.
  • Reúna feedback das partes interessadas: envolva as partes interessadas fora da equipe de desenvolvimento, como usuários das divisões de marketing e vendas, para realizar testes.

• Automatize o teste: integre os Planos de Teste do Azure ao Azure Pipelines para dar suporte a testes em CI/CD. Associe planos de teste e casos de teste a pipelines de compilação ou liberação. Adicione tarefas de pipeline para capturar e publicar resultados de teste. Analise os resultados dos testes usando relatórios de progresso integrados e relatórios de teste do pipeline.

• Garanta a rastreabilidade: vincule casos de teste e conjuntos de testes a histórias de usuários, recursos ou requisitos para rastreabilidade de ponta a ponta. Vincule automaticamente testes e defeitos aos requisitos e compilações que estão sendo testados. Adicione e execute testes no quadro ou use a central de planos de teste para equipes maiores. Acompanhe os testes de requisitos usando os resultados do pipeline e o widget de Requisitos.

• Acompanhe relatórios e análises: monitore os resultados e o progresso do teste com gráficos de rastreamento configuráveis, widgets específicos de teste para painéis e relatórios integrados, como relatórios de progresso, relatórios de resultados de teste de pipeline e o serviço Analytics.

Observação

Teste de carga e desempenho: enquanto o serviço de teste de carga baseado em nuvem do Azure DevOps está preterido, o Teste de Carga do Azure está disponível. O Teste de Carga do Azure é um serviço de teste de carga totalmente gerenciado que permite usar scripts Apache JMeter existentes para gerar carga de alta escala. Para obter mais informações, confira O que é o Teste de Carga do Azure?. Para obter mais informações sobre a substituição do teste de carga do Azure DevOps, consulte Alterações na funcionalidade de teste de carga no Visual Studio e teste de carga de nuvem no Azure DevOps.

Principais benefícios

Azure Test Plans fornece às equipes de desenvolvimento de software os seguintes benefícios.

• Teste em qualquer plataforma: com o portal da Web Test Plans, você pode usar qualquer navegador com suporte para acessar todos os recursos de teste manual. Ele permite que você crie e execute testes manuais por meio de uma interface fácil de usar baseada em navegador que os usuários podem acessar de todos os navegadores principais em qualquer plataforma.

• Coleta de dados de diagnóstico avançado: use o Executor de Teste baseado na Web para coletar dados de diagnóstico durante testes manuais, incluindo capturas de tela, logs de ação de imagem e gravações de tela. Azure Test Plans inclui automaticamente os dados capturados em bugs criados durante o teste, o que ajuda os desenvolvedores a reproduzir problemas.

• Rastreabilidade de ponta a ponta: o Azure DevOps fornece rastreabilidade de ponta a ponta de seus requisitos, builds, testes e bugs com a vinculação de itens de trabalho a outros objetos. Os usuários podem acompanhar a qualidade de seus requisitos a partir de cartões no quadro. Os bugs criados durante o teste são automaticamente vinculados aos requisitos e compilações que estão sendo testados, o que ajuda você a acompanhar a qualidade dos requisitos ou builds.

• Análise integrada: o serviço de Análise fornece dados que alimentam relatórios internos, widgets configuráveis dashboard e relatórios personalizáveis usando o Power BI. Os dados acompanham o progresso e as tendências do plano de teste para testes manuais e automatizados. A análise de testes oferece visibilidade quase em tempo real sobre os dados de teste para builds e lançamentos. As equipes podem usar esses dados para melhorar os artefatos de teste e ajudar a manter pipelines saudáveis.

• Plataforma extensível. Você pode combinar as ferramentas e as tecnologias que já conhece com as ferramentas de desenvolvimento que funcionam melhor para você se integrar e estender o Azure DevOps. Use as APIs REST e o modelo de contribuição disponíveis para a plataforma de teste para criar extensões que forneçam a experiência necessária para o ciclo de vida de gerenciamento de teste.

Cenários com suporte e requisitos de acesso

O acesso aos recursos do portal da Web do Azure DevOps é gerenciado por meio dos níveis de acesso atribuídos aos usuários. Os três principais níveis de acesso são os planos Stakeholder, Basic e Basic+Test, conforme descrito em Sobre os níveis de acesso. A tabela a seguir indica o nível de acesso necessário para exercer as tarefas associadas com Azure Test Plans. Além dos níveis de acesso, selecione recursos que exigem permissões para execução. Para obter mais informações, consulte Acesso e permissões de teste manual.

Cenário e tarefas

Parte interessada

Basic

Básico +Planos de Teste

---

Planejamento de teste

• Criar planos de teste e conjuntos de testes
• Gerenciar configurações de execução do plano de teste
• Gerenciar configurações

✔️

Execução de teste

• Executar testes em qualquer plataforma (Windows, Linux, Mac) com o Test Runner

✔️

✔️

Executar testes exploratórios com a extensão Teste e Comentários

✔️

✔️

✔️

Analisar e revisar testes

• Criar gráficos com vários pivôs, como prioridade, configuração etc., para acompanhar o progresso do teste
• Navegar pelos resultados de testes
• Exportar planos de teste e conjuntos de testes para revisão
• Teste de aceitação do usuário – Atribuir testes e convidar por email

✔️

✔️

Teste manual e exploratório

Para dar suporte a testes manuais e exploratórios, Azure Test Plans usa tipos de item de trabalho específicos de teste para planejar e criar testes. Além disso, ele fornece duas ferramentas de teste para dar suporte à execução de testes. Os planos de teste, parâmetros e hubs de configurações fornecem as ferramentas para criar e gerenciar com eficiência itens de teste, suas configurações e configurações. Os conjuntos de testes podem ser dinâmicos, conjuntos baseados em requisitos e pacotes baseados em consulta, para ajudá-lo a entender a qualidade dos requisitos associados em desenvolvimento ou estáticos para ajudá-lo a cobrir testes de regressão.

Tipos de item de trabalho específicos para teste

Os tipos de item de trabalho — Test Plans, Conjuntos de Testes, Casos de Teste, Etapas Compartilhadas e Parâmetros Compartilhados — dão suporte a vários links explícitos para dar suporte a requisitos de acompanhamento e compartilhamento de etapas de teste e dados em muitos casos de teste. Os casos de teste podem ser atribuídos como manuais ou automatizados. Para obter uma descrição de cada um desses itens de teste, consulte Testar objetos e termos.

No Azure DevOps, a relação entre um resultado de teste, uma execução de teste e um caso de teste pode ser entendida da seguinte maneira:

• Caso de teste: um cenário específico ou conjunto de etapas projetado para validar um determinado recurso ou funcionalidade.
• Execução de teste: uma instância em que um ou mais casos de teste são executados. Cada execução de teste pode incluir vários casos de teste.
• Resultado do teste: o resultado de uma execução de teste. Cada caso de teste dentro de uma execução de teste tem seu próprio resultado, indicando se foi bem-sucedido ou falhou.

Observação

Com Azure DevOps Server 2020 e versões posteriores, você pode executar testes automatizados adicionando tarefas de teste a pipelines. A definição de planos de teste, casos de teste e conjuntos de testes não é necessária quando tarefas de teste são usadas.

Definir planos de teste e suítes de teste

Você cria e gerencia planos de teste e conjuntos de testes no hub de planos de teste . Adicione um ou mais conjuntos de testes, estáticos, baseados em requisitos ou baseados em consulta, aos planos de teste. Exporte e compartilhe planos de teste e conjuntos de testes com suas equipes. Para saber como, confira Criar planos de teste e conjuntos de testes e Copiar ou clonar planos de teste, conjuntos de testes e casos de teste.

Criar testes usando casos de teste

Você define casos de teste manuais definindo as etapas de teste e, opcionalmente, os dados de teste a serem referenciados. Os conjuntos de testes são compostos por um ou mais casos de teste. Você pode compartilhar casos de teste em conjuntos de testes. A exibição Grade para definir casos de teste dá suporte a operações de cópia, colagem, inserção e exclusão. Atribua rapidamente um ou vários testadores para executar testes. Exibir resultados de teste e referências a um caso de teste em conjuntos de testes. Para saber como, confira Criar casos de teste.

Em cada caso de teste, você especifica um conjunto de etapas de teste com os resultados esperados. Opcionalmente, você pode adicionar etapas compartilhadas ou parâmetros compartilhados. Para fins de rastreabilidade, vincule os casos de teste às histórias do usuário, funcionalidades ou bugs que eles testam.

Gerenciar parâmetros compartilhados

Use o hub Parâmetros para definir e gerenciar parâmetros compartilhados entre casos de teste. Os parâmetros compartilhados dão suporte para testes manuais repetidos várias vezes com dados de teste diferentes. Por exemplo, se os usuários puderem adicionar quantidades diferentes de um produto a um carrinho de compras, você desejará verificar se uma quantidade de 200 funciona e uma quantidade de 1.

Gerenciar configurações e variáveis de teste

Com o hub Configurações, as equipes podem definir, revisar e gerenciar configurações de teste e variáveis referenciadas por planos de teste. As configurações de teste dão suporte para testar seus aplicativos em diferentes sistemas operacionais, navegadores da Web e versões. Assim como acontece com parâmetros compartilhados, as configurações de teste podem ser compartilhadas em vários planos de teste.

Execução de testes e ferramentas de teste

Com as ferramentas a seguir, desenvolvedores, testadores e stakeholders podem iniciar testes e capturar dados avançados à medida que executam testes e registram automaticamente defeitos de código vinculados aos testes. Teste seu aplicativo executando testes em aplicativos Web ou desktop.

• Test Runner: uma ferramenta baseada em navegador que você inicia no hub de planos de teste para executar testes manuais para aplicativos Web e desktop. O Executor de testes oferece suporte a capturas de tela, registros de ações em imagens e gravações de tela. Você também pode criar bugs e registrar resultados de teste.
• Extensão Teste e Comentários: uma extensão gratuita para o Chrome e o Microsoft Edge que dá suporte a testes exploratórios. A extensão captura interações com o aplicativo por meio de imagens, vídeos e comentários digitado. O Azure DevOps armazena as informações em um item de trabalho Resposta de Comentários para ajudar a rastrear os dados de resposta.

Capacidade de execução de teste

Você pode executar as tarefas a seguir usando as ferramentas indicadas.

Tarefa	Central de planos de teste	Executor de Testes	Extensão Test & Feedback
Testes de marca em massa	✔️
Passar ou falhar em testes ou etapas de teste		✔️	✔️
Alterações nos testes durante a execução		✔️	✔️
Pausar e retomar testes		✔️	✔️
Registre bugs durante a execução dos testes		✔️	✔️
Capturar capturas de tela, log de ação de imagem e gravação de tela durante a execução do teste		✔️	✔️
Atualizar bugs existentes durante a execução do teste		✔️	✔️
Verificar erros		✔️	✔️
Atribuir um build para a execução do teste	✔️
Atribuir configurações de teste	✔️
Examinar execuções de teste	✔️

Executar testes

No hub Planos de teste, na guia Executar, os membros da equipe podem iniciar a execução de testes para um ou mais casos de teste definidos em um conjunto de testes. As opções incluem a execução do Test Runner para um aplicativo Web ou desktop. Opcionalmente, os membros da equipe podem selecionar Executar com opções para escolher outros clientes com suporte para teste manual ou selecionar um build para teste automatizado. Para obter mais informações, consulte Executar testes manuais.

Executor de Testes

O Test Runner executa testes para seus aplicativos Web e desktop. Marque as etapas de teste e os resultados de teste como aprovados ou reprovados e colete dados de diagnóstico, como informações do sistema, logs de ação de imagem, gravações de tela e capturas de tela ao testar. Os bugs arquivados durante os testes incluem automaticamente todos os dados de diagnóstico capturados para ajudar os desenvolvedores a reproduzir os problemas. Para obter mais informações, consulte Executar testes em aplicativos web e Executar testes em aplicativos da área de trabalho.

Teste de aceitação do usuário

O teste de aceitação do usuário (UAT) ajuda a garantir que as equipes entreguem o valor solicitado pelos clientes. Você pode criar planos e pacotes de teste UAT, convidar vários testadores para executar esses testes e monitorar o progresso e os resultados do teste usando gráficos leves. Para saber como, confira Teste de aceitação do usuário.

Testes exploratórios com a extensão Teste e Feedback

A extensão Teste e Comentários é uma extensão de navegador simples que você pode usar para testar aplicativos da Web a qualquer hora e em qualquer lugar, e é simples o suficiente para que todos da equipe a usem. Isso ajuda a melhorar a produtividade, permitindo que você gaste mais tempo encontrando problemas e menos tempo arquivando-os.

Comentários dos participantes

Você deve buscar feedback das partes interessadas fora da equipe de desenvolvimento, como equipes de marketing e vendas, o que é vital para o desenvolvimento de software de boa qualidade. Os desenvolvedores podem solicitar comentários sobre suas histórias e recursos de usuário. As partes interessadas podem responder a solicitações de feedback usando a extensão Test & Feedback baseada em navegador - não apenas para classificar e enviar comentários, mas também capturando dados de diagnóstico avançados e arquivando bugs e tarefas diretamente. Confira mais em Solicitar comentários dos stakeholders e Fornecer comentários dos stakeholders.

Teste automatizado

O teste automatizado é facilitado executando testes no Azure Pipelines. A análise dos testes fornece visibilidade quase em tempo real dos seus dados de teste para compilações e lançamentos. Ele ajuda a melhorar a eficiência do pipeline identificando problemas repetitivos de qualidade de alto impacto.

Azure Test Plans dá suporte a testes automatizados das seguintes maneiras:

• Associar planos de teste ou casos de teste a pipelines de compilação ou liberação

• Especifique tarefas de habilitação de teste em uma definição de pipeline. O Azure Pipelines fornece várias tarefas, incluindo as tarefas a seguir que dão suporte a uma experiência abrangente de análise e relatórios de teste.

  • Tarefa Publicar Resultados do Teste: use para publicar resultados de teste no Azure Pipelines.
  • Tarefa de teste do Visual Studio: use para executar testes funcionais e de unidade (Selenium, Appium, teste de interface do usuário codificado e muito mais) usando o Executor de Teste do Visual Studio.
  • Tarefa da CLI do .NET Core: use-a para compilar, testar, empacotar ou publicar um aplicativo .NET.

  Para obter mais tarefas, consulte a tarefa Publicar resultados do teste

• Forneça relatórios internos e widgets dashboard configuráveis para exibir resultados de testes de pipeline.

• Colete os resultados do teste e os dados de teste associados no serviço de Análise.

Rastreabilidade

Azure Test Plans dá suporte à vinculação de bugs e requisitos para casos de teste e conjuntos de testes. Além disso, o portal web a seguir e as ferramentas relacionadas a testes oferecem suporte à rastreabilidade:

• Exibir itens vinculados a um caso de teste: exiba os planos de teste, os conjuntos de testes, os requisitos e os bugs aos quais um caso de teste se vincula.
• Adicionar e executar testes do quadro: um recurso do Azure Boards que dá suporte à definição de casos de teste das histórias de usuário, recursos ou bugs do quadro. Além disso, você pode iniciar o Test Runner ou a extensão Test & Feedback para executar testes ou executar testes exploratórios.
• Widget de qualidade de requisitos: widget configurável usado para acompanhar a qualidade continuamente de um pipeline de build ou lançamento. O widget mostra o mapeamento entre um requisito e os resultados de teste mais recentes executados em relação a esse requisito. Ele fornece insights sobre a rastreabilidade de requisitos. Por exemplo, os requisitos não atendem à qualidade, aos requisitos não testados e assim por diante.

Exibir itens vinculados a um caso de teste

No hub De planos de teste, você pode exibir e abrir os conjuntos de testes, os requisitos e os bugs vinculados a um caso de teste. A guia Conjuntos de Testes também indica os planos de teste e os projetos que fazem referência ao caso de teste. A guia Requisitos lista itens de trabalho vinculados ao caso de teste que pertencem à categoria de requisitos. Além disso, você pode criar uma consulta de links diretos que lista itens vinculados a casos de teste por meio do tipo de link Tests/Tested by. Para obter mais informações, consulte Criar casos de teste e Usar links diretos para exibir dependências.

Adicionar e executar testes a partir da placa

Nos quadros Azure Boards, você pode adicionar testes de uma história de usuário ou recurso, vinculando automaticamente o caso de teste à história de usuário ou recurso. Você pode visualizar, executar e interagir com casos de teste diretamente do quadro e monitorar progressivamente o status diretamente do cartão. Saiba mais em Adicionar, executar e atualizar testes embutidos.

Widget de qualidade dos requisitos

O widget Qualidade dos requisitos exibe uma lista de todos os requisitos no escopo, juntamente com a Taxa de aprovação dos testes e a contagem de testes com falha. Ao selecionar o número de testes com falha, a guia Testes é aberta para a compilação ou versão selecionada. O widget também ajuda a rastrear os requisitos sem nenhum teste associado. Para obter mais informações, consulte Rastreabilidade de requisitos.

Relatórios e análise

Para dar suporte a relatórios e análises, o Azure Test Plans oferece suporte a gráficos de acompanhamento de testes, um hub de teste Runs, vários relatórios internos de teste de pipeline, widgets de painel e dados de teste armazenados no serviço Analytics.

• Gráficos de teste configuráveis: você pode obter informações sobre a atividade de criação e execução do plano de teste criando gráficos de rastreamento de teste.
• Relatório de progresso: acompanhe o progresso de um ou planos de teste ou conjuntos de testes.
• Execuções de teste: examine os resultados das execuções de teste manuais e automatizadas.
• Widgets de painel: widgets configuráveis que exibem resultados de teste com base em builds ou versões selecionadas. Os widgets incluem o widget Deployment status e o widget Tendência de Resultados de Teste (Avançado).
• Análise de Teste: obtenha insights detalhados de relatórios de pipeline internos ou crie relatórios personalizados consultando o serviço de Análise.

Gráficos de teste configuráveis

Configure rapidamente gráficos leves para acompanhar os resultados manuais de teste usando os tipos de gráfico de sua escolha e fixe os gráficos em seu dashboard para analisar facilmente esses resultados. Escolha uma política de retenção para controlar por quanto tempo os resultados do teste manual são mantidos. Saiba mais em Acompanhar o status do teste.

Relatórios de progresso

Com o hub Relatório de progresso, as equipes podem acompanhar o progresso de mais de um plano de teste ou suíte de testes. Este relatório ajuda a responder às seguintes perguntas:

• Quantos testes foram concluídos?
• Quantos testes foram aprovados, reprovados ou bloqueados?
• É provável que o teste seja concluído a tempo?
• Qual é a taxa diária de execução?
• Quais áreas de teste precisam de atenção?

Execuções de teste

O Hub de Execução de Teste exibe execuções de teste manuais e automatizadas. Use-o para pesquisar e filtrar execuções, examinar resumos e análises de execução, inspecionar resultados de teste individuais, visualizar anexos e vincular resultados a itens de trabalho.

Para capturas de tela atuais e procedimentos detalhados, consulte Gerenciar execuções de teste em Azure DevOps Planos de Teste.

Status da Implantação

O widget configurável Status de implantação mostra uma visão combinada do status de implantação e da taxa de aprovação nos testes em vários ambientes para um conjunto recente de compilações. Você configura o widget ao especificar um pipeline de build, uma ramificação e pipelines de lançamento vinculados. Para visualizar o resumo dos testes em vários ambientes de uma versão, o widget oferece uma visualização em matriz de cada ambiente e da respectiva taxa de aprovação nos testes.

Passe o cursor sobre qualquer resumo de compilação, e você poderá ver mais detalhes, especificamente o número de testes aprovados e reprovados.

Tendência de resultados do teste (Avançado)

O widget Tendência dos Resultados de Teste (Avançado) fornece visibilidade quase em tempo real sobre os dados de teste para vários builds e releases. O widget mostra a tendência dos resultados de teste dos pipelines selecionados. Você pode usá-lo para acompanhar a contagem diária de teste, taxa de aprovação e duração do teste. Acompanhar a qualidade do teste ao longo do tempo e melhorar a garantia de teste é fundamental para manter um pipeline de DevOps íntegro. O widget dá suporte ao acompanhamento de métricas avançadas para um ou mais pipelines de build ou pipelines de lançamento. O widget também permite a filtragem de resultados de teste por resultado, métricas de empilhamento e muito mais. Para obter mais informações, consulte Configurar o widget Tendência dos Resultados de Teste (Avançado).

Análise de Testes

Os testes internos e widgets com suporte para teste derivam seus dados do serviço de Análise. O serviço Analytics é a plataforma de relatórios do Azure DevOps e dá suporte às abas Analytics e Testes e aos relatórios de detalhamento disponíveis no hub Pipelines. O relatório detalhado de falhas de teste apresenta um resumo dos testes aprovados e com falha. Para obter mais informações, consulte Análise de teste.

Além disso, você pode criar relatórios personalizados consultando o serviço de Análise. Para obter mais informações, consulte Visão geral de relatórios de exemplo usando consultas OData.

Próximas etapas

Testar objetos e termos

Conteúdo relacionado

• Navegar pelos Planos de Teste
• Copiar ou clonar planos de teste, conjuntos de testes e casos de teste
• Associar testes automatizados a casos de teste
• Sobre a solicitação e o fornecimento de comentários
• Visão geral da integração entre serviços e colaboração
• Sobre testes de pipeline

Mais recursos

• Teste de unidade
• Noções básicas de teste de unidade
• Testes unitários do Durable Functions
• O que é Teste de Carga do Azure?