O que são os Planos de Teste do Azure?
Serviços de DevOps do Azure | Azure DevOps Server 2022 - Azure DevOps Server 2019
Os Planos de Teste do Azure oferecem ferramentas poderosas para impulsionar a qualidade e a colaboração durante todo o processo de desenvolvimento. Esta solução de gerenciamento de testes baseada em navegador oferece suporte a testes manuais planejados, testes de aceitação do usuário, testes exploratórios e feedback das partes interessadas.
Nota
Este artigo aplica-se aos Serviços de DevOps do Azure e ao Azure DevOps Server 2020 e versões posteriores. A maioria das informações é válida para versões locais anteriores, no entanto, as imagens mostram apenas exemplos para a versão mais recente. Além disso, a interface do usuário mudou significativamente com o lançamento do Azure DevOps Server 2020. Para obter uma visão geral da nova interface e dos recursos suportados, consulte Navegar em planos de teste.
Como funcionam os Planos de Teste do Azure?
Por meio de uma combinação de ferramentas baseadas em navegador — planos de teste, relatório de progresso, parâmetros, configurações, execuções e ferramentas de teste — e recursos de integração de DevOps, os Planos de Teste do Azure dão suporte aos seguintes objetivos de teste:
Realizar testes manuais e exploratórios:
- Organizar testes manuais planejados: Designe testadores e líderes de teste para organizar testes em planos de teste e conjuntos de testes.
- Realizar testes de aceitação do usuário: designe testadores de aceitação do usuário para verificar se o valor entregue atende aos requisitos do cliente, reutilizando artefatos de teste criados pelas equipes de engenharia.
- Execute testes exploratórios: peça aos desenvolvedores, testadores, equipes de UX, proprietários de produtos e outros que explorem os sistemas de software sem usar planos de teste ou suítes de teste.
- Coletar feedback das partes interessadas: envolva as partes interessadas fora da equipe de desenvolvimento, como usuários das divisões de marketing e vendas, para realizar testes.
Automatize os testes: integre os Planos de Teste do Azure com os Pipelines do Azure para dar suporte a testes em CI/CD. Associe planos de teste e casos de teste a pipelines de compilação ou lançamento. Adicione tarefas de pipeline para capturar e publicar resultados de teste. Analise os resultados do teste por meio de relatórios de progresso internos e relatórios de teste de pipeline.
Garanta a rastreabilidade: vincule casos de teste e suítes de teste a histórias de usuários, recursos ou requisitos para rastreabilidade de ponta a ponta. Vincule automaticamente testes e defeitos aos requisitos e compilações que estão sendo testados. Adicione e execute testes a partir do quadro ou use o hub Planos de teste para equipes maiores. Acompanhe os testes de requisitos com os resultados do pipeline e o widget Requisitos.
Acompanhe relatórios e análises: monitore os resultados e o progresso do teste com gráficos de acompanhamento configuráveis, widgets específicos de teste para painéis e relatórios integrados, como relatórios de progresso, relatórios de resultados de teste de pipeline e o serviço Analytics.
Nota
Teste de carga e desempenho: enquanto o serviço de teste de carga baseado em nuvem do Azure DevOps foi preterido, o Teste de Carga do Azure está disponível. O Teste de Carga do Azure é um serviço de teste de carga totalmente gerenciado que permite usar scripts Apache JMeter existentes para gerar carga de alta escala. Para obter mais informações, consulte O que é o Teste de Carga do Azure?. Para obter mais informações sobre a substituição do teste de carga do Azure DevOps, consulte Alterações na funcionalidade de teste de carga no Visual Studio e teste de carga na nuvem no Azure DevOps.
Principais benefícios
Os Planos de Teste do Azure fornecem às equipas de desenvolvimento de software os seguintes benefícios.
Teste em qualquer plataforma: Com o portal da Web Planos de Teste , você pode usar qualquer navegador compatível para acessar todos os recursos de teste manual. Ele permite que você crie e execute testes manuais através de uma interface fácil de usar, baseada em navegador, que os usuários podem acessar de todos os principais navegadores em qualquer plataforma.
Coleta de dados de diagnóstico avançada: Usando o Test Runner e o cliente Test Runner baseados na Web, você pode coletar dados de diagnóstico avançados durante os testes manuais. Esses dados incluem capturas de tela, um registro de ação de imagem, gravações de tela, cobertura de código, rastreamentos do IntelliTrace e dados de impacto de teste para seus aplicativos em teste. Esses dados são incluídos automaticamente em todos os bugs criados durante o teste, facilitando a reprodução dos problemas pelos desenvolvedores.
Rastreabilidade de ponta a ponta: o Azure DevOps fornece rastreabilidade de ponta a ponta de seus requisitos, compilações, testes e bugs com a vinculação de itens de trabalho a outros objetos. Os usuários podem acompanhar a qualidade de seus requisitos a partir de cartões no quadro. Os bugs criados durante os testes são automaticamente vinculados aos requisitos e compilações que estão sendo testados, o que ajuda você a acompanhar a qualidade dos requisitos ou compilações.
Análise integrada: o serviço Analytics fornece dados que alimentam relatórios internos, widgets de painel configuráveis e relatórios personalizáveis usando o Power BI. Os dados rastreiam o progresso do plano de teste e as tendências para testes manuais e automatizados. A análise de teste fornece visibilidade quase em tempo real dos dados de teste para compilações e versões. As equipes podem agir com base nesses dados para melhorar as garantias de teste para ajudar a manter os pipelines saudáveis.
Plataforma extensível. Você pode combinar as ferramentas e tecnologias que já conhece com as ferramentas de desenvolvimento que funcionam melhor para você integrar e estender o Azure DevOps. Use as APIs REST e o modelo de contribuição disponíveis para a plataforma Test para criar extensões que forneçam a experiência necessária para o ciclo de vida do gerenciamento de testes.
Cenários suportados e requisitos de acesso
O acesso aos recursos do portal Web do Azure DevOps é gerenciado por meio de níveis de acesso atribuídos aos usuários. Os três principais níveis de acesso são os planos Stakeholder, Basic e Basic+Test, conforme descrito em Sobre os níveis de acesso. A tabela a seguir indica o nível de acesso necessário para exercer as tarefas associadas com os Planos de Teste do Azure. Além dos níveis de acesso, alguns recursos exigem permissões para serem executados. Para obter mais informações, consulte Acesso e permissões de teste manual.
Cenário e tarefas
Partes interessadas
Básica
Planos Básicos +Teste
Planeamento de testes
- Criar planos de teste e conjuntos de testes
- Gerenciar configurações de execução do plano de teste
- Gerenciar configurações
✔️
Execução de testes
- Execute testes em qualquer plataforma (Windows, Linux, Mac) com o Test Runner
✔️
✔️
Execute testes exploratórios com a extensão Test & Feedback
✔️
✔️
✔️
Analise e revise testes
- Crie gráficos com vários pivôs, como prioridade, configuração, etc., para acompanhar o progresso do teste
- Procurar resultados de testes
- Exportar planos de teste e conjuntos de testes para revisão
- Teste de aceitação do usuário – Atribua testes e convide por e-mail
✔️
✔️
Teste manual e exploratório
Para dar suporte a testes manuais e exploratórios, os Planos de Teste do Azure usam tipos de item de trabalho específicos de teste para planejar e criar testes. Além disso, ele fornece duas ferramentas de teste para suportar a execução de testes. Os hubs Planos de teste, parâmetros e configurações fornecem as ferramentas para criar e gerenciar itens de teste com eficiência, suas configurações e configurações. Os conjuntos de testes podem ser dinâmicos — pacotes baseados em requisitos e pacotes baseados em consultas — para ajudá-lo a entender a qualidade dos requisitos associados em desenvolvimento ou estáticos para ajudá-lo a cobrir testes de regressão.
Tipos de item de trabalho específicos do teste
Os tipos de item de trabalho — Planos de Teste, Suítes de Teste, Casos de Teste, Etapas Compartilhadas e Parâmetros Compartilhados — oferecem suporte a vários links explícitos para dar suporte ao rastreamento de requisitos e ao compartilhamento de etapas de teste e dados em muitos casos de teste. Os casos de teste podem ser atribuídos como manuais ou automatizados. Para obter uma descrição de cada um desses itens de teste, consulte Objetos e termos de teste.
No Azure DevOps, a relação entre um resultado de teste, execução de teste e um caso de teste pode ser entendida da seguinte forma:
- Caso de teste: um cenário específico ou um conjunto de etapas projetado para validar um determinado recurso ou funcionalidade.
- Execução de teste: uma instância em que um ou mais casos de teste são executados. Cada execução de teste pode incluir vários casos de teste.
- Resultado do teste: O resultado de uma execução de teste. Cada caso de teste dentro de uma execução de teste tem seu próprio resultado de teste, indicando se ele passou ou falhou.
Nota
Com o Azure DevOps Server 2020 e versões posteriores, você pode executar testes automatizados adicionando tarefas de teste a pipelines. A definição de planos de teste, casos de teste e conjuntos de testes não é necessária quando as tarefas de teste são usadas.
Definir planos de teste e conjuntos de testes
Você cria e gerencia planos de teste e suítes de teste a partir do hub Planos de teste. Adicione um ou mais conjuntos de testes — estáticos, baseados em requisitos ou em consultas — aos planos de teste. Exporte e partilhe planos de teste e conjuntos de testes com as suas equipas. Para saber como, consulte Criar planos de teste e conjuntos de testes e Copiar ou clonar planos de teste, conjuntos de testes e casos de teste.
Testes de autor usando casos de teste
Você define casos de teste manuais definindo as etapas de teste e, opcionalmente, os dados de teste a serem referenciados. Os conjuntos de testes consistem em um ou mais casos de teste. Você pode compartilhar casos de teste dentro de conjuntos de testes. O modo de exibição Grade para definir casos de teste oferece suporte a operações de copiar, colar, inserir e excluir. Atribua rapidamente um ou vários testadores para executar testes. Visualize os resultados do teste e as referências a um caso de teste em todos os conjuntos de testes. Para saber como, consulte Criar casos de teste.
Dentro de cada caso de teste, você especifica um conjunto de etapas de teste com seus resultados esperados. Opcionalmente, você pode adicionar etapas compartilhadas ou parâmetros compartilhados. Para rastreabilidade, vincule casos de teste às histórias de usuários, recursos ou bugs que eles testam.
Gerenciar parâmetros compartilhados
Use o hub Parâmetros para definir e gerenciar parâmetros compartilhados entre casos de teste. Os parâmetros compartilhados fornecem suporte para repetir testes manuais várias vezes com dados de teste diferentes. Por exemplo, se os usuários puderem adicionar quantidades diferentes de um produto a um carrinho de compras, você deseja verificar se uma quantidade de 200 funciona e uma quantidade de 1.
Gerenciar configurações e variáveis de teste
Com o hub Configurações, as equipes podem definir, revisar e gerenciar configurações de teste e variáveis referenciadas por planos de teste. As configurações de teste fornecem suporte para testar seus aplicativos em diferentes sistemas operacionais, navegadores da Web e versões. Tal como acontece com os parâmetros partilhados, as configurações de teste podem ser partilhadas entre vários planos de teste.
Execução de testes e ferramentas de teste
Com as ferramentas a seguir, desenvolvedores, testadores e partes interessadas podem iniciar testes e capturar dados avançados à medida que executam testes e registram automaticamente defeitos de código vinculados aos testes. Teste a sua aplicação ao executar testes em aplicações web ou de ambiente de trabalho.
- Test Runner: uma ferramenta baseada em navegador para testar aplicativos Web e uma versão de cliente de desktop para testar aplicativos de área de trabalho que você inicia a partir do hub de planos de teste para executar testes manuais. O Test Runner suporta a coleta de dados avançada durante a execução de testes, como registro de ação de imagem, gravação de vídeo, cobertura de código, etc. Ele também permite que os usuários criem bugs e marquem o status dos testes.
- Test & Feedback extension: uma extensão gratuita para suportar testes exploratórios que você acessa a partir dos navegadores Chrome, Microsoft Edge ou Firefox. A extensão captura interações com o aplicativo que está sendo explorado através de imagens ou vídeo e inserindo comentários verbais ou datilografados. As informações são capturadas no tipo de item de trabalho Resposta de Feedback para ajudar a controlar os dados de resposta.
Capacidade de execução de testes
Você pode executar as seguintes tarefas usando as ferramentas indicadas.
| Task | Hub de planos de teste | Executor de Testes | Extensão Test & Feedback |
|---|---|---|---|
| Testes de marcação em massa | ✔️ | ||
| Passar ou reprovar em testes ou etapas de teste | ✔️ | ✔️ | |
| Alterações em linha nos testes durante a execução | ✔️ | ✔️ | |
| Pausar e retomar testes | ✔️ | ✔️ | |
| Bugs de arquivo durante a execução do teste | ✔️ | ✔️ | |
| Capture capturas de tela, registro de ações de imagem e gravação de tela durante a execução do teste | ✔️ | ✔️ | |
| Atualizar bugs existentes durante a execução do teste | ✔️ | ✔️ | |
| Verificar bugs | ✔️ | ✔️ | |
| Atribuir uma compilação para a execução de teste | ✔️ | ||
| Atribuir configurações de teste | ✔️ | ||
| Revisar execuções de teste | ✔️ |
Executar testes
No hub Planos de teste, guia Executar, os membros da equipe podem iniciar a execução de teste para um ou mais casos de teste definidos para um conjunto de testes. As opções incluem a execução do Test Runner para um aplicativo Web ou desktop. Opcionalmente, os membros da equipe podem selecionar Executar com opções para escolher outros clientes suportados para testes manuais ou para selecionar uma compilação para testes automatizados. Para obter mais informações, consulte Executar testes manuais.
Executor de Testes
O Test Runner executa testes para as suas aplicações Web e de ambiente de trabalho. Marque as etapas de teste e os resultados do teste como aprovados ou reprovados e colete dados de diagnóstico, como informações do sistema, logs de ação de imagem, gravações de tela e capturas de tela enquanto você testa. Os bugs arquivados durante os testes incluem automaticamente todos os dados de diagnóstico capturados para ajudar os desenvolvedores a reproduzir os problemas. Para obter mais informações, consulte Executar testes para aplicativos Web e Executar testes para aplicativos da área de trabalho.
Testes de aceitação dos utilizadores
O teste de aceitação do usuário (UAT) ajuda a garantir que as equipes entreguem o valor solicitado pelos clientes. Você pode criar planos e suítes de teste UAT, convidar vários testadores para executar esses testes e monitorar o progresso e os resultados do teste usando gráficos leves. Para saber como, consulte Teste de aceitação do usuário.
Testes exploratórios com a extensão Test & Feedback
A extensão Test & Feedback é uma extensão simples baseada em navegador que você pode usar para testar aplicativos da Web a qualquer hora e em qualquer lugar, e é simples o suficiente para todos na equipe usarem. Ajuda a melhorar a produtividade, permitindo-lhe passar mais tempo a encontrar problemas e menos tempo a arquivá-los.
Feedback das partes interessadas
Você deve buscar feedback de partes interessadas fora da equipe de desenvolvimento, como equipes de marketing e vendas, o que é vital para o desenvolvimento de software de boa qualidade. Os desenvolvedores podem solicitar feedback sobre suas histórias de usuários e recursos. As partes interessadas podem responder a solicitações de feedback usando a extensão Test & Feedback baseada em navegador - não apenas para classificar e enviar comentários, mas também capturando dados de diagnóstico ricos e arquivando bugs e tarefas diretamente. Veja mais em Solicitar feedback das partes interessadas e Fornecer feedback das partes interessadas.
Testes automatizados
O teste automatizado é facilitado pela execução de testes no Azure Pipelines. A análise de teste fornece visibilidade quase em tempo real de seus dados de teste para compilações e versões. Ele ajuda a melhorar a eficiência do pipeline, identificando problemas de qualidade repetitivos e de alto impacto.
Os Planos de Teste do Azure dão suporte a testes automatizados das seguintes maneiras:
Associe planos de teste ou casos de teste a pipelines de compilação ou liberação
Especifique tarefas de habilitação de teste dentro de uma definição de pipeline. O Azure Pipelines fornece várias tarefas, incluindo as seguintes tarefas que dão suporte a uma experiência abrangente de relatórios de teste e análise.
- Tarefa Publicar Resultados de Teste: use para publicar resultados de teste no Azure Pipelines.
- Tarefa de teste do Visual Studio: use para executar testes funcionais e de unidade (Selenium, Appium, teste de interface do usuário codificada e muito mais) usando o Executor de teste do Visual Studio.
- Tarefa da CLI do .NET Core: use para criar, testar, empacotar ou publicar um aplicativo dotnet.
Para obter mais tarefas, consulte Tarefa Publicar resultados de teste
Forneça relatórios internos e widgets de painel configuráveis para exibir os resultados dos testes de pipeline.
Colete resultados de teste e dados de teste associados no serviço Analytics.
Rastreabilidade
Os Planos de Teste do Azure dão suporte à vinculação de bugs e requisitos a casos de teste e pacotes de teste. Além disso, o seguinte portal Web, ferramentas relacionadas com testes suportam a rastreabilidade:
- Exibir itens vinculados a um caso de teste: exiba os planos de teste, conjuntos de testes, requisitos e bugs aos quais um caso de teste está vinculado.
- Adicionar e executar testes a partir do quadro: um recurso de Painéis do Azure que dá suporte à definição de casos de teste a partir das histórias de usuário, recursos ou bugs do quadro. Além disso, você pode iniciar o Test Runner ou a extensão Test & Feedback para executar testes ou executar testes exploratórios.
- Widget de qualidade de requisitos: widget configurável usado para rastrear a qualidade continuamente a partir de um pipeline de compilação ou lançamento. O widget mostra o mapeamento entre um requisito e os resultados de teste mais recentes executados em relação a esse requisito. Ele fornece informações sobre a rastreabilidade de requisitos. Por exemplo, requisitos que não atendem à qualidade, requisitos não testados, e assim por diante.
Exibir itens vinculados a um caso de teste
No hub Planos de teste, você pode visualizar e abrir os conjuntos de testes, requisitos e bugs vinculados a um caso de teste. A guia Test Suites também indica os planos de teste e projetos que fazem referência ao caso de teste. A guia Requisitos lista os itens de trabalho vinculados ao caso de teste que pertencem à categoria de requisitos. Além disso, você pode criar uma consulta de links diretos que lista itens que vinculam a casos de teste por meio do tipo de link Testes/Testado por . Para obter mais informações, consulte Criar casos de teste e Usar links diretos para exibir dependências.
Adicionar e executar testes a partir da placa
Nos quadros do Azure Boards, você pode adicionar testes de uma história de usuário ou recurso, vinculando automaticamente o caso de teste à história ou recurso do usuário. Você pode visualizar, executar e interagir com casos de teste diretamente da placa e monitorar progressivamente o status diretamente do cartão. Saiba mais em Adicionar, executar e atualizar testes em linha.
Widget de qualidade de requisitos
O widget de qualidade Requisitos exibe uma lista de todos os requisitos no escopo, juntamente com a Taxa de aprovação para os testes e contagem de testes reprovados. Selecionar uma contagem de teste com falha abre a guia Testes para a compilação ou versão selecionada. O widget também ajuda a rastrear os requisitos sem testes associados. Para obter mais informações, consulte Rastreabilidade de requisitos.
Relatórios e análises
Para dar suporte a relatórios e análises, os Planos de Teste do Azure dão suporte a gráficos de acompanhamento de teste, um hub de Execuções de teste, vários relatórios de teste de pipeline internos, widgets de painel e dados de teste armazenados no serviço Analytics.
- Gráficos de teste configuráveis: você pode obter informações sobre a atividade de criação e execução do plano de teste criando gráficos de acompanhamento de teste.
- Relatório de progresso: acompanhe o progresso de um ou mais planos de teste ou conjuntos de testes.
- Execuções de teste: Revise os resultados de execuções de teste manuais e automatizadas.
- Widgets de painel: widgets configuráveis que exibem resultados de teste com base em compilações ou versões selecionadas. Os widgets incluem o widget Status da implantação e o widget Test Results Trend (Avançado).
- Análise de teste: obtenha informações detalhadas de relatórios de pipeline integrados ou crie relatórios personalizados consultando o serviço de análise.
Gráficos de teste configuráveis
Configure rapidamente gráficos leves para acompanhar os resultados do teste manual usando os tipos de gráficos de sua escolha e fixe os gráficos no painel para analisar facilmente esses resultados. Escolha uma política de retenção para controlar por quanto tempo os resultados dos testes manuais são mantidos. Veja mais em Status do teste de pista.
Relatórios intercalares
Com o hub de relatório de progresso, as equipes podem acompanhar o progresso de mais de um plano de teste ou conjunto de testes. Este relatório ajuda a responder às seguintes perguntas:
- Quantos testes estão concluídos?
- Quantos testes passaram, falharam ou estão bloqueados?
- É provável que os testes sejam concluídos a tempo?
- Qual a taxa diária de execução?
- Quais áreas de teste precisam de atenção?
Execuções de teste
O hub Execuções exibe os resultados das execuções de teste, que incluem todas as execuções de teste, tanto manuais quanto automatizadas.
Nota
O hub Runs está disponível com o Azure DevOps Server 2020 e versões posteriores. É necessário habilitar o serviço Analytics que é usado para armazenar e gerenciar dados de execução de teste. Para obter mais informações sobre o serviço, consulte O que é o serviço do Google Analytics?
Escolha qualquer execução específica para exibir um resumo da execução de teste.
Estado da implementação
O widget configurável do widget Status da implantação mostra uma visão combinada do status da implantação e da taxa de aprovação do teste em vários ambientes para um conjunto recente de compilações. Você configura o widget especificando um pipeline de compilação, ramificação e pipelines de liberação vinculados. Para exibir o resumo do teste em vários ambientes em uma versão, o widget fornece uma visualização matricial de cada ambiente e a taxa de aprovação no teste correspondente.
Passe o cursor sobre qualquer resumo de compilação e você pode ver mais detalhes, especificamente o número de testes aprovados e reprovados.
Tendência dos resultados dos testes (Avançado)
O widget Test Results Trend (Advanced) fornece visibilidade quase em tempo real dos dados de teste para várias compilações e versões. O widget mostra uma tendência dos resultados do teste para pipelines selecionados. Você pode usá-lo para acompanhar a contagem diária do teste, a taxa de aprovação e a duração do teste. Acompanhar a qualidade do teste ao longo do tempo e melhorar o material de garantia do teste é fundamental para manter um pipeline de DevOps saudável. O widget suporta o acompanhamento de métricas avançadas para um ou mais pipelines de compilação ou pipelines de liberação. O widget também permite filtrar os resultados do teste por resultado, métricas de empilhamento e muito mais. Para obter mais informações, consulte Configurar o widget Test Results Trend (Avançado).
Análise de teste
Os testes internos e widgets suportados por teste derivam seus dados do serviço Analytics. O serviço Analytics é a plataforma de relatórios para o Azure DevOps e dá suporte à guia Analytics and Tests e aos relatórios detalhados disponíveis no hub Pipelines . O relatório de detalhamento de falhas de teste fornece um resumo dos testes aprovados e reprovados. Para obter mais informações, consulte Test Analytics.
Além disso, você pode criar relatórios personalizados consultando o serviço Analytics. Para obter mais informações, consulte Visão geral de relatórios de exemplo usando consultas OData.
Próximos passos
Artigos relacionados
- Navegar pelos planos de teste
- Copiar ou clonar planos de teste, conjuntos de testes e casos de teste
- Associar os testes automatizados aos casos de teste
- Sobre como solicitar e fornecer feedback
- Visão geral da integração e colaboração entre serviços
- Sobre testes de pipeline