Qu’est-ce que Azure Test Plans ?

Azure DevOps Services | Azure DevOps Server 2022 | Azure DevOps Server 2019

Azure Test Plans fournit des outils riches et puissants que tous les membres de l’équipe peuvent utiliser pour favoriser la qualité et la collaboration tout au long du processus de développement. La solution de gestion des tests basée sur un navigateur simple d’utilisation fournit toutes les fonctionnalités requises pour les tests manuels planifiés, les tests d’acceptation des utilisateurs, les tests exploratoires et la collecte de commentaires des parties prenantes.

Notes

Cet article s’applique à Azure DevOps Services et Azure DevOps Server 2020 et versions ultérieures. La plupart des informations sont valides pour les versions locales antérieures, mais les images n’affichent que des exemples pour la dernière version. En outre, l’interface utilisateur a considérablement changé avec la publication de Azure DevOps Server 2020. Pour obtenir une vue d’ensemble de la nouvelle interface et des fonctionnalités prises en charge, consultez Naviguer Test Plans.

Comment fonctionne Azure Test Plans ?

Grâce à une combinaison d’outils basés sur un navigateur (plans de test, rapport de progression, paramètres, configurations, exécutions et outils de test) et de fonctionnalités d’intégration DevOps, Azure Test Plans prend en charge les objectifs de test suivants :

• Tests manuels et exploratoires : tests manuels et exploratoires qui incluent les activités de test suivantes :

  • Tests manuels planifiés. Tests manuels en organisant les tests en plans de test et en suites de tests par des testeurs et des prospects désignés.
  • Test d’acceptation par l’utilisateur. Tests effectués par des testeurs d’acceptation d’utilisateur désignés pour vérifier que la valeur fournie répond aux exigences des clients, tout en réutilisant les artefacts de test créés par les équipes d’ingénierie.
  • Tests exploratoires. Les tests effectués par les équipes de développement, notamment les développeurs, les testeurs, les équipes d’expérience utilisateur, les propriétaires de produits et bien plus encore, en explorant les systèmes logiciels sans utiliser de plans de test ou de suites de tests.
  • Commentaires des parties prenantes. Tests effectués par les parties prenantes extérieures à l’équipe de développement, telles que les utilisateurs des divisions marketing et commerciale.

• Tests automatisés : Azure Test Plans est entièrement intégré à Azure Pipelines pour prendre en charge les tests dans le cadre de l’intégration continue/déploiement continu (CI/CD). Les plans de test et les cas de test peuvent être associés à des pipelines de build ou de mise en production. Des tâches de pipeline peuvent être ajoutées aux définitions de pipeline pour capturer et publier les résultats des tests. Les résultats des tests peuvent être examinés via des rapports de progression intégrés et des rapports de test de pipeline.

• Traçabilité : les cas de test et les suites de tests liés aux récits utilisateur, fonctionnalités ou exigences prennent en charge la traçabilité de bout en bout. Les tests et les défauts sont automatiquement liés aux exigences et aux builds testées, ce qui permet également de suivre la qualité des exigences. Les utilisateurs peuvent ajouter et exécuter des tests à partir du tableau Kanban, ou pour les équipes de plus grande taille, utiliser le hub Plans de test pour définir des plans de test et des suites de tests. Les résultats du pipeline et le widget Exigences fournissent un moyen de suivre les tests des exigences.

• Création de rapports et analyses : le suivi des résultats des tests et la surveillance de la progression sont pris en charge par le biais de graphiques de suivi configurables, de widgets spécifiques aux tests que vous pouvez ajouter aux tableaux de bord et aux rapports intégrés, tels que le rapport de progression, les rapports de résultats des tests de pipeline et le service Analytics.

Notes

Test de charge et de performances : bien que le service de test de charge basé sur le cloud Azure DevOps soit déconseillé, test de charge Azure est disponible. Test de charge Azure est un service de test de charge entièrement managé qui vous permet d’utiliser des scripts Apache JMeter existants pour générer une charge à grande échelle. Pour plus d’informations, consultez Qu’est-ce que le test de charge Azure ?. Pour plus d’informations sur la dépréciation des tests de charge Azure DevOps, consultez Modifications apportées aux fonctionnalités de test de charge dans Visual Studio et test de charge cloud dans Azure DevOps.

Principaux avantages

Azure Test Plans offre aux équipes de développement logiciel les avantages suivants.

• Tester sur n’importe quelle plateforme : avec le portail web Test Plans, vous pouvez utiliser n’importe quel navigateur pris en charge pour accéder à toutes les fonctionnalités de test manuel. Il vous permet de créer et d’exécuter des tests manuels via une interface facile à utiliser, basée sur un navigateur, à laquelle les utilisateurs peuvent accéder à partir de tous les principaux navigateurs sur n’importe quelle plateforme.

• Collecte de données de diagnostic enrichies : à l’aide du client Test Runner et Test Runner web, vous pouvez collecter des données de diagnostic enrichies pendant vos tests manuels. Cela inclut des captures d’écran, un journal d’actions d’image, des enregistrements d’écran, la couverture du code, les traces IntelliTrace et les données d’impact des tests pour vos applications testées. Ces données sont automatiquement incluses dans tous les bogues que vous créez pendant le test, ce qui permet aux développeurs de reproduire facilement les problèmes.

• Traçabilité de bout en bout : Azure DevOps fournit une traçabilité de bout en bout de vos besoins, des builds, des tests et des bogues avec la liaison d’éléments de travail à d’autres objets. Les utilisateurs peuvent suivre la qualité de leurs besoins à partir de cartes sur le tableau Kanban. Les bogues créés lors du test sont automatiquement liés aux exigences et aux builds testées, ce qui vous permet de suivre la qualité des exigences ou des builds.

• Analytique intégrée : le service Analytics fournit des données qui alimentent des rapports intégrés, des widgets de tableau de bord configurables et des rapports personnalisables à l’aide de Power BI. Les données effectuent le suivi de la progression et des tendances du plan de test pour les tests manuels et automatisés. L’analytique des tests fournit une visibilité en quasi temps réel des données de test pour les builds et les mises en production. Teams peut agir sur ces données pour améliorer la documentation de test afin de maintenir des pipelines sains.

• Plateforme extensible. Vous pouvez combiner les outils et les technologies que vous connaissez déjà avec les outils de développement qui fonctionnent le mieux pour vous permettre d’intégrer et d’étendre Azure DevOps. Utilisez les API REST et le modèle de contribution disponibles pour la plateforme de test afin de créer des extensions qui fournissent l’expérience dont vous avez besoin pour votre cycle de vie de gestion des tests.

Scénarios pris en charge et exigences d’accès

L’accès aux fonctionnalités du portail web Azure DevOps est géré par le biais de niveaux d’accès attribués aux utilisateurs. Les trois niveaux d’accès main sont Les plans Partie prenante, De base et De base+Test, comme décrit dans À propos des niveaux d’accès. Le tableau suivant indique le niveau d’accès requis pour effectuer les tâches associées avec Azure Test Plans. En plus des niveaux d’accès, certaines fonctionnalités nécessitent des autorisations pour s’exécuter. Pour plus d’informations, consultez Accès et autorisations de test manuels.

Scénario et tâches

Partie prenante

De base

+Test Plans de base

---

Planification des tests

• Créer des plans de test et des suites de test
• Gérer les paramètres d’exécution du plan de test
• Gestion des configurations

✔️

Exécution des tests

• Exécuter des tests sur n’importe quelle plateforme (Windows, Linux, Mac) avec l’exécuteur de tests

✔️

✔️

Effectuer des tests exploratoires avec l’extension Test &Feedback

✔️

✔️

✔️

Analyser et examiner les tests

• Créer des graphiques avec différents tableaux croisés dynamiques tels que la priorité, la configuration, etc., pour suivre la progression des tests
• Parcourir les résultats des tests
• Exporter des plans de test et des suites de tests pour révision
• Test d’acceptation des utilisateurs – Attribuer des tests et inviter par e-mail

✔️

✔️

Tests manuels et exploratoires

Pour prendre en charge les tests manuels et exploratoires, Azure Test Plans utilise des types d’éléments de travail spécifiques aux tests pour planifier et créer des tests. En outre, il fournit deux outils de test pour prendre en charge l’exécution des tests. Les hubs Plans de test, Paramètres et Configurations fournissent les outils permettant de créer et de gérer efficacement les éléments de test, leurs paramètres et leurs configurations. Les suites de tests peuvent être dynamiques (suites basées sur les exigences et suites basées sur les requêtes) pour vous aider à comprendre la qualité des exigences associées en cours de développement, ou statiques pour vous aider à couvrir les tests de régression.

Types d’éléments de travail spécifiques aux tests

Les types d’éléments de travail (Test Plans, Suites de tests, Cas de test, Étapes partagées et Paramètres partagés) prennent en charge plusieurs liens explicites pour prendre en charge le suivi des exigences et le partage des étapes de test et des données dans de nombreux cas de test. Les cas de test peuvent être attribués comme manuels ou automatisés. Pour obtenir une description de chacun de ces éléments de test, consultez Objets et termes de test.

Notes

Avec Azure DevOps Server 2020 et versions ultérieures, vous pouvez effectuer des tests automatisés en ajoutant des tâches de test aux pipelines. La définition de plans de test, de cas de test et de suites de tests n’est pas nécessaire lorsque des tâches de test sont utilisées.

Définir des plans de test et des suites de tests

Vous créez et gérez des plans de test et des suites de tests à partir du hub Plans de test . Ajoutez une ou plusieurs suites de tests (statiques, basées sur les exigences ou basées sur les requêtes) aux plans de test. Exportez et partagez des plans de test et des suites de tests avec vos équipes. Pour savoir comment procéder, consultez Créer des plans de test et des suites de tests et Copier ou cloner des plans de test, des suites de tests et des cas de test.

Créer des tests à l’aide de cas de test

Vous définissez des cas de test manuels en définissant les étapes de test et éventuellement les données de test à référencer. Les suites de tests se composent d’un ou plusieurs cas de test. Vous pouvez partager des cas de test dans des suites de tests. La vue Grille permettant de définir des cas de test prend en charge les opérations de copie, de collage, d’insertion et de suppression. Affectez rapidement un ou plusieurs testeurs pour exécuter des tests. Affichez les résultats des tests et les références à un cas de test dans les suites de tests. Pour savoir comment procéder, consultez Créer des cas de test.

Dans chaque cas de test, vous spécifiez un ensemble d’étapes de test avec leurs résultats attendus. Si vous le souhaitez, vous pouvez ajouter des étapes partagées ou desparamètres partagés. Pour la traçabilité, liez les cas de test aux récits utilisateur, fonctionnalités ou bogues qu’ils testent.

Gérer les paramètres partagés

Teams utilise le hub Paramètres pour définir et gérer les paramètres partagés entre les cas de test. Les paramètres partagés prennent en charge la répétition de tests manuels plusieurs fois avec différentes données de test. Par exemple, si vos utilisateurs peuvent sélectionner une quantité pour les articles qu'ils ajoutent à leur panier, vous devrez vérifier que l'ajout de 200 exemplaires d'un même article fonctionne aussi bien que l'ajout d'un seul exemplaire.

Gérer les configurations et les variables de test

Avec le hub Configurations , les équipes peuvent définir, examiner et gérer les configurations de test et les variables référencées par les plans de test. Les configurations de test prennent en charge le test de vos applications sur différents systèmes d’exploitation, navigateurs web et versions. Comme avec les paramètres partagés, les configurations de test peuvent être partagées entre plusieurs plans de test.

Outils d’exécution et de test de test

Avec les outils suivants, les développeurs, les testeurs et les parties prenantes peuvent lancer des tests et capturer des données enrichies à mesure qu’ils exécutent des tests et journalisent automatiquement les défauts de code liés aux tests. Testez votre application en exécutant des tests sur des applications de bureau ou web.

• Exécuteur de test : outil basé sur un navigateur pour tester des applications web et une version cliente de bureau pour tester les applications de bureau que vous lancez à partir du hub Plans de test pour exécuter des tests manuels. Test Runner prend en charge la collecte de données enrichies lors de l’exécution de tests, tels que le journal des actions d’image, l’enregistrement vidéo, la couverture du code, etc. Il permet également aux utilisateurs de créer des bogues et de marquer les status de tests.
• Extension Test &Feedback : extension gratuite pour prendre en charge les tests exploratoires auxquels vous accédez à partir de navigateurs Chrome, Edge ou Firefox. L’extension capture les interactions avec l’application explorée par le biais d’images ou de vidéos et la saisie de commentaires verbaux ou écrits. Les informations sont capturées dans le type d’élément de travail Réponse aux commentaires pour faciliter le suivi des données de réponse.

Fonctionnalité d’exécution de test

Vous pouvez effectuer les tâches suivantes à l’aide des outils indiqués.

Tâche	Hub plans de test	Test Runner	Extension Test & Feedback
Tests de marque en bloc	✔️
Réussir ou échouer des tests ou des étapes de test		✔️	✔️
Modifications inline apportées aux tests pendant l’exécution		✔️	✔️
Suspendre et reprendre les tests		✔️	✔️
Bogues de fichier pendant l’exécution du test		✔️	✔️
Capturer des captures d’écran, le journal des actions d’image et l’enregistrement d’écran pendant l’exécution du test		✔️	✔️
Mettre à jour les bogues existants pendant l’exécution du test		✔️	✔️
Vérifier les bogues		✔️	✔️
Affecter une build pour la série de tests	✔️
Attribuer des paramètres de test	✔️
Passer en revue les séries de tests	✔️

Exécuter des tests

À partir du hub Plans de test, onglet Exécuter , les membres de l’équipe peuvent lancer l’exécution de tests pour un ou plusieurs cas de test définis pour une suite de tests. Les choix incluent l’exécution de Test Runner pour une application web ou de bureau. Si vous le souhaitez, les membres de l’équipe peuvent sélectionner Exécuter avec des options pour choisir d’autres clients pris en charge pour les tests manuels ou pour sélectionner une build pour les tests automatisés. Pour plus d’informations, consultez Exécuter des tests manuels.

Test Runner

Test Runner exécute des tests pour vos applications web et de bureau. Marquez les étapes de test et les résultats des tests comme réussis ou échoués, et collectez des données de diagnostic telles que des informations système, des journaux d’action d’image, des enregistrements d’écran et des captures d’écran à mesure que vous testez. Les bogues déposés pendant les tests incluent automatiquement toutes les données de diagnostic capturées pour aider vos développeurs à reproduire les problèmes. Pour plus d’informations, consultez Exécuter des tests pour les applications web et Exécuter des tests pour les applications de bureau.

!

Tests d’acceptation utilisateur

Le test d’acceptation des utilisateurs (UAT) permet de s’assurer que les équipes fournissent la valeur demandée par les clients. Vous pouvez créer des plans et des suites de tests UAT, inviter plusieurs testeurs à exécuter ces tests et surveiller la progression et les résultats des tests à l’aide de graphiques légers. Pour savoir comment procéder, consultez Test d’acceptation des utilisateurs.

Tests exploratoires avec l’extension Test &Feedback

L’extension Test &Feedback est une extension simple basée sur un navigateur que vous pouvez utiliser pour tester des applications web à tout moment et n’importe où, et est assez simple pour que tout le monde de l’équipe utilise. Cela permet d’améliorer la productivité en vous permettant de passer plus de temps à rechercher les problèmes et moins de temps à les classer.

Commentaires des parties prenantes

La recherche de commentaires auprès des parties prenantes extérieures à l’équipe de développement, telles que les équipes marketing et commerciales, est essentielle pour développer des logiciels de bonne qualité. Les développeurs peuvent demander des commentaires sur leurs récits utilisateur et leurs fonctionnalités. Les parties prenantes peuvent répondre aux demandes de commentaires à l’aide de l’extension Test &Feedback basée sur le navigateur , non seulement pour évaluer et envoyer des commentaires, mais également en capturant directement des données de diagnostic riches et en plaçant des bogues et des tâches. Pour plus d’informations, consultez Demander des commentaires des parties prenantes et Fournir des commentaires aux parties prenantes.

Tests automatisés

Les tests automatisés sont facilités par l’exécution de tests dans Azure Pipelines. L’analytique des tests fournit une visibilité en quasi temps réel de vos données de test pour les builds et les mises en production. Il permet d’améliorer l’efficacité du pipeline en identifiant les problèmes de qualité répétitifs et à impact élevé.

Azure Test Plans prend en charge les tests automatisés des manières suivantes :

• Associer des plans de test ou des cas de test à des pipelines de build ou de mise en production

• Spécifiez les tâches d’activation de test dans une définition de pipeline. Azure Pipelines fournit plusieurs tâches, y compris celles répertoriées ci-dessous, qui prennent en charge une expérience complète de rapports de test et d’analyse.

  • Tâche Publier les résultats des tests : permet de publier les résultats des tests sur Azure Pipelines.
  • Tâche de test Visual Studio : permet d’exécuter des tests unitaires et fonctionnels (Selenium, Appium, test codé de l’interface utilisateur, etc.) à l’aide de l’Exécuteur de tests Visual Studio.
  • Tâche CLI .NET Core : utilisez pour générer, tester, empaqueter ou publier une application dotnet.

  Pour d’autres tâches, consultez Tâche Publier les résultats des tests.

• Fournissez des rapports intégrés et des widgets de tableau de bord configurables pour afficher les résultats des tests de pipeline.

• Collectez les résultats des tests et les données de test associées dans le service Analytics.

Traçabilité

Azure Test Plans prend en charge la liaison des bogues et des exigences aux cas de test et aux suites de tests. En outre, le portail web suivant, les outils liés aux tests prennent en charge la traçabilité :

• Afficher les éléments liés à un cas de test : affichez les plans de test, les suites de tests, les exigences et les bogues auxquels un cas de test est lié.
• Ajouter et exécuter des tests à partir du tableau Kanban : fonctionnalité Azure Boards qui prend en charge la définition de cas de test à partir des témoignages utilisateur, des fonctionnalités ou des bogues du tableau Kanban. Vous pouvez également lancer l’extension Test Runner ou Test &Feedback pour exécuter des tests ou effectuer des tests exploratoires.
• Widget qualité des exigences : widget configurable utilisé pour suivre la qualité en continu à partir d’un pipeline de build ou de mise en production. Le widget montre le mappage entre une exigence et les derniers résultats de test exécutés par rapport à cette exigence. Il fournit des informations sur la traçabilité des exigences. Par exemple, les exigences qui ne répondent pas à la qualité, les exigences non testées, etc.

Afficher les éléments liés à un cas de test

À partir du hub Plans de test, vous pouvez afficher et ouvrir les suites de tests, les exigences et les bogues liés à un cas de test. L’onglet Suites de tests indique également les plans de test et les projets qui référencent le cas de test. L’onglet Exigences répertorie les éléments de travail liés au cas de test qui appartiennent à la catégorie de configuration requise. En outre, vous pouvez créer une requête de liens directs qui répertorie les éléments liés à des cas de test via le type de lien Tests/Testés. Pour plus d’informations, consultez Créer des cas de test et Utiliser des liens directs pour afficher les dépendances.

Ajouter et exécuter des tests à partir du tableau Kanban

À partir des Azure Boards tableaux Kanban, vous pouvez ajouter des tests à partir d’un récit utilisateur ou d’une fonctionnalité, en liant automatiquement le cas de test au récit ou à la fonctionnalité utilisateur. Vous pouvez afficher, exécuter et interagir avec des cas de test directement à partir du tableau Kanban, et surveiller progressivement les status directement à partir du carte. Pour plus d’informations , consultez Ajouter, exécuter et mettre à jour des tests inline.

Widget qualité des exigences

Le widget Qualité des exigences affiche une liste de toutes les exigences dans l’étendue, ainsi que le taux de réussite pour les tests et le nombre de tests ayant échoué . La sélection d’un nombre de tests ayant échoué ouvre l’onglet Tests pour la build ou la version sélectionnée. Le widget permet également de suivre les exigences sans aucun test associé. Pour plus d’informations, consultez Traçabilité requise.

Création de rapports et analyse

Pour prendre en charge la création de rapports et l’analyse, Azure Test Plans prend en charge les graphiques de suivi des tests, un hub d’exécutions de tests, plusieurs rapports de test de pipeline intégrés, des widgets de tableau de bord et des données de test stockées dans le service Analytics.

• Graphiques de test configurables : vous pouvez obtenir des informations sur l’activité de création et d’exécution du plan de test en créant des graphiques de suivi des tests.
• Rapport d’avancement : suivez la progression d’un ou d’un plan de test ou d’une suite de tests.
• Exécutions de tests : passez en revue les résultats des séries de tests manuelles et automatisées.
• Widgets de tableau de bord : widgets configurables qui affichent les résultats des tests en fonction des builds ou versions sélectionnées. Les widgets incluent le widget Déploiement status et le widget Tendance des résultats de test (avancé).
• Analyse de test : obtenez des informations détaillées à partir de rapports de pipeline intégrés ou créez des rapports personnalisés en interrogeant le service Analytics.

Graphiques de test configurables

Configurez rapidement des graphiques légers pour suivre les résultats de vos tests manuels à l’aide des types de graphiques de votre choix et épinglez les graphiques à votre tableau de bord pour analyser facilement ces résultats. Choisissez une stratégie de rétention pour contrôler la durée de conservation des résultats de vos tests manuels. Pour plus d’informations, consultez Suivre les status de test.

Rapports d’avancement

Avec le hub de rapports d’avancement , les équipes peuvent suivre la progression de plusieurs plans de test ou suite de tests. Ce rapport permet de répondre aux questions suivantes :

• Combien de tests sont terminés ?
• Combien de tests ont réussi, ont échoué ou sont bloqués ?
• Les tests sont-ils susceptibles de se terminer à temps ?
• Quel est le taux d’exécution quotidien ?
• Quels sont les domaines de test qui nécessitent une attention particulière ?

Séries de tests

Le hub Exécutions affiche les résultats des séries de tests. Cela inclut toutes les séries de tests, manuelles et automatisées.

Notes

Le hub Runs est disponible avec Azure DevOps Server versions 2020 et ultérieures. Il nécessite l’activation du service Analytics qui est utilisé pour stocker et gérer les données des exécutions de test. Pour en savoir plus sur le service, consultez Qu’est-ce que le service Analytics ?

Choisissez une exécution spécifique pour afficher un résumé de la série de tests.

état du déploiement

Le widget configurable déploiement status widget affiche une vue combinée de la status de déploiement et du taux de réussite des tests dans plusieurs environnements pour un ensemble de builds récents. Vous configurez le widget en spécifiant un pipeline de build, une branche et des pipelines de mise en production liés. Pour afficher le résumé du test dans plusieurs environnements d’une version, le widget fournit une vue matricielle de chaque environnement et le taux de réussite de test correspondant.

Pointez sur n’importe quel résumé de build et vous pouvez afficher plus de détails, en particulier le nombre de tests réussis et d’échecs.

Tendance des résultats des tests (Avancé)

Le widget Tendance des résultats de test (avancé) offre une visibilité en quasi temps réel sur les données de test pour plusieurs builds et versions. Le widget affiche une tendance de vos résultats de test pour les pipelines sélectionnés. Vous pouvez l’utiliser pour suivre le nombre quotidien de tests, le taux de réussite et la durée des tests. Le suivi de la qualité des tests au fil du temps et l’amélioration de la garantie de test sont essentiels pour maintenir un pipeline DevOps sain. Le widget prend en charge le suivi des métriques avancées pour un ou plusieurs pipelines de build ou de mise en production. Le widget permet également de filtrer les résultats des tests par résultat, d’empiler les métriques, etc. Pour plus d’informations, consultez Configurer le widget Tendance des résultats de test (avancé).

Analyse des tests

Les tests intégrés et les widgets pris en charge par les tests dérivent leurs données du service Analytics. Le service Analytics est la plateforme de création de rapports pour Azure DevOps. Les données Test Analytics sont disponibles pour Azure DevOps Server 2019 et versions ultérieures. Il prend en charge l’onglet Analyse et tests et les rapports d’exploration disponibles à partir du hub Pipelines . Le rapport d’exploration d’échec des tests fournit un résumé des tests réussis et des tests ayant échoué. Pour plus d’informations, consultez Test Analytics.

En outre, vous pouvez créer des rapports personnalisés en interrogeant le service Analytics. Pour plus d’informations, consultez Vue d’ensemble des exemples de rapports utilisant des requêtes OData.

Étapes suivantes

Tester des objets et des termes

Articles connexes

• Naviguer Test Plans
• Copier ou cloner des plans de test, des suites de test et des cas de test
• Associer des tests automatisés à des cas de test
• À propos de la demande et de la fourniture de commentaires
• Vue d’ensemble de l’intégration et de la collaboration entre services
• À propos des tests de pipeline

Ressources supplémentaires

• Test des unités
• Concepts de base des tests unitaires
• Tests unitaires de l’extension Fonctions durables
• Qu’est-ce que Test de charge Azure ?