Gérer les tests non fiables

Azure DevOps Services

La productivité pour les développeurs repose sur la capacité des tests à trouver des problèmes réels avec le code en cours de développement ou de mise à jour de manière rapide et fiable. Les tests non fiables présentent un obstacle à la recherche de problèmes réels, car les échecs ne sont souvent pas liés aux modifications testées. Un test non fiable est un test qui fournit des résultats différents, tels que réussir ou échouer, même en l’absence de modifications dans le code source ou l’environnement d’exécution. Les tests non fiables ont également un impact sur la qualité du code expédié.

Notes

Cette fonctionnalité est disponible uniquement sur Azure DevOps Services. En règle générale, les nouvelles fonctionnalités sont introduites dans le service cloud en premier, puis mises à disposition localement dans la prochaine version principale ou mise à jour d’Azure DevOps Server. Pour plus d’informations, consultez Chronologie des fonctionnalités Azure DevOps.

L’objectif de la gestion des tests non fiables dans le produit est de réduire les douleurs du développeur causées par les tests peu fiables et de répondre à l’ensemble du flux de travail. La gestion des tests non fiables offre les avantages suivants.

• Détection : détection automatique du test non fiable avec réexécution ou extensibilité pour brancher votre propre méthode de détection personnalisée

• Gestion de la fiabilité : une fois qu’un test est marqué comme non fiable, les données sont disponibles pour tous les pipelines de cette branche

• Rapport sur les tests non fiables : possibilité de choisir si vous souhaitez empêcher les échecs de build causés par des tests non fiables, ou utiliser la balise non fiable uniquement pour la résolution des problèmes

• Résolution : création manuelle de bogues ou marquage et effacement manuel du test comme non fiable en fonction de votre analyse

• Fermer la boucle : réinitialisation du le test non fiable à la suite d’une résolution de bogues / d’une entrée manuelle

Activer la gestion des tests non fiables

Pour configurer la gestion des tests non fiables, choisissez paramètres du projet, puis sélectionnez Gestion des tests dans la section Pipelines.

Faites glisser le bouton Activé/Désactivé sur Activé.

Le paramètre par défaut pour tous les projets consiste à utiliser des tests non fiables pour la résolution des problèmes.

Détection de tests non fiables

La gestion des tests non fiables prend en charge la détection système et personnalisée.

• Détection du système : la détection de flocons dans le produit utilise des données de réexécution de test. La détection est effectuée via la réexécution de tâches VSTest de la fonctionnalité de tests ayant échoué ou une nouvelle tentative d’étape dans le pipeline. Vous pouvez sélectionner des pipelines spécifiques dans le projet pour lequel vous souhaitez détecter des tests non fiables.

  Notes

  Une fois qu’un test est marqué comme étant non fiable, les données sont disponibles pour tous les pipelines de cette branche afin de faciliter la résolution des problèmes dans chaque pipeline.

• Détection personnalisée : vous pouvez intégrer votre propre mécanisme de détection non fiable à Azure Pipelines et utiliser la fonctionnalité de création de rapports. Avec la détection personnalisée, vous devez mettre à jour les métadonnées des résultats des tests pour les tests non fiables. Pour plus d’informations, consultez Résultats des tests, Métadonnées de résultats – Mettre à jour l’API REST.

Options relatives aux tests non fiables

Les options relatives aux tests non fiables spécifient la façon dont les tests non fiables sont disponibles dans les rapports de test, ainsi que les fonctionnalités de résolution, comme décrit dans les sections suivantes.

Gestion et création de rapports de tests non fiables

Dans la page Gestion des tests, sous Options relatives aux tests non fiables, vous pouvez définir des options pour la façon dont les tests non fiables sont inclus dans le rapport Résumé des tests. Les données de test non fiables pour les tests réussis et les tests ayant échoué sont disponibles dans Résultats de test. La balise Non fiable vous aide à identifier les tests non fiables. Par défaut, les tests non fiables sont inclus dans le résumé des tests. Toutefois, si vous souhaitez vous assurer que les échecs de test non fiable ne échouent pas dans votre pipeline, vous pouvez choisir de ne pas les inclure dans votre résumé de test et de supprimer l’échec du test. Cette option garantit que les tests défectueux (à la fois réussis et ayant échoué) sont supprimés du pourcentage de réussite et affichés dans Tests non signalés, comme illustré dans la capture d’écran suivante.

Notes

Le rapport résumé des tests est mis à jour uniquement pour la tâche de test Visual Studio et la tâche Publier les résultats des tests. Vous devrez peut-être ajouter un script personnalisé pour supprimer les échecs de test non fiable dans d’autres scénarios.

Tests marqués comme non fiables

Vous pouvez marquer ou annuler le marquage d’un test comme non fiable en fonction de l’analyse ou du contexte, en choisissant Non fiable (ou Annuler le marquage non fiable si que le test est déjà marqué comme non fiable.)

Lorsqu’un test est marqué comme défectueux ou non fiable dans un pipeline, aucune modification n’est apportée au pipeline actuel. Ce n’est que lors des exécutions ultérieures de ce test que le paramètre non fiable modifié est évalué. Les tests marqués comme non fiables ont la balise Marqué comme non fiable dans l’interface utilisateur.

Aide et support

• Consultez notre page résolution des problèmes
• Obtenez des conseils sur Stack Overflow et de l’aide via la Developer Community

Articles connexes

• Examiner les résultats du test
• Tâche Test Visual Studio
• Tâche de publication des résultats des tests
• Résultats des tests, Métadonnées de résultats – Mettre à jour l’API REST