Analyse de l'échec, rapport Excel

Article
03/04/2013

Vous pouvez utiliser le rapport Analyse de l'échec pour faciliter la surveillance du nombre de régressions trouvées par l'équipe des tests.Les régressions sont des bogues dans le logiciel que vous testez qui n'apparaissaient pas dans les versions antérieures.L'équipe qui effectue le test de régression se concentre spécifiquement sur la recherche des bogues qui apparaissent uniquement dans une nouvelle version du logiciel.Le rapport Analyse de l'échec indique le nombre de configurations distinctes de chaque cas de test qui ont réussi auparavant et échouent à présent, pour les quatre dernières semaines.

Il est disponible uniquement lorsque l'équipe crée des plans de test et commence à exécuter des tests à l'aide de Microsoft Test Manager.Pour plus d'informations sur la définition de suites et de plans de test, consultez Définition d'un plan de test. Pour plus d'informations sur le mode d'accès à ce rapport, consultez Rapports Excel (Agile).

[!REMARQUE]

Vous pouvez consulter le rapport Analyse de l'échec à partir du tableau de bord Test.Vous pouvez accéder à ce tableau de bord uniquement si votre portail du projet d'équipe a été activé et est mis en service pour utiliser Microsoft Office SharePoint Server 2007.Pour plus d'informations, consultez Accéder à un portail de projet d'équipe ou au guide de processus.

Dans cette rubrique

Données du rapport
Interprétation du rapport
Mise à jour et personnalisation du rapport

Rubriques connexes

[!REMARQUE]

Une équipe utilise des cas de test pour définir les tests manuels et automatisés qu'elle peut exécuter et gérer à l'aide de Test Runner et Microsoft Test Manager.À l'aide de Microsoft Test Manager, vous pouvez créer des cas de test mais également des suites de tests et des configurations de test qui prennent en charge les tests de votre projet.Vous pouvez utiliser les configurations de test pour définir la façon dont vous souhaitez exécuter vos cas de test et suites de tests.Vous pouvez regrouper vos cas de test en les organisant au sein d'une hiérarchie de suites de tests dans votre plan de test.En créant des suites de tests, vous pouvez exécuter des ensembles de cas de test de manière regroupée.Pour plus d'informations, consultez Définition d'un plan de test.

Autorisations requises

Pour afficher le rapport, vous devez avoir été affecté ou appartenir à un groupe disposant des autorisations de Lecture dans produits SharePoint pour le projet d'équipe.

Pour modifier ou personnaliser le rapport, vous devez être membre du rôle de sécurité TfsWarehouseDataReaders dans SQL Server Analysis Services.Vous devez avoir été affecté ou appartenir à un groupe disposant des autorisations de Membres dans produits SharePoint pour le projet d'équipe.Pour plus d'informations, consultez Accorder l'accès aux bases de données de l'entrepôt de données pour Visual Studio ALM et Gestion des autorisations.

Données du rapport

Le rapport Analyse de l'échec contient un graphique en aires empilées qui indique le nombre cumulé de tous les résultats négatifs des cas de test pour toutes les configurations, au cours des quatre dernières semaines.Les types d'échec sont Nouveau problème, Problème connu ou Régression.

Rapport Excel Analyse de l'échec

Ce rapport est basé sur un rapport PivotChart qui indique, pour les quatre dernières semaines, les données des résultats des tests stockées dans l'entrepôt de données.

Le système examine chaque configuration sur laquelle le cas de test a été exécuté et essaie d'identifier le résultat précédant pour la même configuration du cas de test.Le type d'échec assigné au cas de test/à la configuration est déterminé selon les critères suivants :

Régression : lorsque le résultat immédiatement avant avait la valeur Réussite.
Nouveau problème : lorsque aucun résultat immédiatement avant n'a été trouvé.
Problème connu : lorsque le résultat immédiatement avant avait la valeur Échec.

Activités requises pour la surveillance des régressions

Pour que le rapport Analyse de l'échec soit utile et précis, l'équipe doit effectuer les activités suivantes :

Définissez Cas de test et Plans de test et assignez Cas de test à Plans de test.
Pour les tests manuels, marquer les résultats de chaque étape de validation dans le cas de test comme ayant réussi ou échoué.

Important

Les testeurs doivent marquer une étape de test en précisant un état s'il s'agit d'une étape d'un test de validation.Le résultat total pour un cas de test reflète l'état de toutes les étapes de test marquées par le testeur.Par conséquent, l'état Échec sera affecté au cas de test si l'une des étapes de test a été marquée comme ayant échoué par le testeur ou n'a pas été marquée.

Pour les tests automatisés, chaque cas de test est automatiquement marqué comme ayant réussi ou échoué.
(Facultatif) Pour prendre en charge le filtrage, assignez des chemins Itération et Zone à chaque cas de test.

Interprétation du rapport

Attendez-vous à ce que le rapport Analyse de l'échec varie en fonction de l'étape dans laquelle vous vous trouvez dans votre cycle de développement de produit.Les premières itérations doivent indiquer peu, le cas échéant, d'activités de régression.Ultérieurement dans le cycle de développement, vous devez vous attendre à des régressions.Plus précisément, vous devez examiner le rapport pour rechercher les réponses aux questions suivantes :

Combien de tests régressent-ils en général ?
L'équipe conserve-t-elle le nombre total de régressions ou d'échecs de test dans les limites ou objectifs attendus ?
L'équipe traite-t-elle les problèmes à mesure qu'ils sont identifiés ?Les problèmes connus sont-ils traités en temps voulu ?

Un rapport Analyse de l'échec correct affiche un nombre modéré de nouveaux problèmes, de problèmes connus et de régressions.Si des pics se produisent dans l'une ou plusieurs de ces zones, l'équipe devra peut-être effectuer des recherches plus poussées.Les pics peuvent indiquer des problèmes dans l'activité de test ou dans la qualité du code archivé.

En outre, vous pouvez vérifier l'état des builds récentes, l'état des bogues et l'évolution du code pour déterminer si les mesures de chacun de ces facteurs peuvent aider à expliquer les modifications des lignes de l'activité de test.

Mise à jour et personnalisation du rapport

Vous pouvez mettre à jour le rapport Analyse de l'échec en l'ouvrant dans Office Excel et modifiant les options de filtre du rapport PivotTable.Vous pouvez personnaliser ce rapport pour prendre en charge d'autres vues, comme décrit dans le tableau suivant.

Vue	Action
Analyse d'échec pour une itération	Modifier le filtre correspondant à Iteration (valeur par défaut = Tous).
Analyse d'échec pour une zone de produit	Modifier le filtre pour Area (valeur par défaut = Tous)
Analyse d'échec pour un plan de test ou une suite de plans de test spécifique	Ajouter le filtre pour Test Plan (valeur par défaut = Tous)
Analyse d'échec pour les six, huit (ou plus) semaines les plus récentes	Dans la liste de champs du tableau croisé dynamique Colonnes, remplacez @@Last 4 weeks@@ par un Set différent

Pour plus d'informations sur l'utilisation et la personnalisation des rapports PivotTable et PivotChart, consultez les pages suivantes sur le site Web Microsoft :