Analyser et créer un rapport sur les résultats de test à l'aide de la perspective Test de la base de données Analysis Services pour Visual Studio ALM

Avec la perspective Test du cube SQL Server Analysis Services pour Visual Studio Team Foundation Server, vous pouvez consulter juste les mesures, les dimensions et attributs qui concernent les rapports sur les résultats des tests et séries de tests. Par exemple, vous pouvez utiliser ces mesures pour déterminer la qualité générale de chaque build, les tests qui ont affecté une build particulière et le nombre de cas de test exécutés. Vous pouvez également répondre aux questions relatives aux modifications des résultats.

Le groupe de mesures de test repose sur la table relationnelle Résultats des tests, qui permet la création de rapports sur les résultats des tests en tant que propriété des tests ou que résultats indépendants. Pour plus d'informations, consultez tables Résultats des tests.

Avec la perspective Test, vous pouvez créer des rapports qui répondent aux questions suivantes : Rapports d'état : Quel est l'état des tests des récits utilisateur spécifiques ou des zones de produit ? Quelle est la qualité des builds selon le nombre de tests réussis et échoués ? Combien de cas de test n'ont jamais été exécutés ? Quels cas de test n'ont jamais été exécutés ? Rapports de tendance : Combien de tests sont bloqués, réussissent ou échouent au fil du temps ? Combien de tests sont-ils en régression ? Quelle est la cohérence de l'activité de test manuel au fil du temps ? Notes Si votre entrepôt de données de Visual Studio Application Lifecycle Management (ALM) utilise SQL Server Enterprise Edition, la liste de cubes inclura Team System et un ensemble de perspectives.Les perspectives fournissent une vue ciblée des données. Ainsi, il n'est pas nécessaire de faire défiler toutes les dimensions et tous les groupes de mesures du cube Team System.

Pour utiliser plusieurs mesures de test et attributs de dimension, l'équipe des tests doit publier les résultats des tests dans le magasin de données pour Team Foundation Server. Pour plus d'informations, consultez Activités requises pour gérer des tests et des builds dans la suite de cette rubrique.

Dans cette rubrique

• Exemple de rapport de progression pour tester les récits utilisateur

• Mesures de test

• Dimensions et attributs de la perspective Test qui prennent en charge le filtrage et la catégorisation

  • Build, version de build et dimensions de plateforme de génération

  • Dimensions de cas de test, de configuration de test, de plan de test et de suite de tests

  • Dimension de résultat de test

  • Dimension de série de tests

  • Dimensions d'élément de travail et d'élément de travail lié

• Activités requises

Exemple de rapport de progression pour tester les récits utilisateur

Avec les rapports PivotTable et PivotChart dans Excel, vous pouvez créer un rapport d'état qui indique la progression des tests sur des récits utilisateur, comme l'illustre le rapport présenté dans l'illustration suivante.

Les modèles de processus Microsoft Solutions Framework (MSF) Agile et CMMI incluent respectivement le rapport État du test du récit utilisateur, rapport Excel (Agile) et le rapport État du test des spécifications, rapport Excel (CMMI) dans Excel.

Spécification et filtrage des champs dynamiques

En exécutant les étapes suivantes, vous pouvez créer un rapport de progression pour tester les récits utilisateur :

1. Dans Excel, connectez-vous au cube Analysis Services pour Team Foundation Server, puis insérez un rapport PivotChart.

   Pour plus d'informations, consultez Créer des rapports Excel à partir d'une requête d'élément de travail.

2. Cliquez avec le bouton droit sur le graphique, sélectionnez Modifier le type du graphique, Zone, puis Barres empilées.

3. Pour chaque filtre de rapport, cliquez avec le bouton droit sur chacun des champs suivants, spécifiez les hiérarchies ou les éléments intéressants, puis faites glisser le champ sur la zone Filtre de rapport.

   • Hiérarchie de projet d'équipe à partir de la dimension Projet d'équipe

   • Chemin d'accès à la zone de la dimension Projet d'équipe

   • Chemin de l'itération de la dimension Cas de test

   • Type d'élément de travail de la dimension Élément de travail lié

     Spécifiez le type en tant que récit utilisateur, spécification ou tout autre type d'élément de travail lié à des cas de test, et que vous souhaitez signaler.

4. Faites glisser le champ Tendance du nombre de points sous le groupe de mesures Test vers la zone Valeurs.

5. Faites glisser le champ Résultat sous la dimension Résultat de test vers la zone Étiquettes de colonne.

Mesures de test

Le tableau suivant décrit les mesures incluses dans le groupe de mesures Test. Vous pouvez analyser les résultats des tests selon l'agrégat des résultats des tests et leur résultat pour une build particulière ou selon le résultat modifié pour un résultat de tests.

Mesure	Description
Tendance du nombre de résultats de build	Compte la dernière version de chaque résultat dans une build particulière. Pour obtenir un exemple de rapport utilisant cette mesure, consultez Qualité de build, rapport Excel.
Tendance du nombre de points	Nombre de la dernière version de chaque résultat de test dans une build particulière. Si un test est exécuté plusieurs fois sur une build, la Tendance du nombre de point compte le résultat le plus récent pour ce test avec cette build. Si un cas de test n'est pas inclus dans la build, il est considéré comme « Jamais exécuté ». Utilisez cette mesure de déterminer les tests ou le nombre de tests qui ont échoué dans la build active.
Nombre de résultats	Compte la dernière version de chaque résultat de test. Utilisez cette mesure lorsque vous voulez déterminer le volume total de test. Pour obtenir un exemple de rapport utilisant cette mesure, consultez Indicateurs de qualité de build, rapport.
Nombre de transitions de résultat	Compte tous les résultats dont les résultats ont changé dans une build particulière. Utilisez cette mesure lorsque vous souhaitez déterminer les tests affectés par une build particulière.
Nombre de cas de test	Nombre de cas de test. Utilisez cette mesure lorsque vous voulez déterminer le nombre de cas de test exécutés pour une série de tests ou une build particulière.

Dimensions et attributs de la perspective Test qui prennent en charge le filtrage et la catégorisation

En utilisant les attributs décrits dans cette section, vous pouvez agréger une mesure, filtrer un rapport ou spécifier un axe de rapport. Ces attributs viennent en plus des dimensions partagées Projet d'équipe et Date que décrit Utilisation des dimensions partagées.

Build, version de build et dimensions de plateforme de génération

Vous pouvez filtrer les rapports de test basé sur la définition de build, la version de build ou la plateforme de build en utilisant les attributs décrits dans le tableau suivant.

Dimension	Attribut	Description
Build	Nom de définition de build	Nom assigné à la définition de build pour laquelle une build a été exécutée. Pour obtenir un exemple de rapport utilisant cet attribut, consultez Qualité de build, rapport Excel.
	ID de build	Numéro assigné à la build. Chaque fois qu'une définition de build particulière est exécutée, l'ID de build est incrémenté d'une unité.
	Nom de la build	Nom ou expression qui identifie une build de manière unique. Pour plus d'informations, consultez Utiliser des numéros de build pour attribuer des noms pertinents aux builds terminées.
	Heure de début de build	Date et l'heure auxquelles la build a démarré.
	Type de build	Raison pour laquelle la build a été exécutée. Les types de build sont associés au déclencheur défini pour la génération. Team Foundation Server prend en charge les types de builds suivants : en manuel, en continu (déclenché par chaque archivage), enchaîné (cumul des archivages jusqu'au terme des builds précédentes), archivage contrôlé, et planifié. Pour plus d'informations, consultez Spécifier les raisons et les déclencheurs de build.
	Emplacement cible	Dossier cible défini pour la build et spécifié en tant qu'URL (Uniform Resource Locator). Une URL spécifie le protocole avec lequel les navigateurs Web recherchent les ressources Internet. L'URL comprend également le nom du serveur sur lequel la ressource réside. Vous pouvez également inclure le chemin d'accès à une ressource. Pour plus d'informations, consultez Configurer des dossiers de dépôt.
Version de build	Version de build	(Résultats des tests publiés uniquement) Nom qui désigne la catégorie de builds assignée à un ensemble de builds terminées publiées dans le cadre d'une série de tests. Par exemple, une version de build peut être utilisée pour désigner une version bêta ou une version finale.
Plateforme de génération	Plateforme de génération	Nom de la plateforme d'ordinateur pour laquelle une build de bout en bout (et non une build de bureau) a été générée (par exemple, x86 ou Any CPU). Pour plus d'informations, consultez Utiliser le modèle par défaut pour un processus de build.

Dimensions de cas de test, de configuration de test, de plan de test et de suite de tests

Les dimensions cas de test, configuration de test, plan de test et suite de tests correspondent à la façon dont vous pouvez planifier, configurer, automatiser et exécuter les tests à l'aide de Microsoft Test Manager à partir de Microsoft Visual Studio 2010 Ultimate ou Visual Studio Test Professional.

Le cas de test correspond à un type d'élément de travail que l'équipe de test utilise pour définir les tests manuels et les tests automatisés que votre équipe peut exécuter et gérer à l'aide de Microsoft Test Manager. Un plan de test est composé de configurations de tests et de suites de tests. Une configuration de test définit le logiciel ou le matériel sur lequel vous souhaitez exécuter vos tests. Une suite de tests définit une hiérarchie dans le plan pour vous permettre de regrouper les cas de test.

Pour plus d'informations, consultez Test de l'application.

Dimension	Attribut	Description
Cas de test	Hiérarchie de zone et plus	Les dimensions élément de travail et cas de test contiennent tous les attributs relatifs aux éléments de travail, tels qu'état, type d'élément de travail et ID d'élément de travail. Pour plus d'informations sur la structure de la dimension Cas de test, consultez Analyser et créer un rapport sur les données des éléments de travail et des cas de test à l'aide de la perspective Élément de travail. Pour obtenir une description de chaque attribut, consultez Référence des champs d'éléments de travail pour Visual Studio ALM. Pour plus d'informations sur l'utilisation des hiérarchies de dates, de zones et d'itérations, consultez Dimensions partagées dans le cube Analysis Services. Ce groupe de mesures contient des attributs supplémentaires lorsque les champs personnalisés de la définition d'un type d'élément de travail spécifient Dimension comme attribut signalable. Pour plus d'informations sur l'utilisation de l'attribut reportable facultatif et de ses valeurs, consultez Ajouter et modifier des champs d'éléments de travail pour prendre en charge la création de rapports.
Configuration de test	ID de configuration et Nom de configuration	Numéro assigné par le système et nom d'une configuration de test.
Plan de test	Hiérarchie de zone, Chemin d'accès à la zone, Hiérarchie d'itération et Chemin d'accès à l'itération	Zone de produit et jalon assigné au plan de test. Pour plus d'informations, consultez Analyser et créer un rapport sur les données des éléments de travail et des cas de test à l'aide de la perspective Élément de travail.
	Hiérarchie par mois ou par semaine de date de fin Hiérarchie par mois ou par semaine de date de début	Valeurs facultatives qu'un propriétaire de plan de test peut assigner au plan de test. Elles représentent la date à laquelle le plan de test doit commencer et la date à laquelle il doit se terminer. Pour plus d'informations sur l'utilisation des hiérarchies de date, voir Dimensions partagées dans le cube Analysis Services.
	ID de plan de test et nom du plan de test	Numéro assigné par le système et nom assigné par le propriétaire du plan de test.
	Propriétaire du plan de test	Nom d'utilisateur du membre de l'équipe des tests qui a créé le plan de test ou qui est actuellement désigné comme son propriétaire.
	État et ID de plan de test	Numéro et nom de l'état du plan de test attribués par le système. Par exemple, Inactif indique que le plan de test est en cours de définition et Actif indique que le plan de test est prêt à être révisé et exécuté.
Suite de tests	Hiérarchie des suites de tests	Fournit un mécanisme qui permet de spécifier plusieurs filtres en fonction de la collection de projets, du projet d'équipe et de la suite de tests.
	Chemin d'accès de la suite	Correspond à la hiérarchie des suites de tests configurées pour tous les projets d'équipe dans toutes les collections de projets d'équipe.

Dimension de résultat de test

Le tableau suivant répertorie l'ensemble des dimensions et attributs spécifiques aux mesures de test dans le cube. Avant de pouvoir créer un rapport sur Type d'échec ou Résolution, l'équipe des tests doit remplir ces informations dans le cadre de ses activités de test.

Attribut	Description
Type d'échec et ID du type d'échec	Correspond à l'une des raisons suivantes pour lesquelles un test a échoué : Aucune, Problème connu, Nouveau problème ou Régression. Microsoft Test Manager assigne automatiquement un numéro ou un ID à chaque raison. L'équipe des tests peut, sans que cela soit obligatoire, assigner un type d'échec à chaque test qui échoue. Notes Vous ne pouvez pas ajouter ou modifier l'ensemble des types d'échec. Pour obtenir un exemple de rapport de tendance qui affiche la sortie des résultats des tests selon le type d'échec, consultez Analyse de l'échec, rapport Excel.
Résultat et ID de résultat	Résultat du test (par exemple, Réussite, Échec ou Non concluant). Pour obtenir un exemple de rapport de tendance qui affiche les résultats des plans de test et des configurations de test, consultez Progression du plan de test, rapport.
État de disponibilité et ID d'état de disponibilité	État d'un test particulier dans une série de tests. Les valeurs valides sont Terminé, InProgress, Aucun, NotReady et Prêt.
État de résolution	(Facultatif) Nom de la Résolution avec laquelle un testeur a identifié la cause de l'échec d'un test. Par défaut, tous les modèles de processus MSF ont les états de résolution suivants : Nécessite un examen, Problème de test, Problème de produit et Problème de configuration. L'équipe des tests peut, sans que cela soit obligatoire, assigner un état de résolution à chaque test qui échoue. Notes Vous pouvez modifier ces états ou ajouter des états en utilisant l'outil en ligne de commande tcm.Consultez Personnaliser et gérer l'expérience de test [tcm et Microsoft Test Manager].
Résultat de test exécuté par	Nom de l'utilisateur ou de tout autre compte sous lequel le test a été exécuté. Pour obtenir un exemple de rapport utilisant cet attribut, consultez Productivité de l'équipe des tests, rapport Excel.
Propriétaire du résultat de test	Nom de l'utilisateur ou de tout autre compte assigné en tant que propriétaire du résultat des tests. L'assignation correspond à la valeur définie en utilisant le commutateur tcm /resultowner.
Priorité du résultat de test	Priorité d'un test particulier dans une série de tests.

Dimension de série de tests

Le tableau suivant décrit les attributs définis pour la dimension Série de tests. Bon nombre de ces attributs correspondent aux paramètres que l'équipe des tests spécifie lorsqu'elle exécute des tests.

Attribut	Description
Date d'achèvement, Date de création, Hiérarchie par mois de date de début ou Hiérarchie par semaine de date de début	Dates de création, d'achèvement ou de démarrage de la série de tests. Vous pouvez utiliser ces attributs pour filtrer ou structurer un rapport. Pour plus d'informations, consultez Dimensions partagées dans le cube Analysis Services.
Est automatisé	Indicateur qui signale que la série de tests contient un ou plusieurs tests automatisés. Pour obtenir un exemple de rapport utilisant cet attribut, consultez Qualité de build, rapport Excel.
Exécution de vérification de build	Indicateur qui spécifie si la série de tests contient des tests de vérification de build qui contrôlent les fonctionnalités de base de la build. Cet indicateur correspond au commutateur tcm /buildverification. Pour obtenir un exemple de rapport utilisant cet attribut, consultez Qualité de build, rapport Excel.
ID de la série de tests	Numéro que le système a assigné à la série de tests.
Propriétaire de série de tests	Correspond au propriétaire assigné à la série de tests que l'équipe des tests a créée ou publiée. Correspond au commutateur tcm /owner.
ID et état de la série de tests	Nom ou numéro assigné à l'état d'une série de tests (par exemple Abandonné, Terminé, En cours, Non démarré ou Inconnu).
Titre de la série de tests	Correspond au titre assigné à la série de tests que l'équipe des tests a créée ou publiée. Correspond au commutateur tcm /title.

Dimensions d'élément de travail et d'élément de travail lié

Vous pouvez lier les cas de test à d'autres éléments de travail tels que les récits utilisateur, les spécifications et les bogues. Avec la dimension Élément de travail lié, vous pouvez créer un rapport qui fournit les résultats des tests relatifs aux éléments de travail liés. Le rapport Progression relatif aux tests des récits utilisateur, décrit précédemment dans cette rubrique, fournit un exemple d'utilisation de l'élément de travail lié.

Pour obtenir une description de chaque attribut, consultez Référence des champs d'éléments de travail pour Visual Studio ALM.

Activités requises

Pour créer des rapports qui contiennent des données utiles sur les efforts de test et les résultats des tests, les membres d'équipe doivent examiner les informations des rubriques suivantes :

• Exécuter des tests dans votre processus de génération

• Utilisation de la couverture du code pour déterminer la quantité de code testé

Voir aussi

Concepts

Progression du plan de test, rapport

Perspectives et groupes de mesures fournis dans le cube Analysis Services pour Visual Studio

Autres ressources

Rapports de gestion des tests