Exécuter des évaluations et afficher les résultats

Note

Les fonctionnalités de cet article sont alimentées par le faisceau standard, qui utilise les options de facturation décrites dans Licences pour les agents alimentés par le faisceau standard. Apprenez comment accéder aux fonctionnalités standard dans Access Standard Agents et Flux d’agents.

Effectuez des évaluations et analysez les résultats pour optimiser le comportement de votre agent et valider que celui-ci répond à vos exigences commerciales et de qualité. Vous pouvez aussi lancer plusieurs fois un ensemble de tests pour voir les évolutions au fil du temps au fur et à mesure que vous améliorez votre agent.

Cet article explique comment démarrer des évaluations et afficher les résultats à l’aide de l’interface Copilot Studio. Vous pouvez également exécuter des évaluations à l’aide de l’API Power Platform ou connecteurs ajoutés en tant qu’outils ou dans le cadre de flux d’automatisation dans Copilot Studio ou Power Automate.

Les résultats des tests sont disponibles dans Copilot Studio pendant 89 jours. Pour sauvegarder vos résultats de test plus longtemps, exportez les résultats dans un fichier CSV.

Effectuez un test avec un ensemble de tests

Après avoir créé un ensemble de test, lancez un test en utilisant cet ensemble. Ou bien, relancer des tests en utilisant le même ensemble pour comparer les résultats dans le temps et les itérations. Un test peut prendre jusqu’à quelques minutes. Vous ne pouvez exécuter qu’un test à la fois.

Important

Les évaluations de l’agent qui utilisent l’authentification utilisateur nécessitent l’accès via le connecteur Microsoft Copilot Studio. Si votre administrateur coupe cette connexion, vous ne pouvez pas lancer de tests en utilisant l’outil d’évaluation. Pour plus d'informations, consultez Connecteurs Copilot Studio et groupes de données.

1. Rendez-vous sur la page d’évaluation de votre agent.

   

2. Effectuez un test en effectuant l’une des actions suivantes :

   • À la fin de la création ou de l’édition d’un ensemble de test, sélectionnez Évaluer.
   • Dans la section Résultats récents , relancez un test en suivant l’une des étapes suivantes :
     • Placez le curseur sur le résultat du test que vous souhaitez évaluer, puis sélectionnez ▶ Évaluer (Évaluer à nouveau le jeu de tests) en regard d’Évaluer l’agent.
     • Sélectionnez le résultat du test pour l’ouvrir, puis sélectionnez l’icône Exécuter ▶ dans le volet Résumé de l’évaluation .

   Si le profil utilisateur du jeu de tests a des connexions rompues ou si le jeu de tests n’a pas de profil utilisateur, la boîte de dialogue Gérer le profil et les connexions s’affiche. Vous n’êtes pas obligé d’utiliser un profil utilisateur pour les tests. Cependant, si vous utilisez un profil, toutes les connexions doivent fonctionner. En savoir plus dans Gérer les profils et connexions utilisateurs.

   Important

   Lorsque vous sélectionnez un profil utilisateur, vous pouvez examiner et authentifier tous les connecteurs utilisés par votre agent. Si vous sélectionnez un compte autre que celui utilisé pour vous connecter à Copilot Studio, comme un compte test, Copilot Studio authentifie ce profil utilisateur et récupère les connexions existantes de l'utilisateur. Vous pouvez configurer, examiner et sauvegarder ces connexions avant d’effectuer une évaluation. En savoir plus dans Gérer les profils et connexions utilisateurs.

L’exécution d’une évaluation prend quelques minutes. Les résultats des tests sont traités en temps réel, ligne par ligne. Le résultat de chaque cas de test d’évaluation s’affiche de manière séquentielle à mesure qu’ils sont générés. Le traitement dynamique des cas de test vous donne une visibilité immédiate des tendances de qualité et des échecs potentiels pendant l’exécution de l’évaluation. Vous pouvez arrêter l’exécution à tout moment si des problèmes surviennent. Une alerte apparaît dans Copilot Studio lorsque l’évaluation complète est terminée et que les résultats résumés sont prêts à être affichés.

Note

Vous ne pouvez exécuter qu’un seul jeu de tests d’évaluation à la fois. Attendez que l’évaluation actuelle soit terminée avant d’exécuter une autre évaluation.

Plongez dans les résultats des tests

Chaque fois que vous exécutez une évaluation avec un jeu de tests, Copilot Studio :

1. Il utilise le compte d’utilisateur connecté pour simuler des conversations avec l’assistant, en envoyant chaque question de l’incident de test à l’assistant.

2. Il collecte les réponses de l’assistant.

3. Mesure et analyse le succès de chaque réponse. Chaque cas de test reçoit une mention Réussi, Échouée, Invalide ou Erreur selon les critères du cas de test.

4. Affecte un score de taux de réussite en fonction du taux de réussite et / du jeu de tests.

Vous pouvez voir le taux de réussite de chaque ensemble de tests effectués sur la page d’évaluation de votre agent, sous Résultats récents. Sélectionnez Afficher tout pour afficher plus d’exécutions de jeux de test.

Voir et évaluer une analyse détaillée pour un cas test

Lorsque vous ouvrez un résultat de test, vous voyez les détails de la course, une liste des requêtes utilisées, la réponse de l’agent, ainsi que le score de réussite ou d’échec .

Sélectionnez un cas test dans la liste pour voir une évaluation détaillée de chaque réponse. Sélectionner Tout, Réussir ou Échouer pour filtrer les cas par résultat.

L’évaluation inclut les réponses attendues et réelles, le raisonnement du résultat du test, ainsi que les connaissances, sujets et outils utilisés par l’agent pour répondre.

1. Les résultats de l’évaluation. Cet exemple montre les détails des résultats d’une évaluation de qualité.

2. Sélectionnez Afficher la carte d’activité pour voir la séquence d’entrées, décisions et sorties de votre agent dans un cas de test. En savoir plus dans Afficher l’activité de session.

3. La transcription de la question du test et la réponse de l’agent.

4. Les ressources utilisées par l’agent lors du test. Sélectionnez-en un pour l’ouvrir.

Vous pouvez fournir des retours à Microsoft sur la performance de l’évaluation pour chaque cas de test. Ce retour porte spécifiquement sur l’efficacité avec laquelle la méthode d’évaluation sélectionnée a évalué la réponse, et non sur la justesse de la réponse elle-même. Vos retours contribuent à améliorer la qualité et la précision des évaluations au fil du temps.

Pour noter une évaluation, sélectionnez l'icône ou l'icône dans le panneau des détails du cas de test. Lorsque le formulaire de retour s’ouvre, fournissez plus de détails sur votre note, puis sélectionnez Envoyer.

Un jeu de tests d’évaluation peut être exécuté plusieurs fois par plusieurs « fabricants » du même agent. Les créateurs peuvent exécuter des évaluations à l’aide de jeux de test créés par d’autres créateurs. Les fabricants peuvent voir l’état d’exécution et les métriques de résultat de n’importe quelle série de tests, mais seul le créateur qui a lancé l’exécution de test peut afficher les réponses de l’agent et les explications de résultat.

Comparer les résultats des tests

Vous voulez tester une version de votre agent et voir des changements de performance avant et après avoir effectué les modifications. Vous pouvez comparer deux exécutions du même ensemble de tests en utilisant l’outil Comparaison avec .

Pour faire une comparaison, il faut exécuter au moins deux fois le même ensemble de tests.

1. Dans la page d’évaluation de votre agent, sous Résultats récents des tests, ouvrez la série d’essai que vous souhaitez utiliser comme base pour la comparaison.

2. Sélectionnez le menu déroulant Comparer avec, puis sélectionnez l’heure et la date du lancement de test que vous souhaitez comparer avec les résultats du test actuellement ouvert.

Dans la liste des cas test , les flèches indiquent quels résultats de cas test se sont améliorés en passant d’échec à réussi , ou ont diminué en passant de réussi à échec .

Sélectionnez un cas test pour voir plus de détails. Dans le panneau résumé d’évaluation , vous pouvez voir une comparaison directe des résultats des tests, avec le résultat du test en cours en haut.

Exporter les résultats des tests

Vous pouvez exporter les résultats des tests vers un fichier CSV. Le fichier liste la question, la réponse attendue (le cas échéant), la méthode de test, le score de réussite (si applicable), la réponse de l’agent, le résultat du test et l’analyse pour chaque cas de test.

1. Rendez-vous sur la page d’évaluation de votre agent.
2. Dans la section Résultats récents , exportez un résultat de test en suivant l’une des étapes suivantes :
   • Passez la souris sur le cas de test que vous souhaitez exporter, sélectionnez les trois points (...) puis sélectionnez Exporter les résultats du test.
   • Sélectionnez le cas de test pour l’ouvrir, sélectionnez les trois points (...) dans le panneau résumé d’évaluation , puis sélectionnez Exporter les résultats du test.

Les résultats du test se téléchargent comme nom de votre ensemble de test.csv.

Partagez des avis en utilisant le rôle de spectateur agent

Si vous êtes le propriétaire de l’agent et souhaitez n’accorder l’accès qu’à la page d’évaluation de votre agent, partagez l’agent et activez le rôle de partage de visionnaires d’agents . Les utilisateurs ayant ce rôle peuvent gérer les évaluations d’un agent spécifique sans avoir accès à l’agent lui-même.

Note

Le rôle de spectateur agent ne confère pas de privilèges à l’échelle de l’environnement ou du locataire.

Les utilisateurs auxquels le rôle de visualiseur d’agent a été attribué pour les évaluations :

• Consultez et exécutez des ensembles de tests d’évaluation d’autres fabricants.
• Renommer, annuler et supprimer les évaluations.
• Impossible de créer ou de mettre à jour les ensembles de tests d’évaluation partagés avec eux.

Note

Les utilisateurs auxquels le rôle de spectateur de l’agent a été attribué ne peuvent pas créer, modifier ou supprimer l’agent ou le contenu en dehors des évaluations dans lesquelles ils ont le rôle de spectateur de l’agent. Les utilisateurs ne peuvent pas publier l’agent ni gérer ses paramètres de partage et d’accès.

Pour attribuer le rôle :

1. Ouvrez l’agent et sélectionnez les trois points (...) >Partagez.
2. Dans la section Nouveaux utilisateurs et identités d’applications, ajoutez un utilisateur ou un groupe. Ou sélectionnez un utilisateur existant dans la liste.
3. Sous Possède les autorisations pour cet agent en tant que, sélectionnez Lecteur de l’agent dans la liste des rôles.
4. Sélectionnez Partager pour partager l’agent.

L’utilisateur peut alors ouvrir l’agent et consulter les onglets Évaluations et Surveillance . Ils peuvent ensuite gérer les évaluations dans l’onglet Évaluation .

En savoir plus sur le partage des évaluations d’un agent avec d’autres utilisateurs.