Surveillez la performance des agents dans Copilot Studio

Note

Cet article décrit les caractéristiques utilisées dans les agents ou flux d’agents alimentés par le faisceau standard.

Utilisez l’analyse pour comprendre les performances de votre agent et identifier les domaines à améliorer.

La page Monitor dans Copilot Studio résume les indicateurs clés et fournit des analyses d'utilisation pour les composants de votre agent. Ouvrez les métriques individuelles pour explorer les données sous-jacentes.

L’expérience Monitor est conçue pour les agents conversationnels et les agents autonomes.

La surveillance est disponible dans toutes les zones géographiques. Les données du moniteur sont disponibles jusqu’à 360 jours. Les détails de la session et les informations de transcription sont disponibles pour les 28 derniers jours. Les horodatages dans les analyses sont en temps universel coordonné (UTC). Les horodatages incluent les heures de début et de fin des jours, les heures de séance, ainsi que tout autre marqueur temporel dans les données de votre agent.

Note

La page Surveiller n'affiche pas les analyses des activités que vous effectuez lorsque vous testez votre agent dans Copilot Studio en utilisant le panneau de test.

Accorder un accès en affichage limité uniquement à l’analytique

Si vous êtes le propriétaire de l’agent, partagez l’agent avec le rôle de partage Analytics Viewer pour n’accorder l’accès qu’à sa page Monitor. Pour accéder aux informations de transcription de conversation, la personne doit également avoir le rôle de sécurité Bot Transcript Viewer.

Pour en savoir plus, consultez Partager les analyses d’un agent.

Important

En tant que propriétaire de l’agent, vous pouvez uniquement partager le rôle de consultation Analytics avec des personnes et non avec des groupes d’utilisateurs.

Pour accéder à la page Monitor de votre agent :

1. Ouvrez votre agent dans Copilot Studio.
2. Sélectionnez Moniteur dans la barre de menu du haut.

Summary

La zone Résumé utilise Copilot pour générer un résumé d’intelligence artificielle des insights clés sur votre agent. Sélectionnez Afficher plus pour afficher la liste complète des insights.

Il vous aide à comprendre rapidement les thèmes et les métriques courants et à identifier les domaines d’amélioration pour votre agent en les récapitunant dans une liste à puces pour la période de rapport sélectionnée. Cette liste peut inclure des indicateurs d’engagement, le sentiment et les retours des clients, ainsi que les tendances depuis la dernière période de rapport.

Résumé des commentaires clients (aperçu)

[Cette section est une documentation de type avant-projet susceptible d’être modifié.]

Le résumé des commentaires clients vous aide à comprendre le ressenti général des clients à l’égard de l’agent à partir des retours et des commentaires. Les insights sont hiérarchisés en fonction du volume des commentaires connexes et de leur importance globale. Le résumé filtre les commentaires de faible valeur ou hors sujet, et regroupe les retours associés.

Important

Cet article contient la documentation en préversion de Microsoft Copilot Studio et est susceptible d'être modifié.

Les fonctionnalités en version préliminaire ne sont pas destinées à une utilisation en production et peuvent être restreintes. Ces fonctionnalités sont disponibles avant une publication officielle afin que vous puissiez y accéder en avant-première et fournir des commentaires.

Si vous créez un assistant prêt pour la production, consultez Vue d’ensemble de Microsoft Copilot Studio.

Pour donner un retour à Microsoft sur cette section, sélectionnez Pouce levé ou Pouce bas. Utilisez le panneau Soumettre des retours à Microsoft pour ajouter un commentaire et choisir de partager ou non les fichiers associés.

1. Dans le volet Envoyer des commentaires à Microsoft, décrivez en langage naturel vos commentaires ou vos envies, selon l’icône que vous avez sélectionnée pour ouvrir le volet.
2. Choisissez de partager un prompt, une réponse générée, des exemples de contenu pertinents et des fichiers journaux supplémentaires.
3. Sélectionnez Envoyer.

Overview

Consultez un résumé de performance de haut niveau dans la section Aperçu , puis explorez les métriques individuelles plus en détail.

Utilisateurs actifs

Les métriques des utilisateurs actifs montrent l’adoption d’un agent conversationnel et son évolution au fil du temps. Un utilisateur actif est un utilisateur unique qui interagit avec l’agent conversationnel au moins une fois pendant la période du rapport. La page Monitor affiche les utilisateurs actifs quotidiens (DAU) et les utilisateurs actifs mensuels (MAU). Le décompte quotidien couvre une journée complète de 24 heures sur 24 en UTC. Le décompte mensuel suit le mois calendaire en UTC.

Important

La fonctionnalité Métriques utilisateur actives n’est prise en charge que si vous définissez votre agent pour exiger l’authentification sous Paramètres>Sécurité>Authentification.

La DAU moyenne pour la période sélectionnée, plus son pourcentage de modification par rapport à la période précédente, apparaît sous la forme d’un indicateur de performance clé (KPI) dans la section Vue d’ensemble .

Note

La formule de la métrique calculée DAU moyenne est la suivante : (sum of all full-day active user counts in the period) / (count of full days in the period).

Pour plus d’informations sur les nombres d’utilisateurs actifs quotidiens et mensuels au fil du temps, sélectionnez le bouton Afficher les utilisateurs actifs dans le coin supérieur droit du panneau vue d’ensemble.

Sessions conversationnelles uniquement

Les analyses pour les assistants conversationnels dans Copilot Studio suivent l’engagement de l’utilisateur avec votre assistant et tentent de capturer la façon dont votre assistant gère les tâches de l’utilisateur.

L’analyse conversationnelle utilise les concepts et termes suivants :

• Les conversations sont une interaction continue entre un utilisateur spécifique, ou un groupe d’utilisateurs, sur une chaîne et votre agent.

• Les conversations peuvent être suspendues et reprendre ultérieurement, ou être transférées à un représentant du service clientèle. La conversation peut être à sens unique, soit du client à l’agent, soit de l’agent au client, mais c’est plus souvent une interaction d’allers-retours entre le client et l’agent.

• Une conversation expire après 30 minutes d’inactivité.

• Pour les agents publiés sur la chaîne téléphonique, les conversations s’éteignent 3 minutes après un événement de fin de conversation .

• Une même conversation peut contenir une ou plusieurs sessions d’analyse.

• Une session d’analyse alimentée par le framework Standard est associée à la dernière rubrique personnalisée déclenchée par un utilisateur. Si la session n’inclut pas de sujets personnalisés, c’est le dernier sujet système déclenché directement par l’utilisateur.

Sessions de déclenchement d'événements uniquement

Un assistant autonome est un assistant avec un déclencheur d’événement. Ces agents prennent uniquement en charge l’analytique des agents avec des déclencheurs.

Une session d’analyse pour les assistants avec des déclencheurs effectue le suivi à partir du moment où un assistant reçoit une charge utile d’un déclencheur jusqu’aux actions que l’assistant exécute en réponse. Ces sessions d’analyse capturent ce à quoi votre assistant répond et ses performances.

Note

En cas d’échec d’un déclencheur et si l’assistant ne reçoit pas de charge utile du déclencheur, une session d’analyse ne peut pas démarrer. Analytics effectue le suivi uniquement des exécutions déclenchées avec succès.

Vue hybride : sessions conversationnelles et déclenchées par des événements

Lorsque les données de votre agent incluent des sessions pour au moins une conversation et au moins une exécution basée sur des déclencheurs durant la période du rapport, la page Surveiller affiche une vue hybride des indicateurs pertinents pour les sessions conversationnelles et autonomes. Dans cette vue, les sections Aperçu et Efficacité présentent les indicateurs côte à côte pour les sessions conversationnelles et déclenchées par événement. La section Utiliser vous permet de sélectionner entre conversations ou exécutions, qui affiche uniquement les données pertinentes. La sélection de Tous affiche toutes les données liées à l’utilisation. La section Satisfaction affiche les métriques de satisfaction pour les sessions conversationnelles.

Pour en savoir plus :

• Surveillez l’efficacité de l’agent conversationnel pour les métriques des sessions conversationnelles

• Surveillez l’état de santé de l’agent autonome pour les métriques de session déclenchées par les événements

Télécharger les transcriptions conversationnelles

Vous pouvez télécharger les transcriptions des sessions dans Copilot Studio pour des périodes comprises dans les 28 derniers jours. Il peut s’écouler jusqu’à une heure après la fin d’une session d’analyse avant que les données associées n’apparaissent sur le tableau de bord analytique. En savoir plus sur la disponibilité, les autorisations et les étapes de téléchargement dans Télécharger les transcriptions des conversations dans Copilot Studio.

La conservation des transcriptions Dataverse est distincte de la fenêtre de données de session de 28 jours dans Copilot Studio. En savoir plus dans Télécharger les transcriptions de conversations dans Power Apps.

Analytique de l’utilisation des rubriques

Dans Copilot Studio, une rubrique définit la progression d’une conversation d’agent et représente une partie d’une conversation entre un utilisateur et un agent. Le volet Surveiller le sujet montre comment un sujet individuel se comporte, y compris la fréquence à laquelle il est déclenché, comment les sessions qui l’incluent se résolvent, et à quel point les utilisateurs sont satisfaits de ces sessions. Utilisez ces informations pour identifier les sujets qui sont fréquemment transmis à un niveau supérieur ou abandonnés, puis priorisez-les pour les améliorer. En savoir plus dans Créer et modifier des rubriques.

Note

Topic Monitor n’est disponible que pour les agents alimentés par le Standard harness et pour les rubriques associées à une session. Si votre agent utilise l’orchestration générative, utilisez plutôt les résultats et thèmes des conversations sur la page Monitor.

Pour consulter le sujet Panneau de surveillance :

1. Rendez-vous sur la page Topics de votre agent dans Copilot Studio.

2. Sélectionnez la rubrique à analyser. Si aucune rubrique n’est disponible, consultez Créer et modifier des rubriques.

3. Dans le coin supérieur droit de la page Sujets, sélectionnez Plus (...) >Surveille.

Le panel Monitor sur le sujet montre :

• Résultats de la rubrique : graphique des résultats de session, Escalatedet Resolved, pour Abandonedles sessions où cette rubrique a été déclenchée. Utilisez ce graphique pour évaluer rapidement l’état des sujets. Une proportion élevée de résultats Escalated ou Abandoned peut signifier que le sujet doit être amélioré.
• Utilisation totale des rubriques : graphique des résultats de la rubrique au fil du temps. Utilisez-la pour détecter les régressions, par exemple, un pic dans les sessions abandonnées après la modification d’une rubrique ou pour confirmer que les modifications récentes ont amélioré les taux de résolution.
• Score de satisfaction des clients : score basé sur les réponses d’enquête des utilisateurs des sessions associées à cette rubrique.
• Tendance du score de satisfaction : graphique qui montre comment le score de satisfaction change au fil du temps. Utilisez cette tendance pour identifier les périodes où le sentiment de l’utilisateur a diminué ou amélioré.

Pour modifier la période, sélectionnez le menu déroulant de période en haut du panneau Moniteur de rubrique.

Informations connexes

Mesurer le retour sur investissement (ROI) et la valeur métier des agents IA