Surveillez l’efficacité de l’agent conversationnel

Note

Cet article décrit les caractéristiques utilisées dans les agents ou flux d’agents alimentés par le faisceau standard.

Utilisez la page Monitor dans Copilot Studio pour évaluer l'efficacité de votre agent conversationnel lors des sessions d'analyse. Identifiez où les conversations réussissent ou échouent, examinez les retours des utilisateurs et trouvez des opportunités pour améliorer les réponses et l’utilisation des outils.

Passez en revue les zones suivantes :

• Les zones Résumé, Aperçu et Économies présentent des informations clés, des indicateurs de performance clés (KPI) et des économies estimées en temps et coûts.
• La section Métriques personnalisées (aperçu) vous permet de définir des métriques spécifiques à l’entreprise pour les cas d’usage de votre agent.
• La section Efficacité vous aide à évaluer la qualité des expériences utilisateur en montrant où les conversations réussissent, où elles se décomposent et comment les utilisateurs se sentent sur les résultats.
• La section Use vous aide à améliorer les performances opérationnelles en montrant comment votre agent répond aux questions, comment les outils et les sources de connaissances fiables prennent en charge ces réponses, et où les mises à jour ciblées peuvent augmenter la couverture et la cohérence.

Vous pouvez afficher l’analyse des événements qui se sont produits au cours des 360 derniers jours.

Métriques personnalisées (préversion)

[Cette section est une documentation de type avant-projet susceptible d’être modifié.]

La section Métriques personnalisées vous permet de définir jusqu’à trois métriques spécifiques à l’entreprise en langage naturel et de suivre la fréquence à laquelle chaque résultat apparaît entre les sessions échantillonnées. Utilisez ces métriques pour compléter vos insights d’analyse standard avec des indicateurs qui reflètent les objectifs et l’utilisation métier de votre agent.

Important

Cet article contient la documentation en préversion de Microsoft Copilot Studio et est susceptible d'être modifié.

Les fonctionnalités en version préliminaire ne sont pas destinées à une utilisation en production et peuvent être restreintes. Ces fonctionnalités sont disponibles avant une publication officielle afin que vous puissiez y accéder en avant-première et fournir des commentaires.

Si vous créez un assistant prêt pour la production, consultez Vue d’ensemble de Microsoft Copilot Studio.

Les utilisateurs disposant du privilège Bot Transcript Viewer peuvent afficher le détail d’une liste de sessions client filtrée selon le segment sélectionné du diagramme en anneau. Sélectionnez une session individuelle pour comprendre la logique de la métrique et accéder à sa transcription.

Découvrez comment créer, tester et affiner des métriques dans Surveillance de votre agent avec des métriques personnalisées (aperçu).

Efficacité

La section Efficacité montre les commentaires des utilisateurs recueillis à partir des réactions, des réponses de l’agent, des résultats de l’enquête et du score de sentiment pour une session. L’efficacité est divisée entre de nombreuses sous-sections :

• Résultats de la conversation : connaître le résultat final d’une conversation vous permet de commencer à identifier l’endroit où votre agent réussit et où il a besoin d’amélioration.
• Réactions: retours des utilisateurs, y compris les évaluations positives/négatives et les commentaires des utilisateurs sur des réponses spécifiques de l’agent.
• Satisfaction des clients : affichage du score de satisfaction des clients (CSAT).
• Sentiment (aperçu) : analyse des sentiments par IA sur l’ensemble de la session.
• Agents : consultez les métriques du volume d’appels, les taux de réussite et l’état actuel des agents enfants et connectés.

Le système stocke les données de rétroaction dans la conversation transcript table dans Dataverse.

Résultats de la conversation

La section Résultats de la conversation affiche un graphique qui suit le type de résultat de chaque session entre votre assistant et les utilisateurs.

Le graphique affiche un histogramme empilé ou un graphique de surface empilée des résultats de session. Résolu, Transmis, Abandonné et Sans interaction ont chacun une couleur correspondante dans la légende. L’axe y indique le nombre de sessions.

Pour consulter les indicateurs d’un résultat pour un jour précis, utilisez la légende du graphique pour identifier le résultat, puis passez la souris sur son segment pour ce jour-là.

Pour télécharger les données des résultats des conversations, ouvrez le menu du graphique et sélectionnez Télécharger CSV.

Note

Si vous retirez un ou plusieurs résultats du graphique lors du téléchargement, leurs données n’apparaissent pas dans le CSV.

Pour ouvrir un panneau latéral avec des informations détaillées sur les résultats de conversation, sélectionnez Afficher les détails du graphique. Le panneau latéral des résultats de Conversation comprend les éléments suivants :

• Diagramme circulaire des résultats de session, montrant la pondération relative (exprimée en pourcentage) des résultats Résolus, Escaladés et Abandonnés.
• Graphique à barres empilées montrant la pondération relative (exprimée sous la forme d’un pourcentage) des résultats résolus confirmés et résultats résolus implicites décrivant tous les résultats de session résolus.
• Graphique à barres empilées montrant la pondération relative (exprimée sous la forme d’un pourcentage) du système intentionnel, système non-intentionnel et raisons de résultat demandées par l'utilisateur décrivant tous les résultats de session escaladés.
• Les principales rubriques qui ont conduit à chaque résultat.

Note

Pour afficher une info-bulle avec des informations de nombre brut, pointez sur l’un des segments de graphique à secteurs ou de graphique à barres empilées.

Une session tombe dans l’un des deux états suivants :

• Non engagé : une session démarre lorsqu’un utilisateur interagit avec votre assistant ou que l’assistant envoie un message proactif à l’utilisateur. La session commence dans un état non engagé .

• Engagé : l’utilisateur interagit activement avec l’agent. Il existe une différence de comportement en fonction du mode d’orchestration de l’agent.

  • Orchestration classique : une session devient engagée quand l’une des rubriques suivantes est déclenchée :

    • Rubrique personnalisée déclenchée directement par l’utilisateur
    • Faire remonter le sujet
    • Sujet de remplacement
    • Rubrique d'amélioration de la conversation

  • Orchestration de l’IA dégénérative : une session devient engagée lorsqu’un utilisateur déclenche directement un plan et inclut l’un des éléments suivants :

    • Sujet hors système
    • Faire remonter le sujet
    • Sujet de remplacement
    • Une source de connaissance
    • Un outil

Une session engagée a l’un des résultats suivants :

Catégorie de résultat	Résultat	Description
Résolu		Une session se termine avec succès. Il existe deux types de sessions résolues : confirmées et résolues implicites.
	Résolu (confirmé)	Une session est considérée comme résolue et confirmée lorsque la rubrique de fin de la conversation est déclenchée et que l’utilisateur confirme que l’interaction a réussi.
	Résolu (implicite)	Une session est considérée comme une résolution implicite lorsque la session est considérée comme terminée sans confirmation de l’utilisateur, mais reste plutôt basée sur la logique de l‘assistant. L’état implicite résolu dépend de l'utilisation par votre agent de l'orchestration d'IA classique ou générative. - Orchestration classique : une session est considérée comme Résolution implicite lorsque la rubrique Fin de conversation est déclenchée, et l’utilisateur laisse la session s’expirer sans fournir de confirmation. - Orchestration IA générative : une session est considérée comme Résolution implicite lorsqu’une session se termine et qu’il n’existe aucun plan actif restant. Un plan actif est un plan qui attend l’entrée d’un utilisateur.
Réaffecté(e)		Une session se termine mais est considérée comme Escaladée lorsque la rubrique Escalation est déclenchée ou qu’un nœud Transfert à un agent est exécuté (la session d’analyse en cours se termine, que la conversation soit transférée à un conseiller ou non). Il existe trois types de sessions escaladées : système intentionnel, système non intentionnel, et demandé par l'utilisateur.
	Système prévu	** Une session est automatiquement escaladée à la suite d'une règle métier automatique définie par un créateur. L’escalade est une conséquence attendue de la conversation et ne nécessite pas d’enquête ou de changement. Exemple : un utilisateur souhaite transférer plus de 25 000 $ à un tiers. Ce montant dépasse un seuil dans une règle métier et la session est automatiquement escaladée en conséquence.
	Système non prévu	Une escalade se produit automatiquement en raison d'une session dépassant un ou plusieurs seuils définis par un concepteur. Habituellement, ce résultat indique que l’utilisateur est bloqué dans la conversation et a besoin d’aide. Exemple : Une session est escaladée après trois échecs pour effectuer une tâche particulière.
	Demandé par l’utilisateur	Une session est escaladée parce qu'une demande explicite de l'utilisateur a été faite pendant la conversation. Exemple : un utilisateur entre Transfer me to an agent.
Abandonné		Une session est terminée et est considérée comme Abandonnée lorsqu'une session active atteint son échéance après 30 minutes et n’a pas atteint un état de résolution ou de réaffectation.

Vous pouvez également définir le résultat des outils avec le paramètre conversationOutcome en utilisant l’éditeur de code de l’outil. Par exemple, conversationOutcome: ResolvedConfirmed pour un succès confirmé ou conversationOutcome: ResolvedImplied pour un succès implicite.

Réactions

La section Réactions affiche les commentaires des utilisateurs recueillis à partir de réactions aux réponses de l’agent. Le graphique compte le nombre de fois où les utilisateurs ont sélectionné les boutons pouce vers le haut (positif) ou pouce vers le bas (négatif) disponibles sur chaque réponse qu’ils ont reçue de votre assistant.

Note

• Les agents publiés sur le canal Microsoft Copilot nécessitent le consentement de l’administrateur dans le centre Microsoft 365 admin center pour partager les retours des utilisateurs, y compris les réactions et commentaires. Vous pouvez consulter ces retours sur la page Monitor . Pour en savoir plus, consultez les paramètres de l’agent dans le centre d’administration Microsoft 365 admin center.
• Les réactions du canal Microsoft Copilot ne sont pas agrégées ni comptabilisées dans la colonne Réactions des sections Thèmes et Utilisation des sources de connaissances.
• Pour afficher les commentaires, vous devez disposer du rôle de sécurité Visionneuse de transcription de bot.

La fonction Réactions est activée par défaut sur tous les canaux sauf sur le canal Microsoft Copilot. Vous pouvez désactiver cette fonctionnalité, si vous le souhaitez. Vous pouvez également ajouter ou modifier une clause de non-responsabilité pour les utilisateurs concernant la manière dont leurs commentaires sont utilisés :

1. Ouvre l’agent, va dans Paramètres et trouve la section Commentaires des utilisateurs.

2. Activez oudésactivezles réactions des utilisateurs aux messages de l’agent.

3. Ajoutez ou modifiez une clause de non-responsabilité afin que les utilisateurs sachent comment leurs commentaires sont utilisés. Vous pouvez également fournir des informations et des conseils sur la confidentialité.

Les utilisateurs disposant du privilège Bot Transcript Viewer peuvent explorer les réponses de l’agent pour les réactions individuelles et filtrer par commentaires utilisateur.

Voir les tendances des réactions au fil du temps

Sélectionnez Afficher les détails de la vignette Réactions pour ouvrir le panneau latéral Réactions . Le panneau montre l'évolution des tendances des réactions positives et négatives (de coup de pouce et coup de poing) au fil du temps.

Satisfaction du client

La section Satisfaction des clients affiche des informations sur la satisfaction des utilisateurs en fonction des résultats de l’enquête utilisateur :

• Score de satisfaction : un score sur 5 calculé à partir des scores de satisfaction moyenne des clients (CSAT) pour les sessions dans lesquelles les utilisateurs ont répondu aux demandes de fin de session pour effectuer une enquête.

  Note

  Les scores de 1 et 2 correspondent à Insatisfait, un score de 3 correspond à Neutre, et des scores de 4 et 5 correspondent à Satisfait.

• Satisfaction par session : Un graphique à barres empilées qui visualise la pondération relative pour chacune des catégories de score de l’enquête, soit Dissatisfied, Neutral, et Satisfied. Passez la souris sur chaque segment du graphique pour voir la taille de l’échantillon et la valeur numérique de la pondération de chaque catégorie de score. Pour les utilisateurs disposant du privilège Bot Transcript Viewer, vous pouvez explorer la liste des sessions client filtrées en fonction de la partie du segment de barre sélectionnée.

Sélectionnez Afficher les détails pour afficher la tendance du score de satisfaction sur la période sélectionnée.

Sentiment (aperçu)

[Cette section est une documentation de type avant-projet susceptible d’être modifié.]

L’analyse des sentiments utilise l’IA pour analyser les messages utilisateur d’un échantillon de sessions afin d’évaluer un sentiment d’utilisateur global pour l’agent. La valeur numérique représente le pourcentage de sessions avec un sentiment négatif des utilisateurs.

Important

Cet article contient la documentation en préversion de Microsoft Copilot Studio et est susceptible d'être modifié.

Les fonctionnalités en version préliminaire ne sont pas destinées à une utilisation en production et peuvent être restreintes. Ces fonctionnalités sont disponibles avant une publication officielle afin que vous puissiez y accéder en avant-première et fournir des commentaires.

Si vous créez un assistant prêt pour la production, consultez Vue d’ensemble de Microsoft Copilot Studio.

Sélectionnez Afficher les détails pour afficher les données de sentiment pour la pondération relative de chacune des catégories de sentiments (en cours Positive, Neutralet Negative).

Vous pouvez activer et désactiver l’analyse des sentiments pour votre agent sous Paramètres. Lorsque l’analyse des sentiments est désactivée, les sentiments utilisateur ne sont pas analysés pendant les sessions.

1. Accédez à Paramètres , puis sélectionnez Avancé.

2. Activez ou désactivez Analyse des sentiments.

   

Agents

La liste Assistants affiche des métriques de volume, de performances et d’état de haut niveau pour les assistants connectés et enfants de votre assistant principal. La liste identifie le type de relation que l’assistant répertorié doit à votre assistant principal dans la colonne Type. Si un agent est un agent enfant, son type est Child. Les agents connectés ont un type répertorié qui reflète l’emplacement où ils ont été créés (par exemple, Copilot Studio, Azure AI Foundry). La métrique Appels pour chaque assistant répertorié décrit le volume d’appels de l’assistant principal vers l’assistant connecté ou enfant. Le taux de réussite reflète la proportion d’appels (sous la forme d’un % de tous les appels) qui ont réussi. Le statut indique le statut administratif individuel de chaque assistant connecté et enfant.

Par défaut, la liste des agents affiche les cinq principaux agents connectés et agents enfants de votre agent principal, classés du nombre total de questions le plus élevé au plus faible. S’il y a plus de cinq assistants, sélectionnez Afficher tout pour afficher tous les assistants.

Note

Le bouton Afficher tout est visible uniquement s’il y a plus de cinq assistants connectés ou enfants à votre assistant principal.

Utiliser

La section Use vous aide à comprendre comment les utilisateurs interagissent avec votre agent et où améliorer la fiabilité des réponses. L’utilisation est divisée entre de nombreuses sous-sections :

• Thèmes : Les thèmes vous aident à obtenir des insights d’analyse en clustering des questions utilisateur dans des catégories suggérées par l’IA.
• Taux et qualité des réponses générées : Identifiez lorsque votre agent a du mal à répondre aux questions et comment il utilise les sources de connaissances pour améliorer son taux et sa qualité de réponse.
• Utilisation de l’outil : Apprentissage de la fréquence à laquelle les outils sont utilisés et de la fréquence à laquelle ils réussissent peuvent vous aider à comprendre si ces outils sont utiles et réussis pour les utilisateurs.
• Utilisation des sources de connaissances : Apprentissage de la fréquence à laquelle les sources de connaissances individuelles sont utilisées et la fréquence à laquelle elles retournent des erreurs vous aide à améliorer la qualité et la couverture des réponses de votre agent.

Taux de réponse généré et qualité

Avec les réponses génératives, votre agent peut utiliser l’IA pour générer des réponses aux questions des utilisateurs en utilisant les sources de connaissances et les instructions que vous fournissez. Toutefois, votre agent peut ne pas pouvoir répondre à toutes les requêtes utilisateur. La section Générer le taux de réponses et la qualité effectue le suivi, l’organisation et l’analyse des requêtes et de la qualité des réponses non résolues pour vous donner des conseils pour améliorer les performances de réponse de votre assistant.

Le taux de réponses indique le nombre de réponses et de questions non résolues au cours de la période sélectionnée et le pourcentage change au fil du temps.

La qualité des réponses mesure la qualité des réponses à l’aide de l’IA. Copilot Studio analyse un échantillon de questions répondues pour vérifier leur complétude, leur pertinence et leur ancrage. Si une réponse répond à un standard fixé, Copilot Studio la qualifie de Bonne qualité. Les réponses qui ne répondent pas à cette norme sont qualifiées de mauvaise qualité. Pour les réponses médiocres, Copilot Studio attribue une raison à la note de qualité et affiche le pourcentage de réponses attribuées à chaque catégorie.

Pointez sur n’importe quel segment d’une barre dans le graphique pour voir la pondération relative d’une raison individuelle associée à une étiquette de qualité positive ou négative. L’info-bulle indique également le nombre de réponses échantillonné pour arriver à la valeur de pourcentage calculé.

Dans la légende située sous le graphique, pointez sur l’une des raisons d´étiquette de qualité pour mettre en évidence cette raison dans le graphique.

Sélectionnez un segment du graphique à barres pour ouvrir une page de questions utilisateur filtrée sur cette qualité de réponse. Sélectionnez Voir les questions pour voir une liste non filtrée de toutes les questions dans la période de temps configurée.

Utilisation de l’outil

La section Utilisation des outils montre un graphique et des indicateurs qui suivent la fréquence à laquelle vos outils sont lancés au fil du temps, et la fréquence à laquelle votre agent utilise ces outils avec succès. Elle affiche également des indicateurs de tendance pour la fréquence à laquelle votre assistant utilise chaque outil et le pourcentage d’outils appelés utilisés avec succès.

Le graphique présente les cinq outils les plus utilisés sur la période définie en haut de la page Monitor.

Dans la légende sous le graphique, survolez l’un des outils pour surligner cet outil dans le graphique.

Pour ouvrir un volet latéral contenant la liste de tous les outils utilisés au cours de la période spécifiée, ainsi que les indicateurs de tendance, sélectionnez Afficher les détails sur le graphique. Dans le volet Utilisation des outils, vous pouvez afficher les calculs du pourcentage de questions utilisées pour chaque outil. Si votre assistant a des assistants enfants, vous pouvez choisir d’afficher les calculs pour l’assistant principal et les assistants enfants (Tout), l’Assistant principal uniquement, ou l’Assistant enfant uniquement.

Utilisation des sources de connaissances

La section Utilisation de la source de connaissances fournit des informations sur la façon dont votre agent utilise ses sources de connaissances et la fréquence à laquelle ces sources retournent des erreurs. En savoir plus sur l’utilisation des sources de connaissances.