Analyser les assistants conversationnels

La page Analyse dans Copilot Studio fournit des informations agrégées sur l’efficacité globale de votre assistant dans les sessions d’analyse. La page est divisée en zones principales qui se concentrent sur différents contextes de performances. La page affiche également une zone Vue d’ensemble qui fournit des métriques d’indicateur de performance clés (KPI) de haut niveau pour votre assistant, une zone Économies qui analyse les économies de temps et de coûts attribuables aux outils de votre assistant ou de votre assistant, ainsi qu’une zone Résumé qui fournit des informations d’analyse clés sur les performances de votre assistant.

Il y a quatre sections principales sur lesquelles se concentrer lors de l’examen et de l’amélioration de l’efficacité des assistants conversationnels.

• Les sections Résumé, Aperçu et Économies présentent des analyses clés concernant vos assistants, ainsi que des statistiques sur la facturation et les économies réalisées ; reportez-vous à Résumé, Aperçu et Économies pour en savoir plus sur chaque sous-section.
• La section Métriques personnalisées vous permet de définir des métriques spécifiques à l’entreprise pour les cas d’utilisation de vos assistants.
• La section Efficacité vous aide à évaluer la qualité des expériences utilisateur en montrant où les conversations réussissent, où elles échouent, et comment les utilisateurs ressentent les résultats.
• La section Utilisation vous aide à améliorer la performance opérationnelle en montrant l’efficacité des réponses de votre assistant, la fiabilité du soutien apporté par les outils et sources de connaissances, et les endroits où des mises à jour ciblées peuvent accroître la couverture et la cohérence.

Vous pouvez afficher l’analyse des événements qui se sont produits au cours des 360 derniers jours.

Mesures personnalisées

La section Métriques personnalisées vous permet de définir jusqu’à trois métriques spécifiques à l’entreprise en langage naturel et de suivre la fréquence à laquelle chaque résultat apparaît dans les sessions échantillonnées. Utilisez ces métriques pour compléter vos analyses standard par des indicateurs qui reflètent les objectifs et l’usage professionnel de votre assistant. Pour apprendre à créer, tester et affiner des métriques personnalisées, consultez Analyser votre assistant avec des métriques personnalisées.

Efficacité

La section Efficacité montre les commentaires des utilisateurs recueillis à partir des réactions, des réponses de l’assistant, des résultats d’enquête et du score de sentiment pour une session. L’efficacité est répartie en plusieurs sous-sections :

• Résultats de la conversation : connaître le résultat final d’une conversation vous aide à identifier les points forts de votre assistant et ceux qu’il doit améliorer.
• Réactions : réponses des utilisateurs, y compris les évaluations pouce levé/pouce baissé et les commentaires des utilisateurs pour des réponses spécifiques de l’assistant.
• Satisfaction client : affichage du score de satisfaction client (CSAT).
• Sentiment (version préliminaire) : une analyse des sentiments basée sur l’IA pour toute la session.
• Assistants : consultez les métriques du volume d’appels, les taux de réussite et l’état actuel des assistants enfants et connectés.

Les données de commentaires sont stockées dans la table de transcription de conversation dans Dataverse. Pour obtenir la liste des canaux qui prennent en charge cette fonctionnalité, consultez Détails de la fonctionnalité.

Résultats de la conversation

La section Résultats de la conversation affiche un graphique qui suit le type de résultat de chaque session entre votre assistant et les utilisateurs.

Le graphique, qu’il soit affiché sous forme d’histogramme empilé ou de graphique en aires empilées, visualise les volumes relatifs des résultats, codés par couleur et empilés par type. Chacun des états Résolu, Réaffecté, Abandonné et Sans interaction est représenté par une couleur spécifique pour chaque point de données. L’axe y indique le nombre de sessions.

Pour voir les métriques associées à un résultat individuel spécifique à un point de données (un jour spécifique), pointez sur une zone représentant la couleur d’un résultat d’intérêt (par exemple, le bleu sarcelle pour Abandonné) à la date qui vous intéresse.

Pour télécharger les données de résultat de conversation (données visualisées dans le graphique), sélectionnez l’icône du menu et sélectionnez Télécharger le fichier CSV.

Note

Si vous avez des résultats supprimés du graphique lorsque vous téléchargez, leurs données n’apparaissent pas dans le CSV.

Pour ouvrir un panneau latéral avec des informations détaillées sur les résultats de conversation, sélectionnez Afficher les détails du graphique. Le panneau latéral des résultats de Conversation comprend les éléments suivants :

• Répartition en secteurs des résultats de session , montrant une pondération relative (exprimée sous la forme d’un pourcentage) des résultats résolus, réaffectés et abandonnés .
• Graphique à barres empilées montrant la pondération relative (exprimée sous la forme d’un pourcentage) des raisons de résultats résolus et confirmés et résolus implicites décrivant tous les résultats de session résolus.
• Graphique à barres empilées montrant la pondération relative (exprimée sous la forme d’un pourcentage) du système prévu, du système involontaire et des raisons de résultat demandées par l’utilisateur décrivant tous les résultats de session réaffectés.
• Les principales rubriques qui ont conduit à chaque résultat.

Note

Pour afficher une info-bulle avec des informations de nombre brut, pointez sur l’un des segments de graphique à secteurs ou de graphique à barres empilées.

Une session est définie sur l’un des deux états suivants :

• Non engagé : une session démarre lorsqu’un utilisateur interagit avec votre assistant ou que l’assistant envoie un message proactif à l’utilisateur. La session commence dans un état non engagé .

• Engagé : l’utilisateur interagit activement avec l’assistant. Il existe une différence de comportement en fonction du mode d’orchestration de l’assistant.

  • Orchestration classique : une session devient engagée quand l’une des rubriques suivantes est déclenchée :

    • Rubrique personnalisée déclenchée directement par l’utilisateur
    • Escalader la rubrique
    • Rubrique de base
    • Rubrique Conversational boosting

  • Orchestration de l’IA dégénérative : une session devient engagée lorsqu’un utilisateur déclenche directement un plan et inclut l’un des éléments suivants :

    • Rubrique hors système
    • Escalader la rubrique
    • Rubrique de base
    • Une source de connaissance
    • Un outil

Une session engagée a l’un des résultats suivants :

Catégorie de résultat	Résultat	Description
Résolu		Une session se termine correctement. Il existe deux types de sessions résolues : Résolution confirmée et Résolution implicite.
	Résolu (confirmé)	Une session est considérée comme résolue et confirmée lorsque la rubrique de fin de la conversation est déclenchée et que l’utilisateur confirme que l’interaction a réussi.
	Résolu (implicite)	Une session est considérée comme une résolution implicite lorsque la session est considérée comme terminée sans confirmation de l’utilisateur, mais reste plutôt basée sur la logique de l‘assistant. Le statut Résolution implicite varie selon que votre assistant utilise l’orchestration classique ou IA générative : - Orchestration classique : une session est considérée comme Résolution implicite lorsque la rubrique Fin de conversation est déclenchée, et l’utilisateur laisse la session s’expirer sans fournir de confirmation. - Orchestration IA générative : une session est considérée comme Résolution implicite lorsqu’une session se termine et qu’il n’existe aucun plan actif restant. Un plan actif est un plan qui attend l’entrée d’un utilisateur.
Réaffecté(e)		Une session se termine mais est considérée comme Réaffectée lorsque la rubrique Réaffecter est déclenchée ou qu’un nœud Transfert à l’agent est exécuté (la session d’analyse en cours se termine, que la conversation soit transférée à un conseiller ou non). Il existe trois types de sessions réaffectées : système prévu, système involontaire et utilisateur demandé.
	Système prévu	Une session est automatiquement réaffectée à la suite d’une règle métier automatique définie par un créateur. La réaffectation est un résultat attendu de la conversation et n’a pas besoin d’une investigation ou d’un changement. Exemple : un utilisateur souhaite transférer plus de 25 000 $ à un tiers. Ce montant dépasse un seuil dans une règle métier et la session est automatiquement réaffectée en conséquence.
	Système involontaire	Une réaffectation se produit automatiquement en raison d’une session dépassant un ou plusieurs seuils définis par un créateur. En règle générale, ce résultat indique que l’utilisateur est bloqué dans la conversation et a besoin d’aide. Exemple : une session est réaffectée après trois échecs pour effectuer une tâche particulière.
	Demandé par l’utilisateur	Une session est réaffectée, car une demande d’utilisateur explicite s’est produite pendant la conversation. Exemple : un utilisateur entre Transfer me to an agent.
Abandonnée		Une session se termine et est considérée comme Abandonnée lorsqu’une session engagée expire au bout de 30 minutes et n’a pas atteint un état résolu ou réaffecté.

Vous pouvez également définir le résultat pour les outils avec le paramètre conversationOutcome à l’aide de l’éditeur de code d’outil. Par exemple, conversationOutcome: ResolvedConfirmed pour un succès confirmé ou conversationOutcome: ResolvedImplied pour un succès implicite.

Consultez la documentation de référence sur la mesure de l’engagement pour obtenir des suggestions et des pratiques recommandées sur la façon de mesurer et d’améliorer l’engagement.

Réactions

La section Réactions présente les retours des utilisateurs collectés via leurs réactions aux réponses de l’assistant. Le graphique compte le nombre de fois où les utilisateurs ont sélectionné les boutons pouce vers le haut (positif) ou pouce vers le bas (négatif) disponibles sur chaque réponse qu’ils ont reçue de votre assistant.

Note

• Les assistants publiés sur le canal Microsoft 365 Copilot ne prennent pas en charge les réactions.
• Pour afficher les commentaires, vous devez disposer du rôle de sécurité Visionneuse de transcription de bot.

La fonctionnalité Réactions est activée par défaut. Vous pouvez désactiver cette fonctionnalité, si vous le souhaitez. Vous pouvez également ajouter ou modifier une clause de non-responsabilité pour les utilisateurs concernant la manière dont leurs commentaires sont utilisés :

1. Ouvrez l’assistant, puis accédez à Paramètres et trouvez la section Commentaires des utilisateurs.

2. Définissez Recueillir les réactions des utilisateurs aux messages de l’assistant sur Activé ou Désactivé.

3. Ajoutez ou modifiez une clause de non-responsabilité afin que les utilisateurs sachent comment leurs commentaires sont utilisés. Vous pouvez également fournir des informations et des conseils sur la confidentialité.

Les utilisateurs disposant du privilège Bot Transcript Viewer peuvent explorer au niveau du détail les réponses de l’assistant pour voir les réactions individuelles et filtrer par commentaires utilisateur.

Observez les tendances de réaction au fil du temps

Sélectionnez Voir les détails sur la vignette Réactions pour ouvrir le volet latéral Réactions. Le volet montre l’évolution dans le temps des réactions positives et négatives (issues des Pouces levés et Pouces baissés).

Satisfaction client

La section Satisfaction client affiche les données relatives à la satisfaction des clients, issues des résultats des enquêtes utilisateurs.

• Score de satisfaction : un score sur 5 calculé à partir de la moyenne des scores de satisfaction client (CSAT) pour les sessions où les utilisateurs ont accepté de participer à un sondage en fin de session.

  Note

  Les scores de 1 et 2 correspondent à Insatisfait, un score de 3 correspond à Neutre, et des scores de 4 et 5 correspondent à Satisfait.

• Satisfaction par session : un graphique à barres empilées qui visualise la pondération relative pour chacune des catégories de score de l’enquête, soit Dissatisfied, Neutral et Satisfied. Passez la souris sur chaque segment du graphique pour voir la taille de l’échantillon et la valeur numérique de la pondération de chaque catégorie de score. Pour les utilisateurs disposant du privilège Bot Transcript Viewer, vous pouvez explorer au niveau du détail une liste de sessions de clients filtrées selon le segment de barre sélectionné.

Sélectionnez Afficher les détails pour voir la tendance du score de satisfaction au cours de la période sélectionnée.

Sentiment (version préliminaire)

[Cette section fait partie de la documentation en version préliminaire et peut faire l’objet de modifications.]

L’analyse des sentiments utilise l’IA pour analyser les messages des utilisateurs issus d’un échantillon de sessions afin d’évaluer le sentiment global des utilisateurs envers l’assistant. La valeur numérique représente le pourcentage de sessions dont le sentiment utilisateur est négatif.

Important

Cet article contient la documentation sur Microsoft Copilot Studio en version préliminaire et peut faire l’objet de modifications.

Les fonctionnalités d’évaluation ne sont pas destinées à une utilisation en production et peuvent être restreintes. Ces fonctionnalités sont disponibles avant une publication officielle afin que vous puissiez y accéder en avant-première et fournir des commentaires.

Si vous créez un assistant prêt pour la production, consultez Vue d’ensemble de Microsoft Copilot Studio.

Sélectionnez Voir les détails pour consulter les données de sentiment concernant la pondération relative de chacune des catégories de sentiment (à savoir Positive, Neutral et Negative).

Vous pouvez activer ou désactiver l’analyse de sentiment pour votre assistant dans Paramètres. Lorsque l’analyse des sentiments est désactivée, le sentiment des utilisateurs n’est pas analysé pendant les sessions.

1. Accédez à Paramètres et sélectionnez Avancés.

2. Activez ou désactivez l’analyse des sentiments.

   

Assistants

La liste Assistants affiche des métriques de volume, de performances et d’état de haut niveau pour les assistants connectés et enfants de votre assistant principal. La liste identifie le type de relation que l’assistant répertorié doit à votre assistant principal dans la colonne Type. Si un assistant est un assistant enfant, son type est Child. Les assistants connectés ont un type listé qui reflète l’emplacement où ils ont été créés (par exemple, Copilot Studio, Azure AI Foundry). La métrique Appels pour chaque assistant répertorié décrit le volume d’appels de l’assistant principal vers l’assistant connecté ou enfant. Le taux de réussite reflète la proportion d’appels (sous la forme d’un % de tous les appels) qui ont réussi. Le statut indique le statut administratif individuel de chaque assistant connecté et enfant.

Par défaut, la liste Assistants affiche les cinq principaux assistants connectés et enfants de votre assistant principal, classés du plus haut au plus bas nombre de questions. S’il y a plus de cinq assistants, sélectionnez Afficher tout pour afficher tous les assistants.

Note

Le bouton Afficher tout est visible uniquement s’il y a plus de cinq assistants connectés ou enfants à votre assistant principal.

Utiliser

La section Utilisation vous aide à comprendre comment les utilisateurs interagissent avec votre assistant et où améliorer la fiabilité des réponses. L’utilisation comprend plusieurs sous-sections :

• Thèmes: Les thèmes vous aident à obtenir des informations d’analyse en répartissant les questions utilisateur en catégories suggérées par l’IA.
• Taux de réponses générés et qualité : comprendre quand l’assistant a du mal à répondre aux questions des utilisateurs et comment il utilise les sources de connaissances peut vous aider à trouver des moyens d’améliorer le taux de réponse et la qualité des réponses de votre assistant.
• Utilisation des outils : découvrir à quelle fréquence les outils sont utilisés et à quelle fréquence ils réussissent peut vous aider à comprendre si ces outils sont utiles et efficaces pour les utilisateurs.
• Utilisation des sources de connaissances : analyser la fréquence d’utilisation des sources de connaissances individuelles et leur taux d’erreurs vous aide à améliorer la qualité et la couverture des réponses de votre assistant.

Taux et qualité des réponses générées

Avec des réponses génératives, votre assistant peut utiliser l’IA pour générer des réponses aux requêtes utilisateur à l’aide de sources de connaissances et des instructions que vous fournissez. Toutefois, votre assistant peut ne pas pouvoir répondre à toutes les requêtes utilisateur. La section Générer le taux de réponses et la qualité effectue le suivi, l’organisation et l’analyse des requêtes et de la qualité des réponses non résolues pour vous donner des conseils pour améliorer les performances de réponse de votre assistant.

Le Taux de réponse indique le nombre de réponses et de questions non résolues au cours de la période sélectionnée et le pourcentage change au fil du temps.

La qualité des réponses mesure la qualité des réponses à l’aide de l’IA. Copilot Studio examine un exemple d’ensemble de questions ayant reçu des réponses et analyse différentes qualités, notamment l’exhaustivité, la pertinence et le niveau de base d’une réponse. Si la réponse répond à une norme définie, Copilot Studio étiquette la réponse en tant que de Bonne qualité. Copilot Studio étiquettes les réponses qui ne répondent pas à cette norme comme de mauvaise qualité. Pour les réponses de mauvaise qualité, Copilot Studio attribue une raison pour l’évaluation de la qualité et affiche le pourcentage de réponses affectées à chaque catégorie.

Pointez sur n’importe quel segment d’une barre dans le graphique pour voir la pondération relative d’une raison individuelle associée à une étiquette de qualité positive ou négative. L’info-bulle indique également le nombre de réponses échantillonné pour arriver à la valeur de pourcentage calculé.

Dans la légende située sous le graphique, pointez sur l’une des raisons d’étiquette de qualité pour mettre en évidence cette raison dans le graphique.

Sélectionnez un segment du graphique à barres pour ouvrir une page de questions des utilisateurs filtrées selon la qualité de la réponse. Sélectionnez Voir les questions pour voir une liste non filtrée de toutes les questions pour la période configurée.

Outil utilise

La section Utilisation des outils affiche un graphique et des métriques qui suivent la fréquence de démarrage de vos outils au fil du temps et la fréquence à laquelle votre assistant a utilisé ces outils avec succès. Elle affiche également des indicateurs de tendance pour la fréquence à laquelle votre assistant utilise chaque outil et le pourcentage d’outils appelés utilisés avec succès.

Le graphique affiche les cinq principaux outils utilisés au cours de la période définie en haut de la page Analyse.

Dans la légende située sous le graphique, pointez sur l’un des outils pour mettre en évidence cet outil dans le graphique.

Pour ouvrir un volet latéral contenant la liste de tous les outils utilisés au cours de la période spécifiée, ainsi que les indicateurs de tendance, sélectionnez Afficher les détails sur le graphique. Dans le volet Utilisation des outils, vous pouvez afficher les calculs du pourcentage de questions utilisées pour chaque outil. Si votre assistant a des assistants enfants, vous pouvez choisir d’afficher les calculs pour l’assistant principal et les assistants enfants (Tout), l’Assistant principal uniquement, ou l’Assistant enfant uniquement.

Utilisation des sources de connaissances

La section Utilisation des sources de connaissances donne un aperçu de la manière dont votre assistant utilise ses sources de connaissances et de la fréquence à laquelle ces sources renvoient des erreurs. Pour tous les détails sur les métriques disponibles, le filtrage et les capacités d’exploration au niveau du détail, voir Utilisation des sources de connaissances.