Analyser les questions utilisateur par thème (aperçu)

[Cet article fait partie de la documentation en version préliminaire et peut faire l’objet de modifications.]

Les thèmes regroupent les questions d'utilisateur reliées qui déclenchent des réponses génératives. En regroupant des questions similaires, les thèmes vous aident à organiser les analyses des intentions des clients, à identifier les sujets fréquents et à vous concentrer sur les domaines nécessitant une amélioration. Vous pouvez explorer des questions individuelles dans un thème et surveiller les performances pour comprendre les métriques au niveau du thème.

Important

Cet article contient la documentation de Microsoft Copilot Studio en préversion et peut être modifié.

Les fonctionnalités en préversion ne sont pas destinées à une utilisation en production et peuvent avoir des fonctionnalités restreintes. Ces fonctionnalités sont disponibles avant une publication officielle afin que vous puissiez y accéder en avant-première et fournir des commentaires.

Si vous créez un agent prêt pour la production, consultez Microsoft Copilot Studio Vue d'ensemble.

Proposition de valeur clé

La fonctionnalité Thèmes analyse automatiquement toutes les questions non classifiées qui ont déclenché des réponses d’IA générative au cours de la semaine dernière et suggère des thèmes basés sur cette analyse. Ce processus s’exécute chaque semaine. Entre les exécutions hebdomadaires de suggestion de thème, la fonctionnalité effectue une classification quotidienne de toutes les nouvelles questions qui déclenchent des réponses d’IA génératives et ajoute ces données aux métriques de thème. La liste thèmes suggérées est actualisée régulièrement afin que vos thèmes restent pertinents et reflètent les données utilisateur les plus récentes. Cette actualisation automatique vous permet de gagner du temps en procédant comme suit :

• Évaluation continue de la pertinence du thème par rapport aux nouvelles données.
• Classifie automatiquement les questions individuelles en thèmes.
• Automatisation de la récupération des données métriques brutes pour chaque thème.
• Calcul des données de métrique agrégées pour chaque thème.

Prerequisites

Pour obtenir la plus grande valeur de la fonctionnalité Thèmes, notamment la possibilité d’afficher les questions et réponses des composants de chaque thème :

• Vous avez besoin du rôle de sécurité Bot Transcript Viewer pour afficher la liste et ses métriques. Seuls les administrateurs peuvent accorder ce rôle en affectant le rôle de sécurité bot Transcript Viewer pendant le partage de l’agent.

• Les paramètres au niveau de l’environnement pour le stockage des transcriptions de conversation dans Dataverse sont activés.

Thèmes suggérés et questions classifiées

Copilot Studio suggère des thèmes basés sur des enregistrements de questions posées dans le passé récent. En personnalisant chaque thème suggéré en fonction de la structure de votre organisation et de la stratégie d’expérience client, vous pouvez obtenir un meilleur aperçu par le biais d’indicateurs de performance clés spécifiques au thème (KPI). Cette granularité plus approfondie facilite la localisation des agents qui sous-performent.

Les thèmes aident les créateurs à comprendre quelles questions les utilisateurs posent à l’agent et comment l’agent s’exécute. Sur l’exécution initiale de l’analytique basée sur thème, Copilot Studio examine toutes les questions de la semaine dernière et suggère jusqu’à 10 thèmes qui regroupent les questions des utilisateurs en fonction des similitudes entre les autres. Chaque thème inclut des métriques telles que le nombre total de questions, le taux de réponses et la réaction de l’utilisateur. La période d’analyse sélectionnée ajuste les données affichées dans la liste Thèmes .

Après l’exécution initiale, Copilot Studio classifie les nouvelles questions sur les thèmes existants sur une base continue, quotidienne et génère une nouvelle liste de thèmes suggérés chaque semaine.

Note

• Au moins 50 questions avec des réponses génératives doivent être consignées au cours des sept derniers jours avant que Copilot Studio génère des thèmes suggérés.
• Une question qui déclenche une réponse d’IA générative peut être classifiée en plusieurs thèmes. Ce scénario peut devenir plus courant en mode d’orchestration générative , où la réponse d’un agent peut provenir de plusieurs sources différentes.
• Toutes les questions qui restent non classifiées sont placées dans un thème non classé .
• L’exécution des suggestions hebdomadaires peut prendre quelques minutes. Pendant ce temps, la section Thèmes n’est pas disponible pour une utilisation.

Liste thèmes

Par défaut, la liste thèmes affiche les cinq principaux thèmes, classés par nombre total de questions classées pour chaque thème. Sélectionnez Afficher tout pour développer la liste et afficher tous les thèmes.

Avec les exécutions hebdomadaires automatiques de suggestions de thème et la classification quotidienne des questions, la fonctionnalité Thèmes évolue automatiquement et s’adapte aux changements de comportement de l’utilisateur.

La liste Thèmes affiche les statistiques de chaque thème répertorié.

Colonne	Descriptif
Nom	Nom du thème.
Total des questions	Nombre total de questions classées dans ce thème pour la période configurée.
Réponses aux questions	Proportion des questions totales qui entraînent une réponse à la question de l’utilisateur.
Qualité de la réponse	Proportion de la somme de toutes les réponses (basée sur un échantillon de questions) ayant une Good réponse de qualité.
Réactions	Nombre brut de réactions positives (pouces vers le haut) et négatives (pouces vers le bas) aux questions classées sous chaque thème.

Passez la souris sur un thème pour voir le bouton Évaluer . En savoir plus sur l’évaluation.

Note

Pourquoi y a-t-il des « questions sans réponse » dans mon thème lorsque toutes les questions classifiées déclenchent des réponses d’IA génératives ?

Par définition, seules les questions qui déclenchent une réponse IA générative peuvent être classées dans un thème. Mais déclencher un appel aux réponses génératives n’est pas identique à avoir une réponse à une requête utilisateur.

Par exemple, il est courant qu’il y ait une rubrique d’amélioration conversationnelle connectée à une source de connaissances. Dans ce cas, si une intention n’est pas reconnue, la rubrique peut être déclenchée, ce qui appelle la source de connaissances, même s’il n’y a pas de réponse à la question dans cette source de connaissances.

Approfondir un thème

Important

Pour accéder aux fonctionnalités d’exploration, les deux éléments suivants doivent être vrais :

• Les paramètres d’environnement suivants sont activés :

  • Autorisez les propriétaires et les éditeurs d’assistant à consulter les transcriptions de session des interactions de conversation dans leurs assistants.
  • Autoriser les transcriptions de conversation et leurs métadonnées associées à être enregistrées dans Dataverse.

  Pour plus d’informations, consultez Configurer les paramètres de transcription pour un seul environnement.

• Le rôle de sécurité Bot Transcript Viewer est attribué à l’utilisateur. Pour plus d’informations, consultez Ajouter des utilisateurs à un rôle de sécurité.

Pour explorer les questions regroupées dans un thème, sélectionnez le thème dans la liste Thèmes . Lorsque vous approfondissez l'analyse, un panneau spécifique au thème sélectionné s’ouvre, affichant des métriques aux niveaux tant du thème que des questions individuelles.

Note

La liste des thèmes comprend :

• Les 100 questions les plus récentes classées dans chaque thème.
• Questions des 30 derniers jours, quelle que soit la période configurée. Si la période configurée est entièrement en dehors des 30 derniers jours, Copilot Studio affiche une notification indiquant que la liste n’est pas disponible.

Dans le volet d’exploration d’un thème, les métriques au niveau du thème sont affichées en premier.

Métrique au niveau du thème	Descriptif
Total des questions	Nombre total de questions classées dans ce thème qui a déclenché des réponses d’IA génératives pour la période configurée.
Réponses aux questions	Proportion des questions totales de ce thème qui ont entraîné une réponse à la question de l’utilisateur.
Questions sans réponse	Proportion des questions totales de ce thème qui n’ont pas entraîné de réponse à la question de l’utilisateur.
Réactions	Nombre brut de réactions positives (pouces haut) et négatives (pouces vers le bas) des questions classifiées à ce thème, tel qu'enregistré dans le mécanisme Learn Feedback.

Pour afficher une répartition de la qualité de la réponse pour un échantillonnage de questions répondues et toutes les sources de connaissances référencées dans ce thème, sélectionnez Afficher les détails.

Dans le panneau Métriques de thème , pour afficher plus d’informations sur une valeur de qualité de réponse au niveau du thème, sous Qualité de la réponse, passez la souris sur un segment de barre individuel. L’info-bulle inclut la valeur de la pondération relative de ce segment et le nombre de questions échantillonné pour arriver à cette valeur.

Pour voir plus d’informations au niveau de l’une des sources de connaissances listées dans le thème, sous Utilisation de sources de connaissances, sélectionnez une source de connaissance individuelle. L’info-bulle inclut :

• Nombre total de questions ayant référencé cette source de connaissances ainsi que le nombre de réactions de type Pouce vers le haut et Pouce vers le bas.
• Graphique à barres empilées montrant la répartition de la qualité des pondérations relatives à la réponse pour les questions référençant cette source de connaissances. Pointez sur n’importe quel segment du graphique à barres pour voir la valeur de la pondération relative de ce segment et le nombre de questions échantillonnées pour arriver à cette valeur.

Une liste de questions basée sur un thème reflète toutes les questions qui ont déclenché des réponses d’IA générative et ont été classées dans ce thème, et affiche les métriques par question .

Les métriques au niveau des questions sont les suivantes :

Dimension ou métrique au niveau des questions	Descriptif
Question (dimension)	Question qui a déclenché une réponse d’IA générative classifiée à ce thème.
Répondu?	Réponse à la question de savoir si la requête de l’utilisateur a été répondue ou non. Les valeurs possibles sont Answered et Unanswered.
Qualité de réponse1	Réponse à la question de la qualité de la réponse à la requête utilisateur. Les valeurs possibles sont Poor et Good.
Réaction	Deux paramètres, étant la métrique Pouces haut/Pouces bas booléen et un paramètre de commentaire textuel.
Date	Date à laquelle la question a été posée.
Source de connaissances	Liste des sources de connaissances, séparées par des virgules, référencées par cette question dans ce thème.

¹ La qualité de la réponse n’est pas toujours disponible et s’affiche uniquement si la question a été échantillonnée dans le cadre d'une analyse de qualité.

Si vous le souhaitez, vous pouvez effectuer les actions suivantes sur la page de liste des questions spécifiques au thème :

• Appliquez davantage de filtrage pour affiner davantage la liste des questions à l’aide des filtres dimensionnels de la liste.
• Évaluez les questions répertoriées en fonction des critères que vous définissez dans la méthode de test de l’évaluation.
• Téléchargez les questions répertoriées sous la forme d’un fichier .csv.

Sélectionnez une question dans la liste pour afficher plus d’informations sur la question dans un panneau de détails de question . Ce panneau comprend les éléments suivants :

Paramètre détaillé au niveau de la question	Descriptif
Horodatage	Horodatage du dernier moment où la question a obtenu une réponse.
Requête de l’utilisateur	La question posée.
Réponse	Réponse de l’IA générative.
Pouces vers le haut/Pouces vers le bas	Valeur de l’instance la plus récente de cette question pour le paramètre Pouce levé / Pouce baissé.
Commentaire	Commentaire textuel supplémentaire facultatif, fourni par l’utilisateur, en plus de la réaction Pouce vers le haut / Pouce vers le bas .
Qualité de réponse1	Réponse à la question de la qualité de la réponse à la requête utilisateur. Les valeurs possibles sont Poor et Good.
Raison2	Dans le cas où la qualité de la réponse est Poor, ce paramètre explique pourquoi.

¹ La qualité de la réponse n’est pas toujours disponible et s’affiche uniquement si la question a été échantillonnée dans le cadre d'une analyse de qualité.

² Si la qualité réponse est Good ou si la question n’a pas été échantillonné, le paramètre Reason n’a pas de valeur.

Évaluez les réponses de votre agent selon le thème

Note

Lorsque vous sélectionnez Évaluer pour un thème répertorié dans la page Thèmes , vous créez un jeu de test au niveau du thème. Le jeu de tests comprend toutes les questions classées sur ce thème, jusqu’à 100 questions. Pour appliquer davantage de filtrage sur la liste des questions, avant de créer un jeu de tests d’évaluation, commencez par explorer le thème. Ensuite, appliquez le filtrage à la liste. Après avoir appliqué tout le filtrage souhaité, sélectionnez Évaluer dans la page de liste des questions.

Vous pouvez tester les réponses de votre agent aux questions relatives à un thème par l’évaluation de l’agent (aperçu).

Les évaluations thématiques testent des parties spécifiques du champ d’action de votre agent. Par exemple, si vous avez un agent du service client, vous pouvez suivre la qualité des réponses pour les questions de facturation et de paiement séparément des autres cas d’usage comme le dépannage.

Découvrez comment créer des ensembles de tests à partir d’un thème.