Analyser les questions utilisateur par thème (version préliminaire)

[Cet article fait partie de la documentation en version préliminaire et peut faire l’objet de modifications.]

Les thèmes regroupent les questions d’utilisateurs liées qui déclenchent des réponses génératives. En regroupant les questions similaires, les thèmes vous aident à organiser les informations sur l’intention client, à identifier les sujets fréquents et à cibler les domaines à améliorer. Vous pouvez examiner chaque question au sein d’un thème et suivre la performance pour comprendre les indicateurs de performance associées au thème.

La fonctionnalité Thèmes analyse automatiquement toutes les questions non classifiées ayant déclenché des réponses de l’IA générative au cours de la semaine passée et suggère des thèmes fondés sur cette analyse. Ce processus s’exécute chaque semaine. Entre chaque exécution hebdomadaire de suggestions de thèmes, la fonctionnalité procède à une classification quotidienne de toute nouvelle question qui déclenche des réponses d’IA générative et ajoute ces données aux indicateurs de performance des thèmes. La liste des thèmes suggérés est régulièrement actualisée afin que vos thèmes restent pertinents et reflètent les dernières données utilisateur. Cette actualisation automatique vous fait gagner du temps grâce aux avantages suivants :

• Évaluation en permanence de la pertinence du thème par rapport aux nouvelles données.
• Classification automatique des questions individuelles en thèmes.
• Automatisation de la récupération des données métriques brutes pour chaque thème.
• Calcul des données métriques agrégées pour chaque thème.

Important

Cet article contient la documentation sur Microsoft Copilot Studio en version préliminaire et peut faire l’objet de modifications.

Les fonctionnalités d’évaluation ne sont pas destinées à une utilisation en production et peuvent être restreintes. Ces fonctionnalités sont disponibles avant une publication officielle afin que vous puissiez y accéder en avant-première et fournir des commentaires.

Si vous créez un assistant prêt pour la production, consultez Vue d’ensemble de Microsoft Copilot Studio.

Configuration requise

Pour tirer le meilleur parti de la fonctionnalité Thèmes, y compris la possibilité de consulter les questions et réponses qui composent chaque thème :

• Vous avez besoin du rôle de sécurité Bot Transcript Viewer pour consulter la liste et ses métriques. Seuls les administrateurs peuvent accorder ce rôle en attribuant le rôle de sécurité Visionneuse de transcription du bot lors du partage d’assistant.

• Les paramètres au niveau de l’environnement pour stocker les transcriptions de conversations dans Dataverse sont activés.

Thèmes suggérés et questions catégorisées

Copilot Studio suggère des thèmes en fonction de l’historique des questions posées dans le passé récent. En personnalisant chaque thème suggéré en fonction de la structure de votre organisation et de votre stratégie d’expérience client, vous pouvez avoir une meilleure visibilité grâce à des indicateurs clés de performance (KPI) propres à chaque thème. Ce niveau de détail supérieur facilite l’identification des zones où les assistants sont moins performants.

Les thèmes aident les créateurs à comprendre quelles questions les utilisateurs posent à l’assistant et comment il se comporte. Lors du premier lancement des analyses par thèmes, Copilot Studio examine toutes les questions de la semaine précédente et suggère jusqu’à 10 thèmes qui regroupent les questions des utilisateurs sur la base de leur similarité. Chaque thème inclut des métriques telles que le nombre total de questions, le taux de réponse et la réaction des utilisateurs. La période analytique sélectionnée ajuste les données affichées dans la liste Thèmes.

Après le premier lancement, Copilot Studio classe les nouvelles questions dans les thèmes existants au quotidien et génère chaque semaine une liste actualisée de thèmes suggérés.

Note

• Au moins 50 questions avec des réponses génératives doivent être enregistrées au cours des sept derniers jours avant que Copilot Studio ne génère des thèmes suggérés.
• Une question qui déclenche une réponse de l’IA générative peut être classifiée dans plus d’un thème. Ce scénario pourrait devenir plus courant en mode Orchestration générative, où une réponse de l’assistant peut provenir de plusieurs sources différentes.
• Toutes les questions qui restent non classées sont placées dans un thème Non classifié.
• L’exécution des suggestions hebdomadaires peut prendre quelques minutes. Pendant cette période, la section Thèmes n’est pas disponible.

La liste des thèmes

Par défaut, la liste des thèmes affiche les cinq thèmes ayant le plus grand nombre de questions classées dans chaque thème. Sélectionnez Voir tout pour développer la liste et afficher tous les thèmes.

Grâce aux suggestions de thèmes hebdomadaires automatiques et à la classification quotidienne des questions, la fonctionnalité Thèmes évolue automatiquement et s’adapte aux changements de comportement des utilisateurs.

La liste Thèmes affiche des indicateurs pour chaque thème répertorié.

Column	Description
Nom	Nom du thème.
Nombre total de questions	Nombre total de questions classées dans ce thème pour la période configurée.
Questions traitées	Proportion des questions totales qui ont abouti à une réponse à la question de l’utilisateur.
Qualité de la réponse	Proportion de la somme de toutes les réponses (basée sur un échantillon de questions) qui sont de Good qualité.
Réactions	Nombre brut de réactions positives (pouces vers le haut) et négatives (pouces vers le bas) aux questions classées sous chaque thème.

Passez la souris sur un thème pour voir le bouton Évaluer. En savoir plus sur l’évaluation de l’assistant.

Note

Pourquoi y a-t-il des « questions sans réponse » dans mon thème alors que toutes les questions classifiées déclenchaient des réponses d’IA générative ?

Par définition, seules les questions qui déclenchent une réponse d’IA générative peuvent être classées dans un thème. Mais déclencher un appel à des réponses génératives n’est pas la même chose que d’avoir une réponse à une requête utilisateur.

Par exemple, il est courant qu’il y ait une rubrique d’optimisation conversationnelle connectée à une source de connaissances. Dans ce cas, si une intention n’est pas reconnue, la rubrique peut être déclenchée, ce qui appelle la source de connaissances même s’il n’y a pas de réponse à la question dans cette source de connaissances.

Explorer au niveau du détail d’un thème

Important

Pour accéder à la fonctionnalité explorer au niveau du détail, les deux conditions suivantes doivent être remplies :

• Les paramètres d’environnement suivants sont activés :

  • Autorisez les propriétaires et les éditeurs d’assistant à consulter les transcriptions de session des interactions de conversation dans leurs assistants.
  • Autorisez l’enregistrement des transcriptions de conversation et de leurs métadonnées associées dans Dataverse.

  Pour plus d’informations, consultez Configurer les paramètres de transcription pour un seul environnement.

• Le rôle de sécurité Bot Transcript Viewer est attribué à l’utilisateur. Pour plus d’informations, consultez Ajouter des utilisateurs à un rôle de sécurité.

Pour explorer au niveau du détail les questions regroupées dans un thème, sélectionnez le thème dans la liste des Thèmes. Lorsque vous explorez au niveau du détail un thème, un panneau spécifique au thème sélectionné s’ouvre, affichant des métriques aux niveaux du thème et des questions individuelles.

Note

La liste des thèmes comprend :

• Les 100 questions les plus récentes classées dans chaque thème.
• Les questions des 30 derniers jours, quelle que soit la période configurée. Si la période configurée est entièrement en dehors des 30 derniers jours, Copilot Studio affiche une notification indiquant que la liste n’est pas disponible.

Dans le volet d’exploration de thème, les métriques au niveau du thème sont d’abord affichées.

Métrique au niveau du thème	Description
Nombre total de questions	Nombre total de questions classées dans ce thème qui ont déclenché des réponses de l’IA générative pour la période configurée.
Questions traitées	Proportion des questions totales de ce thème qui ont abouti à une réponse à la question de l’utilisateur.
Questions sans réponse	Proportion des questions totales de ce thème qui n’ont pas donné de réponse à la question de l’utilisateur.
Réactions	Nombre brut de réactions positives (pouces vers le haut) et négatives (pouces vers le bas) issues des questions classées dans ce thème, telles qu’enregistrées par le mécanisme de commentaires.

Pour afficher une ventilation de la qualité des réponses pour un échantillon de questions répondues, ainsi que toutes les sources de connaissances référencées dans ce thème, sélectionnez Voir les détails.

Sur le volet Métriques du thème, pour voir plus d’informations sur la valeur de qualité d’une réponse au niveau du thème, sous Qualité de réponse, survolez un segment de barre individuel. L’info-bulle comprend la valeur de la pondération relative de ce segment et le nombre de questions échantillonnées pour arriver à cette valeur.

Pour afficher plus d’informations au niveau de l’une des sources de connaissances répertoriées dans le thème, sous Utilisation des sources de connaissances, sélectionnez une source de connaissances individuelle. L’info-bulle inclut :

• Nombre total de questions ayant référencé cette source de connaissances ainsi que le nombre de réactions de type Pouce vers le haut et Pouce vers le bas.
• Graphique à barres empilées montrant la répartition de la qualité des pondérations relatives à la réponse pour les questions référençant cette source de connaissances. Pointez sur n’importe quel segment du graphique à barres pour voir la valeur de la pondération relative de ce segment et le nombre de questions échantillonnées pour arriver à cette valeur.

Une liste de questions thématiques reflète toutes les questions qui ont déclenché des réponses d’IA générative et ont été classées dans ce thème, et affiche des métriques par question.

Les métriques au niveau de la question incluent :

Dimension ou métrique au niveau des questions	Description
Question (dimension)	Question ayant déclenché une réponse d’IA générative classée dans ce thème.
Réponse fournie ?	Réponse à la question de savoir si la requête de l’utilisateur a reçu une réponse ou non. Les valeurs possibles sont Answered et Unanswered.
Qualité de la réponse1	Réponse à la question sur la qualité de la réponse à la requête utilisateur. Les valeurs possibles sont Poor et Good.
Réaction	Deux paramètres : une métrique booléenne Pouce levé/Pouce baissé et un paramètre de commentaire textuel Commentaire.
Date	Date à laquelle la question a été posée.
Source de connaissances	Liste séparée par des virgules des sources de connaissances référencées par cette question dans ce thème.

¹ La qualité des réponses n’est pas toujours disponible et n’apparaît que si la question a été échantillonnée pour une analyse de qualité.

Si vous le souhaitez, vous pouvez effectuer les actions suivantes sur la page de la liste de questions thématique :

• Appliquez plus de filtrage pour réduire davantage la liste des questions en utilisant les filtres dimensionnels de la liste.
• Évaluez les questions listées selon les critères que vous définissez dans la méthode de test de l’évaluation.
• Télécharger la liste des questions en tant que fichier .csv.
• Voir les informations détaillées spécifiques à la réponse d’un assistant individuel.

Sélectionnez toute question dans la liste pour afficher plus d’informations sur la question dans un volet Détails de la question. Ce volet inclut :

Paramètre détaillé au niveau de la question	Description
Horodatage	Horodatage du dernier moment où la question a obtenu une réponse.
Requête utilisateur	La question posée.
Response	Le modèle de réponse d’IA générative.
Pouces vers le haut/Pouces vers le bas	Valeur de l’instance la plus récente de cette question pour le paramètre pouce vers le haut/pouce vers le bas.
Comment	Commentaire textuel supplémentaire facultatif, fourni par l’utilisateur, en plus de la réaction Pouce vers le haut/Pouce vers le bas.
Qualité de la réponse1	Réponse à la question sur la qualité de la réponse à la requête utilisateur. Les valeurs possibles sont Poor et Good.
Raison2	Dans le cas où la qualité de réponse est Poor, ce paramètre explique pourquoi.

¹ La qualité des réponses n’est pas toujours disponible et n’apparaît que si la question a été échantillonnée pour une analyse de qualité.

² Si la qualité de réponse est Good ou si la question n’a pas été échantillonnée, le paramètre Raison n’a pas de valeur.

Évaluez les réponses de votre assistant par thème

Note

Lorsque vous sélectionnez Évaluer pour un thème figurant sur la page Thèmes, vous créez un nouvel ensemble de test au niveau du thème. L’ensemble de test inclut toutes les questions assignées à ce thème, jusqu’à 100 questions. Pour appliquer plus de filtrage à la liste des questions, avant de créer un ensemble de tests d’évaluation, explorez d’abord le thème au niveau du détail. Ensuite, appliquez un filtrage à la liste. Après avoir appliqué tous les filtres souhaités, sélectionnez Évaluer sur la page de la liste des questions.

Vous pouvez tester les réponses de votre assistant aux questions relatives à un thème avec l’évaluation de l’assistant (version préliminaire).

Les évaluations thématiques testent des parties spécifiques du champ d’action de votre assistant. Par exemple, si vous avez un assistant du service clientèle, vous pouvez suivre la qualité des réponses pour les questions de facturation et paiement séparément des autres cas d’usage comme la résolution de problèmes.

Découvrez comment créer des ensembles de tests à partir d’un thème.