Analyser l’efficacité des assistants conversationnels

[Cet article fait partie de la documentation en version préliminaire et peut faire l’objet de modifications.]

La page Analyse dans Copilot Studio fournit des informations agrégées sur l’efficacité globale de votre assistant dans les sessions d’analyse.

Il y a quatre domaines principaux sur lesquels se concentrer lors de l’examen et de l’amélioration de l’efficacité des assistants :

• Résultats et engagement : connaître le résultat final d’une conversation vous aide à commencer à identifier les domaines dans lesquels votre assistant est efficace et ceux qui doivent être améliorés.
• Taux de réponses et qualité : Comprendre quand l’agent lutte pour fournir des réponses aux questions utilisateur et comment il utilise des sources de connaissances peut vous aider à trouver des moyens d’améliorer le taux de réponse et la qualité de votre agent.
• Utilisation de l’outil : Apprentissage de la fréquence à laquelle les outils sont utilisés et de la fréquence à laquelle ils réussissent peuvent vous aider à comprendre si ces outils sont utiles et réussis pour les utilisateurs.
• Satisfaction : L’examen des commentaires des utilisateurs vous aide à identifier les nouveaux scénarios et problèmes utilisateur et à apporter des améliorations directement en fonction de ce que vos utilisateurs demandent.

Vous pouvez afficher l’analyse des événements qui se sont produits au cours des 90 derniers jours.

Résultats et engagement

La section Résultats et engagement affiche un graphique qui suit le type de résultat de chaque session entre votre assistant et les utilisateurs.

Pour ouvrir un volet latéral avec une répartition du graphique en secteurs des résultats de la session, ainsi que les principales rubriques ayant abouti à chaque résultat, sélectionnez Voir les détails sur le graphique.

Une session est définie sur l’un des deux états suivants :

• Non engagé : une session démarre lorsqu’un utilisateur interagit avec votre assistant ou que l’assistant envoie un message proactif à l’utilisateur. La session commence dans un état non engagé .
• Engagé : une session est engagée lorsque l’un des événements suivants se produit :
  • une rubrique hors-système est déclenchée
  • la session est escaladée
  • la rubrique de base est déclenchée
  • la rubrique d’optimisation conversationnelle est déclenchée

Une fois que la session est engagée, elle reste engagée. Une session engagée a l’un des résultats suivants :

• Escaladé : une session se termine et est considérée comme escaladée lorsque la rubrique Escalader est déclenchée ou qu’un nœud Transfert vers l’assistant est exécuté (la session d’analyse en cours se termine, que la conversation soit transférée à un conseiller ou non).
• Résolu : une session se termine et est considérée comme résolue lorsque la rubrique Fin de la conversation est déclenchée et que l’utilisateur confirme que l’interaction a réussi ou laisse la session expirer.
• Abandonné : une session se termine et est considérée comme abandonnée lorsqu’une session engagée expire au bout de 36 minutes et n’a pas atteint un état résolu ou escaladé.

Vous pouvez également définir le résultat des outils avec le paramètre conversationOutcome en utilisant l’éditeur de code de l’outil. Par exemple, conversationOutcome: ResolvedConfirmed pour un succès confirmé ou conversationOutcome: ResolvedImplied pour un succès implicite.

Consultez la documentation de référence Mesure de l’engagement du copilote pour obtenir des suggestions et des pratiques recommandées sur la façon de mesurer et d’améliorer l’engagement.

Taux de réponses et qualité (aperçu)

Important

Cet article contient la documentation sur Microsoft Copilot Studio en version préliminaire et peut faire l’objet de modifications.

Les fonctionnalités en préversion ne sont pas destinées à une utilisation en production et peuvent avoir des fonctionnalités restreintes. Ces fonctionnalités sont disponibles avant une publication officielle afin que vous puissiez y accéder en avant-première et fournir des commentaires.

Si vous créez un assistant prêt pour la production, consultez Vue d’ensemble de Microsoft Copilot Studio.

Avec des réponses génératives, votre agent peut utiliser l’IA pour générer des réponses aux requêtes utilisateur à l’aide de sources de connaissances et des instructions que vous fournissez. Toutefois, votre agent peut ne pas pouvoir répondre à toutes les requêtes utilisateur. La section Taux de réponses et qualité effectue le suivi, l’organisation et l’analyse des requêtes sans réponse et de la qualité des réponses pour vous donner des conseils pour améliorer les performances de réponse de votre agent.

Le taux de réponses indique le nombre de réponses et de questions non résolues au cours de la période sélectionnée, ainsi que le pourcentage de modification au fil du temps.

La qualité des réponses mesure la qualité des réponses à l’aide de l’IA. Copilot Studio examine un exemple d’ensemble de questions répondues et analyse différentes qualités, notamment l’exhaustivité, la pertinence et le niveau de base d’une réponse. Si la réponse répond à une norme définie, Copilot Studio étiquette la réponse en tant que bonne qualité. Copilot Studio étiquettes réponses qui ne répondent pas à cette norme comme qualité médiocre . Pour les réponses médiocres , Copilot Studio attribue une raison pour l’évaluation de la qualité et affiche le pourcentage de réponses affectées à chaque catégorie.

Sélectionnez Afficher les détails pour ouvrir un panneau latéral avec les taux de réponses aux questions, l’utilisation de la source de connaissances et les taux d’erreur sur votre période sélectionnée. Vous pouvez utiliser ces graphiques pour identifier les sources de connaissances qui fonctionnent bien pour aider les utilisateurs et celles qui doivent être améliorées.

• Les questions sans réponse montrent les raisons pour lesquelles l’agent n’a pas répondu à une requête utilisateur.
• Utilisation des sources de connaissances indique le pourcentage de sessions qui ont utilisé chaque source de connaissances à laquelle l’assistant a accès.
• Toutes les sources affichent le pourcentage de questions qui ont utilisé chaque source de connaissances.
• Les erreurs indiquent le pourcentage de requêtes qui ont entraîné une erreur liée aux connaissances pour chaque type de source de connaissances (par exemple, SharePoint).

Insights (préversion)

Analytics utilise l’IA pour fournir des insights personnalisés sur la façon dont votre agent répond correctement aux requêtes utilisateur. Copilot Studio analyse les requêtes sans réponse, les regroupe en groupes par thème, puis génère des insights contextuels basés sur des actions qui peuvent améliorer les performances de chaque groupe. Copilot Studio génère des clusters pour ce type d’insight tous les jours, en utilisant toutes les requêtes utilisateur sans réponse des sept derniers jours. Vous pouvez afficher les cinq premiers aperçus.

1. Sélectionnez Insights dans la section Taux de réponses et qualité .

2. Utilisez les flèches < et > pour basculer entre les aperçus.

3. Sélectionnez des citations pour afficher plus de détails sur l’insight.

Vous pouvez également sélectionner Obtenir des informations sur les conversations pour télécharger une liste CSV d’ID de conversation où ces requêtes utilisateur sans réponse s’affichent.

Utilisation de l’outil

La section Utilisation de l’outil affiche un graphique et des métriques qui suivent la fréquence à laquelle vos outils sont démarrés au fil du temps et la fréquence à laquelle votre agent a utilisé ces outils avec succès. Il montre également les indicateurs de tendance pour la fréquence à laquelle votre agent utilise chaque outil et le pourcentage d’outils appelés utilisés avec succès.

Le graphique affiche les cinq principaux outils utilisés sur la période de date définie en haut de la page Analytics .

Pour ouvrir un panneau latéral avec une liste de tous les outils utilisés dans la période spécifiée, ainsi que les indicateurs de tendance, sélectionnez Afficher les détails du graphique.

Satisfaction

La section Satisfaction affiche les commentaires des utilisateurs recueillis à partir de réactions aux réponses de l’agent et des résultats d’une enquête pour une session. Les métriques de satisfaction sont disponibles pour :

• Tester le chat
• Site web de démonstration
• Teams et Microsoft 365 Copilot
• Site web personnalisé
• Kit de développement logiciel (SDK) Webchat et test de conversation

Les commentaires des utilisateurs sont activés par défaut. Vous pouvez désactiver cette fonctionnalité, si vous le souhaitez. Vous pouvez également ajouter ou modifier une clause de non-responsabilité pour les utilisateurs concernant la manière dont leurs commentaires sont utilisés :

1. Ouvrez l’assistant, puis accédez à Paramètres et trouvez la section Commentaires des utilisateurs.

2. Activez ou Désactivez l’option Laisser les utilisateurs faire part de leurs commentaires lorsqu’ils utilisent cet assistant.

3. Ajoutez ou modifiez une clause de non-responsabilité afin que les utilisateurs sachent comment leurs commentaires sont utilisés. Vous pouvez également fournir des informations et des conseils sur la confidentialité.

Réactions

Le graphique Réactions compte le nombre de fois où les utilisateurs ont sélectionné les boutons pouce vers le haut (positif) ou bas (négatif) disponibles sur chaque réponse reçue de votre agent.

Résultats de l’enquête

La section Résultats de l’enquête affiche un graphique et des mesures qui suivent les scores moyens de satisfaction du client (CSAT) pour les sessions au cours desquelles les clients répondent à une demande de fin de session pour répondre à l’enquête.