Remarque
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de vous connecter ou de modifier des répertoires.
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de modifier des répertoires.
Cette foire aux questions (FAQ) décrit l’effet de l’IA des fonctionnalités d’assistance à l’analyse dans Copilot Studio.
Comment l’IA générative est-elle utilisée pour l’analyse ?
Copilot Studio utilise l’IA pour mesurer la qualité des réponses à la génération et créer des clusters, qui sont utilisés pour fournir des informations sur les performances de l’assistant.
Les réponses génératives utilisent des sources de connaissances de votre choix pour générer une réponse. La fonctionnalité collecte également tous les commentaires que vous fournissez. L’analyse utilise de grands modèles de langage (LLMs) pour classifier les messages de conversation entre les utilisateurs et les assistants en niveaux indiquant la qualité des réponses génératives. Copilot Studio compile ces indicateurs pour fournir aux créateurs un résumé de la performance globale d’un agent.
Le clustering utilise des machines virtuelles LLM pour trier les messages des utilisateurs en groupes en fonction des sujets partagés et fournir à chaque groupe un nom descriptif. Copilot Studio utilise les noms de ces clusters pour fournir différents types d’insights que vous pouvez utiliser pour améliorer votre assistant.
Qualité des réponses pour les réponses génératives
Quelle est la qualité de l’utilisation prévue des réponses ?
Les fabricants utilisent la qualité de l’analyse des réponses pour découvrir des informations sur l’utilisation et les performances de l’assistant, puis créent des actions pour améliorer l’assistant. Actuellement, l’analytique permet de comprendre si la qualité des réponses génératives d’un agent répond aux attentes du créateur.
En plus de la qualité globale, l’analyse de la qualité de la réponse identifie les domaines où un agent performe mal ou ne remplit pas les objectifs visés par le créateur. Les créateurs peuvent définir les domaines où les réponses génératives fonctionnent mal et prendre des mesures pour améliorer leur qualité.
En outre, lors de l’identification de performances médiocres, il existe des meilleures pratiques qui peuvent aider à améliorer la qualité. Par exemple, après avoir identifié des sources de connaissances avec des performances médiocres, un créateur peut modifier la source de connaissances ou fractionner la source de connaissances en plusieurs sources plus ciblées pour améliorer la qualité.
Quelles données sont utilisées pour créer des analyses pour la qualité de la réponse ?
La qualité de l’analyse des réponses est calculée à l’aide d’un exemple de réponses génératives. Elle nécessite la requête de l’utilisateur, la réponse de l’assistant et les sources de connaissances pertinentes que le modèle générateur utilise pour la réponse générative.
La qualité de l’analyse des réponses utilise ces informations pour évaluer si la qualité de réponse générative est bonne, et si ce n’est pas le cas, pourquoi la qualité est médiocre. Par exemple, la qualité de la réponse peut identifier les réponses incomplètes, non pertinentes ou non entièrement ancrées.
Quelles sont les limitations de la qualité de l’analyse des réponses et comment les utilisateurs peuvent-ils réduire l’impact des limitations ?
La qualité de l’analyse des réponses n’est pas calculée à l’aide de toutes les réponses génératives. Au lieu de cela, l’analyse mesure un exemple de sessions d’agent utilisateur. Les assistants inférieurs à un nombre minimal de réponses génératives réussies ne peuvent pas recevoir une qualité de résumé d’analyse des réponses.
Dans certains cas, l’analyse n’évalue pas précisément une réponse individuelle. Au niveau agrégé, il doit être précis pour la plupart des cas.
L’analyse de la qualité des réponses ne fournit pas de ventilation des requêtes spécifiques ayant conduit à une performance de faible qualité. Ils ne fournissent pas non plus de répartition des sources de connaissances courantes ou des rubriques utilisées lorsque des réponses de faible qualité se produisent.
Les analyses ne sont pas calculées pour les réponses qui utilisent des connaissances génératives.
La complétude des réponses est l’un des indicateurs utilisés pour évaluer la qualité des réponses. Cette mesure mesure à quel point la réponse traite pleinement le contenu du document récupéré.
Si le système ne récupère pas un document pertinent contenant des informations supplémentaires pour la question, il n’évalue pas la métrique de complétude de ce document.
Quelles protections sont en place pour l’analyse de la qualité de la réponse dans Copilot Studio pour une IA responsable ?
Les utilisateurs des assistants ne voient pas les résultats d’analyse ; ils sont disponibles uniquement pour les créateurs d’assistants et les administrateurs.
Les décideurs et les administrateurs peuvent uniquement utiliser la qualité de l’analyse des réponses pour voir le pourcentage de réponses de bonne qualité et toutes les raisons prédéfinies de performances médiocres. Les fabricants ne peuvent voir que le pourcentage de réponses de bonne qualité et des raisons prédéfinies.
Nous avons testé l’analyse pour la qualité des réponses minutieusement pendant le développement afin de garantir de bonnes performances. Cependant, dans de rares cas, la qualité des évaluations de la réponse peut être inexacte.
Analyse du sentiment pour les sessions de conversation
Quel est l’usage prévu de l’analyse de sentiment ?
Les créateurs utilisent l’analyse du sentiment pour comprendre le niveau de satisfaction des utilisateurs lors des sessions de conversation, à partir d’une analyse IA des messages des utilisateurs à l’agent. Les créateurs peuvent comprendre le sentiment général de la session (positif, négatif ou neutre), enquêter sur les raisons et prendre des mesures pour y remédier.
Quelles données sont utilisées pour définir le sentiment lors d’une séance de conversation ?
Copilot Studio calcule l’analyse de sentiment à partir des messages utilisateur adressés à l’agent pour un ensemble d’exemples de sessions conversationnelles.
L’analyse du sentiment utilise ces informations pour évaluer si la satisfaction de l’utilisateur pendant la session est positive, négative ou neutre. Par exemple, un utilisateur peut utiliser des mots et un ton de voix indiquant une frustration ou un insatisfaction en fonction de l’interaction avec l’agent. Dans ce cas, la session est classée comme un sentiment négatif.
Quelles sont les limites de l’analyse de sentiment, et comment les utilisateurs peuvent-ils compenser ces limitations ?
Les analyses de sentiment ne sont pas calculées en utilisant toutes les séances de conversation. Au lieu de cela, l’analyse mesure un exemple de sessions d’agent utilisateur. Les agents en dessous d’un nombre minimum de réponses génératives réussies quotidiennes ne peuvent pas recevoir de score de sentiment.
L’analyse de sentiment dépend actuellement des réponses génératives et nécessite un nombre minimum de réponses réussies quotidiennement pour calculer le score de sentiment de l’agent.
Pour calculer le sentiment d’une session, il doit y avoir au moins deux messages utilisateurs. De plus, en raison des contraintes techniques actuelles, l’analyse de sentiment n’est pas réalisée sur des sessions dépassant un total de 26 messages (y compris les messages utilisateurs et agents)
L’analyse du sentiment ne fournit pas de détail des messages spécifiques des utilisateurs ayant conduit au score de sentiment.
Quelles protections sont mises en place pour l’analyse de sentiment dans Copilot Studio pour une IA responsable ?
Les utilisateurs des assistants ne voient pas les résultats d’analyse ; ils sont disponibles uniquement pour les créateurs d’assistants et les administrateurs.
Les créateurs et administrateurs ne peuvent utiliser que l’analyse de sentiment pour voir la répartition du sentiment sur toutes les sessions.
Nous avons testé l’analyse de sentiment de manière approfondie pendant le développement pour garantir de bonnes performances. Cependant, dans de rares cas, les évaluations de sentiment peuvent être inexactes.
Thèmes des questions des utilisateurs
Quelle est l’utilisation prévue des thèmes ?
Cette fonctionnalité analyse automatiquement de grands ensembles de requêtes utilisateur et les regroupe dans des rubriques générales appelées thèmes. Chaque thème représente un sujet général unique abordé par les utilisateurs. Les thèmes fournissent une vue non supervisée et pilotée par les données du contenu utilisateur. Cette vue aide les équipes à comprendre ce qui importe le plus aux utilisateurs, sans avoir à examiner manuellement des milliers de requêtes.
Quelles données sont utilisées pour créer des clusters ?
La fonctionnalité Thèmes utilise des requêtes utilisateur qui déclenchent des réponses dégénératives. Les thèmes analysent toutes les requêtes des sept derniers jours pour générer de nouveaux thèmes suggérés.
Les thèmes utilisent la similarité sémantique pour les requêtes de groupe. Un modèle de langage est ensuite utilisé pour générer le titre et la description de chaque cluster. Les commentaires des créateurs (tels que les pouces levés ou baissés) sont également collectés afin d´améliorer la qualité du regroupement (clustering).
Quelles sont les limitations du clustering pour les thèmes et comment les utilisateurs peuvent-ils atténuer ces limitations ?
Le clustering réussi en thèmes dépend du volume de requêtes. S’il n’y a pas suffisamment de requêtes ou si les requêtes ne sont pas liées les unes aux autres, Copilot Studio peut regrouper des requêtes dans des thèmes trop larges ou trop étroits.
Les thèmes peuvent parfois fractionner des rubriques similaires ou fusionner des rubriques non liées.
L’évolution du langage dans les requêtes peut affecter la cohérence des regroupements (clusters) au fil du temps.
Les créateurs peuvent examiner régulièrement des thèmes et fournir des commentaires pour améliorer la qualité du nommage.
Quelles protections pour les thèmes sont mises en place dans Copilot Studio pour une IA responsable ?
Les thèmes ne sont visibles que par les créateurs et les administrateurs. La modération de contenu est appliquée lors de la génération des noms et des descriptions afin de réduire le risque de sorties nuisibles ou inappropriées.