Note
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de vous connecter ou de changer d’annuaire.
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de changer d’annuaire.
Cette foire aux questions (FAQ) décrit l’effet de l’IA des fonctionnalités d’assistance à l’analyse dans Copilot Studio.
Comment l’IA générative est-elle utilisée pour l’analyse ?
Copilot Studio utilise l’IA pour mesurer la qualité des réponses à la génération et créer des clusters, qui sont utilisés pour fournir des informations sur les performances de l’assistant.
Les réponses génératives utilisent des sources de connaissances de votre choix pour générer une réponse. La fonctionnalité collecte également tous les commentaires que vous fournissez. L’analyse utilise de grands modèles de langage (LLMs) pour classifier les messages de conversation entre les utilisateurs et les assistants en niveaux indiquant la qualité des réponses génératives. Copilot Studio compile ces indicateurs pour donner aux créateurs un résumé des performances globales d’un assistant.
Le clustering utilise des machines virtuelles LLM pour trier les messages des utilisateurs en groupes en fonction des sujets partagés et fournir à chaque groupe un nom descriptif. Copilot Studio utilise les noms de ces clusters pour fournir différents types d’insights que vous pouvez utiliser pour améliorer votre assistant.
Qualité des réponses pour les réponses génératives
Quelle est la qualité de l’utilisation prévue des réponses ?
Les fabricants utilisent la qualité de l’analyse des réponses pour découvrir des informations sur l’utilisation et les performances de l’assistant, puis créent des actions pour améliorer l’assistant. Actuellement, l’analyse peut être utilisée pour comprendre si la qualité des réponses génératives d’un assistant répond aux attentes du créateur.
En plus de la qualité globale, la qualité de l’analyse des réponses identifie les zones où un assistant s’exécute mal ou ne parvient pas à atteindre les objectifs prévus du créateur. En fonction de cela, le créateur peut définir des zones où les réponses génératives fonctionnent mal et prennent des mesures pour améliorer leur qualité.
En outre, lors de l’identification de performances médiocres, il existe des meilleures pratiques qui peuvent aider à améliorer la qualité. Par exemple, après avoir identifié des sources de connaissances avec des performances médiocres, un créateur peut modifier la source de connaissances ou fractionner la source de connaissances en plusieurs sources plus ciblées pour améliorer la qualité.
Quelles données sont utilisées pour créer des analyses pour la qualité de la réponse ?
La qualité de l’analyse des réponses est calculée à l’aide d’un exemple de réponses génératives. Elle nécessite la requête de l’utilisateur, la réponse de l’assistant et les sources de connaissances pertinentes que le modèle générateur utilise pour la réponse générative.
La qualité de l’analyse des réponses utilise ces informations pour évaluer si la qualité de réponse générative est bonne, et si ce n’est pas le cas, pourquoi la qualité est médiocre. Par exemple, la qualité de la réponse peut identifier les réponses incomplètes, non pertinentes ou non entièrement ancrées.
Quelles sont les limitations de la qualité de l’analyse des réponses et comment les utilisateurs peuvent-ils réduire l’impact des limitations ?
La qualité de l’analyse des réponses n’est pas calculée à l’aide de toutes les réponses génératives. Au lieu de cela, l’analyse mesure un exemple de sessions d’agent utilisateur. Les assistants inférieurs à un nombre minimal de réponses génératives réussies ne peuvent pas recevoir une qualité de résumé d’analyse des réponses.
Dans certains cas, l’analyse n’évalue pas précisément une réponse individuelle. Au niveau agrégé, il doit être précis pour la plupart des cas.
La qualité de l’analyse des réponses ne fournit pas de répartition des requêtes spécifiques qui ont conduit à des performances de faible qualité. Ils ne fournissent pas non plus de répartition des sources de connaissances courantes ou des rubriques utilisées lorsque des réponses de faible qualité se produisent.
Les analyses ne sont pas calculées pour les réponses qui utilisent des connaissances génératives.
Une partie de la qualité des métriques des analyses de réponses est l’exhaustivité des réponses. Elle évalue la quantité de réponse terminée en lien avec le document récupéré.
Si un document pertinent qui contient des informations supplémentaires à la question donnée n’est pas récupéré, la métrique d’exhaustivité n’est pas évaluée en fonction de ce document.
Quelles protections sont mises en place dans Copilot Studio pour une IA responsable ?
Les utilisateurs des assistants ne voient pas les résultats d’analyse ; ils sont disponibles uniquement pour les créateurs d’assistants et les administrateurs.
Les décideurs et les administrateurs peuvent uniquement utiliser la qualité de l’analyse des réponses pour voir le pourcentage de réponses de bonne qualité et toutes les raisons prédéfinies de performances médiocres. Les fabricants ne peuvent voir que le pourcentage de réponses de bonne qualité et des raisons prédéfinies.
Nous avons testé l’analyse pour la qualité des réponses minutieusement pendant le développement afin de garantir de bonnes performances. Toutefois, sur de rares occurrences, la qualité des évaluations de la réponse peut être inexacte.
Thèmes des questions des utilisateurs
Quelle est l’utilisation prévue des thèmes ?
Cette fonctionnalité analyse automatiquement de grands ensembles de requêtes utilisateur et les regroupe dans des rubriques générales appelées thèmes. Chaque thème représente un sujet général unique abordé par les utilisateurs. Les thèmes fournissent une vue non supervisée et pilotée par les données du contenu utilisateur. Cette vue aide les équipes à comprendre ce qui importe le plus aux utilisateurs, sans avoir à examiner manuellement des milliers de requêtes.
Quelles données sont utilisées pour créer des clusters ?
La fonctionnalité Thèmes utilise des requêtes utilisateur qui déclenchent des réponses dégénératives. Les thèmes analysent toutes les requêtes des sept derniers jours pour générer de nouveaux thèmes suggérés.
Les thèmes utilisent la similarité sémantique pour les requêtes de groupe. Un modèle de langage est ensuite utilisé pour générer le titre et la description de chaque cluster. Les commentaires des créateurs (tels que les pouces levés ou baissés) sont également collectés afin d´améliorer la qualité du regroupement (clustering).
Quelles sont les limitations du clustering pour les thèmes et comment les utilisateurs peuvent-ils atténuer ces limitations ?
Le clustering réussi en thèmes dépend du volume de requêtes. S’il n’y a pas suffisamment de requêtes ou si les requêtes ne sont pas liées les unes aux autres, Copilot Studio peut regrouper des requêtes dans des thèmes trop larges ou trop étroits.
Les thèmes peuvent parfois fractionner des rubriques similaires ou fusionner des rubriques non liées.
L’évolution du langage dans les requêtes peut affecter la cohérence des regroupements (clusters) au fil du temps.
Les créateurs peuvent examiner régulièrement des thèmes et fournir des commentaires pour améliorer la qualité du nommage.
Quelles protections pour les thèmes sont mises en place dans Copilot Studio pour une IA responsable ?
Les thèmes ne sont visibles que par les créateurs et les administrateurs. La modération de contenu est appliquée lors de la génération des noms et des descriptions afin de réduire le risque de sorties nuisibles ou inappropriées.