Dériver des signaux de qualité pour l’évaluation de l’agent Copilot

Les signaux de qualité fournissent un moyen structuré de comprendre pourquoi les réponses des agents réussissent ou échouent. Ils aident les équipes à regrouper les résultats de l’évaluation en catégories significatives, à hiérarchiser les améliorations et à suivre les progrès au fil du temps.

Cet article explique comment dériver des signaux de qualité à partir des résultats d’évaluation pour diagnostiquer des problèmes, identifier des modèles et améliorer les performances de l’assistant Copilot.

En utilisant des signaux de qualité, les équipes peuvent :

  • Identifier les modèles d’échec récurrents
  • Hiérarchiser les améliorations en fonction de leur impact
  • Suivez les performances entre les itérations
  • Communiquer clairement les résultats aux parties prenantes

Que sont les signaux de qualité ?

Les signaux de qualité sont des catégories qui représentent des modèles dans les résultats d’évaluation. Ils proviennent d’un comportement observé plutôt que de règles prédéfinies.

Les assertions et les signaux de qualité fonctionnent ensemble dans un flux de travail d’évaluation :

  • Les assertions déterminent si une réponse réussit ou échoue.
  • Les signaux de qualité regroupent les résultats de l’assertion dans des modèles de niveau supérieur.
Aspect Assertions Signaux de qualité
Level (Niveau) Spécifique et concret Abstrait et catégorique
Objectif Déterminer la réussite ou l’échec Diagnostiquer des modèles
Quantity Plusieurs par cas de test Peu par agent
Origine Défini avant le test Dérivé des résultats
Exemple Contient « 15 jours » Précision de la stratégie

Après avoir défini des assertions, dérivez des signaux de qualité à partir des résultats de l’assertion et utilisez ces signaux pour suivre les performances entre les scénarios.

Signaux de qualité courants

Utilisez les signaux de qualité courants suivants lorsque vous évaluez les assistants Copilot :

  • Précision de la stratégie – Mesure si les réponses s’alignent sur les sources de connaissances faisant autorité
  • Attribution de la source – Mesure si les réponses identifient clairement les sources d’information
  • Personnalisation : mesure si les réponses utilisent le contexte utilisateur pertinent
  • Précision de l’outil – Mesure si les appels d’outil sont exécutés correctement
  • Gestion des réponses de l’outil : mesure si l’agent interprète correctement la sortie de l’outil
  • Pertinence de la réaffectation – Mesure si les demandes sont acheminées vers un support humain en cas de besoin
  • Protection de la vie privée – Mesures assurant la protection des informations sensibles
  • Activation d’action : mesure si les réponses indiquent clairement les prochaines étapes.

Évaluation du signal et causes courantes

Le tableau suivant répertorie les indicateurs pour chaque signal de qualité.

Signal de qualité Indicateurs de réussite Indicateurs d’échec Causes courantes
Précision de la stratégie Valeurs et dates correctes

Détails précis de la stratégie

Cohérent avec la documentation actuelle
Valeurs obsolètes ou incorrectes

Détails en conflit ou fabriqués
Documents obsolètes ou en double

Résultats de récupération incorrects

Modéliser les hallucinations
Attribution de la source Références à des documents ou des sections spécifiques

Effacer les déclarations d’attribution
Aucune source fournie

Références vagues ou génériques
Métadonnées source manquantes

Les instructions ne mettent pas l’accent sur l’attribution
Personnalisation Réponses spécifiques à une région ou à un rôle

Recommandations contextuelles
Les réponses génériques qui ignorent le contexte utilisateur

Informations régionales ou basées sur des rôles incorrectes
Contexte utilisateur non disponible pour l’agent

Sources de connaissances non segmentées par audience
Précision de l’outil Sélection correcte de l’outil

Paramètres et identificateurs valides

Tous les champs obligatoires sont renseignés
Paramètres manquants ou incorrects

Entrées d’outil non valides
Spécifications d’API ambiguës

Mappage de paramètres incorrect
Gestion des réponses de l’outil Communication précise des résultats de l’outil

Gestion correcte des états de réussite et d’erreur
Déclarations de réussite incorrectes

Erreurs d’outil ignorées ou mal interprétées
Conseils de gestion des erreurs manquants

Mauvaise interprétation des réponses de l’outil
Pertinence de la réaffectation Les problèmes sensibles ou complexes sont correctement acheminés

Conformité aux règles d’escalade
L’agent tente de gérer les scénarios non pris en charge

Échec de la remontée des demandes à haut risque
Critères d’escalade non définis

Instructions trop permissives
Protection de la confidentialité Refus de divulgation des données restreintes

Réponses limitées aux informations autorisées
Divulgation ou déduction de données sensibles

Réponses qui exposent des informations protégées
Contrôles d’accès faibles

Instructions de confidentialité insuffisantes
Activation d’action Instructions spécifiques

Liens, identificateurs ou coordonnées
Conseils vagues ou incomplets

Étapes actionnables manquantes
Informations procédurales manquantes dans les sources de connaissances

Réponses surrésumées

Comment dériver des signaux qualité

Les signaux de qualité sont dérivés de modèles dans les résultats d’évaluation plutôt que de listes de contrôle prédéfinies. Pour dériver des signaux de qualité :

  • Exécutez un premier ensemble de cas de test d’évaluation.
  • Examinez les réponses ayant échoué dans les cas de test.
  • Identifier les modèles récurrents dans les échecs.
  • Définissez chaque modèle comme un signal de qualité.
  • Balisez les assertions associées avec le signal correspondant.
  • Suivez les taux de réussite par signal.

Signaux de qualité en pratique

L’exemple suivant montre les signaux de qualité définis pour un agent d’intégration d’employés.

Constat Modèle identifié Signal de qualité
Valeurs correctes des prises de force renvoyées Récupération précise des connaissances Précision de la stratégie
Source citée dans la réponse Attribution incluse Attribution de la source
Informations régionales incorrectes renvoyées Contexte non utilisé Personnalisation
Outil appelé avec des paramètres incorrects Erreur d’exécution Précision de l’outil
Demande acheminée aux RH de manière appropriée Réaffectation correcte Pertinence de la réaffectation
Données sensibles presque exposées Risque de limite de confidentialité Protection de la confidentialité
La réponse comprenait les étapes suivantes Réponse actionnable Activation d’action

Voici des mesures spécifiques pour les signaux de qualité.

Précision de la stratégie Attribution de la source Précision de l’outil
Contient une durée de prise de force correcte Cite des documents faisant autorité Appelle l’outil correct
Inclut la date limite d’inscription correcte Fait référence à des sections spécifiques Utilise des paramètres valides
Ne fait pas référence à une stratégie obsolète renvoie le résultat correct.

Appliquer et communiquer des signaux de qualité

Utilisez des signaux de qualité pour piloter les flux de travail d’évaluation et communiquer des informations. Pour appliquer des signaux de qualité :

  • Assertions de balises – Ajoutez des balises de signal à chaque assertion dans vos cas de test.

    Cas d’essai : PTO-001
    Invite : « Combien de jours de vacances les nouveaux employés ont-ils ? »

    Affirmations :

    • La réponse contient « 15 jours ».
      Signal : Précision de la stratégie

    • La réponse cite le manuel de l’employé.
      Signal : attribution source

    • La réponse mentionne la tranche de titularisation de <2 ans.
      Signal : Personnalisation

  • Calculer les métriques – Agrégez les résultats de réussite et d’échec par signal.

    Signal de qualité Cas de test Réussite Échec Taux de réussite
    Précision de la politique 25 23 2 92%
    Source Attribution 25 20 5 80%
    Personnalisation 15 11 4 73%
    Précision de l’outil 12 10 2 83%
    Pertinence de la réaffectation 8 8 0 100 %
    Protection de la confidentialité 10 10 0 100 %
  • Hiérarchiser les problèmes – Concentrez-vous sur les signaux à faible taux de réussite ou à fort impact.

    1. Personnalisation (73 %) - Le plus grand écart, enquêtez d’abord.
    2. Attribution de la source (80 %) - Deuxième priorité.
    3. Précision de l’outil (83 %) - Troisième priorité.
    4. Précision de la politique (92 %) - Problèmes mineurs, surveillez.
  • Suivez la progression – Surveillez les taux de transmission des signaux entre les versions de l’agent.

    • Version 1.0 > , 1.1 > , 1.2 > , 1.3
    • Personnalisation : 73 % > 78 % > 85 % > 91 % (amélioration)
    • Attribution de la source : 80 % > 82 % > 88 % > 90 % (en amélioration)
    • Précision de l’outil : 83 % > 85 % > 84 % > 92 % (amélioré après la régression v1.2)

Les signaux de qualité transforment les conversations entre les parties prenantes. Cette spécificité permet des correctifs ciblés, un suivi quantitatif des progrès et une communication plus claire avec les parties prenantes.

Sans signaux : L’agent ne fonctionne pas bien. Les utilisateurs se plaignent.

Avec des signaux : L’exactitude des politiques est de 92 % - nous atteignons notre objectif. Mais la personnalisation est tombée à 73 % après la dernière mise à jour. Plus précisément, les employés britanniques reçoivent des informations sur les vacances aux États-Unis. Nous avons identifié la cause racine : la récupération de contexte ne transmet pas les données d’emplacement. Le correctif est en cours pour la prochaine version.

Signaux qualité par type d’agent

Les signaux de qualité et les priorités varient en fonction du type d’agent que vous évaluez.

Type d’agent Signal Priority (Priorité)
Fondé sur la connaissance Précision de la stratégie Plus haut
Attribution de la source Plus haut
Exhaustivité Medium (Moyen)
Personnalisation Medium (Moyen)
Appel d’outil Précision de l’outil Plus haut
Gestion des réponses de l’outil Plus haut
Activation d’action Plus haut
Récupération d’erreurs Medium (Moyen)
Hybride Précision du routage Plus haut
Signaux de connaissance Medium (Moyen)
Signaux d’outil Medium (Moyen)
Pertinence de la réaffectation Medium (Moyen)
En contact direct avec le client Protection de la confidentialité Plus haut
Ton et professionnalisme Plus haut
Pertinence de la réaffectation Plus haut
Exhaustivité de la résolution Medium (Moyen)

Évitez les pièges courants

Évitez les problèmes suivants pour vous assurer que vos signaux de qualité restent utiles, cohérents et exploitables.

Utilisez des signaux spécifiques plutôt que des catégories génériques

Les signaux trop larges, tels que « Précision », « Utilité » ou « Pertinence », ne fournissent pas d’informations exploitables. Les signaux génériques rendent difficile l’identification des causes profondes ou la hiérarchisation des améliorations.

Définissez plutôt les signaux en fonction de modèles spécifiques et observables dans les résultats de l’évaluation.

  • Éviter : précision
  • Préférer : Précision de la politique, Attribution de la source

Évitez les signaux trop granulaires

La création d’un trop grand nombre de signaux à portée étroite augmente la complexité sans améliorer les informations. Une granularité excessive fragmente l’analyse et rend plus difficile le suivi des tendances significatives.

Au lieu de cela, regroupez les comportements associés dans des catégories de signaux plus larges et réutilisables.

  • À éviter : Précision des congés payés, Précision des avantages sociaux, Précision des congés
  • Préférer : Précision de la stratégie

Éviter les critères vagues de réussite ou d’échec

Les définitions vagues des signaux, telles que « Exactitude », manquent de normes mesurables. Sans critères clairs, les résultats sont incohérents et difficiles à interpréter.

Définissez plutôt les signaux à l’aide de comportements explicites et observables liés aux résultats de l’évaluation.

  • Éviter : « La réponse est correcte »
  • Préférer : « La réponse inclut la valeur correcte et cite une source faisant autorité »

Étape suivante