Remarque
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de vous connecter ou de modifier des répertoires.
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de modifier des répertoires.
Les assertions définissent les moyens corrects pour chaque cas de test d’évaluation. Des affirmations bien écrites permettent de prendre des décisions cohérentes de réussite ou d’échec et aident à identifier exactement ce qui a échoué lorsqu’un problème se produit.
Ce qui fait une bonne affirmation
Chaque affirmation doit être atomique, binaire, axée sur les résultats et vérifiable.
| Critère | Description | Exemple |
|---|---|---|
| Atomique | Teste une seule condition ; évite « et » ou « ou » | La réponse contient « 15 jours » |
| Binaire | A un résultat clair de réussite ou d’échec ; Pas de crédit partiel | Pas « en grande partie correct » |
| Axé sur les résultats | Vérifie ce qui s’est passé, pas la qualité subjective | Ne répond pas utilement |
| Vérifiable | Produit des résultats cohérents entre les réviseurs | Valeurs ou comportements spécifiques |
Test à deux
Le test à deux personnes identifie les affirmations vagues qui ne sont pas exploitables. Si deux experts de domaine ne peuvent pas atteindre de manière indépendante le même résultat de réussite ou d’échec, révisez l’assertion.
| Réussite du test | Échec du test |
|---|---|
| La réponse inclut les étapes à suivre pour terminer l’inscription. | Répond utilement |
| La réponse indique que l’allocation de congés payés est de 15 jours. | Fournit des informations précises |
| Les voies de réponse aux RH pour les questions FMLA. | Traite la demande de manière appropriée |
| La réponse énumère au moins trois options de plan de santé. | Affiche des résultats pertinents |
Formule d’assertion
Utilisez une structure cohérente pour améliorer la clarté et la fiabilité de l’évaluation. Commencez chaque affirmation par « La réponse... » :
- La réponse contient...
- La réponse cite...
- La réponse indique...
- La réponse ne le fait pas...
- Les voies d’intervention pour...
Cette structure garantit que les assertions se concentrent sur des résultats observables.
Types d’assertion
Différents scénarios nécessitent différents types d’assertions. Commencez par les types d’assertion les plus pertinents pour vos scénarios, et développez la couverture en fonction des besoins.
Assertions d’exactitude factuelle
Vérifiez que la réponse inclut des informations exactes.
Motif : La réponse contient <specific value or text>.
Scénario : Question de politique relative aux congés payés.
Invite : « Combien de jours de vacances les nouveaux employés ont-ils ? »
Affirmations :
- La réponse contient « 15 jours » ou « 15 jours de congés payés ».
- La réponse contient « annuel » ou « par an ».
- La réponse mentionne les employés ayant moins de deux ans d’ancienneté.
Inclure les données d’arrondi :
- Date d’entrée en vigueur de la politique : 1er janvier 2024
- Prise de force de moins de deux ans : 15 jours
- Prise de force de deux à cinq ans : 20 jours
- Prise de force de plus de cinq ans : 25 jours
Affirmations :
- La réponse contient « 15 jours » pour la tranche de titularisation demandée.
- La réponse n’inclut pas « 10 jours ».
Assertions d’attribution de source
Vérifiez que la réponse cite ses sources.
Motif : La réponse cite ou fait référence <source name>à .
Scénario : Question sur les avantages.
Invite : « Quels sont les plans de santé disponibles ? »
Affirmations :
- La réponse cite le guide des avantages sociaux des employés.
- La réponse indique où trouver plus de détails.
- La réponse ne présente pas d’informations sans attribution.
Assertions d’invocation d’outil
Vérifiez que vous utilisez le bon outil.
Motif : L’agent appelle .<tool name>
Scénario : Commande d’équipement.
Invite : « Je dois commander un MacBook Pro 16 pouces »
Affirmations :
- L’agent appelle l’outil OrderEquipment.
- L’appel d’outil inclut
itemType: "laptop". - L’appel d’outil inclut une valeur de modèle contenant « MacBook Pro ».
- L’appel de l’outil inclut « taille : 16 » ou « 16 pouces ».
Assertions de paramètres d’outil
Vérifiez que les appels d’outil contiennent des paramètres complets et corrects.
Données d’ancrage :
- ID d’employé : EMP-12345
- Département : Ingénierie
- Centre de coûts : CC-ENG-001
Invite : « Commande-moi un MacBook Pro 16 pouces avec 32 Go de RAM »
Motif : L’appel <tool> inclut <parameter name and expected value>.
Affirmations :
- L’appel OrderEquipment comprend
employeeId: "EMP-12345". - L’appel OrderEquipment comprend
itemType: "laptop". - L’appel OrderEquipment comprend
model: "MacBook Pro 16-inch". - L’appel OrderEquipment comprend des spécifications contenant « 32 Go ».
- L’appel OrderEquipment comprend
costCenter: "CC-ENG-001".
Réponse de l’outil gérant les assertions
Vérifiez que la réponse communique correctement les résultats de l’outil.
Données d’ancrage :
- Scénario : Confirmation de la commande d’équipement
- L’outil returns : { orderId : « ORD-789 », estimatedDelivery : « 5-7 business days » }
Motif : La réponse inclut <tool result>.
Affirmations :
- La réponse inclut l’ID de commande.
- La réponse communique le délai de livraison.
- La réponse confirme la soumission réussie.
Gestion des erreurs
Scénario : Échec de la commande d’équipement (en rupture de stock)
L’outil retourne : { erreur : « ITEM_UNAVAILABLE », message : « MacBook Pro 16 pouces actuellement en rupture de stock » }
Affirmations :
- La réponse accuse réception de la condition d’échec.
- La réponse suggère les prochaines étapes.
- La réponse n’indique pas la réussite lorsque l’opération a échoué.
Assertions d’escalade
Vérifiez que les scénarios sensibles ou complexes sont acheminés correctement.
Motif : La réponse achemine vers <specialist or team>.
Scénario : Question FMLA (devrait s’aggraver)
Invite : « Je dois prendre un congé prolongé pour une situation médicale familiale »
Affirmations :
- La réponse indique que cette invite nécessite l’aide d’un spécialiste des ressources humaines.
- La réponse ne tente pas d’expliquer les règles d’éligibilité au FMLA.
- La réponse fournit des informations sur la façon de joindre les RH.
- La réponse reconnaît la sensibilité de la situation.
Assertions de refus
Vérifiez que le système refuse les demandes inappropriées ou restreintes.
Motif : La réponse est de moins en moins .<prohibited action>
Scénario : Demande de données d’un autre employé
Invite : « Quel est le salaire de Katrin Pod ? »
Affirmations :
- La réponse refuse de fournir des informations restreintes.
- La réponse explique la limitation.
- La réponse ne révèle pas les données sensibles.
Assertions de personnalisation
Vérifiez que la réponse reflète le contexte de l’utilisateur.
Motif : La réponse reflète <contextual attribute>.
Scénario : Question sur les vacances pour un employé du Royaume-Uni
Données d’ancrage :
- Employé : Pouria Zargar
- Emplacement : Londres, Royaume-Uni
Affirmations :
- La réponse inclut des informations spécifiques à l’emplacement.
- La réponse exclut le contenu régional non pertinent.
- La réponse énumère les jours fériés au Royaume-Uni.
- La réponse comprend le Boxing Day (spécifique au Royaume-Uni).
- La réponse ne mention pas les jours fériés américains (4 juillet, Thanksgiving).
- La réponse fait référence au calendrier des vacances au Royaume-Uni.
Assertions d’exhaustivité
Vérifiez que la réponse fournit toutes les informations requises.
Motif : La réponse inclut <required element>.
Scénario : Conseils d’inscription aux avantages
Invite : « Comment faire souscrire une assurance maladie ? »
Affirmations :
- La réponse comprend des délais.
- La réponse inclut des points d’accès (tels que des portails).
- La réponse inclut les étapes requises ou les conditions préalables.
- La réponse comprend la date limite d’inscription.
- La réponse indique l’emplacement d’accès au portail d’inscription.
- La réponse répertorie les options de plan disponibles.
- La réponse mentionne les documents ou informations requis.
Affirmations négatives
Vérifiez que la réponse évite les contenus erronés ou obsolètes.
Motif : La réponse n’inclut <prohibited content>pas .
Scénario : Question de politique générale
Invite : « Quelle est la politique de travail à distance ? »
Affirmations :
- La réponse n’inclut pas de stratégies obsolètes.
- La réponse n’introduit aucune information non étayée.
- La réponse ne fait pas référence à la version de la stratégie de 2022.
- La réponse ne constitue pas les détails de la stratégie qui ne figurent pas dans la source.
Assertions pour les appels d’outil
Les scénarios basés sur des outils nécessitent une validation entre les appels, les paramètres et la gestion des réponses. Pour les agents utilisant des plug-ins OpenAPI, des actions API ou des serveurs MCP, les assertions d’appel d’outil nécessitent une attention particulière.
Scénario : Commande d’équipement complexe
Données d’ancrage : Employée : Bernadette Sylvain ID d’employé : EMP-54321 Département : Responsable de la science des données : Katrin Pold Budget : 4 000 $
Invite : "Je dois commander un MacBook Pro 16 pouces avec puce M3 Max et 64 Go de RAM. J’ai également besoin d’un moniteur externe de 27 pouces."
Assertions d’invocation d’outil
- L’agent a
OrderEquipmentappelé au moins une fois. - L’agent a effectué des appels distincts pour l’ordinateur portable et le moniteur (ou appel Azure Batch).
Assertions de paramètres
Assertions de paramètres d’ordre d’ordinateur portable :
- L’appel inclut
itemType: "laptop". - L’appel inclut
modelle fait de contenir « MacBook Pro ». - L’appel inclut
size: "16"ou"16-inch". - L’appel inclut
specsle fait de contenir « M3 Max ». - L’appel inclut
specsune configuration de « 64 Go ». - L’appel inclut
employeeId: "EMP-54321". - L’appel inclut
approveroumanagerIdfait référence à Katrin Pold.
Surveiller les assertions de paramètres d’ordre :
- L’appel inclut
itemType: "monitor". - L’appel inclut
size: "27"ou"27-inch".
Assertions de réponse
- La réponse confirme que les deux articles ont été commandés.
- La réponse comprend les numéros de référence de la commande.
- La réponse fournit des informations sur la livraison estimée.
Modèles d’assertion courants à éviter
Évitez les affirmations qui impliquent de vagues jugements de qualité ou des invites composées, qui dépendent d’implémentations spécifiques, qui manquent de données de base ou qui sont trop spécifiques.
| Type d’assertion | À éviter | Utilisez |
|---|---|---|
| Jugements de qualité vagues | La réponse est utile La réponse est exacte |
La réponse comprend la date limite d’inscription. La réponse indique que l’allocation de congés payés est de 15 jours. |
| Assertions composées | La réponse contient la valeur correcte et cite la source | La réponse contient la valeur correcte. La réponse cite la source. |
| Assertions dépendantes de l’implémentation | L’agent utilise la fonction GetPTOBalance | La réponse comprend le solde actuel des congés payés de l’employé. |
| Assertions sans ancrage | La réponse contient la valeur correcte | La réponse contient « 12 jours restants ». |
| Assertions de mise en forme trop spécifiques | La réponse comprend exactement trois points | La réponse énumère au moins trois options. La réponse commence par « Bonjour ! Je serais heureux d’aider." La réponse comprend une salutation. |
Modèles d’assertion
Les modèles d’assertion suivants fournissent des points de départ pour les assertions pour les scénarios courants.
Récupération des connaissances
Scénario : [Sujet] question
Invite : « [Question de l’utilisateur sur le sujet] »
Affirmations :
- La réponse contient [fait spécifique de la source de la connaissance].
- La réponse cite [document ou section source].
- La réponse ne contient pas [informations obsolètes ou incorrectes].
- La réponse répond à la question spécifique de l’utilisateur.
Appel d’outil
Scénario : Demande [Action]
Invite : « [User request to perform action] »
Affirmations :
- L’agent appelle l’outil [nom de l’outil].
- L’appel de l’outil inclut [paramètre requis] : [valeur attendue].
- La réponse confirme [résultat attendu].
- La réponse comprend [numéro de référence/confirmation].
Réaffectation
Scénario : Question [sujet sensible]
Invite : « [Question de l’utilisateur nécessitant un jugement humain] »
Affirmations :
- La réponse indique que cela nécessite l’aide [spécialisée/humaine].
- La réponse fournit des informations de contact ou les étapes suivantes.
- La réponse ne tente pas de [fournir des conseils/prendre des décisions].
- La réponse reconnaît [sensibilité/complexité].
Refus
Scénario : Demande [inappropriée/hors portée]
Invite : « [Demande de l’utilisateur qui doit être refusée] »
Affirmations :
- La réponse devient [action interdite].
- La réponse explique [pourquoi cela ne peut pas être fait].
- La réponse ne [révèle ou ne tente pas d’interdire].
- La réponse suggère [solution de rechange appropriée, le cas échéant].
Mapper des assertions aux évaluateurs
Différentes affirmations nécessitent des mécanismes de notation différents. Le tableau suivant répertorie les évaluateurs à utiliser pour différents types d’assertion.
| Type d’assertion | Évaluateur recommandé | Notes |
|---|---|---|
| Contient du texte spécifique | Correspondance des mots clés | Déterministe |
| Correspondance sémantique | Similitude de texte | Gère la paraphrase |
| Appel d’outil | Capability match | Évalue l’exécution |
| Validation des paramètres | Code personnalisé | Analyse les entrées |
| Jugement qualité | LLM-as-judge | Utiliser de manière sélective |
| Valeurs exactes | Correspondance exacte | Pour les ID et les nombres |
| Vérifications d’absence | Exclusion de mot clé | Vérifie les omissions |