Remarque
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de vous connecter ou de modifier des répertoires.
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de modifier des répertoires.
La qualité de votre évaluation dépend de la qualité de vos invites. Des invites bien conçues testent exactement ce que vous voulez, ni plus ni moins.
Cet article explique comment concevoir des invites d’évaluation qui produisent des résultats clairs et exploitables.
Anatomie d’une invite d’évaluation efficace
Les invites d’évaluation efficaces partagent quatre caractéristiques :
- Intention unique
- Formulation réaliste
- Ancré dans les données
- Autonome
Intention unique
Chaque invite doit tester un objectif ou une question de l’utilisateur. Les invites à plusieurs intentions rendent difficile l’identification de la cause d’un échec.
| Multi-intention (éviter) | Intention unique (préféré) |
|---|---|
| Quel est mon solde de prise de force et pouvez-vous me commander un ordinateur portable ? | Quel est mon solde de prise de force ? |
| Parlez-moi des avantages pour la santé et aussi de la correspondance 401k. | Quels sont les plans d’assurance maladie disponibles ? |
Pour tester plusieurs fonctionnalités ensemble, utilisez des évaluations de conversation à tour de tour au lieu de combiner des intentions en une seule invite.
Formulation réaliste
Les requêtes doivent refléter la façon dont les utilisateurs communiquent réellement, y compris le langage informel, les phrases incomplètes et les différents niveaux de détail.
| Trop formel | Réaliste |
|---|---|
| Veuillez fournir des renseignements sur l’allocation annuelle de congés payés pour les employés au cours de leur première année d’emploi. | Combien de jours de vacances les nouvelles recrues bénéficient-elles ? |
| J’aimerais lancer une demande d’achat de matériel informatique. | Je dois commander un ordinateur portable. |
Vous pouvez dériver des invites réalistes à partir de :
- Journaux des requêtes de production
- Sessions de recherche utilisateur
- Tickets de support
- Conversations quotidiennes sur le lieu de travail
Ancré dans les données
Les requêtes doivent être basées sur les données. Lorsque des données d’ancrage sont disponibles, utilisez des entités, des valeurs et des identificateurs spécifiques. Cette approche rend les évaluations mesurables et vérifiables.
Les invites ancrées autorisent des affirmations précises telles que « La réponse contient 15 jours », au lieu de vérifications vagues telles que « La réponse contient le nombre correct ».
Sans mise à la terre des données
Invite : « Quelle est la politique de prise de force pour les ingénieurs ? »
Avec des données d’ancrage
Données d’ancrage :
- Employé : Marcus Johnson
- Département : Ingénierie
- Ancienneté : 8 mois
- Gestionnaire : Lisa Park
- Lieu : Bureau d’Austin
Invite : « Je fais partie de l’équipe d’ingénierie, combien de jours de vacances ai-je ? »
Autonome (tour unique)
Pour les évaluations à tour unique, chaque invite doit inclure tout le contexte requis. L’agent ne peut pas se fier aux tours de conversation précédents. Le tableau suivant présente des exemples d’invites autonomes.
| Autonome | Dépend du contexte (éviter) |
|---|---|
| Que couvre le plan de santé PPO ? | Qu’en est-il de l’autre plan de santé ? |
| Quel est le coût des employés pour le plan de santé PPO ? | Et combien cela coûte-t-il ? |
| Peut-on commander un MacBook Pro 16 pouces ? | Pouvez-vous commander cela à la place ? |
Pour les scénarios qui s’étendent sur plusieurs tours, utilisez des conversations à plusieurs tours.
Variantes d’invite
Les utilisateurs ne posent pas tous la même question de la même manière. Pour tester la généralisation, créez trois variantes de chaque invite.
Invites canoniques
Les invites canoniques sont explicites, complètes et sans ambiguïté. Ils servent de référence.
- Inclure tous les paramètres requis.
- Utilisez une terminologie précise.
- Évitez toute ambiguïté.
- Représenter une requête idéale.
Exemple
« Combien de jours de congé payés les employés ayant moins de deux ans d’ancienneté reçoivent-ils chaque année selon la politique actuelle sur les congés payés ? »
Variante en langage naturel
La variante en langage naturel reflète les formulations conversationnelles courantes. Variantes en langage naturel :
- Utilisez un langage informel et conversationnel.
- Peut inclure des synonymes ou des termes informels.
- Évitez les identificateurs techniques.
- Restez suffisamment complet pour répondre.
Exemple
« Hé, combien de vacances est-ce que je prends en tant que nouvel employé ? »
Le tableau suivant compare les invites canoniques et les variantes en langage naturel.
| Technique | Canonique | Variante naturelle |
|---|---|---|
| Synonymes | « congé payé » | « jours de vacances », « congé », « prise de force » |
| Formulation informelle | « Combien de jours reçois-je ? » | « combien est-ce que je reçois » |
| Contexte implicite | « Employés comptant <2 ans d’ancienneté » | « En tant que nouvel employé » |
| Boîtier décontracté | Des majuscules appropriées | minuscules, ponctuation minimale |
Sonde de robustesse
La sonde de robustesse évalue la façon dont l’agent gère les entrées imparfaites. Sondes de robustesse :
- Incluez des fautes de frappe réalistes.
- Contiennent des erreurs grammaticales.
- Utilisez des raccourcis ou des abréviations.
- Testez la reconnaissance de l’intention sous le bruit.
Exemple : « à quoi ont droit mes jours de vacances »
Le tableau suivant présente des exemples de modèles à tester.
| Modèle | Exemple |
|---|---|
| Fautes de frappe | « vacaton » au lieu de « vacances » |
| Ponctuation manquante | « quoi » au lieu de « quoi » |
| Mots manquants | « how many days get » |
| Abréviations | « PTO bal ? » |
| Requêtes exécutées | « Besoin d’un ordinateur portable MacBook Pro 16 pouces » |
Exemples complets de variation d’invite
Les exemples suivants illustrent les trois types d’invite pour un seul scénario.
Scénario : Commande d’équipement
Ce scénario inclut les données d’ancrage suivantes :
- Employée : Katrin Pold
- Département : Conception de produits
- Date de début : 2024-01-15
- Budget d’équipement : 3 500 $
- Éléments approuvés : MacBook Pro (14 pouces ou 16 pouces), moniteur externe, clavier, souris
Variantes d’invite
Canonique
« Je suis un nouvel employé du département de conception de produits à partir du 15 janvier 2024. Je dois commander un ordinateur portable MacBook Pro 16 pouces. Veuillez soumettre cette demande d’équipement via le système de commande informatique."
Langage naturel
« Bonjour, je viens de rejoindre l’équipe de conception de produits et j’ai besoin d’installer mon ordinateur portable. Puis-je obtenir un MacBook Pro ? Celui de 16 pouces de préférence."
Sonde de robustesse
« Besoin de commander un MacBook Pro 16 pouces pour un nouveau travail de conception de produits »
Assertions (s’appliquent à toutes les variantes) :
- La réponse confirme que la commande d’équipement a été lancée.
- L’agent a appelé l’outil OrderEquipment .
- L’appel de l’outil inclut « MacBook Pro 16 pouces » (ou équivalent).
- La réponse comprend une confirmation de commande ou un numéro de référence.
Scénario : Question de stratégie avec personnalisation
Ce scénario inclut les données d’ancrage suivantes :
- Employé : James Wright
- Lieu : Bureau de Londres, Royaume-Uni
- Ancienneté : 6 mois
- Type d’emploi : Temps plein
Variantes d’invite
Canonique
« En tant qu’employé à temps plein basé dans le bureau de Londres, au Royaume-Uni, avec 6 mois d’ancienneté, à quels jours fériés ai-je droit cette année ? »
Langage naturel
« Je travaille au bureau de Londres - quels jours fériés ai-je congé ? »
Sonde de robustesse
« Vacances au bureau au Royaume-Uni cette année ? »
Assertions (s’appliquent à toutes les variantes) :
- La réponse indique les jours fériés au Royaume-Uni (et non les jours fériés aux États-Unis).
- La réponse comprend au moins : le jour de l’An, Pâques, Noël.
- La réponse fait référence à la politique ou au calendrier du Royaume-Uni.
- La réponse ne mention pas les jours fériés américains tels que le 4 juillet ou Thanksgiving.
Modèles à éviter
Évitez les modèles d’invite suivants.
Invites à objectifs multiples
Évitez les invites multi-intentions. Lorsque votre invite couvre plusieurs intentions, vous ne pouvez pas déterminer celle qui a provoqué un échec.
- À éviter : Quel est mon solde de prise de force, et pouvez-vous me parler des options d’assurance maladie, et j’aurai peut-être besoin d’un ordinateur portable aussi ?
- Utilisez plutôt : Divisez en invites distinctes ou utilisez une évaluation multithread.
Invites de reconnaissance de schéma
Évitez les invites de schéma. Les invites de schéma ne fonctionnent pas bien car les utilisateurs ne connaissent pas les API internes ou les noms des outils.
- À éviter : « Appeler l’API GetPTOBalance pour l’ID d’employé 12345 »
- Utilisez plutôt : « Quel est mon solde de vacances actuel ? »
Invites vagues
Évitez les invites vagues. Si votre invite est vague, vous ne pouvez pas définir d’affirmations mesurables.
- À éviter : « Aidez-moi avec des trucs RH »
- Utilisez plutôt : « Comment faire m’inscrire au régime d’assurance dentaire ? »
Premiers prompts
Les requêtes qui font allusion à la réponse attendue ne testent pas l’efficacité réelle du raisonnement de l’agent.
- À éviter : « La politique de prise de force dit 15 jours, n’est-ce pas ? »
- Utilisez plutôt : « Combien de jours de congés les nouveaux employés reçoivent-ils ? »
Non autonome (tour unique)
Évitez les invites qui dépendent du contexte préalable.
- À éviter : « Et l’autre option ? »
- Utilisez plutôt : « Quelle est la différence entre les plans de santé HMO et PPO ? »
Générer des invites à partir de scénarios utilisateur
Commencez par l’intention réelle de l’utilisateur plutôt que par des listes de fonctionnalités.
- Recueillez les questions des utilisateurs représentatifs.
- Regrouper par scénario (par exemple, recherche de stratégie, actions, escalade).
- Écrivez une invite canonique pour chaque scénario.
- Ajoutez des variantes de langage naturel et de robustesse.
- Mettez les invites au sol avec des données concrètes.
Cette approche garantit que les évaluations reflètent l’utilisation réelle.
Extension d’invite assistée par IA (facultatif)
Après avoir établi une base de référence solide, utilisez l’IA pour étendre la couverture. Demandez à l’IA de suggérer d’autres variantes. Examinez chaque suggestion pour en vérifier la réalisme et la pertinence. Rejetez les invites qui ne sont pas naturelles, qui prennent en charge le schéma ou qui sont hors de portée. Ajoutez des invites uniquement là où elles améliorent la couverture.
Liste de contrôle de la couverture rapide
Utilisez cette liste de contrôle pour vous assurer que la couverture de votre invite est complète.
Couverture des capacités
- Chaque outil ou action a au moins un cas de test
- Tous les domaines de la connaissance sont représentés
- Le comportement d’escalade est testé
- Les scénarios hors étendue sont testés
Couverture des variations
- Invite canonique
- Variante en langage naturel
- Sonde de robustesse
Cas limites
- Invites très courtes
- Invites très longues
- Demandes ambiguës
- Informations manquantes
- Demandes non valides ou non prises en charge
Personnalisation (le cas échéant)
- Différents emplacements utilisateur
- Différents niveaux d’ancienneté
- Différents rôles ou départements