Décrire le processus de développement de l’agent et générer un agent

Terminée

La création d’un agent réussi est un processus de conception et de livraison qui s’étend de l’identification du scénario métier approprié par le biais d’une amélioration continue après le déploiement. Microsoft recommande un processus de développement structuré en cinq étapes qui aligne les fonctionnalités de l’agent avec les résultats métier et garantit la qualité à chaque étape.

Étape 1 : Imaginer et concevoir

Chaque agent effectif commence par une définition claire de l’objectif. La phase de prévision répond à quatre questions clés :

• Qu’est-ce que le cas d’usage principal de l’agent ? Définissez le scénario spécifique et les utilisateurs que l’agent servira. Les agents ciblés fonctionnent mieux et sont plus rapides à livrer.
• Quelles données l’agent a-t-il besoin ? Identifiez les sources de connaissances et les systèmes auxquelles l’agent accède. Vérifiez que les données sont actuelles, précises et accessibles avec les autorisations appropriées.
• Quelles actions l’agent doit-il effectuer ? Déterminez les processus métier que l’agent doit déclencher. Définissez les actions qui nécessitent une approbation humaine et qui peuvent être entièrement automatisées.
• Comment le succès sera-t-il mesuré ? Définissez les métriques qui indiquent que l’agent fournit une valeur ( taux de résolution, taux de déférence, score de satisfaction utilisateur ou économies de temps). Établissez une base de référence avant le déploiement.

Phase 2 : Génération

Une fois la conception définie, les créateurs créent l’agent dans le canevas de création de Copilot Studio. La phase de génération suit généralement cette séquence : créez l’agent en décrivant son objectif en langage naturel, configurez des instructions et une identité, ajoutez des sources de connaissances, configurez des outils, des rubriques de génération pour les chemins de conversation structurés qui doivent suivre un flux exact et testez itérativement à l’aide du panneau de test intégré.

Étape 3 : Évaluer

Avant de déployer l’agent, exécutez une évaluation formelle à l’aide des jeux de tests et des classateurs. Cela produit une base de référence de qualité documentée et présente les lacunes dans la couverture des connaissances, le comportement des outils ou la précision des rubriques. Le créateur et une partie prenante du domaine doivent passer en revue les résultats , les gradeurs automatisés seuls peuvent ne pas capturer entièrement si les réponses répondent aux normes organisationnelles.

Jeux de tests

Les évaluations de Copilot Studio s’organisent en fonction de jeux de tests. Un jeu de tests est une collection de cas de test, où chaque cas de test représente une entrée utilisateur spécifique à évaluer. Les cas de test peuvent inclure une réponse attendue, ce qui permet une comparaison automatisée entre les résultats réels et attendus. Chaque jeu de tests peut contenir jusqu’à 100 cas de test, créés de trois façons :

• Création manuelle : le créateur écrit des invites de test individuelles et des réponses attendues basées sur des scénarios utilisateur connus.
• Jeux de test générés par l’IA : Copilot Studio génère des cas de test en fonction de la description, des instructions, des sources de connaissances et des sujets de l’agent. Un jeu de questions rapide génère 10 cas pour l’itération rapide ; un jeu d’interrogations complet génère un ensemble plus grand à partir d’une source de connaissances spécifiée.
• Importer à partir de CSV : Teams peut créer des jeux de données d’évaluation en collaboration dans une feuille de calcul et les importer dans Copilot Studio.

Types d’évaluation

Deux types d’évaluation sont disponibles :

• Évaluations de réponse unique : chaque cas de test se compose d’un message utilisateur unique et évalue la réponse de l’agent en isolation. Rapide à exécuter et adapté pour tester la précision de la récupération des connaissances et la gestion des questions courantes.
• Évaluations de conversations multi-tours : les cas de test simulent un dialogue interactif réaliste sur plusieurs tours afin de vérifier si l’agent conserve le contexte, traite les questions de suivi et mène à bien des processus en plusieurs étapes comme prévu.

Méthodes d’évaluation

Quatre méthodes de notation sont disponibles :

• Qualité : utilise un modèle IA pour évaluer si la réponse de l’agent est précise, pertinente, complète et bien ancrée dans les connaissances disponibles. Fournit un score compris entre 0 et 1 avec un seuil de passage configurable.
• Similarité : compare la réponse de l’agent à la réponse attendue à l’aide d’une similarité sémantique : mesure la précision de la signification correspond même si la formulation exacte diffère.
• Correspondance textuelle : vérifie si des chaînes de texte spécifiques apparaissent dans la réponse de l’agent, ce qui permet de vérifier que les faits clés, les références de politique ou les expressions requises figurent toujours.
• Utilisation de l’outil : vérifie si l’agent a appelé un outil spécifique ou appelé une rubrique spécifique pour générer sa réponse, confirmant que le comportement d’orchestration correspond à l’intention du créateur.

Les résultats sont disponibles pendant 89 jours ; les fabricants peuvent exporter au format CSV pour une rétention plus longue. Les résultats montrent un taux global de réussite, une répartition par cas et une comparaison de versions côte à côte pour vérifier qu’une modification a amélioré la qualité sans introduire de régressions.

Étape 4 : Déployer

Lorsque les résultats de l’évaluation répondent au seuil de qualité défini, déployez l’agent à l’aide de Pipelines Power Platform pour vous assurer que le déploiement est régi, journalisé et réversible. Les meilleures pratiques incluent de commencer par un groupe pilote de 20 à 50 utilisateurs pour recueillir des commentaires réels avant un déploiement complet, la publication sur les canaux où les utilisateurs cibles passent leur temps et communiquent aux utilisateurs ce que l’agent peut aider et comment y accéder.

Étape 5 : Surveiller et améliorer

Après le déploiement, le processus de développement devient un cycle continu. Un taux d’abandon élevé sur certaines rubriques indique que les utilisateurs ne trouvent pas l’aide recherchée — un signal qu’il faut affiner ces rubriques ou ajouter les connaissances manquantes. Les tendances des taux d’escalade indiquent si l’agent devient plus capable. Les nouvelles transcriptions de conversations montrent comment de vrais utilisateurs formulent leurs questions, ce qui permet d’identifier de nouvelles phrases de déclenchement et d’affiner la base de connaissances. Les réévaluations planifiées interceptent les régressions avant qu’elles n’affectent de nombreux utilisateurs.

Contoso Professional Services en action

L’équipe de Contoso suit les cinq étapes lors de la création de l’agent Benefits Advisor. Au cours de la phase de conception, ils définissent la réussite comme une réduction de 30 % des tickets d’assistance RH pendant la période d’inscription ouverte. Au cours de la phase de création, ils connectent la base de connaissances SharePoint, configurent un flux de l’agent de demande de congé et rédigent des instructions qui limitent l’agent aux seuls sujets RH. Ils exécutent une évaluation de 40 cas avant le lancement et pilotent l’agent avec 25 employés dans un bureau régional. Après deux semaines, l’analytique montre une réduction des tickets de 42% et un score CSAT de 4,3 sur 5( au-dessus de la cible) et l’équipe déploie l’agent à tous les emplacements.

Créer un agent dans Copilot Studio

Copilot Studio fournit un canevas de création à faible code où les créateurs peuvent créer un agent opérationnel dans une seule session. La procédure pas à pas suivante montre à quoi ressemble ce processus, de la description de l’agent en langage naturel à sa publication auprès des utilisateurs à l’aide de l’agent de support informatique de Contoso Professional Services comme exemple de scénario.

L'équipe informatique de Contoso souhaite un agent qui répond aux questions courantes sur la configuration vpn, les réinitialisations de mot de passe et les demandes d'accès logiciel en tirant de la documentation informatique sur SharePoint, et qui peut créer un ticket de support dans Dataverse lorsque l'utilisateur a besoin d'aide supplémentaire.

Description de l’agent

Un créateur commence dans Copilot Studio en décrivant l'objectif de l'agent en langage naturel. Copilot Studio utilise cette description pour générer une configuration de départ : un nom suggéré, des instructions initiales et un espace réservé pour les sources de connaissances. Le créateur examine la configuration générée et crée l’agent.

Pour l’agent de support informatique de Contoso, le créateur décrit : un agent de support informatique pour les employés, couvrant la configuration VPN, les réinitialisations de mot de passe et les demandes d’accès logiciel, avec un ton professionnel et utile, et la possibilité de créer un ticket de support lorsque l’utilisateur a besoin d’aide supplémentaire de l’équipe informatique.

Configuration des instructions

Après avoir créé l’agent, le créateur passe en revue et affine les instructions dans les paramètres de l’agent. Les bonnes instructions sont les suivantes :

• Rôle et étendue de l’agent
• Que faire quand l’agent ne peut pas répondre (par exemple, proposer de créer un ticket de support)
• Recommandations concernant le ton (professionnel, convivial et concis)
• Restrictions de périmètre (refuser les sujets qui ne relèvent pas de l’assistance informatique)

Les instructions écrites en langage brut sont interprétées par le modèle IA au moment de l’exécution pour guider les réponses de manière cohérente dans toutes les conversations.

Ajout de sources de connaissances

Le créateur ajoute un site SharePoint contenant la documentation informatique de Contoso en tant que source de connaissances. Une fois l’indexation terminée, la source de connaissances est disponible pour la récupération. Plusieurs sources de connaissances peuvent être combinées, par exemple, un site de SharePoint interne pour les stratégies informatiques en même temps qu’une URL de documentation de Microsoft publique pour les guides de résolution des problèmes courants.

Configuration des outils

Pour activer la création de tickets, l’auteur ajoute un connecteur Dataverse configuré pour créer des enregistrements dans la table Demande de support. Le créateur définit les paramètres d’entrée que l’agent doit collecter avant d’appeler l’outil : le nom de l’utilisateur, une description du problème et le niveau de priorité. Une description claire de l’outil garantit que l’orchestrateur IA sait quand l’appeler , dans ce cas, lorsque l’utilisateur demande de l’aide de l’équipe informatique.

Tester l’agent

Le panneau de test dans Copilot Studio reflète immédiatement les modifications de configuration, ce qui permet à l’auteur de valider le comportement au fur et à mesure de la création. Le créateur teste trois scénarios :

• « Comment me connecter au VPN depuis chez moi ? » — l’agent doit effectuer une recherche dans SharePoint et fournir une réponse étayée
• « Mon mot de passe a expiré et je ne peux pas me connecter. Que dois-je faire ? — l’agent doit fournir des conseils à partir des connaissances
• « Aucune de ces réponses ne m’aide. Je dois parler à quelqu’un de l’informatique. » — l’agent doit proposer de créer un ticket de support et de collecter les informations requises.

Lorsqu’une réponse est inexacte ou qu’un outil n’est pas appelé au bon moment, le créateur affine les instructions ou la configuration de la source de connaissances et effectue immédiatement des tests.

Exécution d’une évaluation de référence

Avant de publier, le créateur crée un jeu de tests à l'aide du générateur de questions rapides de Copilot Studio, qui produit 10 cas de test générés automatiquement en fonction des sources de connaissances de l'agent. Le créateur sélectionne l’évaluateur de qualité avec un seuil de réussite de 0,7, puis exécute l’évaluation. Les résultats indiquent les scores par cas et un taux de réussite global. Les cas d’échec sont examinés : les lacunes peuvent se trouver dans la couverture de la source de connaissances, les instructions ou la configuration de l’outil avant la publication.

Publication destinée aux utilisateurs

Lorsque l’agent répond aux normes de qualité, le fabricant le publie. Pour l'agent de support informatique côté employé de Contoso, Microsoft Teams est le canal principal. Après la publication, l’agent apparaît en tant qu’application Teams et est accessible aux employés par le biais d’un message direct. Le créateur surveille le tableau de bord d’analyse au cours des semaines suivantes, en regardant les tendances d’adoption et les taux d’abandon pour identifier la prochaine série d’améliorations.