Remarque
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de vous connecter ou de modifier des répertoires.
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de modifier des répertoires.
L’évaluation vous aide à mesurer la qualité, la sécurité et la fiabilité des modèles et agents tout au long du développement et de la production. Dans Microsoft Foundry, vous pouvez évaluer les sorties existantes dans un jeu de données de test, générer des réponses à partir d’un modèle ou d’un agent à l’aide d’entrées de test ou évaluer les traces de production.
Une évaluation utilise un ou plusieurs évaluateurs pour évaluer vos données ou votre application. Les évaluateurs produisent des métriques et, lorsqu’elles sont prises en charge, des explications qui vous aident à comparer les versions, à trouver des problèmes de qualité et à déterminer si une application est prête à être déployée.
Créer un flux de travail d’évaluation
La plupart des flux de travail d’évaluation suivent les étapes suivantes :
- Choisissez ce qu’il faut évaluer. Sélectionnez un tour individuel ou une conversation complète, puis utilisez un jeu de données existant, des réponses générées, des conversations simulées ou des traces de production.
- Sélectionnez les évaluateurs. Choisissez les métriques de qualité et de sécurité qui importent pour votre application, telles que l’achèvement des tâches, la pertinence, l’ancrage factuel, la similarité ou la sécurité du contenu.
- Exécutez l’évaluation. Exécutez-le une fois pendant le développement, ajoutez-le à CI/CD ou configurez l’évaluation périodique pour la production.
- Passez en revue et améliorez. Analysez les métriques agrégées et les résultats individuels, comparez les versions et traitez les schémas d’échec récurrents.
Choisissez par où commencer
Note
Avant de commencer, passez en revue les autorisations pour les flux de travail d’évaluation, les régions prises en charge et les limites de débit et les exigences de réseau virtuel.
Choisir une approche d’évaluation
Choisissez l’unité d’évaluation avant de sélectionner les évaluateurs. L’évaluation au niveau du tour évalue les réponses individuelles. L’évaluation au niveau de la conversation note une interaction multitour complète et peut mesurer les résultats tels que l’achèvement des tâches dans plusieurs étapes. Les évaluateurs prennent en charge des niveaux d’évaluation spécifiques.
| Je veux | Commencer ici |
|---|---|
| Évaluer un agent hébergé pour la première fois | Démarrage rapide : Évaluer votre agent hébergé |
| Évaluer les données de test de requête-réponse existantes | Évaluer les jeux de données de réponse aux requêtes |
| Générer et évaluer des réponses à partir d’entrées de test | Évaluer les réponses du modèle et de l’agent |
| Évaluer les interactions individuelles capturées à partir d’un modèle ou d’un agent déployé | Évaluer les interactions déployées |
| Évaluer un jeu de données de conversations complètes | Évaluer les jeux de données de conversation |
| Évaluer les conversations complètes capturées dans les traces de production | Évaluer les conversations déployées |
| Simuler le comportement de l’agent multitour avant le déploiement | Simuler des conversations d’agent |
| Générer des scénarios et des conversations sans rédiger manuellement les données de test | Générer et évaluer des conversations synthétiques |
| Exécuter des tests de sûreté et de sécurité adversariaux | En savoir plus sur le red teaming de l’IA |
Choisir comment exécuter des évaluations
| Je veux | Commencer ici |
|---|---|
| Exécuter une évaluation dans le portail Foundry | Exécuter des évaluations à partir du portail Microsoft Foundry |
| Exécuter des évaluations de manière programmatique | Présentation de l’évaluation cloud avec le SDK Microsoft Foundry |
| Exécuter des évaluations d’agent à partir de la ligne de commande | Exécuter des évaluations d’agent avec l’interface CLI azd |
| Évaluer le trafic de production sur une base périodique | Surveiller les agents et configurer l’évaluation continue |
| Ajouter des évaluations à un pipeline de déploiement | Exécuter des évaluations dans GitHub Actions ou Azure DevOps |
Rechercher les composants dont vous avez besoin
- Évaluateurs : Commencez par les évaluateurs intégrés ou créez un évaluateur personnalisé pour vos propres critères.
- Données d’évaluation : Découvrez quand utiliser un jeu de données d’évaluation, comment générer des données synthétiques ou comment créer un jeu de données à partir de traces de production.
- Résultats :passez en revue les résultats dans le portail Foundry, récupérez les résultats de l’évaluation cloud avec le Kit de développement logiciel (SDK) ou utilisez l’analyse de cluster pour rechercher des modèles d’échec courants.