Résumé

  • 3 minutes

L’évaluation des applications IA génératives nécessite plus d’un score unique. Vous avez besoin de données représentatives, de l’évaluateur approprié et d’un moyen discipliné d’interpréter les résultats. Microsoft Foundry prend en charge les flux de travail d’évaluation basés sur le portail et le SDK, tandis que le catalogue d’évaluateurs intégré vous aide à évaluer la qualité de l’écriture, la similarité avec la vérité de base, le comportement RAG, la sécurité et le comportement de l’agent.

La pratique d’évaluation la plus efficace combine des exécutions automatisées avec une révision humaine ciblée. Utilisez des données réelles lorsque cela est possible, complétez-les par des données synthétiques lorsque la couverture est limitée, utilisez les tests de red teaming de l'IA ou d'autres tests contradictoires lorsque vous devez sonder les risques de sûreté et de sécurité, et comparez les exécutions par rapport à une base de référence stable avant de prendre une décision sur l'amélioration du système.

Avant de rendre opérationnel le flux de travail, confirmez les entrées requises de chaque évaluateur, la prise en charge visée, l'état de la préversion et la prise en charge de la région dans les consignes actuelles de Microsoft Learn. La vérification est cruciale pour l'évaluation du cloud, les flux de travail de sécurité et d'équipe rouge, les évaluateurs personnalisés, les correcteurs, et certains évaluateurs axés sur les agents.

Une fois que vous avez des résultats, convertissez-les en action. Améliorez la récupération lorsque l'ancrage ou la pertinence est faible, renforcez les instructions de sécurité et le filtrage lorsque les évaluateurs de risques identifient des dangers, et ajoutez des évaluateurs personnalisés lorsque vos critères métier vont au-delà du catalogue intégré.

En savoir plus