Surveiller les agents IA avec Application Insights

L’affichage détails de l’agent dans Application Insights offre une expérience unifiée pour surveiller les agents IA sur plusieurs sources, notamment Microsoft Foundry, Copilot Studio et les agents tiers.

Cette fonctionnalité consolide la télémétrie et les diagnostics, ce qui permet aux clients de suivre les performances de l’agent, d’analyser l’utilisation et les coûts des jetons, de résoudre les erreurs et d’optimiser le comportement de votre agent.

Note

L'observabilité de l'agent Azure Monitor est basée sur OpenTelemetry Generative AI Semantics.

Prerequisites

Avant de pouvoir utiliser la vue détails des agents, vous devez implémenter la collecte de données de l’agent IA.

Surveiller vos agents d'IA

Accéder à la vue des détails de l’agent

Une fois la télémétrie transmise à Application Insights :

1. Dans le portail Azure, accédez à votre ressource Application Insights.

2. Dans le menu de navigation, sélectionnez Agents (préversion).

   

Note

Vous pouvez également accéder à la vue détaillée de l’Agent depuis Foundry. À partir de votre agent, accédez à l’onglet Monitoring, puis sélectionnez View dans Azure Monitor.

Examiner les traces

Pour explorer des exécutions d’agents spécifiques :

1. Sélectionnez-en un dans la vue des détails de l'agent :

   • Afficher les traces avec les exécutions de l’agent - Afficher toutes les exécutions de l’agent
   • Afficher les traces comportant des erreurs Gen AI – Se concentrer sur les exécutions ayant échoué ou présentant des anomalies
   • Tout appel ou modèle d’outil individuel dans les vignettes Appels d’outils ou Modèles

   

   La superposition de recherche affiche les traces filtrées correspondant à votre sélection.

2. Utilisez les fonctionnalités de recherche pour :

   • Trier les traces par métriques comme la plupart des jetons utilisés pour identifier les opérations coûteuses
   • Filtrer par intervalle de temps pour isoler des incidents spécifiques
   • Rechercher dans le contenu d’invite (si la journalisation des données sensibles est activée)

3. Sélectionnez n’importe quelle trace pour accéder à la vue des détails de transaction de bout en bout pour une analyse complète.

   

Vue des détails de transaction de bout en bout

Les détails de la transaction de bout en bout offrent désormais une vue simple. Cette vue montre les étapes de l’agent de manière claire, similaire à l’histoire, notamment l’agent appelé, le modèle de langage volumineux sous-jacent (LLM), les outils exécutés, etc.

La vue simple vous permet de trouver rapidement les données de télémétrie pertinentes et de passer à Foundry ou à d’autres outils pour apporter les modifications nécessaires.

Note

Pour revenir à l’affichage traditionnel, sélectionnez Laisser un affichage simple dans la barre d’action supérieure.

Dans notre exemple, nous recherchions une utilisation élevée des jetons. Les informations sur les transactions vous permettent d’identifier un contexte de grande requête et/ou un modèle coûteux augmentant l’utilisation et les coûts des jetons.

Personnaliser les vues de surveillance avec Grafana

La vue des détails de l’agent dans Application Insights fournit une expérience opiniâtre et prête à l’emploi de la supervision de vos agents d’IA. Pour répondre à des besoins plus avancés en personnalisation et visualisation, vous pouvez sélectionner Explorer dans Grafana depuis la barre de navigation supérieure de la vue des détails de l’agent.

Azure Monitor inclut des tableaux de bord Grafana prédéfinis conçus pour la supervision Gen AI pour vous aider à commencer :

• Infrastructure de l’agent - Surveiller l’exécution et les performances de l’agent
• Flux de travail Agent Framework - Suivre les modèles et dépendances de flux de travail de l’agent
• Fonderie- Visualiser les métriques et les données de télémétrie spécifiques à Foundry

Ces tableaux de bord servent de point de départ pour votre stratégie de supervision. Vous pouvez les personnaliser en effectuant les éléments suivants :

• Utilisation de différents panneaux de visualisation pour correspondre à vos préférences
• Modification ou création de requêtes pour exposer des métriques spécifiques
• Utilisation de Save as pour créer des tableaux de bord personnalisés pour votre environnement et vos cas d’usage spécifiques

Pour en savoir plus sur l’utilisation de Grafana avec Application Insights, consultez Dashboards avec Grafana dans Application Insights et Utiliser des tableaux de bord Azure Monitor avec Grafana.

Étapes suivantes

• Découvrez comment fonctionne la corrélation dans Application Insights avec la Mise en corrélation des données de télémétrie.
• Explorez l’expérience de diagnostic de transaction de bout en bout qui met en corrélation dans une seule vue les données de télémétrie côté serveur de tous vos composants monitorés par Application Insights.