Monitorare gli agenti di intelligenza artificiale con Application Insights

La visualizzazione Dettagli agente in Application Insights offre un'esperienza unificata per il monitoraggio degli agenti di intelligenza artificiale in più origini, tra cui Microsoft Foundry, Copilot Studio e agenti di terze parti.

Questa funzionalità consolida i dati di telemetria e la diagnostica, consentendo di tenere traccia delle prestazioni dell'agente, analizzare l'utilizzo e i costi dei token, risolvere gli errori e ottimizzare il comportamento dell'agente.

Annotazioni

Monitoraggio di Azure Agent Observability si basa su OpenTelemetry Generative AI Semantics.

Prerequisiti

Prima di poter usare la visualizzazione Dettagli agenti, implementare la raccolta di dati dell'agente IA.

Monitorare gli agenti di intelligenza artificiale

Accedere alla vista dei dettagli dell'agente

Dopo che i dati di telemetria sono stati inviati a Application Insights:

1. Nel portale di Azure passare alla risorsa Application Insights.

2. Nel menu di spostamento selezionare Agenti (anteprima).

   

Annotazioni

È anche possibile accedere alla visualizzazione dei dettagli dell'agente da Foundry. Dall'agente passare alla scheda Monitoraggio e quindi selezionare View in Monitoraggio di Azure.

Analizzare le tracce

Per esplorare esecuzioni specifiche dell'agente:

1. Selezionare un'opzione nella visualizzazione Dettagli agente:

   • Visualizza le tracce con le esecuzioni dell'agente - Visualizza tutte le esecuzioni dell'agente.
   • Visualizza le tracce con errori di IA generativa - Concentrati sulle esecuzioni non riuscite o problematiche.
   • Qualsiasi singola chiamata o modello di strumento nei riquadri Chiamate strumento o Modelli .

   

   La sovrimpressione Ricerca visualizza tracce filtrate che corrispondono alla selezione.

2. Usare le funzionalità di ricerca per:

   • Ordinare le tracce in base alle metriche, ad esempio la maggior parte dei token usati per identificare operazioni costose.
   • Filtrare in base all'intervallo di tempo per isolare eventi imprevisti specifici.
   • Cerca nel contenuto del prompt se la registrazione di dati sensibili è abilitata.

3. Selezionare una traccia qualsiasi per accedere alla vista Dettagli della transazione end-to-end per un'analisi approfondita.

   

Visualizzazione dei dettagli delle transazioni da capo a capo

La visualizzazione dei dettagli delle transazioni end-to-end offre ora una visualizzazione semplice. Questa visualizzazione mostra i passaggi dell'agente in modo chiaro e simile a una storia, tra cui l'agente richiamato, il modello LLM (Large Language Model), gli strumenti eseguiti e altro ancora.

La visualizzazione semplice consente di trovare rapidamente i dati di telemetria pertinenti e la transizione a Foundry o ad altri strumenti per apportare le modifiche necessarie.

Annotazioni

Per tornare alla visualizzazione tradizionale, selezionare Lascia una visualizzazione semplice nella barra delle azioni superiore.

In questo esempio, si analizza un uso elevato di token. I dettagli della transazione aiutano a capire che un contesto del prompt molto ampio e un modello costoso fanno aumentare l'uso dei token e i costi.

Personalizzare le visualizzazioni di monitoraggio con Grafana

La visualizzazione dei dettagli agente in Application Insights offre un'esperienza predefinita per il monitoraggio degli agenti IA. Per esigenze di personalizzazione e visualizzazione più avanzate, selezionare Esplora in Grafana nella barra di spostamento superiore nella visualizzazione Dettagli agente.

Monitoraggio di Azure include dashboard preconfigurati di Grafana progettati per iniziare a utilizzare il monitoraggio dell'IA generativa:

• Framework agente - Monitora l'esecuzione e le prestazioni dell'agente
• Flusso di lavoro di Agent Framework - Tenere traccia dei modelli e delle dipendenze del flusso di lavoro dell'agente
• Fonderia- Visualizzare metriche e dati di telemetria specifici di Foundry
• Dashboard degli agenti IA per la programmazione - Monitoraggio dell'utilizzo, delle prestazioni e dei costi degli agenti IA per la programmazione. Vedere Monitorare gli agenti di codifica per intelligenza artificiale.

Questi dashboard fungono da punto di partenza per la strategia di monitoraggio. È possibile personalizzarli in base a:

• Uso di pannelli di visualizzazione diversi in base alle preferenze
• Modifica o creazione di nuove query per visualizzare metriche specifiche
• Usare Salva con nome per creare dashboard personalizzate per il tuo ambiente specifico e i casi d'uso

Per altre informazioni sull'uso di Grafana con Application Insights, vedere Dashboards con Grafana in Application Insights e Usare i Dashboard di Monitoraggio di Azure con Grafana.

Monitorare gli agenti di codifica per intelligenza artificiale

Agenti di codifica IA come GitHub Copilot, Claude Code, Codex, OpenClaw, Gemini CLI e OpenCode emettono segnali OpenTelemetry Protocol (OTLP) che confluiscono in Application Insights, offrendo visibilità su utilizzo, costi e affidabilità.

Come i dati di telemetria dell'agente di codifica raggiungono Monitoraggio di Azure

Configurare agenti di codifica o IDE per esportare i segnali OTLP usando variabili di ambiente a livello di organizzazione, impostazioni di progetto o configurazioni del repository condiviso.

Annotazioni

Assicurarsi che la configurazione dell'esportazione OTLP corrisponda ai criteri di gestione dei dati e della privacy dell'organizzazione. Queste impostazioni determinano se i dettagli del contenuto e della conversazione vengono acquisiti ed esportati.

Un agente di raccolta OpenTelemetry riceve i dati OTLP e lo inoltra a Monitoraggio di Azure utilizzando l'utilità di esportazione Monitoraggio di Azure. Per la configurazione end-to-end, vedere Monitorare gli agenti di codifica di intelligenza artificiale con Grafana.

Quando i dati si trovano in Monitoraggio di Azure, è possibile analizzare i modelli di utilizzo e adozione nelle visualizzazioni dell'agente di Application Insights e visualizzare le tendenze con dashboard predefiniti dell'agente di codifica.

Dashboard Grafana preconfigurate per agenti di codifica

Monitoraggio di Azure include dashboard di Grafana predefinite per il monitoraggio dell'agente di programmazione:

• dashboard di GitHub Copilot
• Dashboard di Claude Code
• Dashboard OpenClaw

È possibile trovare questi dashboard nei dashboard con Grafana in Application Insights e in Grafana con gestione Azure.

Risorse correlate

• Monitorare l'utilizzo dell'agente con OpenTelemetry (VS Code)
• Monitorare gli agenti di codifica di intelligenza artificiale con Grafana

Passaggi successivi

• Esplorare l'esperienza di diagnostica delle transazioni end-to-end che correla i dati di telemetria lato server da tutti i componenti monitorati da Application Insights in un'unica vista.