Partilhar via

Monitore agentes de IA com o Application Insights

A vista de detalhes do Agente no Application Insights proporciona uma experiência unificada para monitorizar agentes de IA em múltiplas fontes, incluindo Microsoft Foundry, Copilot Studio e agentes terceiros.

Esse recurso consolida a telemetria e o diagnóstico, permitindo que os clientes acompanhem o desempenho do agente, analisem o uso e os custos do token, solucionem erros e otimizem o comportamento do agente.

Observação

Azure Monitor Observabilidade do Agente baseia-se em OpenTelemetry Generative AI Semantics.

Pré-requisitos

Antes de poderes usar a vista de detalhes dos agentes, precisas de implementar a recolha de dados dos agentes de IA.

Monitore seus agentes de IA

Acesse a visualização de detalhes do agente

Quando a telemetria estiver a ser enviada para o Application Insights:

  1. No portal Azure, aceda ao seu recurso Application Insights.

  2. No menu de navegação, selecione Agentes (Pré-visualização).

    Uma captura de tela mostrando como acessar os detalhes do agente.

Observação

Também pode aceder à visualização de detalhes do agente no Foundry. A partir do seu agente, vá ao separador Monitorização e depois selecione View em Azure Monitor.

Investigar vestígios

Para detalhar execuções específicas do agente:

  1. Selecione um na vista de detalhes do Agente:

    • Exibir rastreamentos com execuções de agente - Veja todas as execuções de agente
    • Visualizar rastreamentos com erros de IA da geração - Concentre-se em execuções com falha ou problemáticas
    • Qualquer chamada de ferramenta ou modelo individual nos blocos Chamadas de ferramenta ou Modelos

    Uma captura de tela mostrando como abrir a Pesquisa na experiência de detalhes do Agente.

    A sobreposição Pesquisar exibe rastreamentos filtrados correspondentes à sua seleção.

  2. Use os recursos de pesquisa para:

    • Classifique os rastreamentos por métricas, como a maioria dos tokens usados para identificar operações caras
    • Filtrar por intervalo de tempo para isolar incidentes específicos
    • Pesquisar através do conteúdo do prompt (se o registro de dados confidenciais estiver habilitado)

  3. Selecione qualquer rastreamento para chegar à visualização de detalhes da transação de ponta a ponta para uma análise abrangente.

    Uma captura de ecrã mostrando a sobreposição de Pesquisa na experiência de detalhes do Agente.

Visualização de detalhes da transação de ponta a ponta

Os detalhes das transações de ponta a ponta oferecem agora uma visão simples. Esta perspetiva mostra os passos do agente de forma clara e narrativa, incluindo o agente invocado, o grande modelo de linguagem (LLM) subjacente, ferramentas executadas e muito mais.

A vista simples permite-lhe encontrar rapidamente a telemetria relevante e fazer a transição para o Foundry ou outras ferramentas para fazer as alterações necessárias.

Observação

Para regressar à vista tradicional, selecione Deixar vista simples na barra de ações superior.

Uma captura de tela mostrando a exibição de detalhes da transação de ponta a ponta.

No nosso exemplo, estávamos pesquisando o alto uso de tokens. Os detalhes da transação permitem que você identifique que um grande contexto de solicitação e/ou um modelo caro está aumentando o uso e os custos do token.

Personalizar vistas de monitorização com o Grafana

A vista de detalhes do Agente no Application Insights proporciona uma experiência opinativa e inovadora para monitorizar os seus agentes de IA. Para necessidades de personalização e visualização mais avançadas, pode selecionar Explorar no Grafana na barra de navegação superior na vista de detalhes do Agente.

O Azure Monitor inclui dashboards Grafana pré-configurados, concebidos para monitorizar Gen AI e ajudar a começar.

  • Estrutura de Agentes - Monitorizar a execução e o desempenho do agente
  • Fluxo de trabalho do Agent Framework - Acompanhar os padrões de fluxo de trabalho e dependências dos agentes
  • Fundição - Visualize métricas e telemetria específicas da Foundry

Uma captura de ecrã que mostra o painel do Grafana ao monitorizar agentes de IA.

Estes dashboards servem como ponto de partida para a sua estratégia de monitorização. Pode personalizá-los assim:

  • Usar diferentes painéis de visualização para corresponder às suas preferências
  • Editar ou criar novas consultas para destacar métricas específicas
  • Usar o Save As para criar dashboards personalizados para o seu ambiente e casos de uso específicos

Para saber mais sobre a utilização do Grafana com Application Insights, consulte Dashboards com Grafana em Application Insights e Use Azure Monitor Dashboards com Grafana.

Próximos passos

  • Saiba como funciona a correlação no Application Insights com correlação de telemetria.
  • Explore a experiência de diagnóstico de ponta a ponta de transações que correlaciona a telemetria do lado do servidor de todos os componentes monitorados pelo Application Insights numa única perspetiva.
  • Last updated on