Observabilidade do Unity AI Gateway

A observabilidade do Unity AI Gateway permite-lhe monitorizar custo, utilização, desempenho e acesso para cada serviço de IA a partir de um único plano de controlo, apoiado por tabelas do sistema Unity Catalog. À medida que as equipas adotam agentes de programação, copilotos e agentes personalizados em toda a organização, torna-se mais difícil perceber quem acede a quais modelos ou ferramentas, quanto custam e se os endpoints são saudáveis. Como cada pedido passa pelo Unity AI Gateway, pode responder a essas perguntas num só lugar.

Note

O acesso a estas tabelas do sistema requer por defeito funções de administrador de contas e metastores. Os administradores podem gerir o acesso às tabelas do sistema ou publicar o painel de utilização do AI Gateway para partilhar análises de utilização sem conceder acesso às tabelas.

Requirements

  • Um espaço de trabalho Azure Databricks numa região suportada por Unity AI Gateway.
  • O painel de utilização incorporado do Unity AI Gateway. Um administrador da conta pode criá-lo através de AI Gateway > Govern > Create Usage Dashboard. Veja Criar painel de utilização incorporado.

Monitorizar custo

Na interface do espaço de trabalho, vá para AI Gateway > Govern > Painel de Utilização > Análise de Custos para acompanhar a despesa em dólares por endpoint, modelo base fornecido pelo Azure Databricks ou por utilizador ao longo do tempo. O painel incorporado baseia-se em tabelas de utilização e faturação:

Note

O investimento em modelos externos é calculado a partir dos preços publicados por cada fornecedor e é apenas informativo. Consulte modelos externos.

Para atribuir o gasto segundo dimensões personalizadas, use etiquetas de pedido ou de serviço para agrupar o custo por unidade de negócio, projeto ou qualquer dimensão que a sua organização valorize (ver Acompanhar o gasto do modelo de fundação por utilizador, equipa ou projeto).

Consulte Analisar o custo do Unity AI Gateway.

Utilização e desempenho do monitor

O painel de utilização do Unity AI Gateway (AI Gateway > Govern > Usage Dashboard) acompanha o volume de pedidos, o consumo de tokens e a latência para todos os endpoints governados pelo gateway. Cada Modelo ou Serviço MCP tem também um separador de Métricas incorporado para monitorização de saúde sem sair da interface do Explorador de Catálogos. Para uma análise mais aprofundada, consulte a system.ai_gateway.usage tabela para analisar métricas de utilização como contagem de tokens, latência, requerente e etiquetas de pedido para cada pedido encaminhado através do gateway (ver o esquema da tabela de uso).

Note

Os endpoints do Unity AI Gateway registam em system.ai_gateway.usage, enquanto os endpoints que servem o modelo (legado) registam para system.serving.endpoint_usage.

Usos comuns:

  • Monitorize e otimize todos os seus serviços de IA a partir de um só lugar, em toda a sua stack de IA
  • Acompanhar a adoção de agentes de codificação e a popularidade do modelo entre as equipas
  • Identificar os utilizadores, serviços e modelos mais ativos para identificar oportunidades de otimização

Ver Rastrear a utilização do modelo.

Inspecionar solicitações e respostas

Ative tabelas de inferência num serviço modelo para registar cargas úteis de pedidos e respostas numa tabela do Unity Catalog. Utilizar tabelas de inferência para:

  • Resolver problemas de respostas inesperadas ou com falhas
  • Verifique se as salvaguardas estão a funcionar, por exemplo, a ocultação de PII
  • Auditoria de exposição a dados sensíveis

Ver Pedidos de registo e respostas às tabelas de inferência.

Acesso de auditoria

Consulta a system.access.audit tabela para provar quem acedeu a que serviço de IA e quando. Para distinguir um chamador humano de um agente que atua em seu nome, use os run_by campos e run_as em identity_metadata.

Usos comuns:

  • Produzir um trilho de acesso para relatórios de conformidade e regulamentação
  • Distinguir um chamador humano de um agente que atua em seu nome
  • Mantenha um registo central de auditoria entre os agentes de codificação que as suas equipas utilizam

Consulte a referência da tabela do sistema de registo de auditoria.

Controlar dependências

Lineage acompanha as dependências entre modelos fundacionais e Serviços de Modelo, bem como os seus consumidores subsequentes. Use a linhagem para definir o impacto de depreciar ou alterar um Serviço Modelo e notifique os seus proprietários.

Ver Linhagem no Catálogo Unity.

Recursos adicionais

  • Last updated on