Analisar o custo do Unity Gateway

Observe e analise o custo de todo o tráfego do Gateway Unity por serviço-modelo, modelo-alvo e principal solicitante.

Os administradores de conta e workspace podem exibir uma visão geral consolidada dos gastos de IA na página de IA no Hub de Governança.

Note

A observabilidade de custo é baseada em registros de cobrança Azure Databricks. Para análises de uso em nível de requisição, como contagem de tokens, latência, detalhes do solicitante e tags de requisição, veja Rastrear o uso do modelo.

Requirements

• Unity Gateway ativado para sua conta.
• Um espaço de trabalho Azure Databricks em uma região suportada pelo Unity Gateway.
• A tabela do sistema de uso faturável está habilitada para sua conta. Consulte Habilitar as tabelas do sistema.

Atribuição

O Unity Gateway fornece atribuição de custos por meio da tabela do sistema de uso faturável (system.billing.usage).

O Unity Gateway enriquece registros de cobrança MODEL_SERVING em system.billing.usage com metadados específicos do serviço; assim, você possa atribuir o custo do Azure Databricks aos serviços, modelos de destino, entidades principais e marcas de serviço associadas. Para ver o esquema completo e as definições dos campos, consulte a referência da tabela de sistema de uso de faturamento.

A tabela do sistema de uso faturável inclui a atribuição de custo para modelos hospedados por Azure Databricks. Para gastos com modelos externos, consulte modelos externos.

Para requisições atendidas por meio de um serviço de modelo do Unity Gateway, o Azure Databricks preenche os seguintes campos nos registros MODEL_SERVING em system.billing.usage:

Campo	Descrição
usage_metadata.ai_gateway.endpoint_name	O nome do serviço modelo Unity Gateway que recebeu a solicitação. Este é o nome totalmente qualificado do Unity Catalog, no formato <catalog>.<schema>.<modelservice>.
usage_metadata.ai_gateway.endpoint_id	O ID do serviço modelo Unity Gateway.
usage_metadata.ai_gateway.destination_model	O modelo de destino que lidou com a solicitação, por exemplo GPT-5.2.
usage_metadata.ai_gateway.destination_id	O ID do destino que processou a solicitação.
identity_metadata.run_by	O usuário ou a entidade de serviço que emitiu a solicitação.
custom_tags	Tags de serviço configuradas no serviço modelo Unity Gateway, como team ou cost_center.

O Unity Gateway preenche esses campos tanto para requisições em tempo real quanto para inferência em lote que passam por ele.

Modelos externos

Para requisições roteadas para modelos externos por meio dos serviços de provedores de modelos no Unity Catalog, o Azure Databricks calcula o gasto estimado em USD para cada solicitação a partir do uso de tokens e dos preços publicados pelo provedor externo, ajustados por qualquer multiplicador de preços configurado no serviço do provedor modelo. O gasto é agregado a cada hora e registrado na tabela do sistema system.ai_gateway.external_model_spend. Use esta tabela para analisar os gastos com modelos externos por serviço do provedor do modelo, modelo de destino e principal solicitante.

Note

O gasto com modelos externos é fornecido apenas para fins informativos. Essas estimativas podem não refletir a fatura final do seu prestador, e a Azure Databricks não se responsabiliza por discrepâncias na faturação de terceiros.

Esquema de gastos do modelo externo

A system.ai_gateway.external_model_spend tabela tem o seguinte esquema:

Nome da Coluna	Tipo	Descrição
record_id	STRING	Um identificador exclusivo para o registro de gastos agregado.
account_id	STRING	O ID da conta.
workspace_id	STRING	O ID do espaço de trabalho onde o serviço do provedor do modelo está configurado.
usage_date	DATE	A data do registro de uso, derivada de usage_start_time.
usage_start_time	TIMESTAMP	O início da janela de agregação por hora, em UTC.
usage_end_time	TIMESTAMP	O fim da janela de agregação por hora, em UTC.
ingestion_date	DATE	A data em que o registro foi carregado na tabela.
usage_metadata	STRUCT	Metadados sobre o uso do modelo externo, incluindo provider, , model, endpoint_id, endpoint_name, e destination_iddestination_name.
custom_tags	STRUCT	Marcas fornecidas pelo usuário para atribuição de custo, incluindo endpoint_tags e request_tags.
usage_unit	STRING	A unidade de medida para usage_quantity. Sempre USD.
usage_quantity	DECIMAL	O custo estimado, em usage_unit, para a janela de agregação.
pricing_metadata	STRUCT	Metadados sobre os preços aplicados, incluindo service_tier e long_context.
identity_metadata	STRUCT	Identidade do solicitante, incluindo run_by e run_as.

Observability

O painel de uso interno inclui uma página de Análise de Custos para monitorar o custo e analisar os detalhamentos de custos ao longo do tempo. Você pode analisar o custo em várias dimensões, incluindo:

• Serviço de modelo
• Modelo de destino
• Usuário solicitante ou entidade de serviço

Além do custo do Azure Databricks, o painel inclui gastos com modelos externos da tabela system.ai_gateway.external_model_spend.

Para abrir o painel, clique em Governar no canto superior direito da página do Unity Gateway e depois clique em Painel de Uso. Para obter detalhes sobre como importar e atualizar o painel, consulte o painel de uso interno.

Note

A observabilidade de custo está disponível na versão 0.4 do painel e posteriores. Os administradores da conta devem atualizar o painel para receber as alterações de modelo mais recentes. Consulte o painel de uso interno.

Analisando o custo

Dica

O Código do Gênio (modo agente) pode fazer isso por você. Experimente este prompt de exemplo:

Query system.billing.usage to show AI Gateway DBU cost for the past 30 days, broken down by usage_metadata.ai_gateway.endpoint_name, destination model, and requesting user. Filter to MODEL_SERVING records. Show top 10 in each.

Modelos hospedados pelo Databricks

As consultas a seguir analisam os custos de modelos hospedados no Azure Databricks em system.billing.usage. O custo pode ser discriminado por serviço do modelo, modelo de destino e entidade de segurança.

Por serviço de modelos

SELECT
  usage_metadata.ai_gateway.endpoint_name AS endpoint_name,
  SUM(usage_quantity) AS dbus
FROM system.billing.usage
WHERE billing_origin_product = 'MODEL_SERVING'
  AND usage_metadata.ai_gateway.endpoint_name IS NOT NULL
  AND usage_unit = 'DBU'
  AND usage_date >= current_date() - INTERVAL 30 DAYS
GROUP BY endpoint_name
ORDER BY dbus DESC;

Por modelo de destino

SELECT
  usage_metadata.ai_gateway.destination_model AS destination_model,
  SUM(usage_quantity) AS dbus
FROM system.billing.usage
WHERE billing_origin_product = 'MODEL_SERVING'
  AND usage_metadata.ai_gateway.endpoint_name IS NOT NULL
  AND usage_unit = 'DBU'
  AND usage_date >= current_date() - INTERVAL 30 DAYS
GROUP BY destination_model
ORDER BY dbus DESC;

Por usuário ou principal de serviço

SELECT
  identity_metadata.run_by AS run_by,
  SUM(usage_quantity) AS dbus
FROM system.billing.usage
WHERE billing_origin_product = 'MODEL_SERVING'
  AND usage_metadata.ai_gateway.endpoint_name IS NOT NULL
  AND identity_metadata.run_by IS NOT NULL
  AND usage_unit = 'DBU'
  AND usage_date >= current_date() - INTERVAL 30 DAYS
GROUP BY run_by
ORDER BY dbus DESC;

Modelos externos

As consultas a seguir analisam os gastos do modelo externo em system.ai_gateway.external_model_spend. Os custos podem ser discriminados por serviço do provedor do modelo, modelo de destino e tags de solicitação.

Por serviço do provedor do modelo

SELECT
  usage_metadata.endpoint_name AS model_provider_service,
  SUM(usage_quantity) AS usd
FROM system.ai_gateway.external_model_spend
WHERE usage_start_time >= current_timestamp() - INTERVAL 30 DAYS
GROUP BY model_provider_service
ORDER BY usd DESC;

Por modelo de destino

SELECT
  usage_metadata.model AS destination_model,
  SUM(usage_quantity) AS usd
FROM system.ai_gateway.external_model_spend
WHERE usage_start_time >= current_timestamp() - INTERVAL 30 DAYS
GROUP BY destination_model
ORDER BY usd DESC;

Por usuário ou principal de serviço

SELECT
  identity_metadata.run_by AS run_by,
  SUM(usage_quantity) AS usd
FROM system.ai_gateway.external_model_spend
WHERE usage_start_time >= current_timestamp() - INTERVAL 30 DAYS
GROUP BY run_by
ORDER BY usd DESC;

Por etiqueta de solicitação

Para anexar tags de solicitação às suas consultas, veja Marcagem de Solicitações.

SELECT
  custom_tags.request_tags['team'] AS team,
  SUM(usage_quantity) AS usd
FROM system.ai_gateway.external_model_spend
WHERE usage_start_time >= current_timestamp() - INTERVAL 30 DAYS
GROUP BY team
ORDER BY usd DESC;

Limitations

• A atribuição de gastos para modelos hospedados pelo Azure Databricks se aplica a registros MODEL_SERVING em system.billing.usage.
• Para serviços de modelo com vários destinos, como divisão de tráfego ou fallbacks, ai_gateway.destination_model e ai_gateway.destination_id identificam o destino que, em última instância, atendeu à solicitação.
• Os gastos com modelos externos são compatíveis apenas com serviços de provedores de modelos no Unity Catalog.
• No momento, o rastreamento de gastos de modelos externos não é compatível com o provedor Personalizado. O Azure Databricks estima os gastos com base nos preços publicados de cada provedor, que não estão disponíveis para endpoints personalizados.