Compartilhar via

Referência da tabela do sistema de uso faturável

  • Artigo

Importante

Esse recurso está em uma versão prévia.

Este artigo fornece uma visão geral da tabela do sistema de uso faturável, incluindo o esquema e as consultas de exemplo. Com as tabelas do sistema, os dados de uso faturáveis da sua conta são centralizados e roteados para todas as regiões, para que você possa exibir o uso global da sua conta de qualquer região em que seu workspace esteja.

Esquema da tabela de utilização faturável

A tabela do sistema de uso faturável está localizada em system.billing.usage e usa o seguinte esquema:

Nome da coluna Tipo de dados Descrição Exemplo
record_id string ID exclusiva para este registro 11e22ba4-87b9-4cc2-9770-d10b894b7118
account_id string ID da conta para a qual este relatório foi gerado 23e22ba4-87b9-4cc2-9770-d10b894b7118
workspace_id string ID do workspace ao qual esse uso foi associado 1234567890123456
sku_name string Nome da SKU STANDARD_ALL_PURPOSE_COMPUTE
cloud string Nuvem para a qual esse uso é relevante. Os valores possíveis são AWS, AZURE e GCP. AWS, AZURE ou GCP
usage_start_time timestamp A hora de início relevante para este registro de uso 2023-01-09 10:00:00.000
usage_end_time timestamp A hora de término relevante para esse registro de uso 2023-01-09 11:00:00.000
usage_date date Data do registro de uso, esse campo pode ser usado para agregação mais rápida por data 2023-01-01
custom_tags map Marcas aplicadas pelos usuários a esse uso { “env”: “production” }
usage_unit string Unidade em que esse uso é medido. Os valores possíveis incluem DBUs. DBU
usage_quantity decimal Número de unidades consumidas para esse registro. 259.2958
usage_metadata struct Metadados fornecidos pelo sistema sobre o uso, incluindo IDs para trabalhos e recursos de computação (se aplicável). Consulte Analisar metadados de uso. {cluster_id: null; instance_pool_id: null; notebook_id: null; job_id: null; node_type: null}
identity_metadata struct Metadados fornecidos pelo sistema sobre as identidades envolvidas no uso. Consulte Analisar metadados de identidade. {run_as: example@email.com}
record_type string Se o registro é uma correção. Os valores possíveis são ORIGINAL, RETRACTION e RESTATEMENT. ORIGINAL
ingestion_date date Data em que o registro foi ingerido na tabela usage. 2024-01-01
billing_origin_product string O produto que originou o uso. Alguns produtos podem ser cobrados como SKUs diferentes. Para obter valores possíveis, confira Exibir informações sobre o produto associado ao uso. JOBS
product_features struct Detalhes sobre os recursos específicos do produto usados. Para obter valores possíveis, confira Recursos do produto.
usage_type string O tipo de uso atribuído ao produto ou carga de trabalho para fins de cobrança. Os valores possíveis são COMPUTE_TIME, COMPUTE_SLOT, STORAGE_SPACE, NETWORK_BYTES, API_CALLS, TOKEN ou GPU_TIME. STORAGE_SPACE

Analisar metadados de uso

Os valores em usage_metadata informam sobre os recursos envolvidos no registro de uso.

Valor Tipo de dados Descrição
cluster_id string ID do cluster associado ao registro de uso
instance_pool_id string ID do pool de instância associado ao registro de uso
node_type string O tipo de instância do recurso de computação
job_id string ID do trabalho associado ao registro de uso
job_run_id string ID da execução do trabalho associado ao registro de uso
notebook_id string ID do notebook associado ao uso. Retorna apenas um valor para computação sem servidor para uso de notebook; caso contrário, retorna NULL.
dlt_pipeline_id string ID do pipeline de Delta Live Tables associado ao registro de uso

Observação

Em casos raros, job_run_id não é preenchido para trabalhos de longa execução cuja computação começou a ser executada antes do Azure Databricks começar a capturar os metadados job_run_id. Reinicie a computação do trabalho para começar a gravar job_run_id.

Encontre um trabalho ou notebook na interface do usuário usando o job_id ou notebook_id

Estas instruções explicam como efetuar pull de um trabalho ou notebook específico na interface do usuário com base em sua ID.

Para encontrar um trabalho na interface do usuário com base em job_id:

  1. Copie job_id do registro de uso. Para este exemplo, suponha que a ID seja 700809544510906.
  2. Navegue até a interface do usuário de Fluxos de trabalho no mesmo workspace do Azure Databricks que o trabalho.
  3. Verifique se o filtro Somente pertencentes a mim estão desmarcados.
  4. Cole a ID (700809544510906) na barra de pesquisa Filtrar trabalhos.

Para encontrar um notebook na interface do usuário com base em notebook_id, siga as seguintes instruções:

  1. Copienotebook_id do registro de uso. Para este exemplo, suponha que a ID seja 700809544510906.
  2. Navegue até a interface do usuário de Workspaces no mesmo workspace do Azure Databricks que o trabalho.
  3. clique em qualquer notebook que você vir.
  4. Depois de abrir o bloco de anotações, examine a URL na barra de endereços do navegador. Ela deve ter aparência semelhante a https://<account-console-url>/?o=<workspace ID>#notebook/<notebook ID>/command/<command ID>.
  5. Na barra de endereços do navegador, substitua a ID do notebook pela ID copiada na primeira etapa e exclua tudo após a ID do notebook. Ela deve ter aparência semelhante a https://<account-console-url>/?o=<workspace ID>#notebook/700809544510906.
  6. Depois de puxar o bloco de anotações, você pode clicar no botão Share para exibir o proprietário do bloco de anotações.

Analisar metadados de identidade

A coluna identity_metadata pode ajudar você a identificar quem é responsável por um registro de cobrança sem servidor. A coluna inclui um valor run_as que atribui o uso a uma identidade. A identidade registrada em identity_metadata.run_as depende do produto associado ao uso.

Consulte a tabela a seguir para obter o comportamento identity_metadata.run_as:

Tipo de carga de trabalho Identidade de run_as
Computação sem servidor para fluxos de trabalho O usuário ou a entidade de serviço definida na execução como configuração. Por padrão, os trabalhos são executados como a identidade do proprietário do trabalho, mas os administradores podem alterá-lo para ser outro usuário ou entidade de serviço.
Computação sem servidor para notebooks O usuário que executou os comandos do notebook (especificamente, o usuário que criou a sessão do notebook). Para notebooks compartilhados, isso inclui o uso de outros usuários que compartilham a mesma sessão de notebook.

Exibir informações sobre o produto associado ao uso

Alguns produtos do Databricks são cobrados na mesma SKU compartilhada. Para ajudá-lo a diferenciar o uso, as colunas billing_origin_product e product_features fornecem mais informações sobre o produto e os recursos específicos associados ao uso.

A coluna billing_origin_product mostra o produto do Databricks associado ao registro de uso. Os valores incluem:

  • JOBS
  • DLT
  • SQL
  • ALL_PURPOSE
  • MODEL_SERVING
  • INTERACTIVE
  • MANAGED_STORAGE
  • VECTOR_SEARCH
  • LAKEHOUSE_MONITORING
  • PREDICTIVE_OPTIMIZATION
  • ONLINE_TABLES

A coluna product_features é um objeto que contém informações sobre os recursos específicos do produto usados e inclui os seguintes pares chave/valor:

  • jobs_tier: os valores incluem LIGHT, CLASSIC ou null
  • sql_tier: os valores incluem CLASSIC, PRO ou null
  • dlt_tier: os valores incluem CORE, PRO, ADVANCED ou null
  • is_serverless: os valores incluem true ou false, ou null
  • is_photon: os valores incluem true ou false, ou null
  • serving_type: os valores incluem MODEL, GPU_MODEL, FOUNDATION_MODEL, FEATURE ou null

Uso de computação sem servidor

Para obter estratégias sobre como analisar o uso sem servidor, consulte Monitorar o custo de computação sem servidor.

Consultas de exemplo

Você pode usar as seguintes consultas de exemplo para responder a perguntas comuns sobre o uso faturável:

Qual é a tendência diária no consumo de DBU?

SELECT usage_date as `Date`, sum(usage_quantity) as `DBUs Consumed`
  FROM system.billing.usage
WHERE sku_name = "STANDARD_ALL_PURPOSE_COMPUTE"
GROUP BY usage_date
ORDER BY usage_date ASC

Quantas DBUs de cada SKU foram usadas ao longo deste mês?

SELECT sku_name, usage_date, sum(usage_quantity) as `DBUs`
    FROM system.billing.usage
WHERE
    month(usage_date) = month(NOW())
    AND year(usage_date) = year(NOW())
GROUP BY sku_name, usage_date

Quanto de cada SKU um workspace usou em 1 de junho?

Não se esqueça de substituir workspace_id pelo ID real do espaço de trabalho.

SELECT sku_name, sum(usage_quantity) as `DBUs consumed`
FROM system.billing.usage
WHERE workspace_id = 1234567890123456
AND usage_date = "2023-06-01"
GROUP BY sku_name

Observação

Essa consulta retorna uma linha por ID de SKU exclusiva usada no workspace na data escolhida.

Quais trabalhos consumiram mais DBUs?

SELECT usage_metadata.job_id as `Job ID`, sum(usage_quantity) as `DBUs`
FROM system.billing.usage
WHERE usage_metadata.job_id IS NOT NULL
GROUP BY `Job ID`
ORDER BY `DBUs` DESC

Quanto uso pode ser atribuído aos recursos com uma marca específica?

Você pode dividir os custos de várias maneiras. Este exemplo mostra como dividir os custos por uma marca personalizada. Substitua a chave e o valor da marca personalizada na consulta.

SELECT sku_name, usage_unit, SUM(usage_quantity) as `DBUs consumed`
FROM system.billing.usage
WHERE custom_tags.{{key}} = "{{value}}"
GROUP BY 1, 2

Mostre-me as SKUs em que o uso está crescendo

SELECT after.sku_name, before_dbus, after_dbus, ((after_dbus - before_dbus)/before_dbus * 100) AS growth_rate
FROM
(SELECT sku_name, sum(usage_quantity) as before_dbus
    FROM system.billing.usage
WHERE usage_date BETWEEN "2023-04-01" and "2023-04-30"
GROUP BY sku_name) as before
JOIN
(SELECT sku_name, sum(usage_quantity) as after_dbus
    FROM system.billing.usage
WHERE usage_date BETWEEN "2023-05-01" and "2023-05-30"
GROUP BY sku_name) as after
where before.sku_name = after.sku_name
SORT by growth_rate DESC

Qual é a tendência de uso da Computação de Todas as Finalidades (Photon)?

SELECT sku_name, usage_date, sum(usage_quantity) as `DBUs consumed`
    FROM system.billing.usage
WHERE year(usage_date) = year(CURRENT_DATE)
AND sku_name = "ENTERPRISE_ALL_PURPOSE_COMPUTE_(PHOTON)"
AND usage_date > "2023-04-15"
GROUP BY sku_name, usage_date

Qual é o consumo de DBU de uma exibição materializada ou tabela de streaming?

Para determinar o uso de DBU e SKU para uma exibição materializada específica ou uma tabela de streaming, você precisa da ID do Pipeline associado (dlt_pipeline_id). Localize a ID do Pipeline na guia Detalhes ao exibir a exibição materializada relevante ou a tabela de streaming no Gerenciador de Catálogos.

SELECT
  sku_name,
  usage_date,
  SUM(usage_quantity) AS `DBUs`
FROM
  system.billing.usage
WHERE
  usage_metadata.dlt_pipeline_id = "113739b7-3f45-4a88-b6d9-e97051e773b9"
  AND usage_start_time > "2023-05-30"
GROUP BY
  ALL