Compartir a través de

Referencia de tabla del sistema de utilización facturable

  • Artículo

Importante

Esta característica está en versión preliminar pública.

En este artículo se proporciona información general sobre la tabla del sistema de uso facturable, incluidas las consultas de esquema y ejemplo. Con las tablas del sistema, los datos de uso facturables de la cuenta se centralizan y enrutan a todas las regiones, por lo que puede ver el uso global de la cuenta desde la región en la que se encuentre el área de trabajo.

Para obtener más información sobre cómo usar esta tabla para supervisar los costes de los trabajos, consulte Supervisión de los costes de trabajo con las tablas del sistema.

Para obtener estrategias sobre el análisis del uso sin servidor, vea Supervisión del costo de proceso sin servidor.

Esquema de la tabla de facturación

La tabla del sistema de uso facturable se encuentra en system.billing.usage y usa el esquema siguiente:

Nombre de la columna Tipo de datos Descripción Ejemplo
record_id cadena Id. único de este registro 11e22ba4-87b9-4cc2
-9770-d10b894b7118
account_id cadena Id. de la cuenta para la que se generó este informe 23e22ba4-87b9-4cc2
-9770-d10b894b7118
workspace_id cadena Id. del área de trabajo a la que se ha asociado este uso 1234567890123456
sku_name cadena Nombre de la SKU STANDARD_ALL_PURPOSE_COMPUTE
cloud cadena Nube para la que este uso es relevante. Los valores posibles son AWS, AZURE y GCP. AWS, AZUREo GCP
usage_start_time timestamp Hora de inicio relevante para este registro de uso 2023-01-09 10:00:00.000
usage_end_time timestamp Hora de finalización relevante para este registro de uso 2023-01-09 11:00:00.000
usage_date date Fecha del registro de uso, este campo se puede usar para una agregación más rápida por fecha 2023-01-01
custom_tags map Etiquetas aplicadas por los usuarios a este uso. Incluye etiquetas de recursos de proceso, etiquetas de trabajos y etiquetas personalizadas del área de trabajo. { “env”: “production” }
usage_unit string Unidad en la que se mide este uso. Entre los valores posibles se incluyen DBU. DBU
usage_quantity Decimal Número de unidades consumidas para este registro. 259.2958
usage_metadata struct Metadatos proporcionados por el sistema sobre el uso, incluidos los id. para los recursos de proceso y los trabajos (si procede). Vea Analizar metadatos de uso. {cluster_id: null;
instance_pool_id: null;
notebook_id: null;
job_id: null;
node_type: null}
identity_metadata struct Metadatos proporcionados por el sistema sobre las identidades implicadas en el uso. Vea Analizar metadatos de identidad. {run_as: example@email.com}
record_type string Si el registro es una corrección. Los valores posibles son ORIGINAL, RETRACTION y RESTATEMENT. ORIGINAL
ingestion_date date Fecha en la que se ingirió el registro en la tabla usage. 2024-01-01
billing_origin_product string Producto que originó el uso. Algunos productos se pueden facturar como SKU diferentes. Para conocer los valores posibles, consulte Ver información sobre el producto asociado al uso. JOBS
product_features struct Detalles sobre las características específicas del producto usadas. Para conocer los valores posibles, consulte Características del producto.
usage_type string Tipo de uso que se atribuye al producto o a la carga de trabajo con fines de facturación. Los valores posibles son COMPUTE_TIME, COMPUTE_SLOT, STORAGE_SPACE, NETWORK_BYTES, API_CALLS, TOKEN y GPU_TIME. STORAGE_SPACE

Analizar metadatos de uso

Los valores en usage_metadata le indican los recursos implicados en el registro de uso.

Valor Tipo de datos Descripción
cluster_id string Identificador del clúster asociado al registro de uso
instance_pool_id string Identificador del grupo de instancias asociado al registro de uso
node_type string El tipo de instancia del recurso de proceso
job_id string Identificador del trabajo asociado al registro de uso. Solo devuelve un valor para el uso de clústeres de proceso o trabajos sin servidor; de lo contrario, devuelve NULL.
job_run_id string Identificador de la ejecución del trabajo asociada al registro de uso. Solo devuelve un valor para el uso de clústeres de proceso o trabajos sin servidor; de lo contrario, devuelve NULL.
notebook_id string Identificador del cuaderno asociado al uso. Solo devuelve un valor para el proceso sin servidor para el uso de cuadernos; de lo contrario, devuelve NULL.
dlt_pipeline_id string Identificador de la canalización Delta Live Tables asociada al registro de uso

Nota:

En raras ocasiones, job_run_id no se rellena para trabajos de ejecución prolongada cuyo proceso se inició en ejecución antes de que Azure Databricks comenzara a capturar los job_run_id metadatos. Reinicie el proceso del trabajo para empezar a grabar el job_run_id.

Búsqueda de un trabajo o cuaderno en la interfaz de usuario mediante el job_id o notebook_id

Estas instrucciones explican cómo extraer un trabajo o cuaderno específico en la interfaz de usuario en función de su identificador.

Para buscar un trabajo en la interfaz de usuario en función de su job_id:

  1. Copie el job_id del registro de uso. En este ejemplo, supongamos que el identificador es 700809544510906.
  2. Vaya a la interfaz de usuario flujos de trabajo en el mismo área de trabajo de Azure Databricks que el trabajo.
  3. Asegúrese de que los Trabajos solo propiedad de mí filtro está desactivado.
  4. Pegue el identificador (700809544510906) en la barra de búsqueda Filtrar trabajos.

Para buscar un cuaderno en la interfaz de usuario en función de su notebook_id, siga estas instrucciones:

  1. Copie el notebook_id del registro de uso. En este ejemplo, supongamos que el identificador es 700809544510906.
  2. Vaya a la interfaz de usuario de Áreas de trabajo en el mismo área de trabajo de Azure Databricks que el cuaderno.
  3. Haga clic en cualquier cuaderno que vea.
  4. Después de abrir el cuaderno, examine la dirección URL en la barra de direcciones del explorador. Debería ser parecido a este: https://<account-console-url>/?o=<workspace ID>#notebook/<notebook ID>/command/<command ID>.
  5. En la barra de direcciones del explorador, reemplace el identificador del cuaderno por el identificador que copió en el primer paso y, a continuación, elimine todo después del identificador del cuaderno. Debería ser parecido a este: https://<account-console-url>/?o=<workspace ID>#notebook/700809544510906.
  6. Después de extraer el cuaderno, puede hacer clic en el botón Compartir para ver el propietario del cuaderno.

Analizar metadatos de identidad

La columna identity_metadata puede ayudarle a identificar quién es responsable de un registro de facturación sin servidor. La columna incluye un valor run_as que atribuye el uso a una identidad. La identidad registrada en identity_metadata.run_as depende del producto asociado al uso.

Haga referencia a la tabla siguiente para el identity_metadata.run_as comportamiento:

Tipo de carga de trabajo Identidad de run_as
Proceso sin servidor para flujos de trabajo Usuario o entidad de servicio definida en la configuración de ejecución. De forma predeterminada, los trabajos se ejecutan como la identidad del propietario del trabajo, pero los administradores pueden cambiarlo para que sea otro usuario o entidad de servicio.
Proceso sin servidor para cuadernos El usuario que ejecutó los comandos del cuaderno (en concreto, el usuario que creó la sesión del cuaderno). En el caso de los cuadernos compartidos, esto incluye el uso de otros usuarios que comparten la misma sesión de cuaderno.

Ver información sobre el producto asociado al uso

Algunos productos de Databricks se facturan con la misma SKU compartida. Para ayudarle a diferenciar el uso, las columnas billing_origin_product y product_features proporcionan más información sobre el producto y las características específicas asociadas al uso.

La columna billing_origin_product muestra el producto de Databricks asociado al registro de uso. Los valores incluyen:

  • JOBS
  • DLT
  • SQL
  • ALL_PURPOSE
  • MODEL_SERVING
  • INTERACTIVE
  • MANAGED_STORAGE
  • VECTOR_SEARCH
  • LAKEHOUSE_MONITORING
  • PREDICTIVE_OPTIMIZATION
  • ONLINE_TABLES

La columna product_features es un objeto que contiene información sobre las características de producto específicas usadas e incluye los siguientes pares clave-valor:

  • jobs_tier: los valores incluyen LIGHT, CLASSIC o null
  • sql_tier: los valores incluyen CLASSIC, PRO o null
  • dlt_tier: los valores incluyen CORE, PRO, ADVANCED o null
  • is_serverless: los valores incluyen true o false, o bien null
  • is_photon: los valores incluyen true o false, o bien null
  • serving_type: los valores incluyen MODEL, GPU_MODEL, FOUNDATION_MODEL, FEATURE o null

Consultas de ejemplo

Puede usar las siguientes consultas de ejemplo para responder a preguntas comunes sobre el uso facturable:

¿Cuál es la tendencia diaria del consumo de DBU?

SELECT usage_date as `Date`, sum(usage_quantity) as `DBUs Consumed`
  FROM system.billing.usage
WHERE sku_name = "STANDARD_ALL_PURPOSE_COMPUTE"
GROUP BY usage_date
ORDER BY usage_date ASC

¿Cuántas DBU de cada SKU se han usado a lo largo de este mes?

SELECT sku_name, usage_date, sum(usage_quantity) as `DBUs`
    FROM system.billing.usage
WHERE
    month(usage_date) = month(NOW())
    AND year(usage_date) = year(NOW())
GROUP BY sku_name, usage_date

¿Qué cantidad de cada SKU utilizó un área de trabajo el 1 de junio?

Asegúrese de reemplazar workspace_id por el id. de área de trabajo real.

SELECT sku_name, sum(usage_quantity) as `DBUs consumed`
FROM system.billing.usage
WHERE workspace_id = 1234567890123456
AND usage_date = "2023-06-01"
GROUP BY sku_name

Nota:

Esta consulta devuelve una fila por id. de SKU único que se usa en el área de trabajo en la fecha elegida.

¿Qué trabajos consumieron la mayoría de DBU?

SELECT usage_metadata.job_id as `Job ID`, sum(usage_quantity) as `DBUs`
FROM system.billing.usage
WHERE usage_metadata.job_id IS NOT NULL
GROUP BY `Job ID`
ORDER BY `DBUs` DESC

¿Cuánto uso se puede atribuir a los recursos con una etiqueta específica?

Puede desglosar los costos de varias maneras. En este ejemplo se muestra cómo desglosar los costos por una etiqueta personalizada. Asegúrese de reemplazar la clave y el valor de la etiqueta personalizada en la consulta.

SELECT sku_name, usage_unit, SUM(usage_quantity) as `DBUs consumed`
FROM system.billing.usage
WHERE custom_tags.{{key}} = "{{value}}"
GROUP BY 1, 2

Mostrarme las SKU en las que el uso está creciendo

SELECT after.sku_name, before_dbus, after_dbus, ((after_dbus - before_dbus)/before_dbus * 100) AS growth_rate
FROM
(SELECT sku_name, sum(usage_quantity) as before_dbus
    FROM system.billing.usage
WHERE usage_date BETWEEN "2023-04-01" and "2023-04-30"
GROUP BY sku_name) as before
JOIN
(SELECT sku_name, sum(usage_quantity) as after_dbus
    FROM system.billing.usage
WHERE usage_date BETWEEN "2023-05-01" and "2023-05-30"
GROUP BY sku_name) as after
where before.sku_name = after.sku_name
SORT by growth_rate DESC

¿Cuál es la tendencia de uso de Proceso de todos los propósitos (Photon)?

SELECT sku_name, usage_date, sum(usage_quantity) as `DBUs consumed`
    FROM system.billing.usage
WHERE year(usage_date) = year(CURRENT_DATE)
AND sku_name = "ENTERPRISE_ALL_PURPOSE_COMPUTE_(PHOTON)"
AND usage_date > "2023-04-15"
GROUP BY sku_name, usage_date

¿Cuál es el consumo de DBU de una vista materializada o una tabla de streaming?

Para determinar el uso de DBU y la SKU para una vista materializada específica o una tabla de streaming, necesita el identificador de canalización asociado (dlt_pipeline_id). Busque el identificador de canalización en la pestañaDetalles al ver la vista materializada pertinente o la tabla de streaming en el Explorador de catálogos.

SELECT
  sku_name,
  usage_date,
  SUM(usage_quantity) AS `DBUs`
FROM
  system.billing.usage
WHERE
  usage_metadata.dlt_pipeline_id = "113739b7-3f45-4a88-b6d9-e97051e773b9"
  AND usage_start_time > "2023-05-30"
GROUP BY
  ALL