Примечание.
Для доступа к этой странице требуется авторизация. Вы можете попробовать войти или изменить каталоги.
Для доступа к этой странице требуется авторизация. Вы можете попробовать изменить каталоги.
В этой статье представлен обзор системной таблицы биллингового использования, включая структуру и примеры запросов. В системных таблицах данные о выставляемом по счету использовании вашей учетной записи централизованы и перенаправлены во все регионы, чтобы вы могли просматривать общую активность вашей учетной записи из любого региона, где находится ваша рабочая область.
Сведения об использовании этой таблицы для мониторинга затрат и примеров запросов см. в статье "Мониторинг затрат с помощью системных таблиц".
Путь к таблице: эта системная таблица расположена по адресу system.billing.usage.
Схема таблицы использования с выставлением счетов
В таблице системы использования с выставлением счетов используется следующая схема:
| Имя столбца | Тип данных | Description | Example |
|---|---|---|---|
record_id |
string | Уникальный идентификатор для этой записи о использовании | 11e22ba4-87b9-4cc2-9770-d10b894b7118 |
account_id |
string | Идентификатор учетной записи, для который был создан отчет | 23e22ba4-87b9-4cc2-9770-d10b894b7118 |
workspace_id |
string | Идентификатор рабочей области, с которым было связано это использование | 1234567890123456 |
sku_name |
string | Название SKU | STANDARD_ALL_PURPOSE_COMPUTE |
cloud |
string | Облако, связанное с этим использованием. Возможные значения: AWS, AZUREи GCP. |
AWS, AZURE или GCP |
usage_start_time |
timestamp | Время начала, соответствующее этой записи использования. Сведения о часовом поясе записываются в конце значения с +00:00, представляющей часовой пояс UTC. |
2023-01-09 10:00:00.000+00:00 |
usage_end_time |
timestamp | Время окончания, соответствующее этой записи об использовании. Сведения о часовом поясе записываются в конце значения с +00:00, представляющей часовой пояс UTC. |
2023-01-09 11:00:00.000+00:00 |
usage_date |
date | Дата записи об использовании, это поле можно использовать для ускорения агрегирования по дате. | 2023-01-01 |
custom_tags |
map | Пользовательские теги, связанные с записью об использовании | { “env”: “production” } |
usage_unit |
string | Единица, в которой измеряется это использование | DBU |
usage_quantity |
decimal | Количество единиц, потребляемых для этой записи | 259.2958 |
usage_metadata |
struct | Предоставленные системой метаданные об использовании, включая идентификаторы для вычислительных ресурсов и заданий (если применимо). См. метаданные об использовании. | См. метаданные об использовании |
identity_metadata |
struct | Предоставленные системой метаданные об идентичностях, участвующих в процессе использования. См. сведения о метаданных удостоверений. | См. метаданные удостоверений |
record_type |
string | Указывает, является ли запись исходной, отменой или повтором. Значение равно ORIGINAL , если запись не связана с исправлением. См. раздел "Тип записи". |
ORIGINAL |
ingestion_date |
date | Дата приема записи в таблицу usage |
2024-01-01 |
billing_origin_product |
string | Продукт, инициировавший использование. За некоторые продукты можно выставлять счета по разным номерам SKU. Возможные значения см. в разделе Product. | JOBS |
product_features |
struct | Сведения о конкретных возможностях продукта, используемых. См. сведения о функциях продукта. | См . сведения о функциях продукта |
usage_type |
string | Тип использования, который относится к продукту или рабочей нагрузке для целей выставления счетов. Возможные значения: COMPUTE_TIME, STORAGE_SPACE, NETWORK_BYTENETWORK_HOURAPI_OPERATIONTOKEN, GPU_TIMEили .ANSWER |
STORAGE_SPACE |
Справочник по метаданным об использовании
Значения в usage_metadata представляют собой строки, которые сообщают вам об объектах и ресурсах рабочей области, участвующих в записи об использовании.
Только подмножество этих значений заполняется в любой заданной записи использования в зависимости от типа вычислений и используемых функций. Третий столбец в таблице показывает, какие типы использования заполняют каждое значение.
| Value | Description | Заполнено для (в противном случае null) |
|---|---|---|
cluster_id |
Идентификатор кластера, связанного с записью об использовании | Несерверное использование вычислительных ресурсов, включая записные книжки, задания, конвейеры Lakeflow и устаревшую модель |
job_id |
Идентификатор задания, связанного с записью об использовании | Бессерверные задания и задания, выполняемые на вычислительных ресурсах для выполнения заданий (не заполняется для заданий, запускаемых на универсальных вычислительных ресурсах) |
warehouse_id |
Идентификатор хранилища SQL, связанного с записью об использовании | Рабочие нагрузки выполняются в хранилище SQL |
instance_pool_id |
Идентификатор пула экземпляров, связанного с записью об использовании | Использование бессерверных вычислений из пулов, включая записные книжки, задания, конвейеры Lakeflow и устаревшую модель |
node_type |
Тип вычислительного экземпляра. Это поле не различает узлы драйверов и рабочих узлов. См. раздел "Тип узла". | Несерверное использование вычислительных ресурсов, включая записные книжки, задания, конвейеры Lakeflow и все хранилища SQL |
job_run_id |
Идентификатор задания, выполнение которого связано с записью об использовании | Бессерверные задания и задания, выполняемые на вычислительных ресурсах для выполнения заданий (не заполняется для заданий, запускаемых на универсальных вычислительных ресурсах) |
notebook_id |
Идентификатор записной книжки, которая используется | Бессерверные записные книжки |
dlt_pipeline_id |
Идентификатор конвейера, связанного с записью об использовании | Конвейеры и функции Lakeflow, использующие конвейеры Lakeflow, такие как материализованные представления, онлайн-таблицы, индексирование ИИ и Lakeflow Connect |
endpoint_name |
Имя конечной точки обслуживания модели или конечной точки поиска ИИ, связанной с записью об использовании | Обслуживание моделей и поиск ИИ |
endpoint_id |
Идентификатор конечной точки обслуживания модели или конечной точки поиска ИИ, связанной с записью об использовании | Обслуживание моделей и поиск ИИ |
dlt_update_id |
Идентификатор обновления конвейера, связанного с записью об использовании | Конвейеры и функции Lakeflow, использующие конвейеры Lakeflow, такие как материализованные представления, онлайн-таблицы, индексирование ИИ и Lakeflow Connect |
dlt_maintenance_id |
Идентификатор задач обслуживания конвейера, связанных с записью об использовании | Конвейеры и функции Lakeflow, использующие конвейеры Lakeflow, такие как материализованные представления, онлайн-таблицы, индексирование ИИ и Lakeflow Connect |
metastore_id |
Это значение не заполняется в Azure Databricks | Всегда null |
run_name |
Уникальное пользовательское имя запуска дообучения базовой модели, связанного с записью об использовании | Тонкая настройка модели Foundation |
job_name |
Имя задания, связанного с записью об использовании | Задания выполняются на бессерверных вычислениях |
notebook_path |
Путь хранения в рабочем пространстве записной книжки, связанной с использованием | Блокноты работают на бессерверных вычислениях |
central_clean_room_id |
Идентификатор центрального чистого помещения, связанного с записью об использовании | Чистые комнаты |
source_region |
Регион, в котором возникла выставленная плата за трафик. Возвращает значение только для использования, связанного с сетью. | Сети |
destination_region |
Регион, в котором был получен оплачиваемый трафик. Возвращает значение только для использования, связанного с сетью. | Сети |
recipient_id |
Идентификатор получателя OpenSharing, связанного с записью об использовании | Сеть: исходящий трафик данных обратно в получатели OpenSharing через OpenSharing SecureConnect |
associated_product |
Продукт, активировав использование. Например, плата ЗА СЕТЬ может быть активирована подключением DATABASE. Это поле заполняется только в том случае, если использование полностью связано с вышестоящим исходным продуктом. | Networking |
networking_client |
Клиент, который вызвал использование сети. Может быть SERVERLESS_WORKLOAD или EXTERNAL_CLIENT |
Networking |
app_id |
Идентификатор приложения, связанного с записью об использовании | Приложения Databricks |
app_name |
Введенное пользователем имя приложения, связанного с записью об использовании | Приложения Databricks |
private_endpoint_name |
Имя применимой частной конечной точки, развернутой с бессерверным вычислением | Бессерверные сети |
budget_policy_id |
Устарело. Вместо этого используйте usage_policy_id. Идентификатор политики бессерверного использования, подключенной к рабочей нагрузке. |
Бессерверное использование вычислительных ресурсов, включая записные книжки, задания, конвейеры Lakeflow и конечные точки обслуживания моделей |
storage_api_type |
Тип операции, выполняемой в хранилище по умолчанию. Возможные значения: TIER_1 (PUT, COPY, POST, LIST) и TIER_2 (другие операции) |
Хранилище по умолчанию |
ai_runtime_workload_id |
Идентификатор бессерверной рабочей нагрузки GPU, связанной с записью об использовании | Рабочие нагрузки среды выполнения ИИ |
uc_table_catalog |
Имя каталога каталога Unity, связанное с записью об использовании | материализованные представления |
uc_table_schema |
Имя схемы каталога Unity, связанное с записью об использовании | материализованные представления |
uc_table_name |
Имя таблицы каталога Unity, связанное с записью об использовании | материализованные представления |
database_instance_id |
Идентификатор экземпляра базы данных, связанного с записью об использовании | Экземпляры базы данных Lakebase |
sharing_materialization_id |
Идентификатор материализации совместного доступа, связанной с записью об использовании | Просмотр общих сведений, материализованных представлений и потоковых таблиц с помощью OpenSharing |
usage_policy_id |
Идентификатор политики бессерверного использования, связанной с записью об использовании | Политики бессерверного использования |
agent_bricks_id |
Идентификатор рабочей нагрузки Agent Bricks, связанной с записью об использовании | Рабочие нагрузки ассистента по знаниямсупервизор-агента |
base_environment_id |
Идентификатор базовой среды , связанной с использованием | Использование при создании или обновлении бессерверной базовой среды в рабочей области. Заполнено, когда billing_origin_product равно BASE_ENVIRONMENTS. |
schema_id |
Идентификатор схемы, связанной с записью об использовании | Обнаружение аномалий |
table_id |
Идентификатор таблицы, связанной с записью об использовании | Профилирование данных |
catalog_id |
Идентификатор каталога Unity, связанного с использованием хранилища по умолчанию | Хранилище по умолчанию |
Тип узла
Когда драйвер и работники классического вычислительного ресурса используют один и тот же тип экземпляра, их использование объединяется в одну запись. Когда драйверы и рабочие узлы вычислений используют различные типы экземпляров, их использование отображается в виде отдельных записей: один для типа экземпляра драйвера и один для рабочей роли.
Чтобы атрибутировать использование определенной роли узла, можно перекрестно ссылаться usage_metadata.cluster_id в таблице использования с данными из таблиц вычислительной системы. Таблица system.compute.clusters записывает все кластеры driver_node_type и worker_node_typesystem.compute.node_timeline содержит логический driver столбец, определяющий роль каждого узла.
Справочник по метаданным идентичности
В столбце identity_metadata содержатся дополнительные сведения об идентификаторах, задействованных в использовании.
- Поле
run_asфиксирует, кто выполнял рабочую нагрузку. Сведения о заполнении этого значения для каждого типа рабочей нагрузки см. в следующей таблице. - Поле
owned_byприменяется только к использованию хранилища SQL и регистрирует пользователя или субъекта-службы, который владеет хранилищем SQL, ответственным за использование.
- Поле
created_byотносится к приложениям Databricks, помощнику по знаниям и агенту руководителя. Поле регистрирует адрес электронной почты пользователя, который создал агент или приложение.
удостоверения run_as
Запись идентификатора в identity_metadata.run_as зависит от продукта, связанного с использованием. См. следующую таблицу поведения identity_metadata.run_as:
| Тип рабочей нагрузки | Идентичность run_as |
|---|---|
| Вычисления заданий | Пользователь или субъект-служба, определенный в параметре run_as . По умолчанию задания выполняются от имени владельца задания, но администраторы могут изменить это на другого пользователя или учетную запись службы. |
| Бессерверные вычисления для заданий | Пользователь или субъект-служба, определенный в параметре run_as . По умолчанию задания выполняются от имени владельца задания, но администраторы могут изменить это на другого пользователя или учетную запись службы. |
| Бессерверные вычисления для записных книжек | Пользователь, выполняющий команды записной книжки (в частности, пользователь, создавший сеанс записной книжки). Для общих записных книжек это включает использование другими пользователями в рамках одного сеанса записной книжки. |
| Вычислительные ресурсы для всех целей | Удостоверение, создающее вычислительный ресурс. Это не обязательно владелец вычислений. Чтобы атрибутировать использование владельцу, присоединитесь к system.compute.clusters.owned_by использованию usage_metadata.cluster_id. |
| Конвейеры Lakeflow | Пользователь или субъект-служба, разрешения которого используются для запуска конвейера. Это можно изменить, передав владение конвейером. |
| Тонкая настройка модели Foundation | Пользователь или служебный принципал, инициировавший запуск обучения для тонкой настройки. |
| Прогнозная оптимизация | Служебный объект, принадлежащий Databricks, который выполняет операции прогнозной оптимизации. |
| Мониторинг качества данных | Пользователь, создавший профиль. |
Ссылка на тип записи
Таблица billing.usage поддерживает исправления. Исправления возникают, когда любое поле записи об использовании неправильно и должно быть исправлено.
При исправлении Azure Databricks добавляет в таблицу две новые записи. Запись отзыва отрицает исходную неправильную запись, а затем запись перепрописи содержит исправленную информацию. Записи исправления определяются по полю record_type.
-
RETRACTION: используется для отмены исходного неправильного использования. Все поля идентичныORIGINALзаписи, кромеusage_quantity, отрицательного значения, которое отменяет исходное количество потребления. Например, если количество использования исходной записи было259.4356, то запись аннулирования будет иметь количество использования-259.4356. -
RESTATEMENT: запись, содержащая правильные поля и количество использования.
Например, следующий запрос возвращает правильное количество почасового использования, связанное с job_id, даже если были внесены исправления. Агрегируя количество использования, резервная запись устраняет исходную запись, и возвращаются только значения повторной записи.
SELECT
usage_metadata.job_id, usage_start_time, usage_end_time,
SUM(usage_quantity) as usage_quantity
FROM system.billing.usage
GROUP BY ALL
HAVING usage_quantity != 0
Note
Для исправлений, где исходная запись об использовании не должна была быть сделана, исправление может добавлять только запись отзыва и не добавлять запись о повторной формулировке.
Справочник по ссылке на продукт-источник выставления счетов
Некоторые продукты Databricks оплачиваются по одному общему номенклатурному номеру SKU. Например, мониторинг качества данных, прогнозная оптимизация и бессерверные рабочие процессы выставляются по одному номеру SKU бессерверных заданий.
Чтобы отличить использование, столбцы billing_origin_product и product_features предоставляют дополнительные сведения о конкретном продукте и функциях, связанных с использованием.
В столбце billing_origin_product показан продукт Databricks, связанный с записью об использовании. К ним относятся следующие значения:
| Value | Description |
|---|---|
JOBS |
Затраты, связанные с нагрузками рабочих процессов Lakeflow Jobs |
DLT |
Затраты, связанные с рабочими нагрузками конвейеров Lakeflow |
SQL |
Затраты, связанные с Databricks SQL, включая рабочие нагрузки, выполняемые в хранилищах SQL и материализованных представлениях |
ALL_PURPOSE |
Затраты, связанные с классическими вычислениями всех целей |
MODEL_SERVING |
Затраты, связанные с обслуживанием моделей |
INTERACTIVE |
Затраты, связанные с бессерверными интерактивными рабочими нагрузками |
DEFAULT_STORAGE |
Затраты, связанные с хранилищем по умолчанию |
VECTOR_SEARCH |
Затраты, связанные с поиском ИИ |
LAKEHOUSE_MONITORING |
Затраты, связанные с мониторингом качества данных |
PREDICTIVE_OPTIMIZATION |
Затраты, связанные с прогнозной оптимизацией |
ONLINE_TABLES |
Затраты, связанные с онлайн-таблицами (наследие) |
FOUNDATION_MODEL_TRAINING |
Затраты, связанные с тонкой настройкой модели Foundation |
AGENT_EVALUATION |
Затраты, связанные с оценкой агента |
FINE_GRAINED_ACCESS_CONTROL |
Использование бессерверных технологий для детального контроля доступа на выделенных вычислительных мощностях |
EXTERNAL_COMPATIBILITY |
Бессерверное использование из abAC между ядрами |
BASE_ENVIRONMENTS |
Использование, связанное с созданием или обновлением бессерверной базовой среды рабочей области |
DATA_CLASSIFICATION |
Затраты, связанные с операциями классификации данных |
DATA_QUALITY_MONITORING |
Затраты, связанные с мониторингом качества данных, включая обнаружение аномалий и профилирование данных |
DATA_SHARING |
Затраты, связанные с OpenSharing |
AI_GATEWAY |
Затраты, связанные с использованием шлюза ИИ |
AI_RUNTIME |
Затраты, связанные с бессерверными рабочими нагрузками GPU |
NETWORKING |
Затраты, связанные с подключением бессерверных вычислений к ресурсам через частные конечные точки, и с исходящим трафиком к клиентам для продуктов с высокой производительностью. Для использования бессерверных частных конечных точек workspace_id используется nullusage_unitи hournetworking.connectivity_type имеет значение PRIVATE_IP. |
APPS |
Затраты, связанные с созданием и запуском приложений Databricks |
DATABASE |
Затраты, связанные с экземплярами подготовленной базы данных Lakebase |
LAKEBASE |
Затраты, связанные с Lakebase Postgres |
AI_FUNCTIONS |
Затраты, связанные с использованием функций ИИ . Этот продукт записывает сведения об использовании AI_PARSE_DOCUMENT, AI_EXTRACT, AI_CLASSIFY. |
AGENT_BRICKS |
Затраты, связанные с рабочими нагрузками помощника по знаниямагента диспетчера |
CLEAN_ROOM |
Затраты, связанные с рабочими нагрузками "Чистые комнаты" |
LAKEFLOW_CONNECT |
Затраты, связанные с управляемыми соединителями Lakeflow Connect |
GENIE |
Затраты, связанные с оплатой по мере использования ИИ/BI Genie |
FEATURE_STORE |
Затраты, связанные с хранилищем компонентов |
SUPERVISOR_AGENT |
Затраты, связанные с рабочими нагрузками агента руководителя |
LAKEHOUSE_REAL_TIME |
Затраты, связанные с Lakehouse в режиме реального времени |
Справочник по функциям продукта
Столбец product_features — это объект, содержащий сведения о конкретных возможностях продукта, используемых и включающий следующие пары "ключ-значение".
| Поле | Description |
|---|---|
jobs_tier |
К значениям относятся LIGHT, CLASSICили null |
sql_tier |
К значениям относятся CLASSIC, PROили null |
dlt_tier |
К значениям относятся CORE, PRO, ADVANCED или null |
is_serverless |
Значения включают true или falsenull (значение true или false когда можно выбрать между бессерверными и классическими вычислениями, в противном случае — значениеnull). |
is_photon |
Значения включают true или false, или null |
serving_type |
Значения включают MODEL, GPU_MODEL, FOUNDATION_MODEL, FEATURE или null |
offering_type |
Значения включают BATCH_INFERENCE или null |
performance_target |
Указывает режим производительности бессерверного задания или конвейера. К значениям относятся PERFORMANCE_OPTIMIZED, STANDARDили null. Несерверные рабочие нагрузки имеют null значение. |
ai_runtime.compute_type |
Указывает тип вычислений для бессерверных рабочих нагрузок GPU или null |
model_serving.offering_type |
Указывает тип предложения услуги для обслуживания модели или null |
ai_gateway.feature_type |
Указывает тип функционала для рабочих нагрузок ИИ-шлюза или null |
serverless_gpu.workload_type |
Указывает тип рабочей нагрузки для среды выполнения ИИ (бессерверный GPU) или null |
ai_functions.ai_function |
Указывает тип функции ИИ или null |
networking.connectivity_type |
Значения включают PUBLIC_IP и PRIVATE_IP |
agent_bricks.problem_type |
Указывает тип проблемы для рабочих нагрузок Помощника по знаниям . В качестве значений выступают AGENT_BRICKS_KNOWLEDGE_ASSISTANT или null. |
agent_bricks.workload_type |
Указывает тип рабочей нагрузки для помощника по знаниям . Значения включают AGENT_BRICKS_REAL_TIME_INFERENCE или null |