計費使用量系統數據表參考
重要
這項功能處於公開預覽狀態。
本文提供可計費使用量系統數據表的概觀,包括架構和範例查詢。 使用系統數據表時,您的帳戶計費使用量數據會集中並路由傳送到所有區域,因此您可以從工作區所在的哪個區域檢視帳戶的全域使用量。
如需使用此資料表監視作業成本的資訊,請參閱 使用系統數據表監視作業成本。
如需分析無伺服器使用量的策略,請參閱 監視無伺服器計算的成本。
計費使用量數據表架構
計費使用量系統數據表位於 system.billing.usage
,並使用下列架構:
資料行名稱 | 資料類型 | 描述 | 範例 |
---|---|---|---|
record_id |
字串 | 此記錄的唯一標識碼 | 11e22ba4-87b9-4cc2 -9770-d10b894b7118 |
account_id |
字串 | 產生此報告之帳戶的標識碼 | 23e22ba4-87b9-4cc2 -9770-d10b894b7118 |
workspace_id |
字串 | 此使用方式與工作區的標識符相關聯 | 1234567890123456 |
sku_name |
字串 | SKU 的名稱 | STANDARD_ALL_PURPOSE_COMPUTE |
cloud |
字串 | 此使用量與雲端相關。 可能的值是 AWS 、AZURE 、GCP 。 |
AWS 、 AZURE 或 GCP |
usage_start_time |
timestamp | 與這個使用量記錄相關的開始時間。 時區資訊會以代表UTC時區的值結尾 +00:00 記錄。 |
2023-01-09 10:00:00.000+00:00 |
usage_end_time |
timestamp | 與這個使用記錄相關的結束時間。 時區資訊會以代表UTC時區的值結尾 +00:00 記錄。 |
2023-01-09 11:00:00.000+00:00 |
usage_date |
date | 使用量記錄的日期,此字段可用於依日期更快速匯總 | 2023-01-01 |
custom_tags |
map | 使用者套用至此使用方式的標記。 包含計算資源標籤、作業標籤和工作區自訂標籤。 | { “env”: “production” } |
usage_unit |
字串 | 測量此使用量的單位。 可能的值包括 DBU。 | DBU |
usage_quantity |
decimal | 此記錄所耗用的單位數目。 | 259.2958 |
usage_metadata |
struct | 系統提供的使用量元數據,包括計算資源和作業的標識碼(如果適用的話)。 請參閱 分析使用量元數據。 | {cluster_id: null; instance_pool_id: null; notebook_id: null; job_id: null; node_type: null} |
identity_metadata |
struct | 系統提供的有關使用方式相關身分識別的元數據。 請參閱 分析身分識別元數據。 | {run_as: example@email.com} |
record_type |
字串 | 記錄是否為更正。 可能的值是 ORIGINAL 、RETRACTION 、RESTATEMENT 。 |
ORIGINAL |
ingestion_date |
date | 記錄擷取到數據表的 usage 日期。 |
2024-01-01 |
billing_origin_product |
字串 | 產生使用量的產品。 某些產品可以計費為不同的 SKU。 如需可能的值,請參閱 檢視與使用量相關聯的產品相關信息。 | JOBS |
product_features |
struct | 所使用特定產品功能的詳細數據。 | 如需可能的值,請參閱 產品功能。 |
usage_type |
字串 | 用於計費之產品或工作負載的使用類型。 可能的值為 COMPUTE_TIME 、STORAGE_SPACE 、NETWORK_BYTES 、API_CALLS 、TOKEN 或 GPU_TIME 。 |
STORAGE_SPACE |
分析使用量元數據
中的 usage_metadata
值會告訴您使用記錄中涉及的資源。
值 | 資料類型 | 描述 |
---|---|---|
cluster_id |
string |
與使用量記錄相關聯的叢集標識碼 |
warehouse_id |
string |
與使用量記錄相關聯的 SQL 倉儲標識碼 |
instance_pool_id |
string |
與使用量記錄相關聯的實例集區標識碼 |
node_type |
string |
計算資源的實例類型 |
job_id |
string |
與使用量記錄相關聯的作業標識碼。 只會傳回無伺服器計算或作業叢集使用量的值,否則會傳 NULL 回 。 |
job_run_id |
string |
與使用量記錄相關聯的作業執行標識碼。 只會傳回無伺服器計算或作業叢集使用量的值,否則會傳 NULL 回 。 |
notebook_id |
string |
與使用量相關聯的筆記本標識碼。 只會傳回筆記本使用量的無伺服器計算值,否則會傳 NULL 回 。 |
dlt_pipeline_id |
string |
與使用量記錄相關聯的 Delta Live Tables 管線標識碼 |
run_name |
string |
與使用記錄相關聯的馬賽克 AI 模型訓練微調執行的唯一用戶對應標識碼 |
使用job_id或notebook_id在UI中尋找作業或筆記本
這些指示說明如何根據UI標識元提取特定作業或筆記本。
若要根據其 job_id
在UI中尋找作業:
job_id
從使用量記錄複製 。 在這裡範例中,假設識別碼為700809544510906
。- 流覽至 與作業相同的 Azure Databricks 工作區中的工作流程 UI。
- 請確定未核取 [我所擁有的唯一作業] 篩選條件。
- 將標識碼 (700809544510906) 貼到 [篩選工作 ] 搜尋列中。
若要根據UI notebook_id
尋找筆記本,請使用下列指示:
notebook_id
從使用量記錄複製 。 在這裡範例中,假設識別碼為700809544510906
。- 流覽至 與筆記本相同的 Azure Databricks 工作區中的工作區 UI。
- 按兩下您看到的任何筆記本。
- 開啟筆記本之後,請檢查瀏覽器網址列中的URL。 該名稱應會顯示為
https://<account-console-url>/?o=<workspace ID>#notebook/<notebook ID>/command/<command ID>
。 - 在瀏覽器網址列中,將筆記本標識碼取代為您在第一個步驟中複製的標識碼,然後在筆記本標識符之後刪除所有專案。 該名稱應會顯示為
https://<account-console-url>/?o=<workspace ID>#notebook/700809544510906
。 - 提取筆記本之後,您可以按兩下 [共用] 按鈕來檢視筆記本擁有者。
分析身分識別元數據
數據 identity_metadata
行可協助您識別負責無伺服器計費記錄的人員。 數據行包含一個 run_as
值,這個值會將使用量屬性設定為身分識別。 中 identity_metadata.run_as
記錄的身分識別取決於與使用量相關聯的產品。
請參考下表以 identity_metadata.run_as
取得行為:
工作負載類型 | 的身分識別 run_as |
---|---|
作業的無伺服器計算 | 在 [執行身分] 設定中定義的使用者或服務主體。 根據預設,作業會以作業擁有者的身分識別執行,但系統管理員可以將此變更為其他用戶或服務主體。 |
筆記本的無伺服器計算 | 執行筆記本命令的使用者(特別是建立筆記本會話的使用者)。 對於共用筆記本,這包括其他用戶共用相同筆記本會話的使用方式。 |
馬賽克 AI 模型訓練 | 起始微調定型執行的用戶或服務主體。 |
檢視與使用量相關聯的產品相關信息
某些 Databricks 產品會以相同的共用 SKU 計費。 為了協助您區分使用量, billing_origin_product
和 product_features
數據行提供與使用量相關聯之特定產品和功能的更深入解析。
數據 billing_origin_product
行會顯示與使用量記錄相關聯的 Databricks 產品。 這些值包括:
JOBS
DLT
SQL
ALL_PURPOSE
MODEL_SERVING
INTERACTIVE
MANAGED_STORAGE
VECTOR_SEARCH
LAKEHOUSE_MONITORING
PREDICTIVE_OPTIMIZATION
ONLINE_TABLES
FOUNDATION_MODEL_TRAINING
資料 product_features
行是物件,其中包含所使用之特定產品功能的相關信息,並包含下列索引鍵/值組:
jobs_tier
:值包括LIGHT
、CLASSIC
或null
sql_tier
:值包括CLASSIC
、PRO
或null
dlt_tier
:值包括CORE
、、ADVANCED
PRO
、 或null
is_serverless
:值包括true
或 、false
或null
is_photon
:值包括true
或 、false
或null
serving_type
:值包括MODEL
、、FOUNDATION_MODEL
GPU_MODEL
、FEATURE
、 或null
範例查詢
您可以使用下列範例查詢來回答關於可計費使用量的常見問題:
- DBU 耗用量的每日趨勢為何?
- 本月已使用每個 SKU 的 DBU 數目?
- 工作區在 6 月 1 日使用了多少個 SKU?
- 哪些作業耗用了最多的 DBU?
- 有多少使用量可以歸因於具有特定標籤的資源?
- 顯示使用量成長所在的 SKU
- 所有用途計算的使用趨勢為何(Photon)?
- 具體化檢視或串流數據表的 DBU 耗用量為何?
DBU 耗用量的每日趨勢為何?
SELECT usage_date as `Date`, sum(usage_quantity) as `DBUs Consumed`
FROM system.billing.usage
WHERE sku_name = "STANDARD_ALL_PURPOSE_COMPUTE"
GROUP BY usage_date
ORDER BY usage_date ASC
本月已使用每個 SKU 的 DBU 數目?
SELECT sku_name, usage_date, sum(usage_quantity) as `DBUs`
FROM system.billing.usage
WHERE
month(usage_date) = month(NOW())
AND year(usage_date) = year(NOW())
GROUP BY sku_name, usage_date
工作區在 6 月 1 日使用了多少個 SKU?
請務必以實際的工作區識別碼取代 workspace_id
。
SELECT sku_name, sum(usage_quantity) as `DBUs consumed`
FROM system.billing.usage
WHERE workspace_id = 1234567890123456
AND usage_date = "2023-06-01"
GROUP BY sku_name
注意
此查詢會針對所選日期的工作區中使用的每個唯一 SKU 標識碼傳回一個數據列。
哪些作業耗用了最多的 DBU?
SELECT usage_metadata.job_id as `Job ID`, sum(usage_quantity) as `DBUs`
FROM system.billing.usage
WHERE usage_metadata.job_id IS NOT NULL
GROUP BY `Job ID`
ORDER BY `DBUs` DESC
可以使用特定標籤將多少使用量歸因於資源?
您可以透過各種方式細分成本。 此範例示範如何依自定義標籤分成本。 請務必取代查詢中的自定義標記索引鍵和值。
SELECT sku_name, usage_unit, SUM(usage_quantity) as `DBUs consumed`
FROM system.billing.usage
WHERE custom_tags.{{key}} = "{{value}}"
GROUP BY 1, 2
顯示使用量成長所在的 SKU
SELECT after.sku_name, before_dbus, after_dbus, ((after_dbus - before_dbus)/before_dbus * 100) AS growth_rate
FROM
(SELECT sku_name, sum(usage_quantity) as before_dbus
FROM system.billing.usage
WHERE usage_date BETWEEN "2023-04-01" and "2023-04-30"
GROUP BY sku_name) as before
JOIN
(SELECT sku_name, sum(usage_quantity) as after_dbus
FROM system.billing.usage
WHERE usage_date BETWEEN "2023-05-01" and "2023-05-30"
GROUP BY sku_name) as after
where before.sku_name = after.sku_name
SORT by growth_rate DESC
所有用途計算的使用趨勢為何(Photon)?
SELECT sku_name, usage_date, sum(usage_quantity) as `DBUs consumed`
FROM system.billing.usage
WHERE year(usage_date) = year(CURRENT_DATE)
AND sku_name = "ENTERPRISE_ALL_PURPOSE_COMPUTE_(PHOTON)"
AND usage_date > "2023-04-15"
GROUP BY sku_name, usage_date
具體化檢視或串流數據表的 DBU 耗用量為何?
若要判斷特定具體化檢視或串流數據表的 DBU 使用量和 SKU,您需要相關聯的管線標識元 (dlt_pipeline_id
)。 在目錄總管中檢視相關的具體化檢視或串流數據表時,在 [詳細數據 ] 索引卷標中尋找 [管線標識符]。
SELECT
sku_name,
usage_date,
SUM(usage_quantity) AS `DBUs`
FROM
system.billing.usage
WHERE
usage_metadata.dlt_pipeline_id = "113739b7-3f45-4a88-b6d9-e97051e773b9"
AND usage_start_time > "2023-05-30"
GROUP BY
ALL