この記事では、スキーマやクエリの例を含め、課金対象の使用状況システム テーブルの概要について説明します。 システム テーブルを使用すると、アカウントの課金対象の使用状況データが一元化され、すべてのリージョンにルーティングされるため、ワークスペースのどのリージョンからでもアカウントのグローバル使用状況を表示できます。
このテーブルを使用してコストとサンプル クエリを監視する方法については、「システム テーブルを使用したコストの監視」を参照してください。
テーブル パス: このシステム テーブルは、 system.billing.usageにあります。
課金対象の使用のテーブル スキーマ
課金対象の使用状況システム テーブルでは、次のスキーマを使います。
| 列名 | データ型 | 説明 | 例 |
|---|---|---|---|
record_id |
ひも | この使用状況レコードの一意の ID | 11e22ba4-87b9-4cc2-9770-d10b894b7118 |
account_id |
ひも | このレポートが生成された対象のアカウントの ID | 23e22ba4-87b9-4cc2-9770-d10b894b7118 |
workspace_id |
ひも | この使用状況が関連付けられたワークスペースの ID | 1234567890123456 |
sku_name |
ひも | SKU の名前 | STANDARD_ALL_PURPOSE_COMPUTE |
cloud |
ひも | この使用状況に関連付けられているクラウド。 有効な値は AWS、AZURE、GCP です。 |
AWS、 AZURE、または GCP |
usage_start_time |
タイムスタンプ | この使用状況レコードに関連する開始時間。 タイムゾーン情報は、UTC タイムゾーンを表す +00:00 とともに値の末尾に記録されます。 |
2023-01-09 10:00:00.000+00:00 |
usage_end_time |
タイムスタンプ | この使用状況レコードに関連する終了時間。 タイムゾーン情報は、UTC タイムゾーンを表す +00:00 とともに値の末尾に記録されます。 |
2023-01-09 11:00:00.000+00:00 |
usage_date |
日付 | 使用状況レコードの日付。このフィールドを使うと、日付ごとの集計を高速化できます | 2023-01-01 |
custom_tags |
地図 | 使用状況レコードに関連付けられているカスタム タグ | { “env”: “production” } |
usage_unit |
ひも | この使用量を測定する単位 | DBU |
usage_quantity |
小数点 | このレコードで使用されたユニット数 | 259.2958 |
usage_metadata |
構造体 | コンピューティング リソースとジョブの ID (該当する場合) など、使用状況に関するシステム提供のメタデータ。 「 使用状況メタデータ」を参照してください。 | 使用状況のメタデータを参照してください |
identity_metadata |
構造体 | 使用状況に関する ID についてシステムで提供されるメタデータ。 ID メタデータを参照してください。 | ID メタデータを参照する |
record_type |
ひも | レコードが元のままであるか、撤回されたものか、再記載されたものか。 レコードが修正に関連しない限り、値は ORIGINAL です。
「レコードの種類」を参照してください。 |
ORIGINAL |
ingestion_date |
日付 | レコードが usage テーブルに取り込まれた日付 |
2024-01-01 |
billing_origin_product |
ひも | 使用元の製品。 一部の製品は、異なる SKU として課金できます。 使用可能な値については、「 製品」を参照してください。 | JOBS |
product_features |
構造体 | 使用される特定の製品機能の詳細。 製品の機能を参照してください。 | 製品の機能を参照してください |
usage_type |
ひも | 課金目的で製品またはワークロードに起因する使用状況の種類。 使用できる値は、 COMPUTE_TIME、 STORAGE_SPACE、 NETWORK_BYTE、 NETWORK_HOUR、 API_OPERATION、 TOKEN、または GPU_TIMEです。 |
STORAGE_SPACE |
使用状況メタデータのリファレンス
usage_metadata内の値は、ワークスペース オブジェクトと使用状況レコードに関係するリソースについて通知するすべての文字列です。
これらの値のサブセットのみが、使用されるコンピューティングの種類と機能に応じて、特定の使用レコードに設定されます。 表の 3 番目の列は、各値が設定される原因となる使用状況の種類を示しています。
| 価値 | 説明 | 設定対象 (これ以外の場合は null) |
|---|---|---|
cluster_id |
使用状況レコードに関連するクラスターの ID | ノートブック、ジョブ、Lakeflow 宣言パイプライン、レガシ モデルサービスなど、サーバーレスでないコンピューティングの使用 |
job_id |
使用状況レコードに関連するジョブの ID | サーバーレスジョブと、ジョブコンピュートで実行されるジョブ（すべての目的に対応するコンピュートで実行されるジョブには適用されません） |
warehouse_id |
使用状況レコードに関連する SQL ウェアハウスの ID | SQL ウェアハウスで実行されるワークロード |
instance_pool_id |
使用状況レコードに関連付けられたインスタンスプールの ID | ノートブック、ジョブ、Lakeflow 宣言パイプライン、レガシ モデルサービスなど、プールからのサーバーレス以外のコンピューティング使用量 |
node_type |
コンピューティング リソースのインスタンスの種類 | ノートブック、ジョブ、Lakeflow 宣言パイプライン、およびすべての SQL ウェアハウスを含む、サーバーレス以外のコンピューティングの使用 |
job_run_id |
使用状況レコードに関連するジョブ実行の ID | サーバーレスジョブと、ジョブコンピュートで実行されるジョブ（すべての目的に対応するコンピュートで実行されるジョブには適用されません） |
notebook_id |
使用状況に関連付けられているノートブックの ID | サーバーレス ノートブック |
dlt_pipeline_id |
使用状況レコードに関連付けられているパイプラインの ID | Lakeflow 宣言型パイプラインと、具体化されたビュー、オンライン テーブル、ベクター検索インデックス作成、Lakeflow Connect など、Lakeflow 宣言型パイプラインを使用する機能 |
endpoint_name |
利用記録に関連付けられたモデル提供エンドポイントまたはベクトル検索エンドポイントの名前。 | モデルの提供とベクター検索 |
endpoint_id |
利用記録に関連付けられたモデル提供エンドポイントまたはベクトル検索エンドポイントのID | モデルの提供とベクター検索 |
dlt_update_id |
使用状況レコードに関連付けられているパイプライン更新の ID | Lakeflow 宣言型パイプラインと、具体化されたビュー、オンライン テーブル、ベクター検索インデックス作成、Lakeflow Connect など、Lakeflow 宣言型パイプラインを使用する機能 |
dlt_maintenance_id |
使用状況レコードに関連付けられているパイプライン メンテナンス タスクの ID | Lakeflow 宣言型パイプラインと、具体化されたビュー、オンライン テーブル、ベクター検索インデックス作成、Lakeflow Connect など、Lakeflow 宣言型パイプラインを使用する機能 |
metastore_id |
この値は Azure Databricks では設定されません | 常に null |
run_name |
使用状況レコードに関連する Foundation Model Fine-tuning の、ユーザーに表示する一意の名前 | 基盤モデルの微調整 |
job_name |
使用状況レコードに関連付けられているジョブのユーザー指定の名前 | サーバーレス コンピューティングで実行されるジョブ |
notebook_path |
使用状況に関連付けられているノートブックのワークスペース ストレージ パス | ノートブックはサーバーレス コンピューティングで実行されます |
central_clean_room_id |
使用状況レコードに関連付けられている中央クリーン ルームの ID | クリーン ルーム |
source_region |
使用状況に関連付けられているワークスペースのリージョン。 サーバーレス ネットワーク関連の使用の値のみを返します。 | サーバーレス ネットワーク |
destination_region |
アクセスするリソースのリージョン。 サーバーレス ネットワーク関連の使用の値のみを返します。 | サーバーレス ネットワーク |
app_id |
使用状況レコードに関連付けられているアプリの ID | Databricks Apps |
app_name |
使用状況レコードに関連付けられているアプリのユーザー指定の名前 | Databricks Apps |
private_endpoint_name |
サーバーレス コンピューティングでデプロイされた該当するプライベート エンドポイントの名前 | サーバーレス ネットワーク |
budget_policy_id |
ワークロードにアタッチされているサーバーレス予算ポリシーの ID | ノートブック、ジョブ、Lakeflow 宣言パイプライン、エンドポイントを提供するモデルなど、サーバーレス コンピューティングの使用状況 |
アイデンティティ メタデータ リファレンス
identity_metadata列には、使用状況に関連する ID に関する詳細情報が表示されます。
-
run_asフィールドには、ワークロードを実行したユーザーがログに記録されます。 この値は、次の表に示す特定のワークロードの種類に対してのみ設定されます。 -
owned_byフィールドは SQL ウェアハウスの使用状況にのみ適用され、使用状況を担当する SQL ウェアハウスを所有するユーザーまたはサービス プリンシパルがログに記録されます。
-
identity_metadata.created_byフィールドは Databricks Apps に適用され、アプリを作成したユーザーの電子メールがログに記録されます。
run_as ID
identity_metadata.run_as に記録される ID は、使用状況に関連付けられている製品によって異なります。
identity_metadata.run_as の動作については、次のテーブルをご覧ください。
| ワークロードの種類 |
run_as の ID |
|---|---|
| ジョブコンピュート |
run_as 設定で定義されたユーザーまたはサービス プリンシパル。 既定では、ジョブはジョブ所有者の ID として実行されますが、管理者はこれを他のユーザーやサービス プリンシパルに変更できます。 |
| ジョブ用のサーバーレス コンピューティング |
run_as 設定で定義されたユーザーまたはサービス プリンシパル。 既定では、ジョブはジョブ所有者の ID として実行されますが、管理者はこれを他のユーザーやサービス プリンシパルに変更できます。 |
| ノートブックのサーバーレス コンピューティング | ノートブック コマンドを実行したユーザー (具体的には、ノートブック セッションを作成したユーザー)。 共有ノートブックの場合は、同じノートブック セッションを共有している他のユーザーによる使用状況も含まれます。 |
| Lakeflow 宣言型パイプライン | パイプラインの実行に使用されるアクセス許可を持つユーザー。 これは、パイプラインの所有権を転送することで変更できます。 |
| 基盤モデルの微調整 | 微調整トレーニング実行を開始したユーザーまたはサービス プリンシパル。 |
| 予測の最適化 | 予測最適化操作を実行する Databricks 所有のサービス プリンシパル。 |
| Lakehouseのモニタリング | モニターを作成したユーザー。 |
レコードの種類のリファレンス
billing.usageテーブルでは、修正をサポートしています。 修正は、使用レコードのフィールドが間違っていて、修正する必要がある場合に発生します。
修正が行われると、Azure Databricks によってテーブルに ふたつの新しいレコードが追加されます。 取り消しレコードは元の間違っているレコードを否定し、その後、修正済みレコードには修正された情報が含まれます。 修正レコードは、 record_type フィールドを使用して識別されます。
-
RETRACTION: 元の誤った使用法を打ち消すために使用されます。 すべてのフィールドは、元の使用量を取り消す負の値であるORIGINALを除いて、usage_quantityレコードと同じです。 たとえば、元のレコードの使用数量が259.4356された場合、取り消しレコードの使用量は-259.4356になります。 -
RESTATEMENT: 正しいフィールドと使用数量などのレコード。
たとえば、次のクエリでは、修正がなされた場合でも、 job_idに関連する正しい時間単位の使用量が返されます。 使用量を集計することで、取り消しレコードは元のレコードを否定し、再調整の値のみが返されます。
SELECT
usage_metadata.job_id, usage_start_time, usage_end_time,
SUM(usage_quantity) as usage_quantity
FROM system.billing.usage
GROUP BY ALL
HAVING usage_quantity != 0
注
元の使用記録が記録されるべきではなかった修正の場合、修正は取り消し記録のみを追加し、再表示記録は追加しません。
請求元製品のリファレンス
一部の Databricks 製品は、同じ共有 SKU に基づいて課金されます。 たとえば、Lakehouse Monitoring、予測最適化、サーバーレス ワークフローはすべて、同じサーバーレス ジョブ SKU で課金されます。
使用状況を区別するために、billing_origin_product 列と product_features 列には、使用状況に関連付けられた特定の製品と機能に関する詳細な分析情報が用意されています。
billing_origin_product 列には、使用状況レコードに関連付けられた Databricks 製品が表示されます。 値は次のとおりです。
JOBSDLTSQLALL_PURPOSEMODEL_SERVINGINTERACTIVEDEFAULT_STORAGEVECTOR_SEARCHLAKEHOUSE_MONITORINGPREDICTIVE_OPTIMIZATIONONLINE_TABLESFOUNDATION_MODEL_TRAININGAGENT_EVALUATIONFINE_GRAINED_ACCESS_CONTROL
-
NETWORKING: プライベート エンドポイントを介してサーバーレス コンピューティングをリソースに接続する場合に関連するコスト。NETWORKINGの使用について、workspace_idはnull、usage_unitはhour、そしてnetworking.connectivity_typeはPRIVATE_IP。 -
APPS: Databricks Apps の構築と実行に関連するコスト
製品機能リファレンス
product_features 列は、使用される特定の製品機能に関する情報を含むオブジェクトであり、次のキーと値のペアが含まれます。
-
jobs_tier: 値にはLIGHT、CLASSIC、またはnullがあります -
sql_tier: 値にはCLASSIC、PRO、またはnullがあります -
dlt_tier: 値にはCORE、PRO、ADVANCED、またはnullがあります -
is_serverless: 値にはtrue、またはfalse、またはnullがあります -
is_photon: 値にはtrue、またはfalse、またはnullがあります -
serving_type: 値にはMODEL、GPU_MODEL、FOUNDATION_MODEL、FEATURE、またはnullがあります -
offering_type: 値には、BATCH_INFERENCEまたはnullが含まれます。
-
networking.connectivity_type: 値にはPUBLIC_IPとPRIVATE_IPが含まれます