Referensi tabel sistem penggunaan yang dapat ditagih
Penting
Fitur ini ada di Pratinjau Publik.
Artikel ini memberikan gambaran umum tentang tabel sistem penggunaan yang dapat ditagih, termasuk skema dan contoh kueri. Dengan tabel sistem, data penggunaan akun Anda yang dapat ditagih dipusatkan dan dirutekan ke semua wilayah, sehingga Anda dapat melihat penggunaan global akun Anda dari wilayah mana pun ruang kerja Anda berada.
Untuk informasi tentang menggunakan tabel ini untuk memantau biaya pekerjaan, lihat Memantau biaya pekerjaan dengan tabel sistem.
Untuk strategi menganalisis penggunaan tanpa server, lihat Memantau biaya komputasi tanpa server.
Skema tabel penggunaan yang dapat ditagih
Tabel sistem penggunaan yang dapat ditagih terletak di system.billing.usage
dan menggunakan skema berikut:
Nama kolom | Jenis data | Deskripsi | Contoh |
---|---|---|---|
record_id |
string | ID unik untuk rekaman ini | 11e22ba4-87b9-4cc2 -9770-d10b894b7118 |
account_id |
string | ID akun yang dibuat untuk laporan ini | 23e22ba4-87b9-4cc2 -9770-d10b894b7118 |
workspace_id |
string | ID Ruang Kerja yang dikaitkan dengan penggunaan ini | 1234567890123456 |
sku_name |
string | Nama SKU | STANDARD_ALL_PURPOSE_COMPUTE |
cloud |
string | Cloud untuk penggunaan ini relevan. Nilai yang memungkinkan adalah AWS , AZURE , dan GCP . |
AWS , AZURE , atau GCP |
usage_start_time |
rentang waktu | Waktu mulai yang relevan dengan catatan penggunaan ini. Informasi zona waktu dicatat di akhir nilai dengan +00:00 mewakili zona waktu UTC. |
2023-01-09 10:00:00.000+00:00 |
usage_end_time |
rentang waktu | Waktu akhir yang relevan dengan catatan penggunaan ini. Informasi zona waktu dicatat di akhir nilai dengan +00:00 mewakili zona waktu UTC. |
2023-01-09 11:00:00.000+00:00 |
usage_date |
date | Tanggal rekaman penggunaan, bidang ini dapat digunakan untuk agregasi yang lebih cepat berdasarkan tanggal | 2023-01-01 |
custom_tags |
peta | Tag yang diterapkan oleh pengguna ke penggunaan ini. Termasuk tag sumber daya komputasi, tag pekerjaan, dan tag kustom ruang kerja. | { “env”: “production” } |
usage_unit |
string | Unit tempat penggunaan ini diukur. Nilai yang mungkin termasuk DBA. | DBU |
usage_quantity |
desimal | Jumlah unit yang digunakan untuk rekaman ini. | 259.2958 |
usage_metadata |
struktur | Metadata yang disediakan sistem tentang penggunaan, termasuk ID untuk sumber daya komputasi dan pekerjaan (jika berlaku). Lihat Menganalisis metadata penggunaan. | {cluster_id: null; instance_pool_id: null; notebook_id: null; job_id: null; node_type: null} |
identity_metadata |
struktur | Metadata yang disediakan sistem tentang identitas yang terlibat dalam penggunaan. Lihat Menganalisis metadata identitas. | {run_as: example@email.com} |
record_type |
string | Apakah rekaman adalah koreksi. Nilai yang memungkinkan adalah ORIGINAL , RETRACTION , dan RESTATEMENT . |
ORIGINAL |
ingestion_date |
date | Tanggal rekaman diserap ke usage dalam tabel. |
2024-01-01 |
billing_origin_product |
string | Produk yang berasal dari penggunaan. Beberapa produk dapat ditagih sebagai SKU yang berbeda. Untuk nilai yang mungkin, lihat Melihat informasi tentang produk yang terkait dengan penggunaan. | JOBS |
product_features |
struktur | Detail tentang fitur produk tertentu yang digunakan. | Untuk nilai yang mungkin, lihat Fitur produk. |
usage_type |
string | Jenis penggunaan yang dikaitkan dengan produk atau beban kerja untuk tujuan penagihan. Kemungkinan nilainya adalah COMPUTE_TIME , STORAGE_SPACE , NETWORK_BYTES , API_CALLS , TOKEN , atau GPU_TIME . |
STORAGE_SPACE |
Menganalisis metadata penggunaan
Nilai dalam usage_metadata
memberi tahu Anda tentang sumber daya yang terlibat dalam catatan penggunaan.
Nilai | Jenis data | Deskripsi |
---|---|---|
cluster_id |
string |
ID kluster yang terkait dengan rekaman penggunaan |
warehouse_id |
string |
ID gudang SQL yang terkait dengan catatan penggunaan |
instance_pool_id |
string |
ID kumpulan instans yang terkait dengan catatan penggunaan |
node_type |
string |
Jenis instans sumber daya komputasi |
job_id |
string |
ID pekerjaan yang terkait dengan catatan penggunaan. Hanya mengembalikan nilai untuk penggunaan kluster komputasi atau pekerjaan tanpa server, jika tidak, mengembalikan NULL . |
job_run_id |
string |
ID eksekusi pekerjaan yang terkait dengan catatan penggunaan. Hanya mengembalikan nilai untuk penggunaan kluster komputasi atau pekerjaan tanpa server, jika tidak, mengembalikan NULL . |
notebook_id |
string |
ID buku catatan yang terkait dengan penggunaan. Hanya mengembalikan nilai untuk komputasi tanpa server untuk penggunaan buku catatan, jika tidak, mengembalikan NULL . |
dlt_pipeline_id |
string |
ID alur Tabel Langsung Delta yang terkait dengan catatan penggunaan |
run_name |
string |
Pengidentifikasi unik yang menghadap pengguna dari eksekusi penyempurnaan Pelatihan Model Mosaik AI yang terkait dengan catatan penggunaan |
Temukan pekerjaan atau buku catatan di UI menggunakan job_id atau notebook_id
Instruksi ini menjelaskan cara menarik pekerjaan atau buku catatan tertentu di UI berdasarkan ID-nya.
Untuk menemukan pekerjaan di UI berdasarkan job_id
:
job_id
Salin dari catatan penggunaan. Untuk contoh ini, asumsikan ID adalah700809544510906
.- Navigasikan ke UI Alur Kerja di ruang kerja Azure Databricks yang sama dengan pekerjaan.
- Pastikan satu-satunya pekerjaan yang dimiliki oleh saya filter tidak dicentang.
- Tempelkan ID (700809544510906) ke bilah pencarian Pekerjaan filter.
Untuk menemukan buku catatan di UI berdasarkan notebook_id
, gunakan instruksi berikut:
notebook_id
Salin dari catatan penggunaan. Untuk contoh ini, asumsikan ID adalah700809544510906
.- Navigasi ke UI Ruang Kerja di ruang kerja Azure Databricks yang sama dengan buku catatan.
- klik buku catatan apa pun yang Anda lihat.
- Setelah Anda membuka notebook, periksa URL di bilah alamat browser. Ini akan terlihat seperti:
https://<account-console-url>/?o=<workspace ID>#notebook/<notebook ID>/command/<command ID>
- Di bilah alamat browser, ganti ID buku catatan dengan ID yang Anda salin di langkah pertama, lalu hapus semuanya setelah ID buku catatan. Ini akan terlihat seperti:
https://<account-console-url>/?o=<workspace ID>#notebook/700809544510906
- Setelah Anda menarik buku catatan, Anda bisa mengklik tombol Bagikan untuk menampilkan pemilik buku catatan.
Menganalisis metadata identitas
Kolom identity_metadata
dapat membantu Anda mengidentifikasi siapa yang bertanggung jawab atas catatan penagihan tanpa server. Kolom menyertakan run_as
nilai yang mengaitkan penggunaan ke identitas. Identitas yang direkam identity_metadata.run_as
tergantung pada produk yang terkait dengan penggunaan.
Referensikan tabel berikut untuk perilaku:identity_metadata.run_as
Tipe beban kerja | Identitas run_as |
---|---|
Komputasi tanpa server untuk pekerjaan | Pengguna atau perwakilan layanan yang ditentukan dalam pengaturan "jalankan sebagai". Secara default, pekerjaan berjalan sebagai identitas pemilik pekerjaan, tetapi admin dapat mengubahnya menjadi pengguna atau perwakilan layanan lain. |
Komputasi tanpa server untuk buku catatan | Pengguna yang menjalankan perintah notebook (khususnya, pengguna yang membuat sesi buku catatan). Untuk buku catatan bersama, ini termasuk penggunaan oleh pengguna lain yang berbagi sesi buku catatan yang sama. |
Pelatihan Model AI Mosaik | Pengguna atau perwakilan layanan yang memulai eksekusi pelatihan penyempurnaan. |
Lihat informasi tentang produk yang terkait dengan penggunaan
Beberapa produk Databricks ditagih di bawah SKU bersama yang sama. Untuk membantu Anda membedakan penggunaan, billing_origin_product
kolom dan product_features
memberikan lebih banyak wawasan tentang produk dan fitur tertentu yang terkait dengan penggunaan.
Kolom billing_origin_product
memperlihatkan produk Databricks yang terkait dengan catatan penggunaan. Nilai-nilai tersebut meliputi:
JOBS
DLT
SQL
ALL_PURPOSE
MODEL_SERVING
INTERACTIVE
MANAGED_STORAGE
VECTOR_SEARCH
LAKEHOUSE_MONITORING
PREDICTIVE_OPTIMIZATION
ONLINE_TABLES
FOUNDATION_MODEL_TRAINING
Kolom product_features
adalah objek yang berisi informasi tentang fitur produk tertentu yang digunakan dan menyertakan pasangan kunci/nilai berikut:
jobs_tier
: nilai meliputiLIGHT
,CLASSIC
, ataunull
sql_tier
: nilai meliputiCLASSIC
,PRO
, ataunull
dlt_tier
: nilai meliputiCORE
,PRO
,ADVANCED
, ataunull
is_serverless
: nilai meliputitrue
ataufalse
, ataunull
is_photon
: nilai meliputitrue
ataufalse
, ataunull
serving_type
: nilai meliputiMODEL
,GPU_MODEL
,FOUNDATION_MODEL
,FEATURE
, ataunull
Contoh kueri
Anda dapat menggunakan contoh kueri berikut untuk menjawab pertanyaan umum tentang penggunaan yang dapat ditagih:
- Apa tren harian dalam konsumsi DBU?
- Berapa banyak DBA dari setiap SKU yang telah digunakan sepanjang bulan ini?
- Berapa banyak dari setiap SKU yang digunakan ruang kerja pada 1 Juni?
- Pekerjaan mana yang paling banyak menggunakan DBA?
- Berapa banyak penggunaan yang dapat dikaitkan dengan sumber daya dengan tag tertentu?
- Tunjukkan SKU tempat penggunaan tumbuh
- Apa tren penggunaan All Purpose Compute (Photon)?
- Apa konsumsi DBU dari tampilan terwujud atau tabel streaming?
Apa tren harian dalam konsumsi DBU?
SELECT usage_date as `Date`, sum(usage_quantity) as `DBUs Consumed`
FROM system.billing.usage
WHERE sku_name = "STANDARD_ALL_PURPOSE_COMPUTE"
GROUP BY usage_date
ORDER BY usage_date ASC
Berapa banyak DBA dari setiap SKU yang telah digunakan sepanjang bulan ini?
SELECT sku_name, usage_date, sum(usage_quantity) as `DBUs`
FROM system.billing.usage
WHERE
month(usage_date) = month(NOW())
AND year(usage_date) = year(NOW())
GROUP BY sku_name, usage_date
Berapa banyak dari setiap SKU yang digunakan ruang kerja pada 1 Juni?
Pastikan untuk mengganti workspace_id
dengan ID ruang kerja Anda yang sebenarnya.
SELECT sku_name, sum(usage_quantity) as `DBUs consumed`
FROM system.billing.usage
WHERE workspace_id = 1234567890123456
AND usage_date = "2023-06-01"
GROUP BY sku_name
Catatan
Kueri ini mengembalikan satu baris per ID SKU unik yang digunakan di ruang kerja pada tanggal yang dipilih.
Pekerjaan mana yang paling banyak menggunakan DBA?
SELECT usage_metadata.job_id as `Job ID`, sum(usage_quantity) as `DBUs`
FROM system.billing.usage
WHERE usage_metadata.job_id IS NOT NULL
GROUP BY `Job ID`
ORDER BY `DBUs` DESC
Berapa banyak penggunaan yang dapat dikaitkan dengan sumber daya dengan tag tertentu?
Anda dapat memecah biaya dengan berbagai cara. Contoh ini menunjukkan kepada Anda cara memecah biaya berdasarkan tag kustom. Pastikan untuk mengganti kunci dan nilai tag kustom dalam kueri.
SELECT sku_name, usage_unit, SUM(usage_quantity) as `DBUs consumed`
FROM system.billing.usage
WHERE custom_tags.{{key}} = "{{value}}"
GROUP BY 1, 2
Tunjukkan SKU tempat penggunaan tumbuh
SELECT after.sku_name, before_dbus, after_dbus, ((after_dbus - before_dbus)/before_dbus * 100) AS growth_rate
FROM
(SELECT sku_name, sum(usage_quantity) as before_dbus
FROM system.billing.usage
WHERE usage_date BETWEEN "2023-04-01" and "2023-04-30"
GROUP BY sku_name) as before
JOIN
(SELECT sku_name, sum(usage_quantity) as after_dbus
FROM system.billing.usage
WHERE usage_date BETWEEN "2023-05-01" and "2023-05-30"
GROUP BY sku_name) as after
where before.sku_name = after.sku_name
SORT by growth_rate DESC
Apa tren penggunaan All Purpose Compute (Photon)?
SELECT sku_name, usage_date, sum(usage_quantity) as `DBUs consumed`
FROM system.billing.usage
WHERE year(usage_date) = year(CURRENT_DATE)
AND sku_name = "ENTERPRISE_ALL_PURPOSE_COMPUTE_(PHOTON)"
AND usage_date > "2023-04-15"
GROUP BY sku_name, usage_date
Apa konsumsi DBU dari tampilan terwujud atau tabel streaming?
Untuk menentukan penggunaan DBU dan SKU untuk tampilan materialisasi atau tabel streaming tertentu, Anda memerlukan ID Alur terkait (dlt_pipeline_id
). Temukan ID Alur di tab Detail saat melihat tampilan materialisasi atau tabel streaming yang relevan di Catalog Explorer.
SELECT
sku_name,
usage_date,
SUM(usage_quantity) AS `DBUs`
FROM
system.billing.usage
WHERE
usage_metadata.dlt_pipeline_id = "113739b7-3f45-4a88-b6d9-e97051e773b9"
AND usage_start_time > "2023-05-30"
GROUP BY
ALL