Referensi tabel sistem penggunaan yang dapat ditagih

Artikel
06/28/2024

Penting

Artikel ini memberikan gambaran umum tentang tabel sistem penggunaan yang dapat ditagih, termasuk skema dan contoh kueri. Dengan tabel sistem, data penggunaan akun Anda yang dapat ditagih dipusatkan dan dirutekan ke semua wilayah, sehingga Anda dapat melihat penggunaan global akun Anda dari wilayah mana pun ruang kerja Anda berada.

Untuk informasi tentang menggunakan tabel ini untuk memantau biaya pekerjaan, lihat Memantau biaya pekerjaan dengan tabel sistem.

Untuk strategi menganalisis penggunaan tanpa server, lihat Memantau biaya komputasi tanpa server.

Skema tabel penggunaan yang dapat ditagih

Tabel sistem penggunaan yang dapat ditagih terletak di system.billing.usage dan menggunakan skema berikut:

Nama kolom	Jenis data	Deskripsi	Contoh
`record_id`	string	ID unik untuk rekaman ini	`11e22ba4-87b9-4cc2` `-9770-d10b894b7118`
`account_id`	string	ID akun yang dibuat untuk laporan ini	`23e22ba4-87b9-4cc2` `-9770-d10b894b7118`
`workspace_id`	string	ID Ruang Kerja yang dikaitkan dengan penggunaan ini	`1234567890123456`
`sku_name`	string	Nama SKU	`STANDARD_ALL_PURPOSE_COMPUTE`
`cloud`	string	Cloud untuk penggunaan ini relevan. Nilai yang memungkinkan adalah `AWS`, `AZURE`, dan `GCP`.	`AWS`, `AZURE`, atau `GCP`
`usage_start_time`	rentang waktu	Waktu mulai yang relevan dengan catatan penggunaan ini	`2023-01-09 10:00:00.000`
`usage_end_time`	rentang waktu	Waktu akhir yang relevan dengan catatan penggunaan ini	`2023-01-09 11:00:00.000`
`usage_date`	date	Tanggal rekaman penggunaan, bidang ini dapat digunakan untuk agregasi yang lebih cepat berdasarkan tanggal	`2023-01-01`
`custom_tags`	peta	Tag yang diterapkan oleh pengguna ke penggunaan ini. Termasuk tag sumber daya komputasi, tag pekerjaan, dan tag kustom ruang kerja.	`{ “env”: “production” }`
`usage_unit`	string	Unit tempat penggunaan ini diukur. Nilai yang mungkin termasuk DBA.	`DBU`
`usage_quantity`	desimal	Jumlah unit yang digunakan untuk rekaman ini.	`259.2958`
`usage_metadata`	struktur	Metadata yang disediakan sistem tentang penggunaan, termasuk ID untuk sumber daya komputasi dan pekerjaan (jika berlaku). Lihat Menganalisis metadata penggunaan.	`{cluster_id: null;` `instance_pool_id: null;` `notebook_id: null;` `job_id: null;` `node_type: null}`
`identity_metadata`	struktur	Metadata yang disediakan sistem tentang identitas yang terlibat dalam penggunaan. Lihat Menganalisis metadata identitas.	`{run_as: example@email.com}`
`record_type`	string	Apakah rekaman adalah koreksi. Nilai yang memungkinkan adalah `ORIGINAL`, `RETRACTION`, dan `RESTATEMENT`.	`ORIGINAL`
`ingestion_date`	date	Tanggal rekaman diserap ke `usage` dalam tabel.	`2024-01-01`
`billing_origin_product`	string	Produk yang berasal dari penggunaan. Beberapa produk dapat ditagih sebagai SKU yang berbeda. Untuk nilai yang mungkin, lihat Melihat informasi tentang produk yang terkait dengan penggunaan.	`JOBS`
`product_features`	struktur	Detail tentang fitur produk tertentu yang digunakan.	Untuk nilai yang mungkin, lihat Fitur produk.
`usage_type`	string	Jenis penggunaan yang dikaitkan dengan produk atau beban kerja untuk tujuan penagihan. Kemungkinan nilainya adalah `COMPUTE_TIME`, `STORAGE_SPACE`, `NETWORK_BYTES`, `API_CALLS`, `TOKEN`, atau `GPU_TIME`.	`STORAGE_SPACE`

Menganalisis metadata penggunaan

Nilai dalam usage_metadata memberi tahu Anda tentang sumber daya yang terlibat dalam catatan penggunaan.

Nilai	Jenis data	Deskripsi
`cluster_id`	`string`	ID kluster yang terkait dengan rekaman penggunaan
`instance_pool_id`	`string`	ID kumpulan instans yang terkait dengan catatan penggunaan
`node_type`	`string`	Jenis instans sumber daya komputasi
`job_id`	`string`	ID pekerjaan yang terkait dengan catatan penggunaan. Hanya mengembalikan nilai untuk penggunaan kluster komputasi atau pekerjaan tanpa server, jika tidak, mengembalikan `NULL`.
`job_run_id`	`string`	ID eksekusi pekerjaan yang terkait dengan catatan penggunaan. Hanya mengembalikan nilai untuk penggunaan kluster komputasi atau pekerjaan tanpa server, jika tidak, mengembalikan `NULL`.
`notebook_id`	`string`	ID buku catatan yang terkait dengan penggunaan. Hanya mengembalikan nilai untuk komputasi tanpa server untuk penggunaan buku catatan, jika tidak, mengembalikan `NULL`.
`dlt_pipeline_id`	`string`	ID alur Tabel Langsung Delta yang terkait dengan catatan penggunaan

Catatan

Dalam kasus yang jarang terjadi, job_run_id tidak diisi untuk pekerjaan jangka panjang yang komputasinya mulai berjalan sebelum Azure Databricks mulai menangkap job_run_id metadata. Mulai ulang komputasi pekerjaan untuk mulai merekam job_run_id.

Temukan pekerjaan atau buku catatan di UI menggunakan job_id atau notebook_id

Instruksi ini menjelaskan cara menarik pekerjaan atau buku catatan tertentu di UI berdasarkan ID-nya.

Untuk menemukan pekerjaan di UI berdasarkan job_id:

job_id Salin dari catatan penggunaan. Untuk contoh ini, asumsikan ID adalah 700809544510906.
Navigasikan ke UI Alur Kerja di ruang kerja Azure Databricks yang sama dengan pekerjaan.
Pastikan satu-satunya pekerjaan yang dimiliki oleh saya filter tidak dicentang.
Tempelkan ID (700809544510906) ke bilah pencarian Pekerjaan filter.

Untuk menemukan buku catatan di UI berdasarkan notebook_id, gunakan instruksi berikut:

notebook_id Salin dari catatan penggunaan. Untuk contoh ini, asumsikan ID adalah 700809544510906.
Navigasi ke UI Ruang Kerja di ruang kerja Azure Databricks yang sama dengan buku catatan.
klik buku catatan apa pun yang Anda lihat.
Setelah Anda membuka notebook, periksa URL di bilah alamat browser. Ini akan terlihat seperti: https://<account-console-url>/?o=<workspace ID>#notebook/<notebook ID>/command/<command ID>
Di bilah alamat browser, ganti ID buku catatan dengan ID yang Anda salin di langkah pertama, lalu hapus semuanya setelah ID buku catatan. Ini akan terlihat seperti: https://<account-console-url>/?o=<workspace ID>#notebook/700809544510906
Setelah Anda menarik buku catatan, Anda bisa mengklik tombol Bagikan untuk menampilkan pemilik buku catatan.

Menganalisis metadata identitas

Kolom identity_metadata dapat membantu Anda mengidentifikasi siapa yang bertanggung jawab atas catatan penagihan tanpa server. Kolom menyertakan run_as nilai yang mengaitkan penggunaan ke identitas. Identitas yang direkam identity_metadata.run_as tergantung pada produk yang terkait dengan penggunaan.

Referensikan tabel berikut untuk perilaku:identity_metadata.run_as

Tipe beban kerja	Identitas `run_as`
Komputasi tanpa server untuk alur kerja	Pengguna atau perwakilan layanan didefinisikan dalam pengaturan jalankan sebagai. Secara default, pekerjaan berjalan sebagai identitas pemilik pekerjaan, tetapi admin dapat mengubahnya menjadi pengguna atau perwakilan layanan lain.
Komputasi tanpa server untuk buku catatan	Pengguna yang menjalankan perintah notebook (khususnya, pengguna yang membuat sesi buku catatan). Untuk buku catatan bersama, ini termasuk penggunaan oleh pengguna lain yang berbagi sesi buku catatan yang sama.

Lihat informasi tentang produk yang terkait dengan penggunaan

Beberapa produk Databricks ditagih di bawah SKU bersama yang sama. Untuk membantu Anda membedakan penggunaan, billing_origin_product kolom dan product_features memberikan lebih banyak wawasan tentang produk dan fitur tertentu yang terkait dengan penggunaan.

Kolom billing_origin_product memperlihatkan produk Databricks yang terkait dengan catatan penggunaan. Nilai-nilai tersebut meliputi:

JOBS
DLT
SQL
ALL_PURPOSE
MODEL_SERVING
INTERACTIVE
MANAGED_STORAGE
VECTOR_SEARCH
LAKEHOUSE_MONITORING
PREDICTIVE_OPTIMIZATION
ONLINE_TABLES

Kolom product_features adalah objek yang berisi informasi tentang fitur produk tertentu yang digunakan dan menyertakan pasangan kunci/nilai berikut:

jobs_tier: nilai meliputi LIGHT, CLASSIC, atau null
sql_tier: nilai meliputi CLASSIC, PRO, atau null
dlt_tier: nilai meliputi CORE, PRO, ADVANCED, atau null
is_serverless: nilai meliputi true atau false, atau null
is_photon: nilai meliputi true atau false, atau null
serving_type: nilai meliputi MODEL, GPU_MODEL, FOUNDATION_MODEL, FEATURE, atau null

Contoh kueri

Anda dapat menggunakan contoh kueri berikut untuk menjawab pertanyaan umum tentang penggunaan yang dapat ditagih:

Apa tren harian dalam konsumsi DBU?
Berapa banyak DBA dari setiap SKU yang telah digunakan sepanjang bulan ini?
Berapa banyak dari setiap SKU yang digunakan ruang kerja pada 1 Juni?
Pekerjaan mana yang paling banyak menggunakan DBA?
Berapa banyak penggunaan yang dapat dikaitkan dengan sumber daya dengan tag tertentu?
Tunjukkan SKU tempat penggunaan tumbuh
Apa tren penggunaan All Purpose Compute (Photon)?
Apa konsumsi DBU dari tampilan terwujud atau tabel streaming?

Apa tren harian dalam konsumsi DBU?

SELECT usage_date as `Date`, sum(usage_quantity) as `DBUs Consumed`
  FROM system.billing.usage
WHERE sku_name = "STANDARD_ALL_PURPOSE_COMPUTE"
GROUP BY usage_date
ORDER BY usage_date ASC

Berapa banyak DBA dari setiap SKU yang telah digunakan sepanjang bulan ini?

SELECT sku_name, usage_date, sum(usage_quantity) as `DBUs`
    FROM system.billing.usage
WHERE
    month(usage_date) = month(NOW())
    AND year(usage_date) = year(NOW())
GROUP BY sku_name, usage_date

Berapa banyak dari setiap SKU yang digunakan ruang kerja pada 1 Juni?

Pastikan untuk mengganti workspace_id dengan ID ruang kerja Anda yang sebenarnya.

SELECT sku_name, sum(usage_quantity) as `DBUs consumed`
FROM system.billing.usage
WHERE workspace_id = 1234567890123456
AND usage_date = "2023-06-01"
GROUP BY sku_name

Catatan

Kueri ini mengembalikan satu baris per ID SKU unik yang digunakan di ruang kerja pada tanggal yang dipilih.

Pekerjaan mana yang paling banyak menggunakan DBA?

SELECT usage_metadata.job_id as `Job ID`, sum(usage_quantity) as `DBUs`
FROM system.billing.usage
WHERE usage_metadata.job_id IS NOT NULL
GROUP BY `Job ID`
ORDER BY `DBUs` DESC

Berapa banyak penggunaan yang dapat dikaitkan dengan sumber daya dengan tag tertentu?

Anda dapat memecah biaya dengan berbagai cara. Contoh ini menunjukkan kepada Anda cara memecah biaya berdasarkan tag kustom. Pastikan untuk mengganti kunci dan nilai tag kustom dalam kueri.

SELECT sku_name, usage_unit, SUM(usage_quantity) as `DBUs consumed`
FROM system.billing.usage
WHERE custom_tags.{{key}} = "{{value}}"
GROUP BY 1, 2

Tunjukkan SKU tempat penggunaan tumbuh

SELECT after.sku_name, before_dbus, after_dbus, ((after_dbus - before_dbus)/before_dbus * 100) AS growth_rate
FROM
(SELECT sku_name, sum(usage_quantity) as before_dbus
    FROM system.billing.usage
WHERE usage_date BETWEEN "2023-04-01" and "2023-04-30"
GROUP BY sku_name) as before
JOIN
(SELECT sku_name, sum(usage_quantity) as after_dbus
    FROM system.billing.usage
WHERE usage_date BETWEEN "2023-05-01" and "2023-05-30"
GROUP BY sku_name) as after
where before.sku_name = after.sku_name
SORT by growth_rate DESC

Apa tren penggunaan All Purpose Compute (Photon)?

SELECT sku_name, usage_date, sum(usage_quantity) as `DBUs consumed`
    FROM system.billing.usage
WHERE year(usage_date) = year(CURRENT_DATE)
AND sku_name = "ENTERPRISE_ALL_PURPOSE_COMPUTE_(PHOTON)"
AND usage_date > "2023-04-15"
GROUP BY sku_name, usage_date

Apa konsumsi DBU dari tampilan terwujud atau tabel streaming?

Untuk menentukan penggunaan DBU dan SKU untuk tampilan materialisasi atau tabel streaming tertentu, Anda memerlukan ID Alur terkait (dlt_pipeline_id). Temukan ID Alur di tab Detail saat melihat tampilan materialisasi atau tabel streaming yang relevan di Catalog Explorer.

SELECT
  sku_name,
  usage_date,
  SUM(usage_quantity) AS `DBUs`
FROM
  system.billing.usage
WHERE
  usage_metadata.dlt_pipeline_id = "113739b7-3f45-4a88-b6d9-e97051e773b9"
  AND usage_start_time > "2023-05-30"
GROUP BY
  ALL

Bagikan melalui