Catatan
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba masuk atau mengubah direktori.
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba mengubah direktori.
Artikel ini memberikan gambaran umum tentang tabel sistem penggunaan yang dapat ditagih, termasuk skema serta contoh kueri. Dengan tabel sistem, data penggunaan akun Anda yang dapat ditagih dipusatkan dan dirutekan ke semua wilayah, sehingga Anda dapat melihat penggunaan global akun Anda dari wilayah mana pun ruang kerja Anda berada.
Untuk informasi tentang menggunakan tabel ini untuk memantau biaya dan kueri sampel, lihat Memantau biaya menggunakan tabel sistem.
Jalur tabel: Tabel sistem ini terletak di system.billing.usage.
Skema tabel penggunaan yang dapat dikenakan biaya
Tabel sistem penggunaan yang dapat ditagih menggunakan skema berikut:
| Nama kolom | Jenis data | Description | Example |
|---|---|---|---|
record_id |
string | ID unik untuk catatan penggunaan ini | 11e22ba4-87b9-4cc2-9770-d10b894b7118 |
account_id |
string | ID akun yang dibuat untuk laporan ini | 23e22ba4-87b9-4cc2-9770-d10b894b7118 |
workspace_id |
string | ID ruang kerja yang terkait dengan penggunaan ini | 1234567890123456 |
sku_name |
string | Nama SKU | STANDARD_ALL_PURPOSE_COMPUTE |
cloud |
string | Cloud yang terkait dengan penggunaan ini. Nilai yang mungkin adalah AWS, AZURE, dan GCP. |
AWS, AZURE, atau GCP |
usage_start_time |
stempel waktu | Waktu mulai yang relevan dengan catatan penggunaan ini. Informasi zona waktu dicatat di akhir nilai dengan +00:00 mewakili zona waktu UTC. |
2023-01-09 10:00:00.000+00:00 |
usage_end_time |
stempel waktu | Waktu akhir yang relevan dengan catatan penggunaan ini. Informasi zona waktu dicatat di akhir nilai dengan +00:00 mewakili zona waktu UTC. |
2023-01-09 11:00:00.000+00:00 |
usage_date |
date | Tanggal rekaman penggunaan, bidang ini dapat digunakan untuk agregasi yang lebih cepat berdasarkan tanggal | 2023-01-01 |
custom_tags |
memetakan | Tag kustom yang terkait dengan rekaman penggunaan | { “env”: “production” } |
usage_unit |
string | Satuan yang digunakan untuk mengukur penggunaan ini | DBU |
usage_quantity |
decimal | Jumlah unit yang digunakan untuk rekaman ini | 259.2958 |
usage_metadata |
struct | Metadata yang disediakan sistem tentang penggunaan, termasuk ID untuk sumber daya komputasi dan pekerjaan (jika berlaku). Lihat Metadata Penggunaan. | Lihat Metadata penggunaan |
identity_metadata |
struct | Metadata yang disediakan sistem tentang identitas yang terlibat dalam penggunaan. Lihat Metadata Identitas. | Lihat Metadata identitas |
record_type |
string | Apakah rekaman asli, pencabutan, atau penyajian ulang. Nilainya adalah ORIGINAL, kecuali jika rekaman tersebut berkaitan dengan koreksi. Lihat Jenis Catatan. |
ORIGINAL |
ingestion_date |
date | Tanggal rekaman diserap ke dalam tabel usage |
2024-01-01 |
billing_origin_product |
string | Produk yang menjadi asal mula penggunaan. Beberapa produk dapat diidentifikasi sebagai SKU yang berbeda. Untuk nilai yang mungkin, lihat Produk . | JOBS |
product_features |
struct | Detail tentang fitur produk tertentu yang digunakan. Lihat fitur produk . | Lihat Fitur produk |
usage_type |
string | Jenis penggunaan yang dikaitkan dengan produk atau beban kerja untuk tujuan penagihan. Nilai yang mungkin adalah COMPUTE_TIME, , STORAGE_SPACENETWORK_BYTE, NETWORK_HOUR, API_OPERATION, TOKEN, GPU_TIME, atau ANSWER. |
STORAGE_SPACE |
Referensi Metadata Penggunaan
Nilai di usage_metadata adalah semua string yang memberi tahu Anda tentang objek ruang kerja dan sumber daya yang terlibat dalam catatan penggunaan.
Hanya subset nilai-nilai ini yang diisi dalam catatan penggunaan tertentu, tergantung pada jenis komputasi dan fitur yang digunakan. Kolom ketiga dalam tabel memperlihatkan jenis penggunaan mana yang mengisi setiap nilai.
| Value | Description | Diisi untuk (sebaliknya null) |
|---|---|---|
cluster_id |
ID kluster yang terkait dengan rekaman penggunaan | Penggunaan komputasi tanpa server, termasuk notebook, pekerjaan, alur Lakeflow, dan penyajian model warisan |
job_id |
ID pekerjaan yang terkait dengan catatan penggunaan | Pekerjaan tanpa server dan pekerjaan dijalankan pada komputasi pekerjaan (tidak berlaku untuk pekerjaan yang dijalankan pada komputasi serba guna) |
warehouse_id |
ID gudang SQL yang terkait dengan catatan penggunaan | Beban kerja berjalan pada gudang SQL |
instance_pool_id |
ID kumpulan instans yang terkait dengan catatan penggunaan | Penggunaan komputasi tanpa server dari kumpulan, termasuk notebook, pekerjaan, alur Lakeflow, dan penyajian model warisan |
node_type |
Jenis instans komputasi. Bidang ini tidak membedakan antara simpul driver dan pekerja. Lihat Jenis node. | Penggunaan komputasi tanpa server, termasuk notebook, pekerjaan, alur Lakeflow, dan semua gudang SQL |
job_run_id |
ID pelaksanaan pekerjaan yang terkait dengan catatan penggunaan | Pekerjaan tanpa server dan pekerjaan dijalankan pada komputasi pekerjaan (tidak berlaku untuk pekerjaan yang dijalankan pada komputasi serba guna) |
notebook_id |
ID buku catatan yang terkait dengan penggunaan | Buku catatan tanpa server |
dlt_pipeline_id |
ID alur yang terkait dengan catatan penggunaan | Alur dan fitur Lakeflow yang menggunakan alur Lakeflow, seperti tampilan materialisasi, tabel online, pengindeksan Pencarian AI, dan Lakeflow Connect |
endpoint_name |
Nama model yang melayani titik akhir atau titik akhir Pencarian AI yang terkait dengan catatan penggunaan | Penyajian model dan Pencarian AI |
endpoint_id |
ID model yang melayani titik akhir atau titik akhir Pencarian AI yang terkait dengan catatan penggunaan | Penyajian model dan Pencarian AI |
dlt_update_id |
ID pembaruan alur yang terkait dengan catatan penggunaan | Alur dan fitur Lakeflow yang menggunakan alur Lakeflow, seperti tampilan materialisasi, tabel online, pengindeksan Pencarian AI, dan Lakeflow Connect |
dlt_maintenance_id |
ID tugas pemeliharaan alur yang terkait dengan catatan penggunaan | Alur dan fitur Lakeflow yang menggunakan alur Lakeflow, seperti tampilan materialisasi, tabel online, pengindeksan Pencarian AI, dan Lakeflow Connect |
metastore_id |
Nilai ini tidak diisi dalam Azure Databricks | Selalu null |
run_name |
Nama unik yang menghadap pengguna dari eksekusi Penyempurnaan Model Foundation yang terkait dengan catatan penggunaan | Penyempurnaan Model Dasar |
job_name |
Nama tugas yang diberikan pengguna terkait dengan catatan penggunaan | Pekerjaan berjalan pada komputasi tanpa server |
notebook_path |
Jalur penyimpanan ruang kerja buku catatan yang terkait dengan penggunaan | Notebook berjalan pada komputasi tanpa server |
central_clean_room_id |
ID ruang bersih pusat yang terkait dengan catatan penggunaan | Kamar Bersih |
source_region |
Wilayah tempat lalu lintas yang ditagih berasal. Hanya mengembalikan nilai untuk penggunaan terkait jaringan. | Jaringan |
destination_region |
Wilayah tempat lalu lintas yang ditagih diterima. Hanya mengembalikan nilai untuk penggunaan terkait jaringan. | Jaringan |
recipient_id |
ID penerima OpenSharing yang terkait dengan catatan penggunaan | Jaringan: keluarnya data kembali ke penerima OpenSharing melalui OpenSharing SecureConnect |
associated_product |
Produk yang memicu penggunaan. Misalnya, biaya JARINGAN dapat dipicu oleh koneksi DATABASE. Bidang ini hanya diisi ketika penggunaan sepenuhnya dapat didistribusikan ke produk sumber hulu. | Jaringan |
networking_client |
Klien yang menimbulkan penggunaan jaringan. Dapat berupa SERVERLESS_WORKLOAD atau EXTERNAL_CLIENT |
Jaringan |
app_id |
ID aplikasi yang terkait dengan catatan penggunaan | Aplikasi Databricks |
app_name |
Nama aplikasi yang diberikan pengguna yang terkait dengan catatan penggunaan | Aplikasi Databricks |
private_endpoint_name |
Nama titik akhir privat yang berlaku yang disebarkan dengan komputasi tanpa server | Jaringan tanpa server |
budget_policy_id |
Deprecated. Gunakan usage_policy_id sebagai gantinya. ID kebijakan penggunaan tanpa server yang dilampirkan ke beban kerja. |
Penggunaan komputasi tanpa server, termasuk notebook, pekerjaan, alur Lakeflow, dan model yang melayani titik akhir |
storage_api_type |
Jenis operasi yang dilakukan pada penyimpanan default. Nilai yang mungkin adalah TIER_1 (PUT, COPY, POST, LIST) dan TIER_2 (operasi lainnya) |
Penyimpanan default |
ai_runtime_workload_id |
ID beban kerja GPU tanpa server yang terkait dengan catatan penggunaan | Beban kerja AI Runtime |
uc_table_catalog |
Nama katalog Unity Catalog yang terkait dengan catatan penggunaan | Tampilan materialisasi |
uc_table_schema |
Nama skema Unity Catalog yang terkait dengan catatan penggunaan | Tampilan materialisasi |
uc_table_name |
Nama tabel Katalog Unity yang terkait dengan catatan penggunaan | Tampilan materialisasi |
database_instance_id |
ID instans database yang terkait dengan catatan penggunaan | Instans database Lakebase |
sharing_materialization_id |
ID materialisasi berbagi yang terkait dengan catatan penggunaan | Menampilkan berbagi, tampilan materialisasi, dan tabel streaming menggunakan OpenSharing |
usage_policy_id |
ID kebijakan penggunaan tanpa server yang terkait dengan catatan penggunaan | Kebijakan penggunaan tanpa server |
agent_bricks_id |
ID beban kerja Agent Bricks yang terkait dengan catatan penggunaan | Beban kerja Asisten PengetahuanAgen Supervisor |
base_environment_id |
ID lingkungan dasar yang terkait dengan penggunaan | Penggunaan dari proses membangun atau memperbarui lingkungan dasar tanpa server untuk ruang kerja. Diisi ketika billing_origin_product adalah BASE_ENVIRONMENTS. |
schema_id |
ID skema yang terkait dengan catatan penggunaan | Deteksi anomali |
table_id |
ID tabel yang terkait dengan rekaman penggunaan | Pembuatan profil data |
catalog_id |
ID katalog Unity Catalog yang terkait dengan penggunaan penyimpanan default | Penyimpanan default |
Jenis node
Saat driver dan pekerja sumber daya komputasi klasik menggunakan jenis instans yang sama, penggunaannya digabungkan ke dalam satu rekaman. Ketika node driver dan pekerja komputasi menggunakan jenis instans yang berbeda, penggunaannya muncul sebagai rekaman terpisah: satu untuk jenis instans driver dan satu untuk pekerja.
Untuk mengaitkan penggunaan ke peran simpul tertentu, Anda dapat mereferensikan usage_metadata.cluster_id silang dalam tabel penggunaan dengan data dari tabel sistem komputasi. Tabel system.compute.clusters merekam setiap kluster driver_node_type dan worker_node_type, dan system.compute.node_timeline tabel menyertakan driver kolom boolean yang mengidentifikasi peran setiap simpul.
referensi metadata identitas
Kolom identity_metadata menyediakan informasi selengkapnya tentang identitas yang terlibat dalam penggunaan.
- Bidang
run_asmencatat siapa yang menjalankan beban kerja. Lihat tabel berikut ini untuk mempelajari bagaimana nilai ini diisi untuk setiap jenis beban kerja. - Bidang
owned_byhanya berlaku untuk penggunaan gudang SQL dan mencatat pengguna atau perwakilan layanan yang memiliki gudang SQL yang bertanggung jawab atas penggunaan.
- Bidang ini
created_byberlaku untuk Aplikasi Databricks, Asisten Pengetahuan, dan Agen Supervisor. Bidang mencatat email pengguna yang membuat aplikasi atau agen.
identitas run_as
Identitas yang direkam dalam identity_metadata.run_as tergantung pada produk yang terkait dengan penggunaan produk tersebut. Referensikan tabel berikut untuk perilaku identity_metadata.run_as:
| Tipe beban kerja | Identitas run_as |
|---|---|
| Komputasi pekerjaan | Pengguna atau prinsipal layanan yang ditentukan dalam pengaturan run_as. Secara default, pekerjaan berjalan sebagai identitas pemilik pekerjaan, tetapi admin dapat mengubahnya menjadi pengguna atau perwakilan layanan lain. |
| Komputasi tanpa server untuk pekerjaan | Pengguna atau prinsipal layanan yang ditentukan dalam pengaturan run_as. Secara default, pekerjaan berjalan sebagai identitas pemilik pekerjaan, tetapi admin dapat mengubahnya menjadi pengguna atau perwakilan layanan lain. |
| Komputasi tanpa server untuk buku catatan | Pengguna yang menjalankan perintah notebook (khususnya, pengguna yang membuat sesi buku catatan). Untuk buku catatan bersama, ini termasuk penggunaan oleh pengguna lain yang berbagi sesi buku catatan yang sama. |
| Komputasi serbaguna | Identitas yang membuat sumber daya komputasi. Ini belum tentu pemilik komputasi. Untuk mengaitkan penggunaan ke pemilik, gabungkan dengan system.compute.clusters.owned_by menggunakan usage_metadata.cluster_id. |
| Alur Lakeflow | Pengguna atau prinsipal layanan yang izin aksesnya digunakan untuk menjalankan pipeline. Ini dapat diubah dengan mentransfer kepemilikan alur. |
| Penyempurnaan Model Dasar | Pengguna atau prinsipal layanan yang memulai menjalankan pelatihan penyempurnaan. |
| Pengoptimalan prediktif | Service principal milik Databricks yang menjalankan operasi pengoptimalan prediktif. |
| Pemantauan kualitas data | Pengguna yang membuat profil. |
referensi tipe rekaman
Tabel billing.usage mendukung koreksi. Koreksi terjadi ketika bidang catatan penggunaan salah dan harus diperbaiki.
Saat koreksi terjadi, Azure Databricks menambahkan dua rekaman baru ke tabel. Rekaman pencabutan meniadakan rekaman asli yang salah, lalu rekaman pemulihan menyertakan informasi yang dikoreksi. Rekaman koreksi diidentifikasi menggunakan record_type bidang :
-
RETRACTION: Digunakan untuk meniadakan penggunaan asli yang salah. Semua bidang identik denganORIGINALcatatan kecualiusage_quantity, yang merupakan nilai negatif yang membatalkan kuantitas penggunaan asli. Misalnya, jika kuantitas penggunaan dari rekaman asli adalah259.4356, maka kuantitas penggunaan dari rekaman pencabutan akan menjadi-259.4356. -
RESTATEMENT: Catatan yang mencakup bidang dan kuantitas penggunaan yang sesuai.
Misalnya, kueri berikut mengembalikan kuantitas penggunaan per jam yang benar terkait dengan job_id, meskipun telah dilakukan koreksi. Dengan menggabungkan kuantitas penggunaan, rekaman pencabutan meniadakan rekaman asli dan hanya nilai pengungkapan ulang yang dikembalikan.
SELECT
usage_metadata.job_id, usage_start_time, usage_end_time,
SUM(usage_quantity) as usage_quantity
FROM system.billing.usage
GROUP BY ALL
HAVING usage_quantity != 0
Note
Untuk koreksi di mana catatan penggunaan asli seharusnya tidak ditulis, koreksi hanya dapat menambahkan rekaman pencabutan dan tidak ada catatan pemulihan.
referensi produk dari asal penagihan
Beberapa produk Databricks ditagih di bawah SKU bersama. Misalnya, pemantauan kualitas data, pengoptimalan prediktif, dan alur kerja tanpa server semuanya ditagih di bawah SKU pekerjaan tanpa server yang sama.
Untuk membantu Anda membedakan penggunaan, kolom billing_origin_product dan product_features memberikan lebih banyak wawasan tentang produk dan fitur tertentu yang terkait dengan penggunaan.
Kolom billing_origin_product memperlihatkan produk Databricks yang terkait dengan catatan penggunaan. Nilainya meliputi:
| Value | Description |
|---|---|
JOBS |
Biaya yang terkait dengan beban pekerjaan Lakeflow Jobs |
DLT |
Biaya yang terkait dengan beban kerja alur Lakeflow |
SQL |
Biaya yang terkait dengan Databricks SQL, termasuk beban kerja yang berjalan pada gudang SQL dan tampilan materialisasi |
ALL_PURPOSE |
Biaya yang terkait dengan komputasi serba guna klasik |
MODEL_SERVING |
Biaya yang terkait dengan Model Serving |
INTERACTIVE |
Biaya yang terkait dengan beban kerja interaktif tanpa server |
DEFAULT_STORAGE |
Biaya yang terkait dengan penyimpanan default |
VECTOR_SEARCH |
Biaya yang terkait dengan Pencarian AI |
LAKEHOUSE_MONITORING |
Biaya yang terkait dengan Pemantauan Kualitas Data |
PREDICTIVE_OPTIMIZATION |
Biaya yang terkait dengan pengoptimalan prediktif |
ONLINE_TABLES |
Biaya yang terkait dengan tabel online (Legacy) |
FOUNDATION_MODEL_TRAINING |
Biaya yang terkait dengan Penyempurnaan Model Foundation |
AGENT_EVALUATION |
Biaya yang terkait dengan evaluasi agen |
FINE_GRAINED_ACCESS_CONTROL |
Penggunaan tanpa server dari kontrol akses halus pada komputasi khusus |
EXTERNAL_COMPATIBILITY |
Penggunaan tanpa server dari ABAC lintas mesin |
BASE_ENVIRONMENTS |
Penggunaan yang terkait dengan membangun atau menyegarkan lingkungan dasar tanpa server ruang kerja |
DATA_CLASSIFICATION |
Biaya yang terkait dengan operasi klasifikasi data |
DATA_QUALITY_MONITORING |
Biaya yang terkait dengan pemantauan kualitas data, termasuk deteksi anomali dan pembuatan profil data |
DATA_SHARING |
Biaya yang terkait dengan OpenSharing |
AI_GATEWAY |
Biaya yang terkait dengan penggunaan Gateway AI |
AI_RUNTIME |
Biaya yang terkait dengan beban kerja GPU tanpa server |
NETWORKING |
Biaya yang terkait dengan menghubungkan komputasi tanpa server ke sumber daya Anda melalui titik akhir privat, dan dengan keluar kembali ke klien untuk produk intensif performa. Untuk penggunaan titik akhir privat tanpa server, workspace_id adalah null, usage_unit adalah hour, dan networking.connectivity_type adalah PRIVATE_IP. |
APPS |
Biaya yang terkait dengan membangun dan menjalankan Aplikasi Databricks |
DATABASE |
Biaya yang terkait dengan instans database yang Disediakan Lakebase |
LAKEBASE |
Biaya yang terkait dengan Lakebase Postgres |
AI_FUNCTIONS |
Biaya yang terkait dengan penggunaan AI Functions . Produk ini mencatat penggunaan untuk AI_PARSE_DOCUMENT, AI_EXTRACT, AI_CLASSIFY. |
AGENT_BRICKS |
Biaya yang terkait dengan beban kerja Asisten PengetahuanAgen Supervisor |
CLEAN_ROOM |
Biaya yang terkait dengan beban kerja Clean Rooms |
LAKEFLOW_CONNECT |
Biaya yang terkait dengan konektor terkelola Lakeflow Connect |
GENIE |
Biaya yang terkait dengan penggunaan AI/BI Genie bayar sesuai pemakaian |
FEATURE_STORE |
Biaya yang terkait dengan Penyimpanan Fitur |
SUPERVISOR_AGENT |
Biaya yang terkait dengan beban kerja Agen Supervisor |
LAKEHOUSE_REAL_TIME |
Biaya yang terkait dengan Lakehouse Real-Time |
referensi fitur produk
Kolom product_features adalah objek yang berisi informasi tentang fitur produk tertentu yang digunakan dan menyertakan pasangan kunci/nilai berikut:
| Bidang | Description |
|---|---|
jobs_tier |
Nilai termasuk LIGHT, CLASSIC, atau null |
sql_tier |
Nilai termasuk CLASSIC, PRO, atau null |
dlt_tier |
Nilai termasuk CORE, PRO, ADVANCED, atau null |
is_serverless |
Nilai termasuk true atau false, atau null (nilai adalah true atau false ketika Anda dapat memilih antara komputasi serverless dan klasik, jika tidak, nilainya null) |
is_photon |
Nilai meliputi true atau false, atau null |
serving_type |
Nilai termasuk MODEL, GPU_MODEL, FOUNDATION_MODEL, FEATURE, atau null |
offering_type |
Nilai meliputi BATCH_INFERENCE atau null |
performance_target |
Menunjukkan mode performa pekerjaan atau alur tanpa server. Nilai termasuk PERFORMANCE_OPTIMIZED, STANDARD, atau null. Beban kerja tanpa server memiliki null nilai. |
ai_runtime.compute_type |
Menunjukkan jenis komputasi untuk beban kerja GPU tanpa server atau null |
model_serving.offering_type |
Menunjukkan jenis penawaran untuk penyajian model atau null |
ai_gateway.feature_type |
Menunjukkan jenis fitur untuk beban kerja Gateway AI atau null |
serverless_gpu.workload_type |
Menunjukkan jenis beban kerja untuk Runtime AI (GPU tanpa server) atau null |
ai_functions.ai_function |
Menunjukkan jenis fungsi AI atau null |
networking.connectivity_type |
Nilai meliputi PUBLIC_IP dan PRIVATE_IP |
agent_bricks.problem_type |
Menunjukkan jenis masalah untuk beban kerja Asisten Pengetahuan . Nilai termasuk AGENT_BRICKS_KNOWLEDGE_ASSISTANT atau null. |
agent_bricks.workload_type |
Menunjukkan jenis beban kerja untuk Asisten Pengetahuan . Nilai meliputi AGENT_BRICKS_REAL_TIME_INFERENCE atau null |