Bagikan melalui

Memantau penggunaan dengan tabel sistem

  • Artikel

Artikel ini menjelaskan konsep tabel sistem di Azure Databricks dan menyoroti sumber daya yang bisa Anda gunakan untuk mendapatkan hasil maksimal dari data tabel sistem Anda.

Apa itu tabel sistem?

Tabel sistem adalah penyimpanan analitik yang dihosting Azure Databricks dari data operasional akun Anda yang system ditemukan di katalog. Tabel sistem dapat digunakan untuk pengamatan historis di seluruh akun Anda.

Catatan

Untuk dokumentasi tentang system.information_schema, lihat Skema informasi.

Persyaratan

  • Untuk mengakses tabel sistem, ruang kerja Anda harus diaktifkan untuk Katalog Unity. Untuk informasi selengkapnya, lihat Mengaktifkan skema tabel sistem.

  • Tabel sistem tidak tersedia di wilayah berikut:

    • Kawasan Azure China
    • Kawasan Azure Government
    • India Barat
    • Swiss Barat

Tabel sistem mana yang tersedia?

Saat ini, Azure Databricks menghosting tabel sistem berikut:

Table Deskripsi Lokasi Mendukung streaming Periode retensi gratis Mencakup data global atau regional
Log audit (Pratinjau Umum) Menyertakan rekaman untuk semua peristiwa audit dari ruang kerja di wilayah Anda. Untuk daftar peristiwa audit yang tersedia, lihat Referensi log diagnostik. system.access.audit Ya 365 hari Regional untuk peristiwa tingkat ruang kerja. Global untuk peristiwa tingkat akun.
Silsilah tabel (Pratinjau Umum) Menyertakan rekaman untuk setiap peristiwa baca atau tulis pada tabel atau jalur Katalog Unity. system.access.table_lineage Ya 365 hari Wilayah
Silsilah kolom (Pratinjau Umum) Menyertakan rekaman untuk setiap peristiwa baca atau tulis pada kolom Katalog Unity (tetapi tidak menyertakan peristiwa yang tidak memiliki sumber). system.access.column_lineage Ya 365 hari Wilayah
Penggunaan yang dapat ditagih Menyertakan rekaman untuk semua penggunaan yang dapat ditagih di seluruh akun Anda. Setiap catatan penggunaan adalah agregat per jam dari penggunaan sumber daya yang dapat ditagih. system.billing.usage Ya 365 hari Global
Harga Log historis harga SKU. Catatan ditambahkan setiap kali ada perubahan pada harga SKU. system.billing.list_prices No Tidak Terbatas Global
Kluster (Pratinjau Umum) Tabel dimensi yang berubah lambat yang berisi riwayat lengkap konfigurasi komputasi dari waktu ke waktu untuk kluster apa pun. system.compute.clusters Ya T/A Wilayah
Garis waktu simpul (Pratinjau Umum) Menangkap metrik pemanfaatan sumber daya komputasi semua tujuan dan pekerjaan Anda. system.compute.node_timeline Ya 30 hari Wilayah
Jenis node (Pratinjau Umum) Menangkap jenis node yang saat ini tersedia dengan informasi perangkat keras dasarnya. system.compute.node_types No T/A Wilayah
Peristiwa gudang SQL (Pratinjau Umum) Menangkap peristiwa yang terkait dengan gudang SQL. Misalnya, memulai, menghentikan, menjalankan, meningkatkan dan menurunkan skala. system.compute.warehouse_events Ya 365 hari Wilayah
Pekerjaan (Pratinjau Umum) Melacak semua pekerjaan yang dibuat di akun. system.lakeflow.jobs Ya 365 hari Wilayah
Tugas pekerjaan (Pratinjau Umum) Melacak semua tugas pekerjaan yang berjalan di akun. system.lakeflow.job_tasks Ya 365 hari Wilayah
Garis waktu eksekusi pekerjaan (Pratinjau Umum) Melacak waktu mulai dan berakhir dari eksekusi pekerjaan. system.lakeflow.

job_run_timeline		 Ya 365 hari Wilayah
Garis waktu tugas pekerjaan (Pratinjau Umum) Melacak waktu mulai dan berakhir serta sumber daya komputasi yang digunakan untuk menjalankan tugas pekerjaan. system.lakeflow.

job_task_run_timeline		 Ya 365 hari Wilayah
Peristiwa corong marketplace (Pratinjau Umum) Termasuk kesan konsumen dan data corong untuk daftar Anda. system.marketplace.listing_

funnel_events		 Ya 365 hari Wilayah
Akses daftar marketplace (Pratinjau Umum) Menyertakan info konsumen untuk data permintaan yang telah selesai atau mendapatkan peristiwa data di daftar Anda. system.marketplace.listing_

access_events		 Ya 365 hari Wilayah
Pengoptimalan prediktif (Pratinjau Umum) Melacak riwayat operasi fitur pengoptimalan prediktif. system.storage.predictive_

optimization_operations_history		 No 180 hari Wilayah
Peristiwa Asisten Databricks (Pratinjau Umum) Melacak pesan pengguna yang dikirim ke Asisten Databricks. system.access.assistant_events No 365 hari Wilayah
Riwayat kueri (Pratinjau Publik) Mengambil rekaman untuk semua kueri yang dijalankan di gudang SQL. system.query.history Ya 90 hari Wilayah
Membersihkan acara kamar (Pratinjau Umum) Menangkap peristiwa yang terkait dengan ruang bersih. system.access.clean_room_events Ya 365 hari Wilayah
Model yang melayani penggunaan titik akhir (Pratinjau Umum) Menangkap jumlah token untuk setiap permintaan ke model yang melayani titik akhir dan responsnya. system.serving.endpoint_usage Ya 90 hari Wilayah
Model yang melayani data titik akhir (Pratinjau Umum) Tabel dimensi yang berubah lambat yang menyimpan metadata untuk setiap model eksternal yang disajikan dalam model yang melayani titik akhir. system.serving.served_entities Ya 365 hari Wilayah

Tabel penggunaan dan harga yang dapat ditagih gratis untuk digunakan. Tabel dalam Pratinjau Umum juga gratis digunakan selama pratinjau tetapi dapat dikenakan biaya di masa mendatang.

Catatan

Anda mungkin melihat tabel sistem lain di akun Anda selain tabel yang tercantum di atas. Tabel tersebut berada di Pratinjau Privat saat ini dan kosong secara default. Jika Anda tertarik menggunakan salah satu tabel ini, silakan hubungi tim akun Databricks Anda.

Mengaktifkan skema tabel sistem

Karena tabel sistem diatur oleh Unity Catalog, Anda harus memiliki setidaknya satu ruang kerja yang mendukung Unity Catalog di akun Anda untuk mengaktifkan dan mengakses tabel sistem. Tabel sistem menyertakan data dari semua ruang kerja di akun Anda tetapi hanya dapat diakses dari ruang kerja yang mendukung Katalog Unity.

Tabel sistem diaktifkan pada tingkat skema. Jika Anda mengaktifkan skema sistem, Anda mengaktifkan semua tabel dalam skema tersebut. Saat skema baru dirilis, admin akun perlu mengaktifkan skema secara manual.

Tabel sistem harus diaktifkan oleh admin akun. Anda dapat mengaktifkan tabel sistem menggunakan API SystemSchemas.

Catatan

billing Skema diaktifkan secara default. Skema lain harus diaktifkan secara manual.

Mencantumkan skema sistem yang tersedia

Gunakan perintah curl berikut untuk menampilkan daftar skema sistem yang tersedia:

curl -v -X GET -H "Authorization: Bearer <PAT Token>" "https://adb-<xxx>.azuredatabricks.net/api/2.0/unity-catalog/metastores/<metastore-id>/systemschemas"

Berikut ini adalah contoh output perintah GET :

{"schemas":[{"schema":"access","state":"<AVAILABLE OR EnableCompleted>"},{"schema":"billing","state":"<AVAILABLE OR EnableCompleted>"},{"schema":"information_schema","state":"<AVAILABLE OR EnableCompleted>"}]}

state: AVAILABLE: Skema sistem tersedia tetapi belum diaktifkan.

state: EnableCompleted: Anda telah mengaktifkan skema sistem dan skema tersebut terlihat di Catalog Explorer.

Mengaktifkan skema sistem

Gunakan perintah curl berikut untuk mengaktifkan skema sistem:

curl -v -X PUT -H "Authorization: Bearer <PAT Token>" "https://adb-<xxx>.azuredatabricks.net/api/2.0/unity-catalog/metastores/<metastore-id>/systemschemas/<SCHEMA_NAME>"

Jika skema sistem berhasil diaktifkan, kode 200 hasil dikembalikan.

Jika Anda mencoba mengaktifkan kembali skema sistem, berikut ini dikembalikan: "error_code":"SCHEMA_ALREADY_EXISTS","message":"Schema <schema-name> already exists".

Menonaktifkan skema sistem

Gunakan perintah curl berikut untuk menonaktifkan skema sistem:

curl -v -X DELETE -H "Authorization: Bearer <PAT Token>" "https://adb-<xxx>.azuredatabricks.net/api/2.0/unity-catalog/metastores/<metastore-id>/systemschemas/<SCHEMA_NAME>"

Memberikan akses ke tabel sistem

Akses ke tabel sistem diatur oleh Katalog Unity. Tidak ada pengguna yang memiliki akses ke skema sistem ini secara default. Untuk memberikan akses, pengguna yang merupakan admin metastore dan admin akun harus memberikan USE dan SELECT izin pada skema sistem. Lihat Mengelola hak istimewa di Unity Catalog.

Tabel sistem bersifat baca-saja dan tidak dapat dimodifikasi.

Catatan

Jika akun Anda dibuat setelah 9 November 2023, Anda mungkin tidak memiliki admin metastore secara default. Untuk informasi selengkapnya, lihat Menyiapkan dan mengelola Katalog Unity.

Apakah tabel sistem berisi data untuk semua ruang kerja di akun Anda?

Tabel sistem berisi data operasional untuk semua ruang kerja di akun Anda yang disebarkan dalam wilayah cloud yang sama. Tabel sistem penagihan berisi data di seluruh akun.

Meskipun tabel sistem hanya dapat diakses melalui ruang kerja Unity Catalog, tabel juga menyertakan data operasional untuk ruang kerja Katalog non-Unity di akun Anda.

Di mana data tabel sistem disimpan?

Data tabel sistem akun Anda disimpan di akun penyimpanan yang dihosting Azure Databricks yang terletak di wilayah yang sama dengan metastore Anda. Data dibagikan dengan aman dengan Anda menggunakan Berbagi Delta.

Setiap tabel memiliki periode retensi data gratis. Untuk informasi tentang memperpanjang periode retensi, hubungi tim akun Azure Databricks Anda.

Di mana tabel sistem berada di Catalog Explorer?

Tabel sistem di akun Anda terletak di katalog yang disebut system, yang disertakan dalam setiap metastore Katalog Unity. system Dalam katalog, Anda akan melihat skema seperti access dan billing yang berisi tabel sistem.

Pertimbangan untuk tabel sistem streaming

Azure Databricks menggunakan Berbagi Delta untuk berbagi data tabel sistem dengan pelanggan. Ketahui pertimbangan berikut saat streaming dengan Berbagi Delta:

  • Jika Anda menggunakan streaming dengan tabel sistem, atur opsi ke skipChangeCommits true. Ini memastikan pekerjaan streaming tidak terganggu dari penghapusan dalam tabel sistem. Lihat Mengabaikan pembaruan dan penghapusan.
  • Trigger.AvailableNow tidak didukung dengan streaming Berbagi Delta. Ini akan dikonversi ke Trigger.Once.

Jika Anda menggunakan pemicu dalam pekerjaan streaming dan menemukannya tidak mengejar versi tabel sistem terbaru, Databricks merekomendasikan untuk meningkatkan frekuensi pekerjaan terjadwal.

Membaca perubahan inkremental dari tabel sistem streaming

spark.readStream.option("skipChangeCommits", "true").table("system.billing.usage")

Masalah umum

  • Saat ini tidak ada dukungan untuk pemantauan real-time. Data diperbarui sepanjang hari. Jika Anda tidak melihat log untuk peristiwa terbaru, periksa kembali nanti.

  • Untuk mengaktifkan tabel sistem, Anda mungkin perlu memberikan akses jaringan ke tabel sistem Titik akhir penyimpanan Blob. Untuk melihat daftar titik akhir penyimpanan tabel sistem setiap wilayah, lihat Alamat IP titik akhir penyimpanan.

  • Skema system.operational_data sistem dan system.lineage tidak digunakan lagi dan akan berisi tabel kosong.

  • __internal_logging Skema tabel sistem digunakan untuk mendukung pengelogan payload menggunakan tabel inferensi. Skema ini terlihat oleh admin akun, tetapi tidak dapat diaktifkan dan tidak boleh digunakan untuk alur kerja pelanggan.