Memantau aktivitas akun dengan tabel sistem

Artikel ini menjelaskan konsep tabel sistem di Azure Databricks dan menyoroti sumber daya yang bisa Anda gunakan untuk mendapatkan hasil maksimal dari data tabel sistem Anda.

Apa itu tabel sistem?

Tabel sistem adalah penyimpanan analitik yang di-host oleh Azure Databricks untuk data operasional dari akun Anda yang ditemukan di system katalog. Tabel sistem dapat digunakan untuk pengamatan historis di seluruh akun Anda.

Catatan

Tabel skema informasi (system.information_schema) bekerja secara berbeda dari tabel sistem lainnya. Lihat skema Informasi.

Persyaratan

• Untuk mengakses tabel sistem, ruang kerja Anda harus diaktifkan untuk Katalog Unity. Untuk informasi selengkapnya, lihat Mengaktifkan tabel sistem.

• Tabel sistem tidak tersedia di wilayah berikut:
  • Kawasan Azure China
  • Kawasan Azure Government
  • India Barat
  • Swiss Barat

Tabel sistem mana yang tersedia?

Saat ini, Azure Databricks menghosting tabel sistem berikut:

Tabel	Deskripsi	Mendukung streaming	Periode gratis retensi	Mencakup data global atau regional
Catatan audit (Pratinjau Publik)	Menyertakan rekaman untuk semua peristiwa audit dari ruang kerja di wilayah Anda. Untuk daftar peristiwa audit yang tersedia, lihat referensi log diagnostik . Jalur tabel: system.access.audit	Ya	365 hari	Regional untuk acara tingkat ruang kerja. Peristiwa tingkat akun bersifat global.
Penggunaan yang dapat ditagih	Mencakup catatan untuk semua penggunaan yang dapat ditagih untuk seluruh akun Anda. Jalur tabel: system.billing.usage	Ya	365 hari	Mendunia
Acara clean room (Pratinjau Umum)	Menangkap peristiwa terkait ruang bersih. Jalur tabel: system.access.clean_room_events	Ya	365 hari	Wilayah
Kluster	Tabel dimensi yang berubah lambat yang berisi riwayat lengkap konfigurasi komputasi dari waktu ke waktu untuk kluster apa pun.	Ya	365 hari	Wilayah
Silsilah kolom	Menyertakan rekaman untuk setiap peristiwa baca atau tulis pada kolom Katalog Unity (tetapi tidak menyertakan peristiwa yang tidak memiliki sumber). Jalur tabel: system.access.column_lineage	Ya	365 hari	Wilayah
Hasil klasifikasi data (Beta)	Menyimpan deteksi pada tingkat kolom untuk kelas data sensitif di seluruh katalog yang diaktifkan dalam metastore yang Anda miliki. Jalur tabel: system.data_classification.results	Tidak	365 hari	Wilayah
Hasil pemantauan kualitas data (Beta)	Menyimpan hasil pemeriksaan pemantauan kualitas data (kesegaran, kelengkapan) dan informasi insiden, termasuk dampak hilir dan analisis akar penyebab, di seluruh tabel yang diaktifkan di metastore Anda. Jalur tabel: system.data_quality_monitoring.table_results	Tidak	Tak Terbatas	Wilayah
Peristiwa Asisten Databricks (Pratinjau Umum)	Melacak pesan pengguna yang dikirim ke Asisten Databricks. Jalur tabel: system.access.assistant_events	Tidak	365 hari	Wilayah
Peristiwa materialisasi data pada Delta Sharing	Menangkap peristiwa materialisasi data yang dibuat dari tampilan, tampilan terwujud, dan pembagian tabel streaming. Jalur tabel: system.sharing.materialization_history	Ya	365 hari	Regional untuk acara tingkat ruang kerja.
Linimasa Pemrosesan Pekerjaan (Pratinjau Umum)	Melacak waktu mulai dan berakhir dari proses pekerjaan. Jalur tabel: system.lakeflow.job_run_timeline	Ya	365 hari	Wilayah
Jadwal tugas (Pratinjau Umum)	Melacak waktu mulai dan berakhir serta sumber daya komputasi yang digunakan untuk menjalankan tugas pekerjaan. Jalur tabel: system.lakeflow.job_task_run_timeline	Ya	365 hari	Wilayah
Tugas pekerjaan (Pratinjau Umum)	Melacak semua tugas pekerjaan yang berjalan di akun. Jalur tabel: system.lakeflow.job_tasks	Ya	365 hari	Wilayah
Pekerjaan (Pratinjau Umum)	Melacak semua pekerjaan yang dibuat di akun. Jalur tabel: system.lakeflow.jobs	Ya	365 hari	Wilayah
Peristiwa corong di marketplace (Pratinjau Publik)	Termasuk kesan konsumen dan data saluran untuk daftar Anda. Jalur tabel: system.marketplace.listing_funnel_events	Ya	365 hari	Wilayah
Akses ke daftar di marketplace (Pratinjau Publik)	Menyertakan info konsumen untuk peristiwa permintaan data lengkap atau pengambilan data di daftar Anda. Jalur tabel: system.marketplace.listing_access_events	Ya	365 hari	Wilayah
Metadata eksperimen pelacakan MLflow (Pratinjau Umum)	Setiap baris mewakili eksperimen yang dibuat dalam sistem MLflow yang dikelola Databricks. Jalur tabel: system.mlflow.experiments_latest	Ya	180 hari	Wilayah
Metadata eksekusi pelacakan MLflow (Pratinjau Umum)	Setiap baris mewakili eksekusi yang dibuat dalam sistem MLflow yang dikelola Databricks. Jalur tabel: system.mlflow.runs_latest	Ya	180 hari	Wilayah
Metrik eksekusi pelacakan MLflow (Pratinjau Umum)	Menyimpan metrik timeseries yang dicatat ke MLflow yang terkait dengan pelatihan model, evaluasi, atau pengembangan agen tertentu. Jalur tabel: system.mlflow.run_metrics_history	Ya	180 hari	Wilayah
Data titik akhir penyajian model (Pratinjau Umum)	Tabel dimensi yang berubah lambat yang menyimpan metadata untuk setiap model fondasi yang dilayani dalam model yang melayani titik akhir. Jalur tabel: system.serving.served_entities	Ya	365 hari	Wilayah
Penggunaan titik akhir untuk penyajian model (Pratinjau Umum)	Merekam jumlah token untuk setiap permintaan ke model titik akhir pemrosesan dan responsnya. Untuk merekam penggunaan titik akhir dalam tabel ini, Anda harus mengaktifkan pelacakan penggunaan pada titik akhir layanan Anda. Jalur tabel: system.serving.endpoint_usage	Ya	90 hari	Wilayah
Peristiwa akses jaringan (Inbound) (Pratinjau Umum)	Tabel yang merekam peristiwa untuk setiap kali akses masuk ke ruang kerja ditolak oleh kebijakan masuk. Jalur tabel: system.access.inbound_network	Ya	30 hari	Wilayah
Peristiwa akses jaringan (Keluar) (Pratinjau Umum)	Tabel yang mencatat peristiwa setiap kali akses internet keluar ditolak dari akun Anda. Jalur tabel: system.access.outbound_network	Ya	365 hari	Wilayah
Garis waktu simpul	Menangkap metrik pemanfaatan sumber daya komputasi untuk keperluan umum dan tugas-tugas Anda. Jalur tabel: system.compute.node_timeline	Ya	90 hari	Wilayah
Jenis node	Menangkap jenis node yang saat ini tersedia dengan informasi perangkat keras dasarnya. Jalur tabel: system.compute.node_types	Tidak	Tak Terbatas	Wilayah
Jadwal pembaruan jalur (Pratinjau Umum)	Melacak waktu mulai dan berakhir serta sumber daya komputasi yang digunakan untuk pembaruan alur. Jalur tabel: system.lakeflow.pipeline_update_timeline	Ya	365 hari	Wilayah
Pipeline (Pratinjau Publik)	Melacak semua pipeline yang sudah dibuat di akun. Jalur tabel: system.lakeflow.pipelines	Ya	365 hari	Wilayah
Pengoptimalan prediktif (Pratinjau Umum)	Melacak riwayat operasi fitur pengoptimalan prediktif. Jalur tabel: system.storage.predictive_optimization_operations_history	Tidak	180 hari	Wilayah
Penentuan Harga	Catatan sejarah harga SKU. Catatan ditambahkan setiap kali ada perubahan pada harga SKU. Jalur tabel: system.billing.list_prices	Tidak	Tak Terbatas	Mendunia
Riwayat Kueri (Pratinjau Publik)	Mengambil rekaman untuk semua kueri yang dijalankan di gudang SQL dan komputasi tanpa server untuk buku catatan dan pekerjaan . Jalur tabel: system.query.history	Tidak	365 hari	Wilayah
Event gudang SQL (Pratinjau Umum)	Menangkap peristiwa yang terkait dengan gudang data SQL. Misalnya, memulai, menghentikan, menjalankan, memperbesar, dan memperkecil skala. Jalur tabel: system.compute.warehouse_events	Ya	365 hari	Wilayah
Gudang SQL (Pratinjau Umum)	Berisi riwayat lengkap konfigurasi dari waktu ke waktu untuk gudang SQL apa pun. Jalur tabel: system.compute.warehouses	Ya	365 hari	Wilayah
Keterkaitan tabel	Menyertakan catatan untuk setiap aktivitas baca atau tulis pada tabel atau jalur Katalog Unity. Jalur tabel: system.access.table_lineage	Ya	365 hari	Wilayah
Ruang Kerja (Pratinjau Umum)	Tabel workspaces_latest adalah tabel metadata dimensi yang berubah lambat untuk semua ruang kerja di akun. Jalur tabel: system.access.workspaces_latest	Tidak	Tak Terbatas	Mendunia
Zerobus Ingest (Streams) (Beta)	Tabel yang menyimpan semua data terkait peristiwa streaming yang terjadi akibat penggunaan Zerobus Ingest. Jalur tabel: system.lakeflow.zerobus_stream	Ya	365 hari	Wilayah
Zerobus Ingest (Pengambilan Data) (Beta)	Tabel yang menyimpan semua data yang terkait dengan rekaman yang diserap menggunakan Zerobus Ingest. Jalur tabel: system.lakeflow.zerobus_ingest	Ya	365 hari	Wilayah

Tabel penggunaan yang dapat ditagihkan dan harga dapat digunakan secara gratis. Tabel dalam Tahap Pratinjau Publik juga dapat digunakan secara gratis selama pratinjau, tetapi mungkin akan dikenakan biaya di masa depan.

Catatan

Anda mungkin melihat tabel sistem lain di akun Anda, selain tabel yang tercantum di atas. Tabel tersebut saat ini berada di Pratinjau Privat dan kosong secara default. Jika Anda tertarik menggunakan salah satu tabel ini, silakan hubungi tim akun Databricks Anda.

hubungan tabel-tabel sistem

Diagram hubungan entitas berikut menguraikan bagaimana tabel sistem yang saat ini tersedia berhubungan satu sama lain. Diagram ini menyoroti kunci primer dan asing dari setiap tabel.

diagram hubungan entitas

Mengaktifkan tabel sistem

Karena tabel sistem diatur oleh Unity Catalog, Anda harus memiliki setidaknya satu ruang kerja yang mendukung Katalog Unity di akun Anda untuk mengaktifkan tabel sistem akun Anda. Tabel sistem menyertakan data dari semua ruang kerja di akun Anda, tetapi hanya dapat diakses dari ruang kerja yang mendukung Katalog Unity.

Metastore harus berada di Unity Catalog Privilege Model Versi 1.0 untuk mengakses tabel sistem. Lihat Peningkatan ke pewarisan hak istimewa.

Memberikan akses ke tabel sistem

Akses ke tabel sistem diatur oleh Katalog Unity. Admin akun memiliki akses ke tabel sistem secara default. Untuk mengizinkan pengguna mengkueri tabel sistem, admin harus memberikan pengguna USE dan SELECT izin tersebut pada skema sistem. Lihat Kelola hak akses di Unity Catalog.

Tabel sistem bersifat baca-saja dan tidak dapat dimodifikasi.

Catatan

Jika akun Anda dibuat setelah 9 November 2023, Anda mungkin tidak memiliki admin metastore secara default. Untuk informasi selengkapnya, lihat Mulai menggunakan Katalog Unity.

Apakah tabel sistem berisi data untuk semua ruang kerja di akun Anda?

Tabel sistem berisi data operasional untuk semua ruang kerja di akun Anda yang disebarkan dalam wilayah cloud yang sama. Beberapa tabel menyertakan data global. Untuk detailnya, lihat daftar tabel yang tersedia.

Meskipun tabel sistem hanya dapat diakses melalui ruang kerja Unity Catalog, tabel tersebut menyertakan data operasional dari ruang kerja Katalog non-Unity di akun Anda.

Di mana data tabel sistem disimpan?

Data tabel sistem akun Anda disimpan di akun penyimpanan yang dihosting Azure Databricks yang terletak di wilayah yang sama dengan metastore Anda. Data dibagikan dengan aman kepada Anda menggunakan Berbagi Delta.

Setiap tabel memiliki periode retensi data gratis. Untuk detailnya, lihat kolom Periode retensi gratis di Tabel sistem mana yang tersedia?.

Di mana tabel sistem berada di Catalog Explorer?

Tabel-tabel sistem di akun Anda berada di katalog yang disebut system, yang disertakan dalam setiap metastore Katalog Unity. system Dalam katalog, Anda akan melihat skema seperti access dan billing yang berisi tabel sistem.

Pertimbangan untuk tabel sistem streaming

Azure Databricks menggunakan Berbagi Delta untuk berbagi data tabel sistem dengan pelanggan. Ketahui pertimbangan berikut saat streaming dengan Berbagi Delta:

• Jika Anda menggunakan streaming dengan tabel sistem, atur opsi skipChangeCommits ke true. Ini memastikan pekerjaan streaming tidak terganggu oleh penghapusan dalam tabel sistem. Lihat Mengabaikan pembaruan dan penghapusan.
• Trigger.AvailableNow tidak didukung pada Delta Sharing streaming. Ini akan dikonversi ke Trigger.Once.
• Tabel sistem menggunakan retensi default selama 7 hari untuk VACUUM (lihat Mengonfigurasi retensi data untuk kueri perjalanan waktu), yang berarti kueri streaming Anda mungkin gagal jika ketinggalan lebih dari 7 hari. Pantau aliran Anda untuk memastikan mereka tetap terkini dengan versi terbaru tabel sistem.

Jika Anda menggunakan pemicu dalam pekerjaan streaming dan menemukannya tidak mengejar versi tabel sistem terbaru, Databricks merekomendasikan untuk meningkatkan frekuensi pekerjaan terjadwal.

Membaca perubahan inkremental dari tabel sistem streaming

spark.readStream.option("skipChangeCommits", "true").table("system.billing.usage")

Masalah umum

• Kolom baru dapat ditambahkan ke tabel sistem yang ada kapan saja. Kueri yang mengandalkan skema tetap dapat rusak jika kolom baru diperkenalkan. Kolom yang ada tidak akan berubah atau dihapus. Jika Anda menulis data tabel sistem ke tabel target lain, pertimbangkan untuk mengaktifkan evolusi skema.
• Tidak ada dukungan untuk pemantauan real time. Data diperbarui sepanjang hari. Jika Anda tidak melihat log untuk peristiwa terbaru, periksa kembali nanti.
• __internal_logging Skema tabel sistem mendukung pengelogan payload menggunakan tabel inferensi dengan dukungan AI Gateway untuk model eksternal dan beban kerja throughput yang disediakan. Skema ini terlihat oleh admin akun, tetapi tidak dapat diaktifkan dan tidak boleh digunakan untuk alur kerja pelanggan.

• Untuk mengaktifkan tabel sistem, Anda mungkin perlu memberikan akses jaringan ke titik akhir penyimpanan Blob pada tabel sistem. Untuk melihat daftar titik akhir penyimpanan tabel sistem setiap wilayah, lihat Alamat IP titik akhir penyimpanan.
• Skema sistem system.operational_data dan system.lineage tidak digunakan lagi dan akan berisi tabel kosong.