Membuat monitor menggunakan UI Databricks

Artikel ini menunjukkan pembuatan monitor data menggunakan UI Databricks. Anda juga dapat menggunakan API.

Untuk mengakses UI Databricks, lakukan hal berikut:

1. Di bilah sisi kiri ruang kerja, klik untuk membuka Catalog Explorer.
2. Navigasi ke tabel yang ingin Anda pantau.
3. Klik tab Kualitas .
4. Klik tombol Mulai .
5. Di Buat monitor, pilih opsi yang ingin Anda siapkan monitornya.

Pemrofilan

Dari menu Jenis profil, pilih jenis monitor yang ingin Anda buat. Jenis profil ditampilkan dalam tabel.

Jenis profil	Deskripsi
Profil rangkaian waktu	Tabel yang berisi nilai yang diukur dari waktu ke waktu. Tabel ini menyertakan kolom tanda waktu.
Profil inferensi	Tabel yang berisi output nilai yang diprediksi oleh klasifikasi pembelajaran mesin atau model regresi. Tabel ini mencakup tanda waktu, id model, input model (fitur), kolom yang berisi prediksi model, dan kolom opsional yang berisi ID pengamatan unik dan label kebenaran dasar. Ini juga dapat berisi metadata, seperti informasi demografis, yang tidak digunakan sebagai input ke model tetapi mungkin berguna untuk penyelidikan kewajaran dan bias atau pemantauan lainnya.
Profil rekam jepret	Setiap tabel terkelola Delta, tabel eksternal, tampilan, tampilan materialisasi, atau tabel streaming.

Jika Anda memilih TimeSeries atau Inference, parameter tambahan diperlukan dan dijelaskan di bagian berikut.

Catatan

• Ketika Anda pertama kali membuat rangkaian waktu atau profil inferensi, monitor hanya menganalisis data dari 30 hari sebelum pembuatannya. Setelah monitor dibuat, semua data baru diproses.
• Monitor yang ditentukan pada tampilan materialisasi dan tabel streaming tidak mendukung pemrosesan inkremental.

TimeSeries profil

TimeSeries Untuk profil, Anda harus membuat pilihan berikut:

• Tentukan Granularitas metrik yang menentukan cara mempartisi data di jendela sepanjang waktu.
• Tentukan kolom Tanda Waktu, kolom dalam tabel yang berisi tanda waktu. Jenis data kolom tanda waktu harus berupa TIMESTAMP atau jenis yang dapat dikonversi ke tanda waktu menggunakan to_timestamp fungsi PySpark.

Inference profil

Inference Untuk profil, selain granularitas dan tanda waktu, Anda harus membuat pilihan berikut:

• Pilih Jenis masalah, baik klasifikasi atau regresi.
• Tentukan kolom Prediksi, kolom yang berisi nilai model yang diprediksi.
• Secara opsional tentukan kolom Label, kolom yang berisi kebenaran dasar untuk prediksi model.
• Tentukan kolom ID Model, kolom yang berisi id model yang digunakan untuk prediksi.

Jadwal

Untuk menyiapkan monitor yang akan dijalankan secara terjadwal, pilih Refresh sesuai jadwal dan pilih frekuensi dan waktu agar monitor berjalan. Jika Anda tidak ingin monitor berjalan secara otomatis, pilih Refresh secara manual. Jika Anda memilih Refresh secara manual, Anda nanti dapat merefresh metrik dari tab Kualitas .

Notifications

Untuk menyiapkan pemberitahuan email untuk monitor, masukkan email yang akan diberi tahu dan pilih pemberitahuan yang akan diaktifkan. Hingga 5 email didukung per jenis peristiwa pemberitahuan.

Umum

Di bagian Umum , Anda perlu menentukan satu pengaturan yang diperlukan dan beberapa opsi konfigurasi tambahan:

• Anda harus menentukan skema Katalog Unity tempat tabel metrik yang dibuat oleh monitor disimpan. Lokasi harus dalam format {catalog}. {skema}.

Anda juga dapat menentukan pengaturan berikut:

• Direktori aset. Masukkan jalur absolut ke direktori yang ada untuk menyimpan aset pemantauan seperti dasbor yang dihasilkan. Secara default, aset disimpan di direktori default: "/Users/{user_name}/databricks_lakehouse_monitoring/{table_name}". Jika Anda memasukkan lokasi lain di bidang ini, aset dibuat di bawah "/{table_name}" di direktori yang Anda tentukan. Direktori ini dapat berada di mana saja di ruang kerja. Untuk monitor yang dimaksudkan untuk dibagikan dalam organisasi, Anda dapat menggunakan jalur di direktori "/Bersama/".

  Bidang ini tidak dapat dibiarkan kosong.

• Nama tabel garis besar Katalog Unity. Nama tabel atau tampilan yang berisi data garis besar untuk perbandingan. Untuk informasi selengkapnya tentang tabel garis besar, lihat Tabel input utama dan tabel garis besar.

• Ekspresi pemotongan metrik. Mengiris ekspresi memungkinkan Anda menentukan subset tabel untuk dipantau selain tabel secara keseluruhan. Untuk membuat ekspresi pemotongan, klik Tambahkan ekspresi dan masukkan definisi ekspresi. Misalnya ekspresi "col_2 > 10" menghasilkan dua irisan: satu untuk col_2 > 10 dan satu untuk col_2 <= 10. Sebagai contoh lain, ekspresi "col_1" akan menghasilkan satu ikatan untuk setiap nilai unik di col_1. Data dikelompokkan menurut setiap ekspresi secara independen, menghasilkan ikatan terpisah untuk setiap predikat dan pelengkapnya.

• Metrik khusus. Metrik kustom muncul dalam tabel metrik seperti metrik bawaan apa pun. Untuk detailnya, lihat Menggunakan metrik kustom dengan Databricks Lakehouse Monitoring. Untuk mengonfigurasi metrik kustom, klik Tambahkan metrik kustom.

  • Masukkan Nama untuk metrik kustom.
  • Pilih Jenis metrik kustom, salah satu dari Aggregate, , Derivedatau Drift. Untuk definisi, lihat Jenis metrik kustom.
  • Dari daftar drop-down di Kolom input, pilih kolom untuk menerapkan metrik.
  • Di bidang Jenis output, pilih jenis data Spark metrik.
  • Di bidang Definisi, masukkan kode SQL yang menentukan metrik kustom.

Mengedit pengaturan monitor di UI

Setelah membuat monitor, Anda dapat membuat perubahan pada pengaturan monitor dengan mengklik tombol Edit konfigurasi monitor pada tab Kualitas .

Merefresh dan melihat hasil monitor di UI

Untuk menjalankan monitor secara manual, klik Refresh metrik.

Untuk informasi tentang statistik yang disimpan dalam tabel metrik pemantauan, lihat Memantau tabel metrik. Tabel metrik adalah tabel Katalog Unity. Anda bisa mengkuerinya di buku catatan atau di penjelajah kueri SQL, dan menampilkannya di Catalog Explorer.

Mengontrol akses untuk memantau output

Tabel metrik dan dasbor yang dibuat oleh monitor dimiliki oleh pengguna yang membuat monitor. Anda dapat menggunakan hak istimewa Unity Catalog untuk mengontrol akses ke tabel metrik. Untuk berbagi dasbor dalam ruang kerja, klik tombol Bagikan di sisi kanan atas dasbor.

Menghapus monitor dari UI

Untuk menghapus monitor dari UI, klik menu kebab di samping tombol Refresh metrik dan pilih Hapus monitor.