Menjalankan proses ketika tabel sumber diperbarui

Anda dapat menggunakan pemicu pembaruan tabel untuk memicu eksekusi pekerjaan Anda saat tabel sumber diperbarui. Gunakan fitur ini untuk menjalankan pekerjaan ketika data baru siap tanpa perlu kluster yang terus berjalan atau pengetahuan tentang proses yang memperbarui tabel.

Cara kerja pemicu pembaruan tabel

Pemicu pembaruan tabel memeriksa pembaruan pada tabel, dan ketika sebuah tabel diperbarui, maka tugas tersebut akan dijalankan. Pemicu dapat berjalan saat satu tabel diperbarui, atau saat semua tabel yang dipantau oleh pemicu diperbarui. Trigger pembaruan tabel tidak dikenakan biaya tambahan selain biaya penyedia cloud yang terkait dengan pendaftaran tabel dan membaca perbaruan dari lokasi penyimpanan.

Pemicu pembaruan tabel dapat dikonfigurasi untuk memantau satu atau beberapa tabel untuk perubahan data seperti pembaruan, penggabungan, dan penghapusan. Tabel ini dapat berupa tabel terkelola Katalog Unity Delta dan Iceberg, tabel eksternal Katalog Unity yang didukung oleh Delta Lake, tampilan materialisasi, tabel streaming, serta tampilan atau tampilan metrik Katalog Unity yang bergantung pada tabel yang didukung. Saat memilih beberapa tabel, Anda dapat menentukan apakah pekerjaan dipicu saat salah satu atau semua tabel diperbarui.

Anda juga dapat mengonfigurasi trigger pada tabel dan tampilan OpenSharing serta pada tabel sistem. Lihat Menambahkan pemicu ke tabel OpenSharing dan tabel sistem.

Requirements

Principal yang dikonfigurasi di kolom Run as pada pekerjaan harus memiliki SELECT izin pada setiap objek yang dipantau trigger, karena trigger membaca metadata dan riwayat perubahan setiap objek untuk mendeteksi pembaruan. Ini berlaku untuk semua sumber yang didukung:

  • Tabel Unity Catalog: SELECT pada tabel, plus USE CATALOG , dan USE SCHEMA pada katalog serta skemanya.
  • View Unity Catalog: SELECT pada tabel yang mendasari view.
  • OpenSharing objek yang dibagikan dan tabel sistem: SELECT pada objek yang dibagikan atau tabel sistem.

Jika akun principal Run as tidak memiliki SELECT pada objek yang dipantau, trigger gagal dievaluasi dan pekerjaan tidak berjalan. Untuk meninjau atau mengubah identitas yang digunakan pekerjaan untuk berjalan, lihat Konfigurasikan pengguna Run as untuk menjalankan pekerjaan.

Menambahkan pemicu pembaruan tabel

Untuk menambahkan pemicu pembaruan tabel ke pekerjaan yang sudah ada:

  1. Di navigasi kiri ruang kerja Anda, klik Pekerjaan & Alur.

  2. Dalam daftar pekerjaan, klik nama pekerjaan yang ingin Anda tambahkan pemicu tindakan.

  3. Di panel kanan, di bawah Jadwal & Pemicu, klik Tambahkan pemicu.

  4. Di Jenis pemicu, pilih Pembaruan tabel.

  5. Di bawah Tabel, tambahkan tabel yang ingin Anda pantau untuk pembaruan.

    Jika Anda memilih lebih dari satu tabel, konfigurasikan opsi di bawah Pemicu kapan harus menentukan apakah Anda ingin eksekusi pekerjaan dipicu saat Semua tabel diperbarui atau saat Tabel apa pun diperbarui.

  6. (Opsional) Konfigurasikan opsi tingkat lanjut, dengan mengklik Tingkat Lanjut.

    • Waktu minimum antara pemicu dalam detik: Waktu minimum untuk menunggu untuk memicu eksekusi setelah eksekusi sebelumnya selesai. Tabel yang diperbarui selama periode ini hanya memicu proses berjalan setelah masa tunggu berakhir. Azure Databricks menunggu jumlah waktu ini sebelum memicu eksekusi, bahkan jika tabel yang dipantau diperbarui.
    • Tunggu setelah perubahan terakhir dalam detik: Waktu untuk menunggu untuk memicu eksekusi setelah pembaruan tabel. Pembaruan tambahan pada tabel selama periode ini mengatur ulang penghitung waktu. Pengaturan ini dapat digunakan ketika pembaruan tabel datang dalam batch, dan seluruh batch perlu diproses setelah semua tabel diperbarui.

    Nota

    Jika kedua opsi digunakan, pemicu-pemicu menunggu durasi waktu minimum antara pemicuan, lalu menunggu durasi waktu tertentu setelah perubahan terakhir. Misalnya, jika Anda memiliki waktu minimum 120 detik, dan menunggu setelah perubahan terakhir 60 detik, maka itu tidak memicu eksekusi hingga setidaknya 120 detik berlalu, bahkan jika pembaruan tabel terjadi dalam 60 detik pertama. Selain itu, jika satu pembaruan masuk pada 5 detik, dan satu lagi pada 115 detik, maka tunggu setelah perubahan terakhir berarti bahwa eksekusi tidak dipicu sampai setelah 175 detik.

  7. Untuk memvalidasi konfigurasi, klik Uji pemicu.

  8. Kliklah Simpan.

Nota

Anda juga dapat mengonfigurasi pemicu pembaruan tabel dari JOBS API. Tambahkan objek trigger ke operasi jobs/create, jobs/update, atau jobs/reset.

Untuk mengedit, menjeda, atau menghapus pemicu ini nanti, gunakan bagian Jadwal & Pemicu di panel Detail pekerjaan . Lihat Kelola pemicu yang ada.

Untuk memulai run hanya ketika data Anda siap, Anda dapat menambahkan kondisi SQL ke trigger ini (Beta). Lihat Menambahkan kondisi SQL ke pemicu job.

Menambahkan pemicu ke tabel OpenSharing dan sistem

Selain tabel lokal, Anda dapat mengonfigurasi pemicu pembaruan tabel untuk memantau data yang dibagikan dengan ruang kerja Anda melalui OpenSharing dan tabel sistem. Misalnya, Anda dapat memicu pekerjaan setiap kali rekaman penagihan baru mendarat di tabel sistem, atau setiap kali penyedia memperbarui tabel bersama.

Anda dapat memicu pada objek bersama berikut:

  • Tabel OpenSharing
  • Tampilan OpenSharing
  • Tampilan metrik OpenSharing
  • Tampilan materialisasi OpenSharing
  • Tabel streaming OpenSharing
  • Tabel sistem

Ikuti langkah-langkah di Pemicu Tambah pembaruan tabel dan pilih tabel bersama, tampilan, atau tabel sistem yang ingin Anda pantau.

Pemicu untuk pembaruan tabel dengan peristiwa berkas

Untuk performa dan skalabilitas terbaik, aktifkan peristiwa file di lokasi eksternal tempat tabel disimpan. Langkah penyiapan satu kali ini meningkatkan efisiensi pemicu pembaruan tabel dan membuka kunci fitur lain, termasuk Auto Loader yang lebih berkinerja dan pemicu kedatangan file.

Ketika peristiwa berkas diaktifkan, Databricks secara otomatis melacak metadata penerimaan menggunakan pemberitahuan perubahan dari penyedia layanan cloud, menghasilkan pembaruan tabel yang lebih cepat dan lebih efisien.

Peristiwa file diperlukan agar pemicu dapat memantau lebih dari 10 tabel. Lihat Bagaimana tabel diperhitungkan dalam batas pemicu.

Jika tabel Anda berada di penyimpanan tingkat akar metastore, pertama-tama konversikan ke lokasi eksternal, lalu aktifkan peristiwa file di lokasi tersebut.

Untuk pertanyaan umum tentang peristiwa file, lihat Tanya Jawab Umum peristiwa file.

Parameter pekerjaan yang terkait dengan pemicu pembaruan tabel

Saat Anda menggunakan pemicu pembaruan tabel untuk pekerjaan, tiga referensi nilai dinamis baru tersedia untuk digunakan sebagai nilai parameter dalam pekerjaan.

  • {{job.trigger.table_update.updated_tables}} - Daftar JSON tabel diperbarui sejak pekerjaan terakhir dijalankan.
  • {{job.trigger.table_update.`<catalog.schema.table>`.commit_timestamp.iso_datetime}} - tanda waktu komit terbaru yang memicu pelaksanaan pekerjaan.
  • {{job.trigger.table_update.`<catalog.schema.table>`.version}} - versi penerapan terbaru yang memicu eksekusi pekerjaan.

Untuk commit_timestamp dan version, ada beberapa versi referensi nilai dinamis. Setiap tabel yang dipantau memiliki <catalog.schema.table> dengan nama lengkap yang memenuhi syarat untuk tabel yang datanya ingin Anda ambil. Jika hanya ada satu tabel yang dipantau dalam pemicu, Anda akan melihat nilai tanpa <catalog.schema.table>. Misalnya, Anda dapat menggunakan {{job.trigger.table_update.commit_timestamp.iso_datetime}}.

Untuk informasi selengkapnya tentang parameter pekerjaan, lihat Membuat parameter pekerjaan.

Menerima pemberitahuan pemicu pembaruan tabel yang gagal

Untuk diberi tahu jika pemicu pembaruan tabel gagal dievaluasi, konfigurasikan pemberitahuan email atau tujuan sistem tentang kegagalan pekerjaan. Lihat Menambahkan pemberitahuan pada pekerjaan.

Keterbatasan

Pemicu pembaruan tabel memiliki batasan berikut:

  • Trigger dapat memantau hingga 25 tabel. Untuk memantau lebih dari 10 tabel, file events harus diaktifkan untuk setiap tabel yang dipantau. Lihat Bagaimana tabel diperhitungkan dalam batas pemicu.
  • Untuk tabel yang berada di lokasi tanpa peristiwa file, maksimal 1.000 pekerjaan dapat dikonfigurasi dengan pemicu pembaruan tabel.
  • Maksimum 1.000 pemicu pembaruan tabel pada objek OpenSharing atau tabel sistem dapat dibuat per ruang kerja.
  • OpenSharing lintas domain tidak didukung untuk pemicu pembaruan tabel.

Pemicu pada tampilan Katalog Unity memiliki batasan tambahan berikut:

  • Pemicu pembaruan tabel hanya mendukung pemantauan tampilan Katalog Unity atau tampilan metrik yang bergantung pada tabel yang juga didukung oleh pemicu pembaruan tabel. Penting untuk dicatat, tampilan berikut ini tidak didukung:

    • Tampilan yang menggunakan read_files (mereka dapat membaca dari tabel yang didukung yang membaca file, tetapi tidak dapat langsung menggunakan read_files).
    • Tampilan yang bergantung pada tabel yang tidak ada di Katalog Unity.
    • Tampilan yang bergantung pada tabel terfederasi.
  • Pembuatan pemicu untuk tampilan yang berisi dependensi yang tidak didukung masih berhasil, tetapi tidak ada eksekusi pekerjaan yang dipicu ketika dependensi yang tidak didukung diperbarui.

  • Pembaruan tabel memicu pengawasan terhadap perubahan pada tabel dependen tampilan dan menganggap tampilan telah diperbarui jika salah satu tabel dependen diperbarui. Dimungkinkan agar pemrosesan pekerjaan dapat dipicu untuk perubahan data yang difilter berdasarkan definisi tampilan.

  • Tabel sumber untuk tampilan dihitung terhadap batas 25 tabel per pemicu ketika event file diaktifkan untuk setiap tabel. Ketika event file dinonaktifkan, batasnya adalah 10.

    • Misalnya, jika sebuah tampilan bergantung pada 26 tabel, maka tidak mungkin menggunakannya dalam pemicu pembaruan tabel. Demikian pula, trigger dengan dua tampilan, masing-masing bergantung pada 14 tabel, dihitung sebagai 28 tabel.

Bagaimana tabel dihitung untuk batas pemicu

Batas tabel berlaku untuk tabel fisik yang dipantau oleh trigger, bukan untuk jumlah objek yang Anda pilih:

  • Setiap tabel, materialized view, atau tabel streaming dihitung sebagai satu tabel.
  • Setiap tampilan atau tampilan metrik dihitung sebagai jumlah tabel sumber yang bergantung padanya. Tabel sumber dihitung secara terpisah untuk setiap tampilan, sehingga tabel yang menjadi dependensi bagi dua tampilan yang dipantau dihitung dua kali.

Untuk memantau lebih dari 10 tabel, aktifkan peristiwa file pada setiap tabel yang dipantau, termasuk tabel sumber dari tampilan yang dipantau. Jika salah satu tabel ini event file tidak diaktifkan, trigger yang memantau lebih dari 10 tabel tidak dapat disimpan atau gagal dievaluasi. Jika event file kemudian dinonaktifkan pada salah satu tabel ini, trigger tidak dapat dievaluasi sampai Anda mengaktifkan kembali event file atau mengurangi trigger menjadi 10 tabel atau kurang.