Menambahkan email dan pemberitahuan sistem untuk peristiwa pekerjaan

Anda dapat memantau eksekusi pekerjaan dan tugas yang merupakan bagian dari pekerjaan tersebut dengan mengonfigurasi pemberitahuan saat eksekusi dimulai, berhasil diselesaikan, gagal, atau durasinya melebihi ambang batas yang dikonfigurasi. Pemberitahuan dapat dikirim ke satu atau beberapa alamat email atau tujuan sistem seperti Slack, Microsoft Teams, PagerDuty, atau layanan berbasis webhook apa pun.

Mengonfigurasi pemberitahuan sistem

Catatan

• Untuk setiap pekerjaan atau tugas, Anda dapat mengonfigurasi maksimal tiga tujuan sistem untuk setiap jenis peristiwa pemberitahuan.
• Administrator harus mengonfigurasi tujuan sistem. Tujuan sistem dikonfigurasi dengan memilih Buat tujuan baru dalam dialog Edit pemberitahuan sistem atau halaman pengaturan admin.
• Pemberitahuan yang Anda tetapkan di tingkat pekerjaan tidak dikirim ketika tugas yang gagal dicoba kembali. Untuk menerima pemberitahuan kegagalan setelah setiap tugas yang gagal (termasuk setiap percobaan kembali yang gagal), gunakan pemberitahuan tugas sebagai gantinya. Untuk menambahkan pemberitahuan sistem untuk eksekusi tugas, klik + Tambahkan di samping Pemberitahuan di panel tugas saat Anda menambahkan atau mengedit tugas pekerjaan.
• Pekerjaan yang telah selesai dalam keadaan Succeeded with failures dianggap dalam keadaan berhasil. Untuk menerima pemberitahuan untuk pekerjaan yang selesai dalam status ini, Anda harus memilih Berhasil saat mengonfigurasi pemberitahuan.

Pemberitahuan sistem terintegrasi dengan alat pemberitahuan populer, termasuk:

• Slack
• PagerDuty
• Microsoft Teams
• Webhook HTTP

Untuk menambahkan satu atau beberapa pemberitahuan sistem saat menjalankan pekerjaan ini memiliki peristiwa yang dapat diberi tahu seperti awal pekerjaan, penyelesaian, atau kegagalan:

1. Di panel Detail pekerjaan untuk pekerjaan Anda, klik Edit pemberitahuan.
2. Klik Tambahkan Pemberitahuan dan pilih tujuan sistem di Tujuan.
3. Di Pilih tujuan sistem, pilih tujuan, dan klik kotak centang untuk setiap jenis pemberitahuan yang akan dikirim ke tujuan tersebut.
4. Untuk menambahkan tujuan lain, klik Tambahkan pemberitahuan lagi.
5. Klik Konfirmasi.

Penting

Konten pesan Slack dan Microsoft Teams mungkin berubah dalam rilis mendatang. Anda tidak boleh menerapkan klien atau pemrosesan yang bergantung pada konten atau pemformatan tertentu dari pesan ini. Jika Anda memerlukan skema atau pemformatan tertentu untuk pemberitahuan, Azure Databricks merekomendasikan untuk mengonfigurasi webhook yang ditentukan pengguna.

Mengonfigurasi pemberitahuan email

Catatan

• Pemberitahuan yang Anda tetapkan di tingkat pekerjaan tidak dikirim ketika tugas yang gagal dicoba kembali. Untuk menerima pemberitahuan kegagalan setelah setiap tugas yang gagal (termasuk setiap percobaan kembali yang gagal), gunakan pemberitahuan tugas sebagai gantinya. Untuk menambahkan pemberitahuan email untuk eksekusi tugas, klik + Tambahkan di samping Pemberitahuan di panel tugas saat Anda menambahkan atau mengedit tugas pekerjaan.
• Pekerjaan yang telah selesai dalam keadaan Succeeded with failures dianggap dalam keadaan berhasil. Untuk menerima pemberitahuan untuk pekerjaan yang selesai dalam status ini, Anda harus memilih Berhasil saat mengonfigurasi pemberitahuan.

Untuk menambahkan satu atau beberapa alamat email untuk diberi tahu ketika eksekusi pekerjaan ini dimulai, selesai, atau gagal:

1. Di panel Detail pekerjaan untuk pekerjaan Anda, klik Edit pemberitahuan.
2. Klik Tambahkan Pemberitahuan dan pilih Alamat email di Tujuan.
3. Masukkan alamat email dan klik kotak centang untuk setiap jenis pemberitahuan yang akan dikirim ke alamat tersebut.
4. Untuk memasukkan alamat email lain untuk pemberitahuan, klik Tambahkan pemberitahuan lagi.
5. Klik Konfirmasi.

Anda dapat menggunakan pemberitahuan email untuk diintegrasikan dengan alat seperti Amazon SES dan SNS.

Mengonfigurasi pemberitahuan untuk pekerjaan yang berjalan lambat atau terlambat

Jika Anda telah mengonfigurasi durasi pekerjaan yang diharapkan, Anda dapat menambahkan email atau pemberitahuan sistem jika pekerjaan melebihi durasi yang dikonfigurasi. Untuk menerima pemberitahuan untuk pekerjaan yang melebihi ambang durasi, klik kotak centang untuk Peringatan Durasi saat Anda menambahkan atau mengedit pemberitahuan.

Memfilter pemberitahuan untuk eksekusi yang dilewati atau dibatalkan

Anda dapat mengurangi jumlah pemberitahuan yang dikirim dengan memfilter pemberitahuan saat eksekusi dilewati atau dibatalkan. Untuk memfilter pemberitahuan, periksa Matikan suara pemberitahuan untuk eksekusi yang dilewati atau Matikan suara pemberitahuan untuk eksekusi yang dibatalkan saat Anda menambahkan atau mengubah pemberitahuan email atau pemberitahuan sistem.

Catatan

Memilih Matikan suara pemberitahuan untuk eksekusi yang dilewati atau Matikan suara pemberitahuan untuk eksekusi yang dibatalkan untuk pekerjaan tidak memfilter pemberitahuan yang dikonfigurasi untuk tugas pekerjaan. Untuk memfilter semua pemberitahuan untuk eksekusi yang dilewati atau dibatalkan, Anda juga harus memfilter pemberitahuan tingkat tugas apa pun yang telah Anda konfigurasi.

Payload webhook HTTP

Jika Anda menggunakan webhook HTTP untuk mengirim pemberitahuan, berikut ini adalah contoh payload yang dikirim oleh Azure Databricks ke titik akhir yang dikonfigurasi.

Pemberitahuan untuk peristiwa mulai eksekusi pekerjaan:

{
  "event_type": "jobs.on_start",
  "workspace_id": "your_workspace_id",
  "run": {
    "run_id": "run_id"
  },
  "job": {
    "job_id": "job_id",
    "name": "job_name"
  }
}

Pemberitahuan untuk peristiwa mulai eksekusi tugas:

{
  "event_type": "jobs.on_start",
  "workspace_id": "your_workspace_id",
  "task": {
    "task_key": "task_name"
  },
  "run": {
    "run_id": "run_id_of_task"
    "parent_run_id": "run_id_of_parent_job_run"
  },
  "job": {
    "job_id": "job_id",
    "name": "job_name"
  }
}

Saat mengonfigurasi tujuan, webhook dapat dikonfigurasi untuk jenis peristiwa berikut:

Kode peristiwa	Kapan dikirim?
jobs.on_start	Eksekusi dimulai.
jobs.on_success	Eksekusi berhenti dan selesai dalam status berhasil atau berhasil dengan kegagalan.
jobs.on_failure	Eksekusi berhenti dalam keadaan gagal.
jobs.on_duration_warning_threshold_exceeded	Eksekusi telah berjalan selama lebih dari durasi yang diharapkan yang dikonfigurasi.