Menjalankan pekerjaan sesuai jadwal atau terus menerus

Anda dapat menjalankan pekerjaan Azure Databricks secara berkala dengan jenis pemicu Terjadwal atau memastikan selalu ada eksekusi aktif pekerjaan dengan jenis pemicu Berkelanjutan .

Anda dapat menggunakan jadwal untuk menjalankan pekerjaan Azure Databricks secara otomatis pada waktu dan periode tertentu. Anda dapat menentukan jadwal sederhana untuk menjalankan pekerjaan Anda secara berkala atau jadwal lanjutan cron yang digunakan untuk menentukan waktu tertentu untuk jadwal berkala. Dengan jadwal lanjutan, Anda juga dapat memilih zona waktu untuk jadwal Anda. Anda dapat menjeda pekerjaan terjadwal kapan saja.

Saat Anda menjalankan pekerjaan Anda dengan pemicu berkelanjutan, Azure Databricks Jobs memastikan selalu ada satu pekerjaan yang berjalan aktif. Eksekusi pekerjaan baru dimulai setelah eksekusi sebelumnya berhasil diselesaikan atau dengan status gagal, atau jika tidak ada instans pekerjaan yang saat ini berjalan.

Menambahkan jadwal pekerjaan

Jenis pemicu Terjadwal memiliki dua opsi:

• Tentukan jadwal dasar untuk menjalankan pekerjaan secara berkala berdasarkan unit waktu dan interval tertentu. Misalnya, jadwalkan pekerjaan untuk berjalan setiap dua belas jam.
• Tentukan jadwal lanjutan yang menawarkan lebih banyak kontrol atas periode, waktu, dan zona waktu untuk menjalankan pekerjaan.

Untuk menentukan jadwal untuk pekerjaan:

1. Di bilah samping, klik Alur Kerja.
2. Di kolom Nama pada tab Pekerjaan, klik nama pekerjaan.
3. Di panel Detail pekerjaan, klik Tambahkan pemicu.
4. Di Jenis pemicu pilih Terjadwal.
5. Di Jenis jadwal, pilih Sederhana atau Tingkat Lanjut.
   1. Sederhana: Tentukan interval dan unit waktu untuk menjalankan pekerjaan.
   2. Tingkat Lanjut: Tentukan periode, waktu mulai, dan zona waktu. Secara opsional pilih kotak centang Perlihatkan Sintaks Cron untuk menampilkan dan mengedit jadwal dalam Sintaks Quartz Cron.
6. Klik Simpan.

Anda juga dapat menjadwalkan pekerjaan notebook langsung di UI notebook.

Catatan

• Azure Databricks memberlakukan interval minimum 10 detik antara eksekusi berikutnya yang dipicu oleh jadwal pekerjaan terlepas dari konfigurasi detik dalam ekspresi cron.
• Anda dapat memilih zona waktu yang mengamati waktu musim panas atau UTC. Jika Anda memilih zona waktu yang mengamati waktu musim panas, pekerjaan per jam akan dilewati atau mungkin tampak tertunda satu atau dua jam ketika waktu musim panas dimulai atau berakhir. Untuk berjalan di setiap jam (waktu absolut), pilih UTC.
• Penjadwal pekerjaan tidak ditujukan untuk pekerjaan latensi rendah. Karena masalah jaringan atau cloud, eksekusi pekerjaan kadang-kadang mungkin tertunda hingga beberapa menit. Dalam situasi ini, pekerjaan terjadwal segera berjalan setelah ketersediaan layanan.

Menjeda dan melanjutkan jadwal pekerjaan

Untuk menjeda pekerjaan, klik Jeda di panel Detail pekerjaan.

Untuk melanjutkan jadwal pekerjaan yang dijeda, klik Lanjutkan.

Menjalankan pekerjaan berkelanjutan

1. Di bilah samping, klik Alur Kerja.
2. Di kolom Nama pada tab Pekerjaan, klik nama pekerjaan.
3. Klik Tambahkan pemicu di panel Detail pekerjaan, klik Tambahkan pemicu di panel Detail pekerjaan, pilih Berkelanjutan di Jenis pemicu, dan klik Simpan.

Untuk menghentikan pekerjaan berkelanjutan, klik di samping Jalankan Sekarang dan klik Hentikan.

Catatan

• Hanya ada satu instans pekerjaan berkelanjutan yang berjalan.
• Ada penundaan kecil antara penyelesaian eksekusi dan eksekusi baru dimulai. Penundaan ini harus kurang dari 60 detik.
• Anda tidak dapat menggunakan dependensi tugas dengan pekerjaan berkelanjutan.
• Anda tidak dapat menggunakan kebijakan coba lagi dengan pekerjaan berkelanjutan. Sebagai gantinya, pekerjaan berkelanjutan menggunakan backoff eksponensial untuk mengelola kegagalan eksekusi pekerjaan.
• Memilih Jalankan sekarang pada pekerjaan berkelanjutan yang dijeda akan memicu eksekusi pekerjaan baru. Jika pekerjaan tidak digunakan, pengecualian akan dilemparkan.
• Agar pekerjaan berkelanjutan Anda mengambil konfigurasi pekerjaan baru, batalkan eksekusi yang ada lalu eksekusi baru dimulai secara otomatis. Anda juga dapat mengklik Mulai ulang eksekusi untuk memulai ulang pekerjaan yang dijalankan dengan konfigurasi yang diperbarui.

Bagaimana kegagalan ditangani untuk pekerjaan berkelanjutan?

Pekerjaan Azure Databricks menggunakan skema backoff eksponensial untuk mengelola pekerjaan berkelanjutan dengan beberapa kegagalan berturut-turut. Backoff eksponensial memungkinkan pekerjaan berkelanjutan berjalan tanpa menjeda dan kembali ke keadaan sehat ketika kegagalan yang dapat dipulihkan terjadi.

Ketika pekerjaan berkelanjutan melebihi ambang batas yang diizinkan untuk kegagalan berturut-turut, berikut ini menjelaskan bagaimana eksekusi pekerjaan berikutnya dikelola:

1. Pekerjaan dimulai ulang setelah periode coba lagi yang ditetapkan oleh sistem.
2. Jika eksekusi pekerjaan berikutnya gagal, periode coba lagi ditingkatkan, dan pekerjaan dimulai ulang setelah periode coba lagi baru ini.
   1. Untuk setiap kegagalan eksekusi pekerjaan berikutnya, periode coba lagi ditingkatkan lagi, hingga periode coba lagi maksimum yang ditetapkan oleh sistem. Setelah mencapai periode coba lagi maksimum, pekerjaan terus dicoba kembali menggunakan periode coba lagi maksimum. Tidak ada batasan jumlah percobaan ulang untuk pekerjaan berkelanjutan.
   2. Jika pekerjaan berhasil diselesaikan dan memulai eksekusi baru, atau jika eksekusi melebihi ambang tanpa kegagalan, pekerjaan dianggap sehat, dan urutan backoff diatur ulang.

Anda dapat memulai ulang pekerjaan berkelanjutan dalam status backoff eksponensial di UI Pekerjaan atau dengan meneruskan ID pekerjaan ke permintaan POST /api/2.1/jobs/run-now di API Jobs 2.1 atau POST /api/2.0/jobs/run-now di API Jobs 2.0.