Menjalankan pekerjaan secara terus menerus

Gunakan mode berkelanjutan untuk menjadwalkan beban kerja agar berjalan terus menerus. Databricks merekomendasikan penggunaan mode berkelanjutan untuk beban kerja streaming yang selalu aktif.

Mode berkelanjutan menggantikan rekomendasi lama untuk beban kerja Streaming Terstruktur untuk mengonfigurasi tugas dengan kebijakan percobaan ulang tanpa batas dan maksimum satu eksekusi yang berjalan bersamaan.

Penting

Pekerjaan dengan jadwal berkelanjutan pada komputasi tanpa server dengan pemicu Streaming Terstruktur terbatas, seperti Trigger.AvailableNow. Penjadwal pekerjaan memulai ulang tugas ketika selesai, dan titik pemeriksaan streaming memastikan tidak ada data yang diolah ulang.

Pemicu berbasis waktu, seperti Trigger.ProcessingTime dan Trigger.Continuous, tidak didukung pada komputasi tanpa server. Lihat Batasan komputasi tanpa server.

Untuk streaming berkelanjutan dengan persyaratan latensi rendah pada komputasi tanpa server, gunakan Mode alur yang dipicu vs. berkelanjutan dalam mode berkelanjutan.

Mengonfigurasi pekerjaan untuk dijalankan dalam mode berkelanjutan

Untuk mengonfigurasi pekerjaan yang akan dijalankan dalam mode berkelanjutan, lakukan hal berikut:

1. Di bilah samping ruang kerja Azure Databricks Anda, klik Jobs & Pipeline.

2. Secara opsional, pilih filter Pekerjaan dan Dimiliki oleh saya .

3. Klik tautan Nama pekerjaan Anda.

4. Klik Tambahkan pemicu di panel Detail pekerjaan , pilih Berkelanjutan di Jenis pemicu

5. Secara opsional, pilih mode Coba lagi Tugas. Anda dapat memilih untuk mencoba kembali Jika gagal untuk mencoba ulang tugas yang gagal dalam suatu pekerjaan, atau pilih Jangan pernah untuk hanya mencoba ulang di tingkat pekerjaan. Mode Pengulangan Tugas secara default ke Jika gagal dalam mode berkelanjutan.

   Catatan

   Untuk pekerjaan yang sudah ada, Anda mungkin perlu terlebih dahulu mengklik Konfigurasikan mode coba lagi lalu pilih mode coba lagi tugas.

6. Kliklah Simpan.

Untuk menghentikan pekerjaan berkelanjutan, klik tombol Jeda . Klik Lanjutkan untuk memulai ulang pekerjaan dalam mode berkelanjutan.

Catatan

• Hanya ada satu instance tugas berkelanjutan yang berjalan.
• Ada penundaan antara selesainya eksekusi dan dimulainya eksekusi baru. Penundaan ini harus kurang dari 60 detik.
• Anda tidak dapat menggunakan dependensi tugas dengan tugas berkelanjutan.
• Anda tidak dapat menggunakan kebijakan coba ulang dalam tugas berkelanjutan. Sebagai gantinya, tugas berkelanjutan secara otomatis mencoba mengulang seluruh tugas ketika terjadi kegagalan dengan menggunakan algoritma backoff eksponensial.
• Anda juga dapat mengonfigurasi pengulangan di tingkat tugas dengan mengatur Mode Coba Ulang Tugas ke Jika gagal.
• Pilih Jalankan sekarang untuk memicu eksekusi pekerjaan baru pada pekerjaan berkelanjutan yang dijeda.
• Agar pekerjaan kontinyu Anda mengadopsi konfigurasi baru, batalkan proses yang sedang berjalan. Pemrosesan baru otomatis dimulai. Anda juga dapat mengklik Mulai ulang eksekusi untuk memulai ulang pekerjaan yang dijalankan dengan konfigurasi yang diperbarui.

Bagaimana kegagalan ditangani untuk pekerjaan berkelanjutan?

Kegagalan dikelola menggunakan algoritma backoff eksponensial .

Ketika mode coba ulang Tugas diatur ke jika gagal, tugas yang gagal akan dicoba ulang dengan penundaan yang meningkat secara eksponensial hingga jumlah maksimum percobaan ulang yang diizinkan tercapai (tiga kali untuk satu tugas pekerjaan). Setelah percobaan ulang maksimum tercapai, proses dibatalkan, dan proses baru dipicu. Untuk pekerjaan dengan beberapa tugas, tugas yang gagal memicu eksekusi baru jika tidak ada tugas lain yang berjalan, atau semua tugas lain yang tidak selesai juga dalam status gagal atau coba lagi.

Kegagalan berturut-turut pada tingkat tugas juga dikelola menggunakan backoff eksponensial, yang memungkinkan tugas berkelanjutan berjalan tanpa jeda dan kembali ke kondisi normal ketika terjadi kegagalan yang dapat dipulihkan.

Ketika pekerjaan berkelanjutan melebihi ambang batas yang diizinkan untuk kegagalan berturut-turut, berikut ini menjelaskan bagaimana eksekusi pekerjaan berikutnya dikelola:

1. Pekerjaan dimulai ulang setelah periode pengulangan yang ditetapkan oleh sistem.
2. Jika eksekusi pekerjaan berikutnya gagal, periode coba lagi diperpanjang, dan pekerjaan dijalankan kembali setelah periode coba lagi baru ini.
   1. Untuk setiap kegagalan pelaksanaan pekerjaan berikutnya, periode pengulangan ditingkatkan hingga periode pengulangan maksimum yang ditetapkan oleh sistem. Setelah mencapai periode coba lagi maksimum, pekerjaan terus dicoba kembali menggunakan periode coba lagi maksimum. Tidak ada batasan jumlah percobaan ulang untuk pekerjaan berkelanjutan.
   2. Jika eksekusi pekerjaan berhasil diselesaikan dan memulai eksekusi baru, atau jika eksekusi melebihi ambang batas tanpa kegagalan, pekerjaan dianggap dalam kondisi baik, dan urutan penundaan diatur ulang.

Anda dapat memulai ulang pekerjaan berkelanjutan dalam status backoff eksponensial di UI Pekerjaan atau dengan meneruskan ID pekerjaan ke permintaan run-now di Jobs API.