Bagikan melalui

Menjalankan pekerjaan secara terus menerus

  • Artikel

Gunakan mode berkelanjutan untuk menjadwalkan beban kerja agar berjalan terus menerus. Databricks merekomendasikan penggunaan mode berkelanjutan untuk beban kerja streaming yang selalu aktif.

Mode berkelanjutan menggantikan rekomendasi warisan untuk beban kerja Streaming Terstruktur untuk mengonfigurasi pekerjaan dengan kebijakan coba lagi tanpa batas dan maksimum satu eksekusi bersamaan.

Penting

Komputasi tanpa server untuk pekerjaan tidak mendukung mode berkelanjutan.

Mengonfigurasi pekerjaan untuk dijalankan dalam mode berkelanjutan

Untuk mengonfigurasi pekerjaan yang akan dijalankan dalam mode berkelanjutan, lakukan hal berikut:

  1. Di bilah samping, klik Alur Kerja.
  2. Klik nama pekerjaan di kolom Nama pada tab Pekerjaan .
  3. Klik Tambahkan pemicu di panel Detail pekerjaan, pilih Berkelanjutan di Jenis pemicu, dan klik Simpan.

Untuk menghentikan pekerjaan berkelanjutan, klik tombol Jeda . Klik Lanjutkan untuk memulai ulang pekerjaan dalam mode berkelanjutan.

Catatan

  • Hanya ada satu instans pekerjaan berkelanjutan yang berjalan.
  • Penundaan ada antara penyelesaian eksekusi dan eksekusi baru dimulai. Penundaan ini harus kurang dari 60 detik.
  • Anda tidak dapat menggunakan dependensi tugas dengan pekerjaan berkelanjutan.
  • Anda tidak dapat menggunakan kebijakan coba lagi dengan pekerjaan berkelanjutan. Sebagai gantinya, pekerjaan berkelanjutan menggunakan backoff eksponensial untuk mengelola kegagalan eksekusi pekerjaan.
  • Pilih Jalankan sekarang untuk memicu pekerjaan baru yang berjalan pada pekerjaan berkelanjutan yang dijeda.
  • Agar pekerjaan berkelanjutan Anda mengambil konfigurasi baru, batalkan eksekusi yang ada. Eksekusi baru secara otomatis dimulai. Anda juga dapat mengklik Mulai ulang eksekusi untuk memulai ulang pekerjaan yang dijalankan dengan konfigurasi yang diperbarui.

Bagaimana kegagalan ditangani untuk pekerjaan berkelanjutan?

Azure Databricks menggunakan skema backoff eksponensial untuk mengelola pekerjaan berkelanjutan dengan beberapa kegagalan berturut-turut. Backoff eksponensial memungkinkan pekerjaan berkelanjutan berjalan tanpa menjeda dan kembali ke keadaan sehat ketika kegagalan yang dapat dipulihkan terjadi.

Ketika pekerjaan berkelanjutan melebihi ambang batas yang diizinkan untuk kegagalan berturut-turut, berikut ini menjelaskan bagaimana eksekusi pekerjaan berikutnya dikelola:

  1. Pekerjaan dimulai ulang setelah periode coba lagi yang ditetapkan oleh sistem.
  2. Jika eksekusi pekerjaan berikutnya gagal, periode coba lagi ditingkatkan, dan pekerjaan dimulai ulang setelah periode coba lagi baru ini.
    1. Untuk setiap kegagalan eksekusi pekerjaan berikutnya, periode coba lagi ditingkatkan hingga periode coba lagi maksimum yang ditetapkan oleh sistem. Setelah mencapai periode coba lagi maksimum, pekerjaan terus dicoba kembali menggunakan periode coba lagi maksimum. Tidak ada batasan jumlah percobaan ulang untuk pekerjaan berkelanjutan.
    2. Jika pekerjaan berhasil diselesaikan dan memulai eksekusi baru, atau jika eksekusi melebihi ambang tanpa kegagalan, pekerjaan dianggap sehat, dan urutan backoff diatur ulang.

Anda dapat memulai ulang pekerjaan berkelanjutan dalam status backoff eksponensial di UI Pekerjaan atau dengan meneruskan ID pekerjaan ke permintaan POST /api/2.1/jobs/run-now di API Jobs 2.1 atau POST /api/2.0/jobs/run-now di API Jobs 2.0.