Kelola pembaruan untuk pipeline berkelanjutan

Pipeline berkelanjutan berjalan tanpa henti, sehingga Azure Databricks tidak bisa menunggu selesai sebelum menerapkan pembaruan platform seperti versi runtime baru atau pemeliharaan infrastruktur. Untuk menerapkan pembaruan ini, Azure Databricks memulai ulang pipeline. Jendela pemeliharaan memungkinkan Anda mengontrol kapan restart tersebut terjadi: Anda memilih hari dalam seminggu, jam mulai, dan zona waktu, dan Azure Databricks hanya memulai pemeliharaan dalam jendela tersebut.

Jendela pemeliharaan adalah pengaturan pada pekerjaan kontinu yang menjalankan pipeline. Jika Anda tidak mengaturnya, pemeliharaan dapat berjalan kapan saja.

Bagaimana Azure Databricks menerapkan pembaruan

Untuk memperbarui pipeline berkelanjutan, Azure Databricks memulai pembaruan pipeline baru pada cluster baru dan mematikan yang sebelumnya. Karena pipeline berkelanjutan melacak progresnya dalam checkpoint streaming, pembaruan baru dilanjutkan dari titik terakhir pembaruan sebelumnya berhenti. Pemrosesan data berhenti sejenak selama swap, lalu berlanjut tanpa kehilangan data.

Azure Databricks memulai pemeliharaan hanya dalam jendela satu jam yang dimulai pada jam mulai pada hari yang Anda pilih. Restart-nya biasanya singkat.

Pilih hari dan jam mulai ketika restart singkat dapat diterima untuk beban kerja Anda.

Pembaruan apa yang disertakan?

Pemeliharaan pada alur berkelanjutan dapat mencakup:

  • Peningkatan versi Databricks Runtime
  • Patch dan pembaruan keamanan
  • Pembaruan sistem operasi
  • Fitur dan peningkatan Spark Declarative Pipelines di Lakeflow
  • Pemeliharaan infrastruktur tanpa server, seperti daur ulang berkala klaster tanpa server yang berjalan lama

Baik peningkatan runtime (peningkatan layanan) maupun pemeliharaan infrastruktur serverless mengikuti jendela pemeliharaan yang Anda konfigurasi.

Important

Klaster serverless memiliki masa pakai maksimum. Jika batas tersebut tercapai sebelum jendela pemeliharaan berikutnya, Azure Databricks akan memulai ulang pipeline agar tetap dalam batas tersebut, bahkan jika waktu saat ini berada di luar jendela Anda. Ini memastikan pipeline yang berjalan lama akhirnya dapat didaur ulang.

Seberapa sering pembaruan diterapkan?

Azure Databricks hanya menerapkan pembaruan ketika diperlukan pemeliharaan. Versi runtime baru dirilis secara berkala, dan pemeliharaan infrastruktur serverless dilakukan secara berulang. Seberapa sering setiap pipeline dimulai ulang bergantung pada:

  • Frekuensi rilis baru Databricks Runtime yang diterapkan pada pipeline Anda
  • Untuk pipeline serverless, jadwal memulai ulang klaster serverless
  • Seberapa sering jendela pemeliharaan Anda berlangsung

Ketika periode pemeliharaan Anda tiba dan tidak ada pembaruan yang tertunda, periode tersebut akan lewat tanpa mulai ulang.

Konfigurasikan jendela pemeliharaan

Anda dapat mengatur jendela pemeliharaan di antarmuka Azure Databricks, dengan Jobs REST API, atau dengan Bundel Otomasi Deklaratif.

Jendela pemeliharaan memiliki tiga bagian yang diperlukan:

Setting Description
Hari dalam sepekan Satu hari, dari Senin sampai Minggu.
Jam mulai Jam mulai jendela waktu, berupa bilangan bulat dari 0 hingga 23, dalam format 24 jam.
Zona waktu ID zona waktu Java, seperti America/New_York. Azure Databricks mengevaluasi jendela di zona waktu ini.

Note

Jendela pemeliharaan hanya berlaku untuk pekerjaan dan pipeline yang berkelanjutan. Pengaturan ini tidak tersedia untuk pekerjaan yang berjalan dengan jadwal atau tipe trigger yang berbeda.

Konfigurasikan jendela pemeliharaan di UI

Anda dapat mengonfigurasi jendela pemeliharaan dari UI Jobs atau UI Pipelines.

Dari antarmuka Pekerjaan

  1. Pada bilah sisi ruang kerja Azure Databricks Anda, klik ikon Alur Kerja.Pekerjaan & Alur.
  2. Klik nama pekerjaan.
  3. Di panel Detail pekerjaan, buka pemicu Continuous dan perluas Lanjutan untuk menemukan jendela pemeliharaan.
  4. Pilih hari dalam seminggu, jam mulai, dan zona waktu.
  5. Kliklah Simpan.

Dari UI Pipelines

  1. Pada bilah sisi ruang kerja Azure Databricks Anda, klik ikon Alur Kerja.Pekerjaan & Alur.
  2. Klik nama pipeline.
  3. Buka Jadwal dan perluas pengaturan lanjutan untuk menemukan jendela Pemeliharaan.
  4. Pilih hari dalam seminggu, jam mulai, dan zona waktu.
  5. Kliklah Simpan.

Konfigurasikan jendela pemeliharaan dengan API Jobs

Atur bidang maintenance_window di dalam setelan continuous saat Anda membuat atau memperbarui tugas dengan Jobs REST API. Contoh berikut mengonfigurasi pemeliharaan untuk dimulai pukul 2 pagi Waktu Timur pada hari Selasa:

{
  "continuous": {
    "pause_status": "UNPAUSED",
    "maintenance_window": {
      "start_hour": 2,
      "day_of_week": "TUESDAY",
      "timezone_id": "America/New_York"
    }
  }
}

Ketiga bidang (start_hour, day_of_week, dan timezone_id) diperlukan saat Anda mengatur jendela pemeliharaan. start_hour harus berupa bilangan bulat dari 0 hingga 23.

Konfigurasikan jendela pemeliharaan dengan Bundel Otomasi Deklaratif

Atur pemetaan maintenance_window di dalam pemetaan pekerjaan continuous. maintenance_window Pemetaan memerlukan Databricks CLI versi 1.16.0 atau lebih tinggi. Untuk membuat validasi gagal pada versi lama, atur bundle.databricks_cli_version ke '>= 1.16.0'. Contoh berikut mengonfigurasi pemeliharaan untuk dimulai pukul 2 pagi Waktu Timur pada hari Selasa:

bundle:
  name: continuous_pipeline_bundle
  databricks_cli_version: '>= 1.16.0'

resources:
  jobs:
    continuous_pipeline_job:
      name: continuous_pipeline_job
      continuous:
        pause_status: UNPAUSED
        maintenance_window:
          start_hour: 2
          day_of_week: TUESDAY
          timezone_id: America/New_York
      tasks:
        - task_key: refresh_pipeline
          pipeline_task:
            pipeline_id: ${resources.pipelines.example_pipeline.id}

Konfigurasikan notifikasi pemeliharaan

Azure Databricks dapat memberi tahu Anda saat restart pemeliharaan dimulai dan saat selesai. Notifikasi pemeliharaan menggunakan sistem notifikasi standar Lakeflow Jobs, sehingga Anda dapat mengirimkannya ke alamat email atau ke tujuan sistem seperti Slack, PagerDuty, atau Microsoft Teams. Lihat Menambahkan pemberitahuan pada pekerjaan.

Dua peristiwa tersedia pada tugas berkelanjutan:

  • Mulai pemeliharaan: dikirim saat restart pemeliharaan dimulai. Termasuk pekerjaan, penyebab (misalnya, peningkatan layanan), dan waktu mulai.
  • Pemeliharaan selesai: dikirim saat restart selesai. Mencakup penyebab, waktu penyelesaian, durasi restart, dan status pipeline setelah restart.

Transisi waktu musim panas

Azure Databricks mengevaluasi jendela pemeliharaan di zona waktu yang Anda konfigurasi, sehingga jendela mengikuti transisi hemat siang di zona tersebut. Pada sebagian besar hari, jendela dimulai pada jam lokal yang telah Anda konfigurasikan. Pada hari saat jam berubah, waktu mulai dapat bergeser hingga satu jam. Pilih zona waktu yang sesuai dengan jadwal operasi Anda.

Tangani gangguan selama pembaruan

Restart pemeliharaan menghentikan pemrosesan data sementara pembaruan baru mengambil alih. Sumber streaming terus mengakumulasi data selama jeda, dan pembaruan baru dilanjutkan dari checkpoint pipeline, sehingga tidak ada data yang hilang.

Jika pipeline Anda memiliki persyaratan latensi yang ketat, pilih jendela pemeliharaan selama periode ketika jeda singkat dapat diterima. Untuk memastikan pipeline kembali ke kondisi sehat setelah restart, pantau notifikasi Maintenance complete .