Catatan
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba masuk atau mengubah direktori.
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba mengubah direktori.
Pipeline berkelanjutan berjalan tanpa henti, sehingga Azure Databricks tidak bisa menunggu selesai sebelum menerapkan pembaruan platform seperti versi runtime baru atau pemeliharaan infrastruktur. Untuk menerapkan pembaruan ini, Azure Databricks memulai ulang pipeline. Jendela pemeliharaan memungkinkan Anda mengontrol kapan restart tersebut terjadi: Anda memilih hari dalam seminggu, jam mulai, dan zona waktu, dan Azure Databricks hanya memulai pemeliharaan dalam jendela tersebut.
Jendela pemeliharaan adalah pengaturan pada pekerjaan kontinu yang menjalankan pipeline. Jika Anda tidak mengaturnya, pemeliharaan dapat berjalan kapan saja.
Bagaimana Azure Databricks menerapkan pembaruan
Untuk memperbarui pipeline berkelanjutan, Azure Databricks memulai pembaruan pipeline baru pada cluster baru dan mematikan yang sebelumnya. Karena pipeline berkelanjutan melacak progresnya dalam checkpoint streaming, pembaruan baru dilanjutkan dari titik terakhir pembaruan sebelumnya berhenti. Pemrosesan data berhenti sejenak selama swap, lalu berlanjut tanpa kehilangan data.
Azure Databricks memulai pemeliharaan hanya dalam jendela satu jam yang dimulai pada jam mulai pada hari yang Anda pilih. Restart-nya biasanya singkat.
Pilih hari dan jam mulai ketika restart singkat dapat diterima untuk beban kerja Anda.
Pembaruan apa yang disertakan?
Pemeliharaan pada alur berkelanjutan dapat mencakup:
- Peningkatan versi Databricks Runtime
- Patch dan pembaruan keamanan
- Pembaruan sistem operasi
- Fitur dan peningkatan Spark Declarative Pipelines di Lakeflow
- Pemeliharaan infrastruktur tanpa server, seperti daur ulang berkala klaster tanpa server yang berjalan lama
Baik peningkatan runtime (peningkatan layanan) maupun pemeliharaan infrastruktur serverless mengikuti jendela pemeliharaan yang Anda konfigurasi.
Important
Klaster serverless memiliki masa pakai maksimum. Jika batas tersebut tercapai sebelum jendela pemeliharaan berikutnya, Azure Databricks akan memulai ulang pipeline agar tetap dalam batas tersebut, bahkan jika waktu saat ini berada di luar jendela Anda. Ini memastikan pipeline yang berjalan lama akhirnya dapat didaur ulang.
Seberapa sering pembaruan diterapkan?
Azure Databricks hanya menerapkan pembaruan ketika diperlukan pemeliharaan. Versi runtime baru dirilis secara berkala, dan pemeliharaan infrastruktur serverless dilakukan secara berulang. Seberapa sering setiap pipeline dimulai ulang bergantung pada:
- Frekuensi rilis baru Databricks Runtime yang diterapkan pada pipeline Anda
- Untuk pipeline serverless, jadwal memulai ulang klaster serverless
- Seberapa sering jendela pemeliharaan Anda berlangsung
Ketika periode pemeliharaan Anda tiba dan tidak ada pembaruan yang tertunda, periode tersebut akan lewat tanpa mulai ulang.
Konfigurasikan jendela pemeliharaan
Anda dapat mengatur jendela pemeliharaan di antarmuka Azure Databricks, dengan Jobs REST API, atau dengan Bundel Otomasi Deklaratif.
Jendela pemeliharaan memiliki tiga bagian yang diperlukan:
| Setting | Description |
|---|---|
| Hari dalam sepekan | Satu hari, dari Senin sampai Minggu. |
| Jam mulai | Jam mulai jendela waktu, berupa bilangan bulat dari 0 hingga 23, dalam format 24 jam. |
| Zona waktu |
ID zona waktu Java, seperti America/New_York. Azure Databricks mengevaluasi jendela di zona waktu ini. |
Note
Jendela pemeliharaan hanya berlaku untuk pekerjaan dan pipeline yang berkelanjutan. Pengaturan ini tidak tersedia untuk pekerjaan yang berjalan dengan jadwal atau tipe trigger yang berbeda.
Konfigurasikan jendela pemeliharaan di UI
Anda dapat mengonfigurasi jendela pemeliharaan dari UI Jobs atau UI Pipelines.
Dari antarmuka Pekerjaan
- Pada bilah sisi ruang kerja Azure Databricks Anda, klik ikon Alur Kerja.Pekerjaan & Alur.
- Klik nama pekerjaan.
- Di panel Detail pekerjaan, buka pemicu Continuous dan perluas Lanjutan untuk menemukan jendela pemeliharaan.
- Pilih hari dalam seminggu, jam mulai, dan zona waktu.
- Kliklah Simpan.
Dari UI Pipelines
- Pada bilah sisi ruang kerja Azure Databricks Anda, klik ikon Alur Kerja.Pekerjaan & Alur.
- Klik nama pipeline.
- Buka Jadwal dan perluas pengaturan lanjutan untuk menemukan jendela Pemeliharaan.
- Pilih hari dalam seminggu, jam mulai, dan zona waktu.
- Kliklah Simpan.
Konfigurasikan jendela pemeliharaan dengan API Jobs
Atur bidang maintenance_window di dalam setelan continuous saat Anda membuat atau memperbarui tugas dengan Jobs REST API. Contoh berikut mengonfigurasi pemeliharaan untuk dimulai pukul 2 pagi Waktu Timur pada hari Selasa:
{
"continuous": {
"pause_status": "UNPAUSED",
"maintenance_window": {
"start_hour": 2,
"day_of_week": "TUESDAY",
"timezone_id": "America/New_York"
}
}
}
Ketiga bidang (start_hour, day_of_week, dan timezone_id) diperlukan saat Anda mengatur jendela pemeliharaan.
start_hour harus berupa bilangan bulat dari 0 hingga 23.
Konfigurasikan jendela pemeliharaan dengan Bundel Otomasi Deklaratif
Atur pemetaan maintenance_window di dalam pemetaan pekerjaan continuous.
maintenance_window Pemetaan memerlukan Databricks CLI versi 1.16.0 atau lebih tinggi. Untuk membuat validasi gagal pada versi lama, atur bundle.databricks_cli_version ke '>= 1.16.0'. Contoh berikut mengonfigurasi pemeliharaan untuk dimulai pukul 2 pagi Waktu Timur pada hari Selasa:
bundle:
name: continuous_pipeline_bundle
databricks_cli_version: '>= 1.16.0'
resources:
jobs:
continuous_pipeline_job:
name: continuous_pipeline_job
continuous:
pause_status: UNPAUSED
maintenance_window:
start_hour: 2
day_of_week: TUESDAY
timezone_id: America/New_York
tasks:
- task_key: refresh_pipeline
pipeline_task:
pipeline_id: ${resources.pipelines.example_pipeline.id}
Konfigurasikan notifikasi pemeliharaan
Azure Databricks dapat memberi tahu Anda saat restart pemeliharaan dimulai dan saat selesai. Notifikasi pemeliharaan menggunakan sistem notifikasi standar Lakeflow Jobs, sehingga Anda dapat mengirimkannya ke alamat email atau ke tujuan sistem seperti Slack, PagerDuty, atau Microsoft Teams. Lihat Menambahkan pemberitahuan pada pekerjaan.
Dua peristiwa tersedia pada tugas berkelanjutan:
- Mulai pemeliharaan: dikirim saat restart pemeliharaan dimulai. Termasuk pekerjaan, penyebab (misalnya, peningkatan layanan), dan waktu mulai.
- Pemeliharaan selesai: dikirim saat restart selesai. Mencakup penyebab, waktu penyelesaian, durasi restart, dan status pipeline setelah restart.
Transisi waktu musim panas
Azure Databricks mengevaluasi jendela pemeliharaan di zona waktu yang Anda konfigurasi, sehingga jendela mengikuti transisi hemat siang di zona tersebut. Pada sebagian besar hari, jendela dimulai pada jam lokal yang telah Anda konfigurasikan. Pada hari saat jam berubah, waktu mulai dapat bergeser hingga satu jam. Pilih zona waktu yang sesuai dengan jadwal operasi Anda.
Tangani gangguan selama pembaruan
Restart pemeliharaan menghentikan pemrosesan data sementara pembaruan baru mengambil alih. Sumber streaming terus mengakumulasi data selama jeda, dan pembaruan baru dilanjutkan dari checkpoint pipeline, sehingga tidak ada data yang hilang.
Jika pipeline Anda memiliki persyaratan latensi yang ketat, pilih jendela pemeliharaan selama periode ketika jeda singkat dapat diterima. Untuk memastikan pipeline kembali ke kondisi sehat setelah restart, pantau notifikasi Maintenance complete .