持續的管線不停運作,因此 Azure Databricks 不能等到管線結束後才套用平台更新,例如新的執行時版本或基礎架構維護。 要套用這些更新,Azure Databricks 會重新啟動管線。 維護視窗讓你能控制重新啟動的時間:你選擇一週中的某一天、開始時間和時區,Azure Databricks 只會在該時間內啟動維護。
維護視窗是運行管線的連續作業上的一個設定。 如果你沒有設置,維護工作隨時可能進行。
Azure Databricks 如何套用更新
若要更新持續管線,Azure Databricks 會在新的叢集上啟動新的管線更新,並關閉先前的叢集。 由於連續管線會在串流檢查點中追蹤其進度,因此新的更新會從前一次更新停止的地方繼續。 資料處理在交換過程中會短暫暫停,然後繼續且不會遺失資料。
Azure Databricks 只會在你所選日期中,從指定開始時間起算的一小時時段內開始維護。 重新啟動本身通常很短。
選擇一個適合你工作量的短暫重啟日子和上班時間。
包含哪些更新?
連續管線的維護可以包括:
- Databricks 執行時版本升級
- 安全修補與更新
- 作業系統更新
- Lakeflow 上的 Spark 宣告式管線功能與增強
- 無伺服器基礎設施維護,例如定期回收長期運行的無伺服器叢集
執行時升級(服務升級)和無伺服器基礎架構維護都會尊重你設定的維護時段。
Important
無伺服器叢集有最大壽命。 如果在下一次維護時段前達到該限制,Azure Databricks 會重新啟動管線以維持在限制範圍內,即使目前時間已超出你的時間範圍。 這確保了長期運行的管線最終會被回收利用。
更新通常多久套用一次?
Azure Databricks 只有在需要維護時才會套用更新。 新的執行時版本會定期發布,且無伺服器基礎設施維護會定期進行。 單一管線重啟的頻率取決於:
- 適用於您的管線的新 Databricks 執行階段版本發行頻率
- 對於無伺服器管線,無伺服器叢集回收排程
- 你的維修時段發生頻率
當維護時段到來時,如果沒有待處理的更新,該時段會在不重新啟動的情況下結束。
設定維護視窗
你可以在 Azure Databricks 介面中設定維護視窗、使用 Jobs REST API 設定維護視窗,或使用 Declarative Automation Bundles 設定維護視窗。
維護窗口包含三個必需部分:
| Setting | 說明 |
|---|---|
| 一週中的某一天 | 只有一天,從星期一到星期天。 |
| 開始時間 | 視窗開始的小時,以 24 小時制表示,為從 0 到 23 的整數。 |
| 時區 | 一個 Java 時區 ID,例如 America/New_York。 Azure Databricks 會評估此時區的視窗。 |
Note
維護視窗僅適用於連續工作與管線。 此設定不適用於依照排程或不同觸發類型執行的工作。
在介面中設定維護視窗
你可以從工作介面或管線介面設定維護視窗。
來自職缺介面
- 在你的 Azure Databricks 工作區側邊欄,點選
職缺與管線。
- 點擊職缺名稱。
- 在 工作詳情 面板中,開啟 連續 觸發器並展開 進階 以尋找 維護視窗。
- 選擇一週中的星期幾、一個開始時間和一個時區。
- 點選 [儲存]。
來自 Pipelines 介面
- 在你的 Azure Databricks 工作區側邊欄,點選
職缺與管線。
- 點擊管線名稱。
- 打開 排程 並展開 「進階設定 」以找到 維護視窗。
- 選擇一週中的星期幾、一個開始時間和一個時區。
- 點選 [儲存]。
使用 Jobs API 設定維護視窗
使用 maintenance_window 建立或更新作業時,請在 continuous 設定中設定 欄位。 以下範例將維護設定為週二凌晨2點(東部時間)開始:
{
"continuous": {
"pause_status": "UNPAUSED",
"maintenance_window": {
"start_hour": 2,
"day_of_week": "TUESDAY",
"timezone_id": "America/New_York"
}
}
}
設定維護視窗時,這三個欄位start_hour(、 day_of_week、 timezone_id和 )都是必填的。
start_hour 必須是從 0 到 23的整數。
使用宣告式自動化套件配置維護視窗
在工作的continuous映射內設定maintenance_window映射。 此 maintenance_window 映射需要 Databricks CLI 版本 1.16.0 或以上。 要讓舊版本的驗證失敗,請設 bundle.databricks_cli_version 為 '>= 1.16.0'。 以下範例將維護設定為週二凌晨2點(東部時間)開始:
bundle:
name: continuous_pipeline_bundle
databricks_cli_version: '>= 1.16.0'
resources:
jobs:
continuous_pipeline_job:
name: continuous_pipeline_job
continuous:
pause_status: UNPAUSED
maintenance_window:
start_hour: 2
day_of_week: TUESDAY
timezone_id: America/New_York
tasks:
- task_key: refresh_pipeline
pipeline_task:
pipeline_id: ${resources.pipelines.example_pipeline.id}
設定維護通知
Azure Databricks 可以通知你維護重新啟動開始和結束的時間。 維護通知使用標準的 Lakeflow Jobs 通知系統,因此您可以將通知送達電子郵件地址或系統目的位置,如 Slack、PagerDuty 或 Microsoft Teams。 請參閱 在作業上新增通知。
連續作業提供兩個可用事件:
- 維護啟動:當維護重新啟動開始時發送。 包含工作內容、原因(例如服務升級)及開始時間。
- 維護完成:重新啟動完成後發送。 包含原因、完成時間、重啟時間,以及重啟後管線的狀態。
夏令時間轉換
Azure Databricks 會根據你設定的時區來判定維護時段,因此該維護時段會隨該時區的日光節約時間變化而調整。 大多數日子,時段會從你設定的當地時間開始。 在時鐘變動當天,起跑時間可延遲多達一小時。 請選擇與您營運時間表相符的時區。
處理更新期間的中斷問題
維護重新啟動時,資料處理會暫停,直到新版更新接手運作。 串流來源在暫停期間持續累積資料,新的更新會從管線檢查點恢復,因此不會遺失資料。
如果您的管線有嚴格的延遲要求,請選擇在短暫暫停可接受的期間內的維護時段。 為了確認管線在重新啟動後恢復健康狀態,請監控 維護完成 通知。