依排程或持續執行作業

您可以使用已排程 的觸發程式類型定期 執行 Azure Databricks 作業,或確定一律會以連續 觸發程式類型執行 作業。

您可以使用排程,在指定的時間和期間自動執行 Azure Databricks 作業。 您可以定義排程,以在分鐘、每小時、每日、每週或每月期間,以及指定時間執行作業。 您也可以指定排程的時區,並隨時暫停排程的工作。

當您使用連續觸發程式執行作業時,Azure Databricks 作業可確保一律有一個作用中的作業執行。 新的作業執行會在上一次執行順利完成或狀態失敗之後啟動,如果目前沒有執行中作業的實例,則為 。

新增作業排程

若要定義作業的排程:

  1. 在提要欄位中,按一下 [ 工作流程 ]。
  2. 在 [作業 ] 索引標籤上的 [ 名稱 ] 資料行中,按一下作業名稱。
  3. 按一下 [作業詳細資料 ] 面板中的 [新增觸發程式 ],然後選取 [觸發程式類型 ] 中的 [ 排程 ]。
  4. 指定期間、開始時間和時區。 選擇性地選取 [ 顯示 Cron 語法] 核取方塊,以顯示和編輯在[矽 Cron 語法 ] 中的 排程。
  5. 按一下 [檔案] 。

您也可以直接在筆記本 UI 排程筆記本作業。

注意

  • Azure Databricks 會強制執行作業排程所觸發的後續執行之間的最小間隔 10 秒,而不論 cron 運算式中的秒組態為何。
  • 您可以選擇觀察日光節約時間或 UTC 的時區。 如果您選取觀察日光節約時間的時區,則會略過每小時工作,或可能在日光節約時間開始或結束 時延遲一兩 小時。 若要每小時執行 (絕對時間),請選擇 [UTC]。
  • 作業排程器不適用於低延遲作業。 由於網路或雲端問題,作業執行偶爾可能會延遲至數分鐘。 在這些情況下,排程的工作會在服務可用性時立即執行。

暫停和繼續作業排程

若要暫停作業,請按一下 [作業詳細資料 ] 面板中的 [ 暫停 ]。

若要繼續暫停的作業排程,請按一下 [ 繼續 ]。

執行連續作業

  1. 在提要欄位中,按一下 [ 工作流程 ]。
  2. 在 [作業 ] 索引標籤上的 [ 名稱 ] 資料行中,按一下作業名稱。
  3. 按一下 [作業詳細資料] 面板中的 [新增觸發程式],按一下 [作業詳細 資料] 面板中的 [新增觸發 程式 ],在 [觸發程式類型 ] 中 選取 [連續 ],然後按一下 [ 儲存 ]。

若要停止連續作業,請按一下 Blue Down Caret [立即 執行] 旁 的 ,然後按一下 [ 停止 ]。

注意

  • 連續作業只能有一個執行中的實例。
  • 執行完成和新回合開始之間有一個小延遲。 此延遲應小於 60 秒。
  • 您無法將工作相依性 與連續作業搭配使用
  • 您無法將重試原則 與連續作業搭配使用 。 相反地,連續作業會使用 指數輪詢 來管理作業執行失敗。
  • 在暫停的連續作業上選取 [ 立即 執行] 會觸發新的作業執行。 如果作業未暫停,則會擲回例外狀況。
  • 若要讓連續作業挑選新的作業組態,請取消現有的執行,然後自動啟動新的執行。 您也可以按一下 [ 重新開機執行 ] 以使用更新的組態重新開機作業執行。

連續作業的失敗如何處理?

Azure Databricks 作業會使用 指數輪詢 配置來管理連續失敗的連續作業。 指數輪詢可讓連續作業在沒有暫停的情況下執行,並在發生可復原失敗時回到狀況良好的狀態。

當連續作業超過連續失敗的允許臨界值時,下列描述後續作業的執行管理方式:

  1. 工作會在系統設定的重試期間之後重新開機。
  2. 如果下一個作業執行失敗,重試期間就會增加,而且作業會在這個新的重試期間之後重新開機。
    1. 針對每個後續的作業執行失敗,重試期間會再次增加,最多為系統所設定的最大重試期間。 達到重試期間上限之後,工作會使用重試期間上限繼續重試。 連續作業的重試次數沒有限制。
    2. 如果作業執行順利完成並啟動新的執行,或如果執行超過臨界值而沒有失敗,則作業會視為狀況良好,而輪詢順序會重設。

您可以在作業 UI 中 以指數輪詢狀態重新開機連續作業,或在作業 2.0 API 中將作業識別碼傳遞至 POST /api/2.1/jobs/run-now 要求,或 POST /api/2.0/jobs/run-now 要求。