閱讀英文版本

分享方式:


Databricks 工作佇列和並行設定

本文包含在 Databricks 工作中設定進階設定的指示和建議。

啟用工作執行的佇列

備註

預設會針對在 2024 年 4 月 15 日之後透過 UI 建立的工作啟用佇列。

若要防止因為並行限制而略過工作的執行,您可以啟用工作的佇列。 啟用佇列時,如果工作執行無法使用資源,則執行會排入佇列最多 48 小時。 當容量可用時,工作執行會取消佇列並執行。 佇列執行會顯示在工作的執行清單以及最近的工作執行清單中。

達到下列其中一個限制時,執行會排入佇列:

  • 工作區中的並行作用中執行上限。
  • 工作區中的並行 Run Job 任務執行上限。
  • 工作的並行執行上限。

佇列是工作層級屬性,只會將該工作的執行排入佇列。

若要啟用或停用佇列,請按一下 [進階設定],然後按一下 [工作詳細資料] 側面板中的 [佇列] 切換按鈕。

設定並行執行上限

根據預設,所有新工作的並行執行上限為 1。

按一下 [進階設定] 底下的 [編輯並行執行],以設定此工作的平行執行數目上限。

如果工作在嘗試啟動新執行時已達到作用中執行次數上限,Azure Databricks 會略過該執行。

將此值設定為高於預設值 1,以允許相同工作的多個同時執行。 例如,如果您要依據頻繁的排程觸發工作,並且想要讓連續的執行重疊,或是觸發因輸入參數不同而不同的多個執行,這個功能就很有用。