Databricks 工作佇列和並行設定
本文包含在 Databricks 工作中設定進階設定的指示和建議。
備註
預設會針對在 2024 年 4 月 15 日之後透過 UI 建立的工作啟用佇列。
若要防止因為並行限制而略過工作的執行,您可以啟用工作的佇列。 啟用佇列時,如果工作執行無法使用資源,則執行會排入佇列最多 48 小時。 當容量可用時,工作執行會取消佇列並執行。 佇列執行會顯示在工作的執行清單以及最近的工作執行清單中。
達到下列其中一個限制時,執行會排入佇列:
- 工作區中的並行作用中執行上限。
- 工作區中的並行
Run Job
任務執行上限。 - 工作的並行執行上限。
佇列是工作層級屬性,只會將該工作的執行排入佇列。
若要啟用或停用佇列,請按一下 [進階設定],然後按一下 [工作詳細資料] 側面板中的 [佇列] 切換按鈕。
根據預設,所有新工作的並行執行上限為 1。
按一下 [進階設定] 底下的 [編輯並行執行],以設定此工作的平行執行數目上限。
如果工作在嘗試啟動新執行時已達到作用中執行次數上限,Azure Databricks 會略過該執行。
將此值設定為高於預設值 1,以允許相同工作的多個同時執行。 例如,如果您要依據頻繁的排程觸發工作,並且想要讓連續的執行重疊,或是觸發因輸入參數不同而不同的多個執行,這個功能就很有用。