使用增強式自動調整優化差異實時數據表管線的叢集使用率

Databricks 增強式自動調整可藉由根據工作負載磁碟區自動配置叢集資源，以將叢集資源優化，對管線數據處理延遲的影響最小。

增強的自動調整可改善 Azure Databricks 叢集自動調整功能 ，並具有下列功能：

• 增強的自動調整會實作串流工作負載的優化，並新增增強功能來改善批次工作負載的效能。 增強的自動調整可藉由在工作負載變更時新增或移除計算機，將成本優化。
• 增強型自動調整會主動關閉使用量過低的節點，同時保證關機期間沒有失敗的工作。 只有在節點閑置時，現有的叢集自動調整功能才會相應減少節點。

增強型自動調整是當您在 Delta Live Tables UI 中建立新管線時的預設自動調整模式。 您可以編輯 UI 中的管線設定，以啟用現有管線的增強式自動調整。 您也可以使用 Delta Live Tables API 建立或編輯管線時啟用增強式自動調整。

啟用增強型自動調整

注意

由於計算資源會自動針對無伺服器 DLT 管線優化（公開預覽）管線，因此當您選取 管線的無 伺服器時，無法使用 Databricks 增強式自動調整的設定。

若要瞭解如何啟用無伺服器 DLT 管線，請連絡您的 Azure Databricks 帳戶小組。

若要使用增強型自動調整，請執行下列其中一項動作：

• 當您在 Delta Live Tables UI 中建立管線或編輯管線時，將叢集模式設定為增強的自動調整。
• 設定 autoscale 新增至管線叢集組態，並將欄位設定 mode 為 ENHANCED。 請參閱 設定計算設定。

設定生產管線的增強式自動調整時，請使用下列指導方針：

• Min workers將設定保留為預設值。
• 根據 Max workers 預算和管線優先順序，將 設定為值。

下列範例會設定具有至少5個背景工作角色和最多10個背景工作角色的增強式自動調整叢集。 max_workers 必須大於或等於 min_workers。

注意

• 增強型自動調整 updates 僅適用於叢集。 現有的自動調整功能會用於 maintenance 叢集。
• 組 autoscale 態有兩種模式：
  • LEGACY：使用 叢集自動調整。
  • ENHANCED：使用增強型自動調整。

{
  "clusters": [
    {
      "autoscale": {
        "min_workers": 5,
        "max_workers": 10,
        "mode": "ENHANCED"
      }
    }
  ]
}

如果管線設定為持續執行，管線會在自動調整組態變更之後自動重新啟動。 重新啟動之後，預期會有短暫的延遲增加。 在這段短暫的延遲增加期間之後，叢集大小應根據您的 autoscale 設定來更新，而管線延遲會傳回至其先前的延遲特性。

監視已啟用增強的自動調整管線

您可以使用 Delta Live Tables 使用者介面中的事件記錄檔來監視增強型自動調整計量。 增強型自動調整事件具有 autoscale 事件類型。 以下是範例事件：

活動	訊息
叢集重設大小要求已啟動	Scaling [up or down] to <y> executors from current cluster size of <x>
叢集重設大小要求成功	Achieved cluster size <x> for cluster <cluster-id> with status SUCCEEDED
叢集重設大小要求部分成功	Achieved cluster size <x> for cluster <cluster-id> with status PARTIALLY_SUCCEEDED
叢集重設大小要求失敗	Achieved cluster size <x> for cluster <cluster-id> with status FAILED

您也可以直接查詢 事件記錄檔來檢視增強型自動調整事件：

• 若要查詢待辦專案計量的事件記錄檔，請參閱 查詢事件記錄檔來監視數據待辦專案。
• 若要在增強式自動調整作業期間監視叢集調整要求和回應，請參閱 監視事件記錄檔中的增強式自動調整事件。