設定 Delta Live Tables 管線的計算

發行項
11/05/2024

本文包含設定 Delta Live Tables 管線自定義計算設定時的指示和考慮。

選取叢集原則

使用者必須具有部署計算的權限，才能設定及更新 Delta Live Tables 管線。工作區管理員可以設定叢集原則，讓使用者能夠存取 Delta Live Tables 的計算資源。請參閱定義 Delta Live Tables 管線計算的限制。

注意

叢集原則是選用的。如果您缺少 Delta Live Tables 所需的計算許可權，請洽詢您的工作區管理員。

若要確保已正確套用叢集原則預設值，請在管線組態中的叢集組態中設定apply_policy_default_values為 true ：

{
  "clusters": [
    {
      "label": "default",
      "policy_id": "<policy-id>",
      "apply_policy_default_values": true
    }
  ]
}

設定叢集標籤

您可以使用叢集標籤監控管線叢集的使用情況。當您建立或編輯管線或編輯管線叢集的 JSON 設定時，請在 Delta Live Tables UI 中新增叢集卷標。

選取要執行管線的執行個體類型

根據預設，Delta Live Tables 會選取管線驅動程式和背景工作節點的實例類型。您可以選擇性地設定實體類型。

例如，選取實例類型以改善管線效能，或在執行管線時解決記憶體問題。您可以在使用 REST API 建立或編輯管線時，或在 Delta Live Tables UI 中設定執行個體類型。

若要在 Delta Live Tables UI 中建立或編輯管線時設定執行個體類型：

按一下 [設定] 按鈕。
在管線設定的 [進階] 區段中，於 [背景工作類型] 和 [驅動程式類型] 下拉功能表中，選取管線的執行個體類型。

進階計算組態

注意

由於計算資源完全受控於無伺服器 DLT 管線，因此當您選取 管線的無 伺服器時，計算設定將無法使用。

每個 Delta Live Tables 管線都有兩個相關聯的叢集：

updates 叢集會處理管線更新。
maintenance 叢集會執行每日維護工作。

使用工作區管線組態 UI 指定的計算設定會同時套用至更新和維護叢集。您必須編輯 JSON 組態，才能獨立修改這些設定。

這些叢集使用的組態取決於 clusters 管線設定中指定的屬性。

使用叢集標籤，您可以新增僅適用於特定叢集類型的計算設定。設定管線叢集時，您可以使用三個標籤：

注意

如果您只定義一個叢集組態，則可以省略叢集卷標設定。如果未提供標籤的設定，標籤 default 會套用至叢集設定。只有在您需要自訂不同叢集類型的設定時，才需要叢集標籤設定。

標籤default會定義和 maintenance 叢集的updates計算設定。將相同的設定套用至這兩個叢集可藉由確保儲存位置的資料存取認證等必要設定套用至維護叢集，以改善維護執行的可靠性。
maintenance 標籤會定義僅適用於 maintenance 叢集的計算設定。您也可以使用 maintenance 標籤來覆寫 default 標籤設定的設定。
updates 標籤會定義僅適用於 updates 叢集的設定。使用它來設定不應套用至叢集的 maintenance 設定。

使用 default 和 updates 標籤定義的設定會合併為 updates 叢集建立最終設定。如果使用 default 和 updates 標籤來定義相同的設定，則以 updates 標籤定義的設定會覆寫以 default 標籤定義的設定。

下列範例會定義只新增至叢集設定的 updates Spark 設定參數：

{
  "clusters": [
    {
      "label": "default",
      "autoscale": {
        "min_workers": 1,
        "max_workers": 5,
        "mode": "ENHANCED"
      }
    },
    {
      "label": "updates",
      "spark_conf": {
         "key": "value"
      }
    }
  ]
}

Delta Live Tables 有類似 Azure Databricks 上其他計算的叢集設定選項。如同其他管線設定，您可以修改叢集的 JSON 設定，以指定 UI 中不存在的選項。請參閱計算。

注意

因為 Delta Live Tables 運行時間會管理管線叢集的生命週期，並執行自訂版本的 Databricks Runtime，所以您無法在管線設定中手動設定某些叢集設定，例如 Spark 版本或叢集名稱。請參閱不是使用者可設定的叢集屬性。

設定更新和維護叢集的實例類型

若要在管線的 JSON 設定中設定執行個體類型，請按下 [JSON] 按鈕，然後在叢集設定中輸入執行個體類型設定：

注意

為了避免將不必要的資源指派給 maintenance 叢集，此範例會使用 updates 標籤來僅設定 updates 叢集的執行個體類型。若要將執行個體類型指派給 updates 和 maintenance 叢集，請使用 default 標籤或省略標籤的設定。如果未提供標籤的設定，標籤 default 就會套用至管線叢集設定。請參閱進階計算組態。

{
  "clusters": [
    {
      "label": "updates",
      "node_type_id": "Standard_D12_v2",
      "driver_node_type_id": "Standard_D3_v2",
      "..." : "..."
    }
  ]
}

延遲計算關機

若要控制叢集關機行為，您可以使用開發模式或生產模式，或使用管線設定中的 pipelines.clusterShutdown.delay 設定。下列範例會將 pipelines.clusterShutdown.delay 值設定為 60 秒：

{
    "configuration": {
      "pipelines.clusterShutdown.delay": "60s"
    }
}

啟用 production 模式時，pipelines.clusterShutdown.delay 的預設值為 0 seconds。啟用 development 模式時，預設值為 2 hours。

注意

由於差異實時數據表叢集在不使用時會自動關閉，因此參考叢集組態中設定 autotermination_minutes 的叢集原則會導致錯誤。

建立單一節點叢集

如果您在叢集設定中將 num_workers 設定為 0，叢集會建立為單一節點叢集。設定自動調整叢集，並將設定 min_workers 為0和0會 max_workers 建立單一節點叢集。

如果您設定自動調整叢集，且只 min_workers 設定為 0，則不會將叢集建立為單一節點叢集。叢集一直至少有一個作用中背景工作角色，直到終止為止。

在差異即時資料表中建立單一節點叢集的範例叢集組態：

{
    "clusters": [
      {
        "num_workers": 0
      }
    ]
}

共用方式為