管線限制

以下是您在開發管線時需要了解的 Lakeflow 管線限制:

  • Azure Databricks 工作區的同時管道更新限制為 1000 次。 單一管線可以包含的資料集數目取決於管線組態和工作負載複雜度。

  • 管線的配置包含對原始檔案與資料夾的參考。

    • 若設定 僅 參考單個筆記本或檔案,每條管線的原始碼檔案上限為 100 個。

    • 如果設定包含資料夾,你可以包含最多 50 個由檔案或資料夾組成的原始碼條目。

      間接引用一個文件夾即間接引用該文件夾中的檔案。 在此情況下,參考檔案數量(直接或間接)限制為 1000 個。

    如果你需要超過 100 個原始檔案,請將它們整理成資料夾。 欲了解如何使用資料夾來存放原始檔案,請參閱 Lakeflow 管線編輯器中的 管線資產瀏覽器 。

  • 管線資料集只能定義一次。 因此,它們只能是所有管線中單一作業的目標。 例外狀況是具有附加流程處理的串流資料表,可讓您從多個串流來源寫入串流資料表。 請參閱 預設流程與附加流程。

  • 識別欄位有下列限制。 欲了解更多關於 Delta 表格中的身份欄位,請參閱 身份欄位。

    • 識別欄無法與作為 AUTO CDC 處理目標的資料表一起使用。
    • 識別欄位可能會在更新具體化檢視期間重新計算。 因此,Databricks 建議僅在管線中使用串流資料表中的身分識別資料行。
  • 預設情況下,實體化檢視與串流資料表僅能由 Azure Databricks 用戶端與應用程式存取。 要讓外部系統能存取它們,請參見 使用外部系統存取實體化檢視與串流資料表。

  • 執行和查詢 Unity Catalog 管線所需的 Databricks 計算有其限制。 請參閱發佈管線至 Unity Catalog 的 需求。

  • Delta Lake 的時間旅行查詢僅支援串流資料表,不支援實體化視圖。 請參見 操作表格歷史。

  • 不支援 pivot() 函式。 Spark 中的 pivot 作業需要急切載入輸入數據以計算輸出架構。 管線不支援此功能。

關於 Lakeflow 管線資源配額,請參見 資源限制。