共用方式為


管道限制

以下是 Lakeflow Spark 宣告式管線的限制,在開發管線時請務必瞭解這些限制:

  • Azure Databricks 工作區的同時管道更新限制為 1000 次。 單一管線可以包含的資料集數目取決於管線組態和工作負載複雜度。

  • 管線的配置包含對原始檔案與資料夾的參考。

    • 若設定 參考單個筆記本或檔案,每條管線的原始碼檔案上限為 100 個。

    • 如果設定包含資料夾,你可以包含最多 50 個由檔案或資料夾組成的原始碼條目。

      間接引用一個文件夾即間接引用該文件夾中的檔案。 在此情況下,參考檔案數量(直接或間接)限制為 1000 個。

    如果你需要超過 100 個原始檔案,請將它們整理成資料夾。 欲了解如何使用資料夾來存放原始檔案,請參閱 Lakeflow 管線編輯器中的 Pipeline 資產瀏覽器

  • 管線資料集只能定義一次。 因此,它們只能是所有管線中單一作業的目標。 例外狀況是具有附加流程處理的串流資料表,可讓您從多個串流來源寫入串流資料表。 請參閱 使用多個流寫入單一目標

  • 識別欄位有下列限制。 若要深入瞭解 Delta 資料表中的身分識別資料行,請參閱在 Delta Lake 中使用身分識別資料行

    • 識別欄無法與作為 AUTO CDC 處理目標的資料表一起使用。
    • 識別欄位可能會在更新具體化檢視期間重新計算。 因此,Databricks 建議僅在管線中使用串流資料表中的身分識別資料行。
  • 從管線發佈的具體化檢視和串流資料表,包括 Databricks SQL 所建立的檢視和串流資料表,只能由 Azure Databricks 用戶端和應用程式存取。 不過,若要讓具體化檢視和串流資料表可從外部存取,您可以使用 sink API 寫入外部 Delta 執行個體中的資料表。 詳見 Lakeflow Spark 宣告式管線中的 Sinks

  • 執行和查詢 Unity Catalog 管線所需的 Databricks 計算有其限制。 請參閱發佈管線至 Unity Catalog 的 需求

  • Delta Lake 時間旅行查詢僅支援串流資料表,且 支援具體化檢視。 請參見 操作表格歷史

  • 您無法在實體化檢視和串流資料表上啟用 Iceberg 讀取

  • 不支援 pivot() 函式。 Spark 中的 pivot 作業需要急切載入輸入數據以計算輸出架構。 管線不支援此功能。

關於 Lakeflow Spark 宣告式管線的資源配額,請參見 資源限制