以下是您在開發管線時需要了解的 Lakeflow 管線限制:
Azure Databricks 工作區的同時管道更新限制為 1000 次。 單一管線可以包含的資料集數目取決於管線組態和工作負載複雜度。
管線的配置包含對原始檔案與資料夾的參考。
若設定 僅 參考單個筆記本或檔案,每條管線的原始碼檔案上限為 100 個。
如果設定包含資料夾,你可以包含最多 50 個由檔案或資料夾組成的原始碼條目。
間接引用一個文件夾即間接引用該文件夾中的檔案。 在此情況下,參考檔案數量(直接或間接)限制為 1000 個。
如果你需要超過 100 個原始檔案,請將它們整理成資料夾。 欲了解如何使用資料夾來存放原始檔案,請參閱 Lakeflow 管線編輯器中的 管線資產瀏覽器 。
管線資料集只能定義一次。 因此,它們只能是所有管線中單一作業的目標。 例外狀況是具有附加流程處理的串流資料表,可讓您從多個串流來源寫入串流資料表。 請參閱 預設流程與附加流程。
識別欄位有下列限制。 欲了解更多關於 Delta 表格中的身份欄位,請參閱 身份欄位。
- 識別欄無法與作為 AUTO CDC 處理目標的資料表一起使用。
- 識別欄位可能會在更新具體化檢視期間重新計算。 因此,Databricks 建議僅在管線中使用串流資料表中的身分識別資料行。
預設情況下,實體化檢視與串流資料表僅能由 Azure Databricks 用戶端與應用程式存取。 要讓外部系統能存取它們,請參見 使用外部系統存取實體化檢視與串流資料表。
執行和查詢 Unity Catalog 管線所需的 Databricks 計算有其限制。 請參閱發佈管線至 Unity Catalog 的 需求。
Delta Lake 的時間旅行查詢僅支援串流資料表,不支援實體化視圖。 請參見 操作表格歷史。
不支援
pivot()函式。 Spark 中的pivot作業需要急切載入輸入數據以計算輸出架構。 管線不支援此功能。
關於 Lakeflow 管線資源配額,請參見 資源限制。