在無伺服器運算上進行串流

本頁說明如何在 Azure Databricks 上選擇無伺服器串流工作負載的正確配置,包括連續管線、增量擷取及管理連接器。 選擇合適的配置取決於串流的來源、形狀及延遲需求。

什麼算是串流工作量

串流工作負載會從來源(例如雲端物件儲存體、訊息匯流排或變更摘要)讀取無界資料,並以增量方式寫入接收端。 Azure Databricks 支援以下串流工作負載模式:

  • 連續:一條不中斷運行、新資料抵達時即時處理的管線,適用於新度需求以秒或分鐘計量的工作負載。
  • 即時:一條連續的管線,能以亞秒延遲處理記錄,滿足支援的操作負載。 在無伺服器模式下,Lakeflow pipelines 可使用即時模式。 結構化串流中的即時模式需要經典運算。
  • 增量(也稱為觸發式):依排程或觸發條件執行的管線,會處理自上次執行後到達的所有資料,然後停止。 延遲以分鐘為單位。

有些工作負載看起來像是串流管線,但技術上並不是管線。 例如,一個服務會開啟一個 websocket 以監聽事件,一個聊天應用程式會維持每位使用者持續連線,或是處理 HTTP 來電的 webhook 接收器。 這些是應用程式,不是串流管線。 關於這些工作負載的正確無伺服器選項,請參見 非串流管線的工作負載。

選擇合適的串流設定

此表格將使用情境對應到最適合的無伺服器配置。 本頁後續章節將提供更多相關建議的細節。

應用案例 建議的設定 原因為何
連續低延遲串流 ETL 或轉換 湖泊流量管線 連續模式 連續模式是為持續運作的串流所設計。 串流管線化可並行執行微批次,提高吞吐量並降低延遲。 管理狀態會讓恢復自動進行。
需要亞秒級延遲的操作處理 Lakeflow 管線中的即時模式(於無伺服器運算上) 即時模式會在長時間執行的批次中,於紀錄到達時進行處理。 檢查執行時間、來源、接收端和操作員的需求。
從雲端儲存體進行增量資料擷取 在 Lakeflow 管線內使用 自動載入器(低延遲),或在含有Trigger.AvailableNow()的無伺服器作業中使用(如果可接受較高延遲)。 自動載入器能有效追蹤新檔案。 Trigger.AvailableNow() 處理積壓後退出,符合排程或按需進行的節奏。
從 SaaS 來源或資料庫 CDC 進行的代管式資料擷取 Lakeflow Connect 管理型連接器 全管理的連接器,搭配無伺服器擷取流程。 支援來源不需要程式碼。
Delta 資料表上的流式 SQL 串流數據表 針對附加導向的原始碼,採用 SQL 原生增量處理,並支援受管理管線與刷新功能。
筆記本或作業中的週期性微批次處理 無伺服器工作Trigger.AvailableNow() 若只需要分鐘級的資料新鮮度,則具成本效益。 無伺服器運算快速啟動,批次結束後退出。

連續串流

若要在無伺服器運算上進行持續串流,請使用 Lakeflow 管線的連續模式。 資料管道會持續運作,在記錄到達時進行處理,並在發生故障後自動復原。

要配置連續串流:

Tip

串流管線預設在無伺服器的 Lakeflow 管線中啟用。 微批次會並行執行,而非依序執行,這可提升擷取負載高的串流的吞吐量。

以時間為基礎的 Structured Streaming 觸發程序,例如 Trigger.ProcessingTime(interval) 和 Trigger.Continuous(interval),無法在無伺服器筆記本或作業中使用。 使用 Lakeflow 管線的連續模式來實現常時啟用模式。 請參閱 串流限制。 Trigger.Once() 受支援,但已棄用。 將現有查詢遷移至 Trigger.AvailableNow()。

即時串流

Lakeflow 管線中的即時模式 支援亞秒級的營運工作負載,如詐欺偵測與即時個人化。 它可在經典版與無伺服器運算版本上使用。 設定一個受支援的 sink 更新流程,並檢視執行時及 Operator 的需求。 即時更新流程無法寫入 Delta Lake 資料表。

連續流水線模式與即時模式滿足不同的延遲需求。 僅啟用連續模式並不能啟用即時模式。

增量式與觸發式串流

若要進行增量串流,請在無伺服器作業中搭配 Trigger.AvailableNow() 執行結構化串流。 每次執行會處理自上次檢查點以來抵達的所有資料,然後退出。

要設定使用增量式串流的無伺服器作業:

以下範例使用自動載入器從雲端儲存source_path()讀取新檔案,處理執行時所有可用資料,並寫入 Delta 資料表:

(spark.readStream
   .format("cloudFiles")
   .option("cloudFiles.format", "json")
   .option("cloudFiles.maxFilesPerTrigger", 1000)
   .load(source_path)
   .writeStream
   .trigger(availableNow=True)
   .option("checkpointLocation", checkpoint_path)
   .toTable("catalog.schema.target_table"))

在無伺服器運算中,若可接受分鐘層級的延遲,排程 Trigger.AvailableNow() 作業是最具成本效益的串流模式。 運算在幾秒內啟動,執行批次後關閉。

受管理的資料匯入

如果來源是 SaaS 應用程式或營運資料庫,請使用 Lakeflow Connect 而非撰寫結構化串流程式碼。 Lakeflow Connect 會針對 Salesforce、Workday、SQL Server CDC 和 PostgreSQL CDC 等連接器執行無伺服器資料擷取管線。 詳見 Lakeflow Connect 連接器概念。

當以下情況,這條路徑是正確的答案:

  • 有適用於您的來源的連接器。
  • 你想要的是受管理的管線,而不是自訂程式碼。
  • 你需要開箱即用的綱要演進、資料沿襲和監控功能。

SQL 管理的增量資料處理

對於以 SQL 為優先的團隊,請使用 串流資料表 來處理 SQL 原生串流工作負載。 你可以在 Lakeflow 管線內定義串流表,或是當作 獨立串流表。

對於使用 CREATE OR REFRESH STREAMING TABLE SQL 陳述式建立的獨立串流資料表,初始的資料刷新與填充會立即開始。 系統會自動為每個串流數據表建立及管理專用無伺服器管線。

如果你需要批次語意查詢結果,且需受控重新整理,請改用具體化檢視表。 請參閱 具體化檢視。

非串流管線的工作負載

需要維持長壽命連線、監聽埠口或回應 HTTP 請求的工作負載,並非串流管線;它是一個應用程式。 不要在無伺服器工作中執行這些工作負載。 正確的 Databricks 選項為:

  • 需要持久連線或 HTTP 端點的長期服務:請用 Databricks 應用程式來建置服務。 Databricks Apps 是無伺服器平台,用於在 Azure Databricks 上托管自訂應用程式,包括 FastAPI、Flask、Streamlit、Dash、Gradio、Node.js和 Shiny 應用程式。 請參閱 Databricks Apps。
  • 傳入的 Webhook 或事件接聽程式:在 Databricks Apps 上公開 HTTP 端點,或在外部服務中終止 Webhook,並將事件寫入雲端儲存體或訊息匯流排,然後再由無伺服器串流管線擷取這些事件。
  • 自訂權杖或憑證交換:使用 服務主體 搭配 OAuth,或從應用程式呼叫 Databricks REST APIs。 串流管線不會儲存每位使用者的會話或自訂的權杖狀態。

如果你正在評估你的工作量是否適合串流流程,請詢問:

  • 工作負載是否會從無界資料來源讀取資料,並將資料寫入接收端? 如果是,那就是串流管線。
  • 工作負載需要保持連線開啟給客戶端嗎? 如果是,那就是應用程式;使用 Databricks 應用程式。

Limitations

以下串流限制適用於無伺服器筆記本與工作。 關於管線需求與限制,請參閱 「配置無伺服器管線 」及 「在 Lakeflow 管線中使用即時模式」。

  • 基於時間的結構化串流觸發器(Trigger.ProcessingTime(interval) 和 Trigger.Continuous(interval))在無伺服器筆記本或工作中不被支援。 對於持續執行的串流,請以連續模式使用 Lakeflow 管線;至於觸發執行,則請使用 Trigger.AvailableNow()。 請參閱 串流限制。
  • 未明確指定觸發程序的串流查詢會因 INFINITE_STREAMING_TRIGGER_NOT_SUPPORTED 而失敗。 Apache Spark 預設為 Trigger.ProcessingTime("0 seconds"),但在無伺服器運算中不支援。 請務必在每個串流查詢上設定 Trigger.AvailableNow(),或使用處於連續模式的 Lakeflow 管線。
  • 標準存取模式下串流的所有限制同樣適用於無伺服器運算。 請參閱 串流限制。

下一步