即時模式參考

本頁說明了對直接使用結構化串流 API 的即時模式查詢的支援。 關於管理管線,請參見 Lakeflow 管線中的即時模式,該模式有獨立的運行時、來源、匯和操作員要求。

支援的語言

即時模式支援 Scala、Java 和 Python。

計算類型

即時模式支援以下運算類型:

計算類型 支援
專用 (先前為:單一使用者) ✓
標準 (先前: 共用) ✓(僅限 Python)
經典版的湖流管線 透過管線配置支援
無伺服器上的湖流管線 透過管線配置支援
無伺服器筆記本和任務 不支援直接的結構化串流即時查詢

對於延遲敏感且帶有 UDF 的工作負載,Databricks 建議你使用專用存取模式。 參見 表格函數。

執行模式

即時模式僅支援更新模式:

執行模式 支援
更新模式 ✓
附加模式 不支援
完成模式 不支援

來源和接收器

即時模式支援以下來源與匯:

源頭或接收端 作為資料來源 作為沉沒
Apache Kafka ✓ ✓
Event Hubs(使用 Kafka 連接器) ✓ ✓
Kinesis ✓(建議使用 EFO 模式;在 Databricks 執行時 19 及以上進行輪詢) 不支援
AWS MSK ✓ 不支援
Delta 不支援 不支援
Google 發布/訂閱 不支援 不支援
阿帕奇脈衝星 不支援 不支援
任意接收端(使用 forEachWriter) 不適用 ✓

操作員

即時模式支援大多數結構化串流運算子:

無狀態操作

Operator 支援
選擇 ✓
投影 ✓
mapPartitions 不支援(見限制)
Union ✓(有一些限制)

UDFs

Operator 支援
斯卡拉 UDF ✓(標量UDF)。 不支援群組函式,如 flatMapGroups 和 mapGroupsWithState。
Python 使用者定義函數 (UDF) ✓(有一些限制)

Aggregation

Function 支援
sum ✓
計數 ✓
max ✓
min ✓
avg ✓
聚合函數 ✓

視窗化

Operator 支援
輪轉 ✓
滑動 ✓
Session 不支援

Deduplication

Operator 支援
刪除重複項 ✓
dropDuplicatesWithinWatermark ✓

串流到資料表連接

Operator 支援
內部聯結 ✓
外接 ✓
廣播資料表連接(資料表大小不超過 10mb) ✓
表格連接(無廣播) 不支援

串流到串流連接

Operator 支援
內部聯結 ✓(Databricks Runtime 18 LTS 及以上版本,包含部分配置)
外接合處 不支援

備註

要在即時模式下使用 stream to stream join,必須設定額外的 Spark 設定。 關於配置及多串流運行的要求,請參見 「串流間連接」。

任意有狀態運算子

Operator 支援
(平坦)MapGroupsWithState 不支援
transformWithState ✓(有些差異)

使用者定義匯

水槽 支援
forEach ✓
逐批處理 不支援

特殊考慮

部分操作員與功能在即時模式下會有特定的考量或差異。

transformWithState 在即時模式下

為了建置自定義具狀態應用程式,Databricks 支援 transformWithState,這是 Apache Spark 結構化串流中的 API。 關於 API 和程式碼片段的更多資訊,請參見 「建構自訂有狀態應用程式 transformWithState 」。

transformWithState 支援同步與非同步的即時處理器。 關於非同步處理需求,請參見帶有 transformWithState的非同步處理。

然而,API 在即時模式下的行為與微批次查詢不同。

  • 對於同步處理器,即時模式會呼叫每一列的方法 handleInputRows(key: String, inputRows: Iterator[T], timerValues: TimerValues) 。
    • inputRows反覆運算器會傳回單一值。 微批次模式會對每個鍵值呼叫一次,迭代器則 inputRows 回傳該微批次中該鍵的所有值。
    • 在撰寫程式碼時請考慮這個差異。
  • 對於非同步處理器,即時模式會將抵達的資料列分組,並對群組中每個鍵進行一次呼叫 handleInputRows ,並連同該鍵的所有列。 由於即時模式會執行長時間執行的批次,同一金鑰在同一批次中可以接收多個呼叫。
  • 即時模式不支援事件時間定時器。
  • transformWithStateInPandas 在即時模式下不支援。 改用列式 transformWithState API,它使用 Row 物件而非 pandas DataFrame。
  • 在即時模式下,計時器的觸發會因資料到達而延遲。
    • 如果計時器排定在 10:00:00,但沒有資料到達,計時器不會立即觸發。
    • 若資料在10:00:10抵達,計時器會在10秒後觸發。
    • 若無資料抵達且長期執行的批次正在終止,計時器會在批次結束前觸發。

備註

在 Databricks Runtime 18.1 及以下版本中,如果你使用 transformWithState 並使用即時模式處理低吞吐量(每秒少於 5 筆記錄)的 Python,可能會增加到數百毫秒的延遲。 Databricks 建議升級到 Databricks Runtime 18.2 及以上以解決。

Python 即時模式下的 UDF

Databricks 支援大多數 Python 使用者定義函式(UDF)的即時模式:

無狀態

UDF 類型 支援
Python 純量 UDF(Python 純量使用者定義函數(UDFs)) ✓
Apache Arrow 純量 UDF ✓
Pandas 標量 UDF(pandas 使用者自定義函數) ✓
箭頭函數 (mapInArrow) 不支援(見限制)
Pandas 函數(地圖) 不支援(見限制)

有狀態分組(UDAF)

UDF 類型 支援
transformWithState (僅限介面 Row ) ✓
transformWithStateInPandas 不支援。 改用列式 transformWithState API,它使用 Row 物件而非 pandas DataFrame。 詳情請參見 transformWithStateInPandas 「不支援 」。
applyInPandasWithState 不支援

無狀態分群(UDAF)

UDF 類型 支援
apply 不支援
applyInArrow 不支援
applyInPandas 不支援

表格功能

UDF 類型 支援
UDTF(Python使用者定義表格函式(UDTFs)) 不支援
加州大學 UDF 不支援

在即時模式下使用 Python UDF 時,有幾個要點需要考慮:

  • 在 Databricks Runtime 19 及以上版本中,即時模式會依時間批次處理 所有即時模式支援的 UDF 的輸入列。 每批次會收集在短時間窗口(10毫秒)內抵達的資料列,或直到達到最大批次大小,然後送回 UDF。 這樣可以平衡延遲和吞吐量,所以你不需要把 Arrow 的批次大小(spark.sql.execution.arrow.maxRecordsPerBatch)設為 1。
  • 在 Databricks Runtime 18 LTS 及以下版本中,列僅依計數批次處理:
    • 為了降低延遲,請將 Arrow 的批次大小spark.sql.execution.arrow.maxRecordsPerBatch()設為 1。 此配置以犧牲吞吐量為代價,優化延遲。 只有在需要更高的輸送量來容納輸入量時,才增加批次大小,並接受延遲的潛在增加。
    • Pandas 的 UDF 在 Arrow 批次大小為 1 時表現不佳。 如果你使用 pandas 的 UDF,請將 Arrow 批次大小設定為較大的數值(例如 100 或更大)。 這代表延遲會更高。 Databricks 建議如果可能的話使用 Arrow UDF。
  • transformWithStateInPandas 在即時模式下不支援。 改用列式 transformWithState API,它使用 Row 物件而非 pandas DataFrame。 請參考 transformWithStateInPandas Not supported 以及 Real-time mode 範例 使用資料列 API 的可運作Python範例。
  • 對於延遲敏感且帶有 UDF 的工作負載,Databricks 建議你使用專用存取模式。 在標準存取模式下,安全隔離的開銷可能會降低 UDF 效能。