本頁說明了對直接使用結構化串流 API 的即時模式查詢的支援。 關於管理管線,請參見 Lakeflow 管線中的即時模式,該模式有獨立的運行時、來源、匯和操作員要求。
支援的語言
即時模式支援 Scala、Java 和 Python。
計算類型
即時模式支援以下運算類型:
| 計算類型 | 支援 |
|---|---|
| 專用 (先前為:單一使用者) | ✓ |
| 標準 (先前: 共用) | ✓(僅限 Python) |
| 經典版的湖流管線 | 透過管線配置支援 |
| 無伺服器上的湖流管線 | 透過管線配置支援 |
| 無伺服器筆記本和任務 | 不支援直接的結構化串流即時查詢 |
對於延遲敏感且帶有 UDF 的工作負載,Databricks 建議你使用專用存取模式。 參見 表格函數。
執行模式
即時模式僅支援更新模式:
| 執行模式 | 支援 |
|---|---|
| 更新模式 | ✓ |
| 附加模式 | 不支援 |
| 完成模式 | 不支援 |
來源和接收器
即時模式支援以下來源與匯:
| 源頭或接收端 | 作為資料來源 | 作為沉沒 |
|---|---|---|
| Apache Kafka | ✓ | ✓ |
| Event Hubs(使用 Kafka 連接器) | ✓ | ✓ |
| Kinesis | ✓(建議使用 EFO 模式;在 Databricks 執行時 19 及以上進行輪詢) | 不支援 |
| AWS MSK | ✓ | 不支援 |
| Delta | 不支援 | 不支援 |
| Google 發布/訂閱 | 不支援 | 不支援 |
| 阿帕奇脈衝星 | 不支援 | 不支援 |
任意接收端(使用 forEachWriter) |
不適用 | ✓ |
操作員
即時模式支援大多數結構化串流運算子:
無狀態操作
| Operator | 支援 |
|---|---|
| 選擇 | ✓ |
| 投影 | ✓ |
mapPartitions |
不支援(見限制) |
| Union | ✓(有一些限制) |
UDFs
| Operator | 支援 |
|---|---|
| 斯卡拉 UDF | ✓(標量UDF)。 不支援群組函式,如 flatMapGroups 和 mapGroupsWithState。 |
| Python 使用者定義函數 (UDF) | ✓(有一些限制) |
Aggregation
| Function | 支援 |
|---|---|
| sum | ✓ |
| 計數 | ✓ |
| max | ✓ |
| min | ✓ |
| avg | ✓ |
| 聚合函數 | ✓ |
視窗化
| Operator | 支援 |
|---|---|
| 輪轉 | ✓ |
| 滑動 | ✓ |
| Session | 不支援 |
Deduplication
| Operator | 支援 |
|---|---|
| 刪除重複項 | ✓ |
| dropDuplicatesWithinWatermark | ✓ |
串流到資料表連接
| Operator | 支援 |
|---|---|
| 內部聯結 | ✓ |
| 外接 | ✓ |
| 廣播資料表連接(資料表大小不超過 10mb) | ✓ |
| 表格連接(無廣播) | 不支援 |
串流到串流連接
| Operator | 支援 |
|---|---|
| 內部聯結 | ✓(Databricks Runtime 18 LTS 及以上版本,包含部分配置) |
| 外接合處 | 不支援 |
備註
要在即時模式下使用 stream to stream join,必須設定額外的 Spark 設定。 關於配置及多串流運行的要求,請參見 「串流間連接」。
任意有狀態運算子
| Operator | 支援 |
|---|---|
| (平坦)MapGroupsWithState | 不支援 |
| transformWithState | ✓(有些差異) |
使用者定義匯
| 水槽 | 支援 |
|---|---|
| forEach | ✓ |
| 逐批處理 | 不支援 |
特殊考慮
部分操作員與功能在即時模式下會有特定的考量或差異。
transformWithState 在即時模式下
為了建置自定義具狀態應用程式,Databricks 支援 transformWithState,這是 Apache Spark 結構化串流中的 API。 關於 API 和程式碼片段的更多資訊,請參見 「建構自訂有狀態應用程式 transformWithState 」。
transformWithState 支援同步與非同步的即時處理器。 關於非同步處理需求,請參見帶有 transformWithState的非同步處理。
然而,API 在即時模式下的行為與微批次查詢不同。
- 對於同步處理器,即時模式會呼叫每一列的方法
handleInputRows(key: String, inputRows: Iterator[T], timerValues: TimerValues)。-
inputRows反覆運算器會傳回單一值。 微批次模式會對每個鍵值呼叫一次,迭代器則inputRows回傳該微批次中該鍵的所有值。 - 在撰寫程式碼時請考慮這個差異。
-
- 對於非同步處理器,即時模式會將抵達的資料列分組,並對群組中每個鍵進行一次呼叫
handleInputRows,並連同該鍵的所有列。 由於即時模式會執行長時間執行的批次,同一金鑰在同一批次中可以接收多個呼叫。 - 即時模式不支援事件時間定時器。
-
transformWithStateInPandas在即時模式下不支援。 改用列式transformWithStateAPI,它使用Row物件而非 pandas DataFrame。 - 在即時模式下,計時器的觸發會因資料到達而延遲。
- 如果計時器排定在 10:00:00,但沒有資料到達,計時器不會立即觸發。
- 若資料在10:00:10抵達,計時器會在10秒後觸發。
- 若無資料抵達且長期執行的批次正在終止,計時器會在批次結束前觸發。
備註
在 Databricks Runtime 18.1 及以下版本中,如果你使用 transformWithState 並使用即時模式處理低吞吐量(每秒少於 5 筆記錄)的 Python,可能會增加到數百毫秒的延遲。 Databricks 建議升級到 Databricks Runtime 18.2 及以上以解決。
Python 即時模式下的 UDF
Databricks 支援大多數 Python 使用者定義函式(UDF)的即時模式:
無狀態
| UDF 類型 | 支援 |
|---|---|
| Python 純量 UDF(Python 純量使用者定義函數(UDFs)) | ✓ |
| Apache Arrow 純量 UDF | ✓ |
| Pandas 標量 UDF(pandas 使用者自定義函數) | ✓ |
箭頭函數 (mapInArrow) |
不支援(見限制) |
| Pandas 函數(地圖) | 不支援(見限制) |
有狀態分組(UDAF)
| UDF 類型 | 支援 |
|---|---|
transformWithState (僅限介面 Row ) |
✓ |
transformWithStateInPandas |
不支援。 改用列式 transformWithState API,它使用 Row 物件而非 pandas DataFrame。 詳情請參見 transformWithStateInPandas 「不支援 」。 |
applyInPandasWithState |
不支援 |
無狀態分群(UDAF)
| UDF 類型 | 支援 |
|---|---|
apply |
不支援 |
applyInArrow |
不支援 |
applyInPandas |
不支援 |
表格功能
| UDF 類型 | 支援 |
|---|---|
| UDTF(Python使用者定義表格函式(UDTFs)) | 不支援 |
| 加州大學 UDF | 不支援 |
在即時模式下使用 Python UDF 時,有幾個要點需要考慮:
- 在 Databricks Runtime 19 及以上版本中,即時模式會依時間批次處理 所有即時模式支援的 UDF 的輸入列。 每批次會收集在短時間窗口(10毫秒)內抵達的資料列,或直到達到最大批次大小,然後送回 UDF。 這樣可以平衡延遲和吞吐量,所以你不需要把 Arrow 的批次大小(
spark.sql.execution.arrow.maxRecordsPerBatch)設為 1。 - 在 Databricks Runtime 18 LTS 及以下版本中,列僅依計數批次處理:
- 為了降低延遲,請將 Arrow 的批次大小
spark.sql.execution.arrow.maxRecordsPerBatch()設為 1。 此配置以犧牲吞吐量為代價,優化延遲。 只有在需要更高的輸送量來容納輸入量時,才增加批次大小,並接受延遲的潛在增加。 - Pandas 的 UDF 在 Arrow 批次大小為 1 時表現不佳。 如果你使用 pandas 的 UDF,請將 Arrow 批次大小設定為較大的數值(例如 100 或更大)。 這代表延遲會更高。 Databricks 建議如果可能的話使用 Arrow UDF。
- 為了降低延遲,請將 Arrow 的批次大小
-
transformWithStateInPandas在即時模式下不支援。 改用列式transformWithStateAPI,它使用Row物件而非 pandas DataFrame。 請參考transformWithStateInPandasNot supported 以及 Real-time mode 範例 使用資料列 API 的可運作Python範例。 - 對於延遲敏感且帶有 UDF 的工作負載,Databricks 建議你使用專用存取模式。 在標準存取模式下,安全隔離的開銷可能會降低 UDF 效能。