リアルタイム モードリファレンス

このページでは、Structured Streaming APIを直接使用するリアルタイムモードクエリのサポートについて説明します。 マネージドパイプラインについては、 Lakeflowパイプラインのリアルタイムモードを参照してください。これはランタイム、ソース、シンク、オペレーターの各要件が別々です。

サポートされている言語

リアルタイム モードでは、Scala、Java、およびPythonがサポートされます。

コンピューティングの種類

リアルタイム モードでは、次のコンピューティングの種類がサポートされます。

コンピューティングの種類 サポートされている
専用 (以前: シングル ユーザー) ✓
Standard (以前: 共有) ✓ (Pythonのみ)
クラシック上の Lakeflow パイプライン パイプライン構成を通じたサポート
サーバーレスでの Lakeflow パイプライン パイプライン構成を通じたサポート
サーバーレス ノートブックとジョブ 直接的な構造化ストリーミングのリアルタイムクエリにはサポートされていません

UDF を使用した待機時間の影響を受けやすいワークロードの場合、Databricks では専用アクセス モードを使用することをお勧めします。 テーブル関数を参照してください。

実行モード

リアルタイム モードでは、更新モードのみがサポートされます。

実行モード サポートされている
更新モード ✓
追加モード サポートしていません
完全モード サポートしていません

ソースとシンク

リアルタイム モードでは、次のソースとシンクがサポートされます。

ソースまたはシンク ソースとして シンクとして
Apache Kafka ✓ ✓
Event Hubs (Kafka コネクタを使用) ✓ ✓
Kinesis ✓(EFOモード推奨;Databricks Runtime 19以上でのポーリング) サポートしていません
AWS MSK ✓ サポートしていません
Delta サポートしていません サポートしていません
Google Pub/Sub (グーグルパブサブ) サポートしていません サポートしていません
アパッチ・パルサー サポートしていません サポートしていません
任意のシンク ( forEachWriterを使用) 適用なし ✓

オペレーター

リアルタイム モードでは、ほとんどの構造化ストリーミング演算子がサポートされています。

ステートレス操作

Operator サポートされている
[選択] ✓
プロジェクション ✓
mapPartitions サポートされていません (制限を参照)
Union ✓ (いくつかの制限あり)

UDFs

Operator サポートされている
Scalaユーザー定義関数 (UDF) ✓(スカラーUDF)。 flatMapGroupsやmapGroupsWithStateのようなグループ化された機能はサポートされていません。
PYTHON UDF ✓ (いくつかの制限あり)

集約

Function サポートされている
sum ✓
数える ✓
max ✓
min ✓
avg ✓
集計関数 ✓

ウィンドウ処理

Operator サポートされている
タンブリング ✓
スライディング ✓
セッション サポートしていません

重複除去 (Deduplication)

Operator サポートされている
dropDuplicates ✓
ウォーターマーク内の重複を削除する ✓

テーブルへのストリーム結合

Operator サポートされている
内部結合 ✓
外部結合 ✓
ブロードキャスト テーブル結合 (テーブル サイズが 10 mb 以下) ✓
テーブル結合 (ブロードキャストなし) サポートしていません

ストリームからストリームへの参加

Operator サポートされている
内部結合 ✓ (Databricks Runtime 18 LTS 以降、一部の構成)
外部結合 サポートしていません

Note

ストリームを使用してリアルタイム モードで結合をストリーミングするには、追加の Spark 構成を設定する必要があります。 構成の詳細と、複数のストリームを実行するための要件については、「 ストリームからストリームへの結合」を参照してください。

任意のステートフル演算子

Operator サポートされている
(フラット)MapGroupsWithState サポートしていません
transformWithState ✓ (いくつかの違いあり)

ユーザー定義シンク

シンク サポートされている
forEach ✓
forEachBatch サポートしていません

特別な考慮事項

一部の演算子と機能は、リアルタイム モードで使用する場合、特定の考慮事項や違いがあります。

transformWithState リアルタイム モード

カスタムステートフル アプリケーションを構築するために、Databricks は Apache Spark Structured Streaming の API である transformWithState をサポートします。 APIやコードスニペットの詳細については、「transformWithStateでカスタムステートフルアプリケーションを構築する」をご覧ください。

transformWithState リアルタイムモードで同期プロセッサと非同期プロセッサの両方をサポートしています。 非同期処理の要件については、transformWithStateによる非同期処理を参照してください。

ただし、API の動作は、マイクロバッチ クエリの場合とはリアルタイム モードでは異なります。

  • 同期プロセッサの場合、リアルタイムモードで各行ごとに handleInputRows(key: String, inputRows: Iterator[T], timerValues: TimerValues) メソッドを呼び出します。
    • inputRows反復子は 1 つの値を返します。 マイクロバッチモードでは各キーごとに1回呼び出し、 inputRows イテレータはマイクロバッチ内のキーのすべての値を返します。
    • この違いを考慮してコードを書いてください。
  • 非同期プロセッサの場合、リアルタイムモードは到着した行をまとめ、グループ内の各キーごとに1回ずつ呼び出し handleInputRows 、そのキーのすべての行を呼び出します。 リアルタイムモードは長時間実行されるバッチを実行するため、同じ鍵が1つのバッチ内で多くの通話を受けることができます。
  • イベント時間タイマーは、リアルタイム モードではサポートされていません。
  • transformWithStateInPandas はリアルタイム モードではサポートされていません。 代わりに、pandas DataFrames ではなくtransformWithState オブジェクトを使用する行ベースのRow API を使用します。
  • リアルタイム モードでは、データ到着に応じてタイマーの起動が遅れます。
    • タイマーが 10:00:00 にスケジュールされていても、データが到着しない場合、タイマーはすぐに起動しません。
    • データが 10:00:10 に到着すると、タイマーは 10 秒の遅延で起動します。
    • データが到着せず、実行時間の長いバッチが終了している場合は、バッチが終了する前にタイマーが起動します。

Note

Databricks Runtime 18.1 以下では、スループットが低く、1 秒あたり 5 レコード未満のPythonに対して transformWithState とリアルタイム モードを使用すると、待機時間が最大で数百ミリ秒に増加する可能性があります。 Databricks では、解決するために Databricks Runtime 18.2 以降にアップグレードすることをお勧めします。

Python UDF をリアルタイム モードで使用する

Databricks では、Pythonユーザー定義関数 (UDF) の大部分がリアルタイム モードでサポートされています。

ステートレス

UDF の種類 サポートされている
Python スカラー UDF (Python スカラー ユーザー定義関数 (UDF) ) ✓
矢印スカラー UDF ✓
Pandas スカラー UDF (pandas ユーザー定義関数) ✓
Arrow 関数 (mapInArrow) サポートされていません (制限を参照)
Pandas 関数 (マップ) サポートされていません (制限を参照)

ステートフル グループ化 (UDAF)

UDF の種類 サポートされている
transformWithState (インターフェイス Row のみ) ✓
transformWithStateInPandas サポートされていません。 代わりに、pandas DataFrames ではなくtransformWithState オブジェクトを使用する行ベースのRow API を使用します。 詳細については、サポートされていないtransformWithStateInPandasを参照してください。
applyInPandasWithState サポートしていません

ステートフルでないグループ化 (UDAF)

UDF の種類 サポートされている
apply サポートしていません
applyInArrow サポートしていません
applyInPandas サポートしていません

テーブル関数

UDF の種類 サポートされている
UDTF (Python ユーザー定義テーブル関数 (UDF)) サポートしていません
UC UDF サポートしていません

Python UDF をリアルタイム モードで使用する場合は、いくつかの点を考慮する必要があります。

  • Databricks Runtime 19以降では、リアルタイムモードでリアルタイムモードが サポートするすべてのUDFに対して、入力行を時間ごとにバッチ処理します。 各バッチは短時間(10ミリ秒)以内に到着した行を収集し、最大バッチサイズに達するまで行をUDFに送ります。 これによりレイテンシとスループットがバランスが取られるため、Arrowのバッチサイズ(spark.sql.execution.arrow.maxRecordsPerBatch)を1に設定する必要はありません。
  • Databricks Runtime 18 LTS以降では、行はカウントのみでバッチ分けされます:
    • 待機時間を最小限に抑えるには、方向バッチ サイズ (spark.sql.execution.arrow.maxRecordsPerBatch) を 1 に設定します。 この構成はスループットを犠牲にしてレイテンシを最適化します。 バッチ サイズを増やすのは、入力ボリュームに対応するためにより高いスループットが必要な場合に限り、待機時間の増加の可能性を受け入れます。
    • Pandas UDFはArrowのバッチサイズが1ではあまり性能が良くありません。 pandasのUDFを使う場合は、Arrowのバッチサイズをより高い値(例えば100以上)に設定してください。 これは、待機時間が長いことを意味します。 Databricksは可能であればArrow UDFの使用を推奨しています。
  • transformWithStateInPandas はリアルタイム モードではサポートされていません。 代わりに、pandas DataFrames ではなくtransformWithState オブジェクトを使用する行ベースのRow API を使用します。 transformWithStateInPandasはサポートされていません および Real-time モードの例行ベースの API を使用したPython例を参照してください。
  • UDF を使用した待機時間の影響を受けやすいワークロードの場合、Databricks では専用アクセス モードを使用することをお勧めします。 標準アクセス モードでは、セキュリティ分離のオーバーヘッドによって UDF のパフォーマンスが低下する可能性があります。