このページでは、Structured Streaming APIを直接使用するリアルタイムモードクエリのサポートについて説明します。 マネージドパイプラインについては、 Lakeflowパイプラインのリアルタイムモードを参照してください。これはランタイム、ソース、シンク、オペレーターの各要件が別々です。
サポートされている言語
リアルタイム モードでは、Scala、Java、およびPythonがサポートされます。
コンピューティングの種類
リアルタイム モードでは、次のコンピューティングの種類がサポートされます。
| コンピューティングの種類 | サポートされている |
|---|---|
| 専用 (以前: シングル ユーザー) | ✓ |
| Standard (以前: 共有) | ✓ (Pythonのみ) |
| クラシック上の Lakeflow パイプライン | パイプライン構成を通じたサポート |
| サーバーレスでの Lakeflow パイプライン | パイプライン構成を通じたサポート |
| サーバーレス ノートブックとジョブ | 直接的な構造化ストリーミングのリアルタイムクエリにはサポートされていません |
UDF を使用した待機時間の影響を受けやすいワークロードの場合、Databricks では専用アクセス モードを使用することをお勧めします。 テーブル関数を参照してください。
実行モード
リアルタイム モードでは、更新モードのみがサポートされます。
| 実行モード | サポートされている |
|---|---|
| 更新モード | ✓ |
| 追加モード | サポートしていません |
| 完全モード | サポートしていません |
ソースとシンク
リアルタイム モードでは、次のソースとシンクがサポートされます。
| ソースまたはシンク | ソースとして | シンクとして |
|---|---|---|
| Apache Kafka | ✓ | ✓ |
| Event Hubs (Kafka コネクタを使用) | ✓ | ✓ |
| Kinesis | ✓(EFOモード推奨;Databricks Runtime 19以上でのポーリング) | サポートしていません |
| AWS MSK | ✓ | サポートしていません |
| Delta | サポートしていません | サポートしていません |
| Google Pub/Sub (グーグルパブサブ) | サポートしていません | サポートしていません |
| アパッチ・パルサー | サポートしていません | サポートしていません |
任意のシンク ( forEachWriterを使用) |
適用なし | ✓ |
オペレーター
リアルタイム モードでは、ほとんどの構造化ストリーミング演算子がサポートされています。
ステートレス操作
| Operator | サポートされている |
|---|---|
| [選択] | ✓ |
| プロジェクション | ✓ |
mapPartitions |
サポートされていません (制限を参照) |
| Union | ✓ (いくつかの制限あり) |
UDFs
| Operator | サポートされている |
|---|---|
| Scalaユーザー定義関数 (UDF) | ✓(スカラーUDF)。
flatMapGroupsやmapGroupsWithStateのようなグループ化された機能はサポートされていません。 |
| PYTHON UDF | ✓ (いくつかの制限あり) |
集約
| Function | サポートされている |
|---|---|
| sum | ✓ |
| 数える | ✓ |
| max | ✓ |
| min | ✓ |
| avg | ✓ |
| 集計関数 | ✓ |
ウィンドウ処理
| Operator | サポートされている |
|---|---|
| タンブリング | ✓ |
| スライディング | ✓ |
| セッション | サポートしていません |
重複除去 (Deduplication)
| Operator | サポートされている |
|---|---|
| dropDuplicates | ✓ |
| ウォーターマーク内の重複を削除する | ✓ |
テーブルへのストリーム結合
| Operator | サポートされている |
|---|---|
| 内部結合 | ✓ |
| 外部結合 | ✓ |
| ブロードキャスト テーブル結合 (テーブル サイズが 10 mb 以下) | ✓ |
| テーブル結合 (ブロードキャストなし) | サポートしていません |
ストリームからストリームへの参加
| Operator | サポートされている |
|---|---|
| 内部結合 | ✓ (Databricks Runtime 18 LTS 以降、一部の構成) |
| 外部結合 | サポートしていません |
Note
ストリームを使用してリアルタイム モードで結合をストリーミングするには、追加の Spark 構成を設定する必要があります。 構成の詳細と、複数のストリームを実行するための要件については、「 ストリームからストリームへの結合」を参照してください。
任意のステートフル演算子
| Operator | サポートされている |
|---|---|
| (フラット)MapGroupsWithState | サポートしていません |
| transformWithState | ✓ (いくつかの違いあり) |
ユーザー定義シンク
| シンク | サポートされている |
|---|---|
| forEach | ✓ |
| forEachBatch | サポートしていません |
特別な考慮事項
一部の演算子と機能は、リアルタイム モードで使用する場合、特定の考慮事項や違いがあります。
transformWithState リアルタイム モード
カスタムステートフル アプリケーションを構築するために、Databricks は Apache Spark Structured Streaming の API である transformWithState をサポートします。 APIやコードスニペットの詳細については、「transformWithStateでカスタムステートフルアプリケーションを構築する」をご覧ください。
transformWithState リアルタイムモードで同期プロセッサと非同期プロセッサの両方をサポートしています。 非同期処理の要件については、transformWithStateによる非同期処理を参照してください。
ただし、API の動作は、マイクロバッチ クエリの場合とはリアルタイム モードでは異なります。
- 同期プロセッサの場合、リアルタイムモードで各行ごとに
handleInputRows(key: String, inputRows: Iterator[T], timerValues: TimerValues)メソッドを呼び出します。-
inputRows反復子は 1 つの値を返します。 マイクロバッチモードでは各キーごとに1回呼び出し、inputRowsイテレータはマイクロバッチ内のキーのすべての値を返します。 - この違いを考慮してコードを書いてください。
-
- 非同期プロセッサの場合、リアルタイムモードは到着した行をまとめ、グループ内の各キーごとに1回ずつ呼び出し
handleInputRows、そのキーのすべての行を呼び出します。 リアルタイムモードは長時間実行されるバッチを実行するため、同じ鍵が1つのバッチ内で多くの通話を受けることができます。 - イベント時間タイマーは、リアルタイム モードではサポートされていません。
-
transformWithStateInPandasはリアルタイム モードではサポートされていません。 代わりに、pandas DataFrames ではなくtransformWithStateオブジェクトを使用する行ベースのRowAPI を使用します。 - リアルタイム モードでは、データ到着に応じてタイマーの起動が遅れます。
- タイマーが 10:00:00 にスケジュールされていても、データが到着しない場合、タイマーはすぐに起動しません。
- データが 10:00:10 に到着すると、タイマーは 10 秒の遅延で起動します。
- データが到着せず、実行時間の長いバッチが終了している場合は、バッチが終了する前にタイマーが起動します。
Note
Databricks Runtime 18.1 以下では、スループットが低く、1 秒あたり 5 レコード未満のPythonに対して transformWithState とリアルタイム モードを使用すると、待機時間が最大で数百ミリ秒に増加する可能性があります。 Databricks では、解決するために Databricks Runtime 18.2 以降にアップグレードすることをお勧めします。
Python UDF をリアルタイム モードで使用する
Databricks では、Pythonユーザー定義関数 (UDF) の大部分がリアルタイム モードでサポートされています。
ステートレス
| UDF の種類 | サポートされている |
|---|---|
| Python スカラー UDF (Python スカラー ユーザー定義関数 (UDF) ) | ✓ |
| 矢印スカラー UDF | ✓ |
| Pandas スカラー UDF (pandas ユーザー定義関数) | ✓ |
Arrow 関数 (mapInArrow) |
サポートされていません (制限を参照) |
| Pandas 関数 (マップ) | サポートされていません (制限を参照) |
ステートフル グループ化 (UDAF)
| UDF の種類 | サポートされている |
|---|---|
transformWithState (インターフェイス Row のみ) |
✓ |
transformWithStateInPandas |
サポートされていません。 代わりに、pandas DataFrames ではなくtransformWithState オブジェクトを使用する行ベースのRow API を使用します。 詳細については、サポートされていないtransformWithStateInPandasを参照してください。 |
applyInPandasWithState |
サポートしていません |
ステートフルでないグループ化 (UDAF)
| UDF の種類 | サポートされている |
|---|---|
apply |
サポートしていません |
applyInArrow |
サポートしていません |
applyInPandas |
サポートしていません |
テーブル関数
| UDF の種類 | サポートされている |
|---|---|
| UDTF (Python ユーザー定義テーブル関数 (UDF)) | サポートしていません |
| UC UDF | サポートしていません |
Python UDF をリアルタイム モードで使用する場合は、いくつかの点を考慮する必要があります。
- Databricks Runtime 19以降では、リアルタイムモードでリアルタイムモードが サポートするすべてのUDFに対して、入力行を時間ごとにバッチ処理します。 各バッチは短時間(10ミリ秒)以内に到着した行を収集し、最大バッチサイズに達するまで行をUDFに送ります。 これによりレイテンシとスループットがバランスが取られるため、Arrowのバッチサイズ(
spark.sql.execution.arrow.maxRecordsPerBatch)を1に設定する必要はありません。 - Databricks Runtime 18 LTS以降では、行はカウントのみでバッチ分けされます:
- 待機時間を最小限に抑えるには、方向バッチ サイズ (
spark.sql.execution.arrow.maxRecordsPerBatch) を 1 に設定します。 この構成はスループットを犠牲にしてレイテンシを最適化します。 バッチ サイズを増やすのは、入力ボリュームに対応するためにより高いスループットが必要な場合に限り、待機時間の増加の可能性を受け入れます。 - Pandas UDFはArrowのバッチサイズが1ではあまり性能が良くありません。 pandasのUDFを使う場合は、Arrowのバッチサイズをより高い値(例えば100以上)に設定してください。 これは、待機時間が長いことを意味します。 Databricksは可能であればArrow UDFの使用を推奨しています。
- 待機時間を最小限に抑えるには、方向バッチ サイズ (
-
transformWithStateInPandasはリアルタイム モードではサポートされていません。 代わりに、pandas DataFrames ではなくtransformWithStateオブジェクトを使用する行ベースのRowAPI を使用します。transformWithStateInPandasはサポートされていません および Real-time モードの例行ベースの API を使用したPython例を参照してください。 - UDF を使用した待機時間の影響を受けやすいワークロードの場合、Databricks では専用アクセス モードを使用することをお勧めします。 標準アクセス モードでは、セキュリティ分離のオーバーヘッドによって UDF のパフォーマンスが低下する可能性があります。