ストリーミング リアルタイム モードには、次の制限があります。
ARBITRARY_STATEFUL_OPERATIONS_NOT_SUPPORTED（任意の状態操作はサポートされていません）
現在、任意のステートフル ストリーミング演算子 (<op>) はサポートされていません。 サポートされている演算子の一覧については、Real-Time モード ユーザー ガイドを参照してください。
非同期進捗追跡はサポートされていません
非同期進行状況の追跡は、リアルタイム モードではサポートされていません。 オプション asyncProgressTrackingEnabled を false に設定し、クエリを再試行します。
非同期状態チェックポイントはサポートされていません (ASYNC_STATE_CHECKPOINT_NOT_SUPPORTED)
非同期状態のチェックポイント処理は、リアルタイム モードではサポートされていません。 spark.databricks.streaming.statefulOperator.asyncCheckpoint.enabled を false に設定し、クエリを再試行します。
バッチ結合はサポートされていません
リアルタイム モードでは、バッチ データ ソースと結合することはサポートされていません。 共用体ストリーミング クエリにストリーミング データ ソースのみが含まれていることを確認します。
CLUSTER_CONFIGURATION_NOT_SUPPORTED（クラスタ構成はサポートされていません）
次の構成はサポートされていません。
<invalidReasons>。 クラスター構成で spark.databricks.streaming.realTimeMode.enabled を true に設定し、クラスター構成から <confNames> を削除してから、Spark クラスターを再起動します。
DROP_DUPLICATES_WITHIN_WATERMARK_NOT_SUPPORTED
dropDuplicatesWithinWatermark はサポートされていません。 この制限を回避するには、代わりに dropDuplicates を使用します。 状態を削除できるように、忘れずにイベント時間列を dropDuplicate に渡してください。
状態付き変換でのイベント時間ベースのタイマーはサポートされていません
transformWithState 演算子のイベント時間ベースのタイマーはまだサポートされていません。 transformWithState 演算子を使用する場合は、transformWithState 演算子で処理時間を指定し、クエリを再試行してください。
UNION内での同一ソースはサポートされていません
リアルタイム モードでは、1 つのクエリで 2 つ以上の同一のストリーミング データ ソースでの共用体はサポートされません。 これには、同じソース DataFrame を複数回参照したり、一部のソースで同じ構成で 2 つのデータ ソースを使用したりするシナリオが含まれます。 Kafka の場合は、同じ DataFrame を再利用しないようにし、別の DataFrame を作成します。 Kinesis の場合、データ フレームの複製に加えて、各 DataFrame で "consumerName" オプションの一意の値が設定されていることを確認します。 クエリで提供されるソース: <sources>
入力ストリームはサポートされていません。
入力ストリーム <className> はサポートされていません。 サポートされている入力ストリームの一覧については、「Real-Time モード ユーザー ガイド」を参照してください。
許可リストに含まれていないオペレーターまたはシンク
<errorType>: <message> は、リアルタイム モードの <errorType> 許可リストに含まれていません。 このチェックをバイパスするには、spark.databricks.streaming.realTimeMode.allowlistCheck を false に設定します。 これを変更することで、お客様は、ご自身の責任でクエリを実行することに同意します。
出力モードがサポートされていません
出力モード <outputMode> はサポートされていません。 この制限を回避するには、出力モードを [更新] に設定します。 今後、<outputMode> がサポートされる可能性があります。
セッションウィンドウはサポートされていません
セッション ウィンドウはまだサポートされていません。 タンブリング ウィンドウおよびスライディング ウィンドウに対してのみ、ウィンドウ集計を使用できます。
1回以上シャッフル
物理プランには、 <shuffleCount> org.apache.spark.sql.execution.exchange.ShuffleExchangeExec 演算子があります。 おそらく、シャッフルを必要とする操作を複数回呼び出しており、RTM はこれをサポートしていません。 クエリを実行するには、spark.databricks.streaming.realTimeMode.allowlistCheck を false に設定します。 これを変更することで、お客様は、ご自身の責任でクエリを実行することに同意します。
シンクはサポートされていません
<className> シンクは現在サポートされていません。 サポートされているシンクの一覧については、「Real-Time モード ユーザー ガイド」を参照してください。
SQL_CONFIGURATION_NOT_SUPPORTED（SQL設定はサポートされていません）
次の構成はサポートされていません。
<invalidReasons>。 クラスター構成で spark.databricks.streaming.realTimeMode.enabled を true に設定し、存在する場合は SparkSession 構成から <confNames> を削除してから、Spark クラスターを再起動します。
ユニオン操作の前にステートフルな演算子はサポートされていません
リアルタイム モードのストリーミング クエリには、共用体の前にステートフル演算子 (集計、重複除去、transformWithState など) を含めることはできません。 クエリを再構成し、ステートフル操作の前にユニオンを適用するようにしてください。
ストリームの結合はサポートされていません
ストリーミング結合の種類はまだサポートされていません。