Fehlerbedingung STREAMING_REAL_TIME_MODE

SQLSTATE: 0A000

Der Streaming-Echtzeitmodus hat die folgende Einschränkung:

ARBITRARY_STATEFUL_OPERATIONS_NOT_SUPPORTED

Der beliebige zustandsbehaftete Streaming-Operator <op> wird derzeit nicht unterstützt. Eine Liste der unterstützten Operatoren finden Sie im Real-Time Modus-Benutzerhandbuch.

ASYNC_PROGRESS_TRACKING_CHECKPOINTING_INTERVAL_NON_ZERO (nicht null)

Das Prüfpunktintervall für die asynchrone Statusnachverfolgung muss auf 0 festgelegt werden, was bedeutet, dass jede Statusaktualisierung überprüft wird. Legen Sie die Option "asyncProgressTrackingCheckpointIntervalMs" in "DataStreamWriter"-Optionen auf 0 fest, und wiederholen Sie die Abfrage.

BATCH_UNION_NOT_SUPPORTED

Der Echtzeitmodus unterstützt keine Union mit Batchdatenquellen. Stellen Sie sicher, dass die Union-Streamingabfrage nur Streamingdatenquellen enthält.

CLUSTER_CONFIGURATION_NOT_SUPPORTED

Die folgenden Konfigurationen werden nicht unterstützt:

<invalidReasons>. Legen Sie spark.databricks.streaming.realTimeMode.enabled in Ihrer Clusterkonfiguration auf "true" fest, entfernen Sie <confNames> aus der Clusterkonfiguration, falls vorhanden, und starten Sie dann Ihren Spark-Cluster neu.

DROP_DUPLICATES_WITHIN_WATERMARK_NOT_SUPPORTED

dropDuplicatesWithinWatermark wird nicht unterstützt. Um diese Einschränkung zu umgehen, können Sie stattdessen dropDuplicates verwenden. Denken Sie daran, die Spalte für die Ereigniszeit (event-time) an „dropDuplicates“ zu übergeben, damit der Zustand entfernt werden kann.

EVENT_TIME_BASED_TIMERS_IN_TRANSFORM_WITH_STATE_NOT_SUPPORTED

Ereigniszeitbasierte Zeitgeber in transformWithState-Operator werden noch nicht unterstützt. Wenn Sie den operator transformWithState verwenden möchten, geben Sie die Verarbeitungszeit in Ihrem transformWithState-Operator an, und wiederholen Sie die Abfrage.

GENAU_EINMAL_SENKE_NICHT_UNTERSTÜTZT

Der Sink: <sink> liefert die Ausgabe genau einmal, was vom Echtzeitmodus nicht unterstützt wird. Legen Sie die Sinkoption "mode" auf "atLeastOnce" fest, und wiederholen Sie die Abfrage.

IDENTICAL_SOURCES_IN_UNION_NOT_SUPPORTED

Der Echtzeitmodus unterstützt keine Union in zwei oder mehr identischen Streamingdatenquellen in einer einzigen Abfrage. Dies umfasst Szenarien wie das Verweisen auf dasselbe Datenquellenframe-Element mehrmals oder die Verwendung von zwei Datenquellen mit identischen Konfigurationen für einige Quellen. Vermeiden Sie für Kafka, den gleichen DataFrame wiederzuverwenden und andere zu erstellen. Stellen Sie für Kinesis zusätzlich zum Duplizieren von Datenframes sicher, dass jeder DataFrame einen eindeutigen Wert für die Option "consumerName" festlegt. In der Abfrage bereitgestellte Quellen: <sources>

INPUT_STREAM_NOT_SUPPORTED

Der Eingabedatenstrom <className> wird nicht unterstützt. Eine Liste der unterstützten Eingabedatenströme finden Sie im Real-Time Modus-Benutzerhandbuch.

OPERATOR_OR_SINK_NOT_IN_ALLOWLIST

<errorType>: <message> ist nicht in der <errorType>-Positivliste für den Echtzeitmodus. Um diese Überprüfung zu umgehen, legen Sie "spark.databricks.streaming.realTimeMode.allowlistCheck" auf "false" fest. Indem Sie dies ändern, stimmen Sie zu, die Abfrage auf eigenes Risiko auszuführen.

OUTPUT_MODE_NOT_SUPPORTED

Der Ausgabemodus <outputMode> wird nicht unterstützt. Um diese Einschränkung zu umgehen, legen Sie den Ausgabemodus auf "Aktualisieren" fest. In Zukunft wird <outputMode> möglicherweise unterstützt.

SESSION_WINDOWS_NOT_SUPPORTED

Sitzungsfenster werden noch nicht unterstützt. Die einzigen zulässigen Fensteraggregationen sind über rollierende und gleitende Fenster.

SHUFFLE_MORE_THAN_ONCE

Es gibt <shuffleCount> Streaming-Shuffle-Operatoren im physischen Plan. Wahrscheinlich rufen Sie Vorgänge mehrmals auf, die einen Shuffle erfordern, und RTM unterstützt dies nicht. Um die Abfrage auszuführen, legen Sie "spark.databricks.streaming.realTimeMode.allowlistCheck" auf "false" fest. Indem Sie dies ändern, stimmen Sie zu, die Abfrage auf eigenes Risiko auszuführen.

SINK_NOT_SUPPORTED

Die <className> Spüle wird derzeit nicht unterstützt. Eine Liste der unterstützten Senken finden Sie im Real-Time Modus-Benutzerhandbuch.

SQL_CONFIGURATION_NOT_SUPPORTED

Die folgenden Konfigurationen werden nicht unterstützt:

<invalidReasons>. Setzen Sie "spark.databricks.streaming.realTimeMode.enabled" in Ihrer Clusterkonfiguration auf "true", und entfernen Sie <confNames> aus Ihrer SparkSession-Konfiguration, falls es vorhanden ist, und starten Sie dann Ihren Spark-Cluster neu.

STATEFUL_OPERATORS_BEFORE_UNION_NOT_SUPPORTED

Streamingabfragen im Echtzeitmodus können keine zustandsbehafteten Operatoren (z. B. Aggregat, Deduplicate, transformWithState) vor einer Union enthalten. Strukturieren Sie Ihre Abfrage neu, um den Union-Vorgang vor zustandsbehafteten Vorgängen anzuwenden.

STREAM_STREAM_JOIN_NOT_SUPPORTED

Es werden noch keine Streamingbeitritte unterstützt.