STREAMING_REAL_TIME_MODE chyba stav

SQLSTATE: 0A000

Režim streamování v reálném čase má následující omezení:

ARBITRARY_STATEFUL_OPERATIONS_NOT_SUPPORTED

Libovolný stavový operátor streamování, <op>, není v současné době podporován. Seznam podporovaných operátorů najdete v uživatelské příručce pro režim Real-Time.

ASYNC_PROGRESS_TRACKING_KONTROLOVÁNÍ_INTERVALU_UKLÁDÁNÍ_NE_JE_NULA

Interval kontrolních bodů pro sledování asynchronního průběhu musí být nastavený na hodnotu 0, což znamená, že každá aktualizace průběhu je kontrolní bod. V možnostech DataStreamWriter nastavte možnost asyncProgressTrackingCheckpointIntervalMs na hodnotu 0 a zkuste dotaz zopakovat.

ASYNC_PROGRESS_TRACKING_NOT_SUPPORTED

Sledování asynchronního průběhu není podporováno v režimu v reálném čase. Nastavte parametr asyncProgressTrackingEnabled na false a zkuste dotaz zopakovat.

BATCH_UNION_NOT_SUPPORTED

Režim v reálném čase nepodporuje sjednocení se zdroji dávkových dat. Ujistěte se, že sjednocovací dotaz streamování obsahuje pouze streamované zdroje dat.

CHECKPOINT_FORMAT_V1_NOT_SUPPORTED

Režim v reálném čase nepodporuje formát kontrolního bodu v1. Pokud k tomu došlo při přepnutí do režimu v reálném čase, použijte nové umístění kontrolního bodu.

Pokud musíte pokračovat se stávajícím kontrolním bodem a potvrdit, že tím podstupujete možnost ztráty dat při selhání, nastavte spark.databricks.streaming.realTimeMode.dangerouslyAllowCheckpointV1.enabled na true.

CLUSTER_CONFIGURATION_NOT_SUPPORTED

Následující konfigurace nejsou podporovány:

<invalidReasons>. Nastavte spark.databricks.streaming.realTimeMode.enabled na true v konfiguraci clusteru, a pokud je přítomen, odeberte <confNames> z konfigurace clusteru, a poté restartujte váš Spark cluster.

DROP_DUPLICATES_WITHIN_WATERMARK_NOT_SUPPORTED

dropDuplicatesWithinWatermark se nepodporuje. Pokud chcete toto omezení obejít, můžete místo toho použít funkce dropDuplicates. Nezapomeňte předat sloupec času události funkci dropDuplicates, aby byly odstraněny duplicitní hodnoty a mohlo být uvolněno místo pro stav.

EVENT_TIME_BASED_TIMERS_IN_TRANSFORM_WITH_STATE_NOT_SUPPORTED

Časovače založené na čase událostí v operátoru transformWithState se zatím nepodporují. Pokud chcete použít operátor transformWithState, zadejte čas zpracování v operátoru transformWithState a zkuste dotaz zopakovat.

EXACTLY_ONCE_SINK_NOT_SUPPORTED

Jímka: <sink> doručuje výstup přesně jednou, což režim v reálném čase nepodporuje. Nastavte možnost 'mode' u jímky na 'atLeastOnce' a znovu spusťte svůj dotaz.

IDENTICAL_SOURCES_IN_UNION_NOT_SUPPORTED

Režim v reálném čase nepodporuje sjednocení u dvou nebo více identických streamovaných zdrojů dat v jednom dotazu. To zahrnuje scénáře, jako je odkazování na stejný zdrojový datový rámec více než jednou nebo použití dvou zdrojů dat se identickými konfiguracemi pro některé zdroje. V případě Systému Kafka nepoužívejte opakovaně stejný datový rámec a vytvořte jiné. U Kinesis kromě duplikování datových rámců zajistěte, aby každý datový rámec nastavil jedinečnou hodnotu pro možnost "consumerName". Zdroje zadané v dotazu: <sources>

INPUT_STREAM_NOT_SUPPORTED

Vstupní datový proud <className> není podporován. Seznam podporovaných vstupních datových proudů najdete v uživatelské příručce k Real-Time režimu.

OPERATOR_OR_SINK_NOT_IN_ALLOWLIST

<errorType> není v seznamu povolených položek <message> pro režim Real-Time. Pokud chcete tuto kontrolu obejít, nastavte spark.databricks.streaming.realTimeMode.allowlistCheck na false. Změnou této změny souhlasíte s spuštěním dotazu na vlastní riziko.

OUTPUT_MODE_NOT_SUPPORTED

Výstupní režim <outputMode> se nepodporuje. Pokud chcete toto omezení obejít, nastavte výstupní režim na Aktualizovat. V budoucnu může být <outputMode> podporováno.

SESSION_WINDOWS_NOT_SUPPORTED

Zatím se okna relací nepodporují. Jediné povolené agregace oken jsou přes přeskakující a posuvná okna.

SINK_NOT_SUPPORTED

Dřez <className> není v současné době podporován. Seznam podporovaných jímek najdete v uživatelské příručce pro režim Real-Time.

SQL_CONFIGURATION_NOT_SUPPORTED

Následující konfigurace nejsou podporovány:

<invalidReasons>. Nastavte spark.databricks.streaming.realTimeMode.enabled na true v konfiguraci clusteru, odeberte <confNames> z konfigurace SparkSession, pokud je k dispozici, a poté restartujte cluster Spark.

STATEFUL_OPERATORS_BEFORE_UNION_NOT_SUPPORTED

Dotazy streamování v režimu v reálném čase nemohou zahrnovat stavové operátory (například agregace, odstranění duplicitních dat, transformWithState) před sjednocením. Změňte strukturu dotazu tak, aby se sjednocovací operace použily před všemi stavovým operacemi.

NESTREAMOVÉ_PŘIPOJENÍ_STREAMU_NENÍ_PODPOROVÁNO

RTM stream-stream spojení v současné době podporuje pouze vnitřní spojení, ale došlo k <joinType>.

STREAM_STREAM_JOIN_POLLING_REQUIRED

Spojení streamů v režimu reálného času vyžaduje, aby oba vstupní streamy podporovaly neblokující iteraci. Tuto funkci můžete použít povolením spark.sql.streaming.realTimeMode.controlMessage.enabled.