실시간 스트리밍 모드에는 다음과 같은 제한 사항이 있습니다.
ARBITRARY_STATEFUL_OPERATIONS_NOT_SUPPORTED
임의 상태 저장 스트리밍 연산자(<op>)는 현재 지원되지 않습니다. 지원되는 연산자 목록은 Real-Time 모드 사용자 가이드를 참조하세요.
ASYNC_PROGRESS_TRACKING_CHECKPOINTING_INTERVAL_NON_ZERO
비동기 진행률 추적에 대한 검사점 간격을 0으로 설정해야 합니다. 즉, 각 진행률 업데이트가 검사점이 지정됩니다. DataStreamWriter 옵션에서 asyncProgressTrackingCheckpointIntervalMs 옵션을 0으로 설정하고 쿼리를 다시 시도합니다.
ASYNC_PROGRESS_TRACKING_NOT_SUPPORTED
비동기 진행률 추적은 실시간 모드에서 지원되지 않습니다. asyncProgressTrackingEnabled 옵션을 false로 설정하고 쿼리를 다시 시도합니다.
BATCH_UNION_NOT_SUPPORTED
실시간 모드는 일괄 처리 데이터 원본과의 통합을 지원하지 않습니다. 유니온 스트리밍 쿼리에 스트리밍 데이터 원본만 포함되어 있는지 확인합니다.
None needed as the original translation is appropriate.
실시간 모드는 검사점 형식 v1을 지원하지 않습니다. 실시간 모드로 전환하는 동안 이 문제가 발생한 경우 새 검사점 위치를 사용합니다.
기존 검사점을 계속 사용해야 하고 그렇게 함으로써 실패 시 데이터 손실의 가능성에 노출될 수 있음을 인식해야 한다면, spark.databricks.streaming.realTimeMode.dangerouslyAllowCheckpointV1.enabled를 true로 설정합니다.
CLUSTER_CONFIGURATION_NOT_SUPPORTED
다음 구성은 지원되지 않습니다.
<invalidReasons>; 클러스터 구성에서 spark.databricks.streaming.realTimeMode.enabled를 true로 설정하고, <confNames>을 클러스터 구성에서 제거한 후, Spark 클러스터를 다시 시작합니다.
DROP_DUPLICATES_WITHIN_WATERMARK_NOT_SUPPORTED
dropDuplicatesWithinWatermark는 지원되지 않습니다. 이 제한을 해결하려면 dropDuplicate를 대신 사용할 수 있습니다. 상태를 제거하기 위해 이벤트 시간 열을 반드시 dropDuplicates에 전달하십시오.
EVENT_TIME_BASED_TIMERS_IN_TRANSFORM_WITH_STATE_NOT_SUPPORTED
transformWithState 연산자의 이벤트 시간 기반 타이머는 아직 지원되지 않습니다. transformWithState 연산자를 사용하려면 transformWithState 연산자에서 처리 시간을 지정하고 쿼리를 다시 시도하세요.
정확히_한_번_싱크_지원_안됨
싱크: <sink> 출력을 정확히 한 번 전달하며 실시간 모드에서는 지원되지 않습니다. 싱크 옵션 'mode'를 'atLeastOnce'로 설정하고 쿼리를 다시 시도합니다.
IDENTICAL_SOURCES_IN_UNION_NOT_SUPPORTED
실시간 모드는 단일 쿼리에서 둘 이상의 동일한 스트리밍 데이터 원본에 대한 공용 구조체를 지원하지 않습니다. 여기에는 동일한 원본 DataFrame을 두 번 이상 참조하거나 일부 원본에 대해 동일한 구성으로 두 개의 데이터 원본을 사용하는 등의 시나리오가 포함됩니다. Kafka의 경우 동일한 DataFrame을 다시 사용하지 말고 다른 데이터 프레임을 만듭니다. Kinesis의 경우 데이터 프레임을 복제하는 것 외에도 각 DataFrame이 "consumerName" 옵션에 대해 고유한 값을 설정해야 합니다. 쿼리에 제공된 원본: <sources>
INPUT_STREAM_NOT_SUPPORTED
입력 스트림 <className> 은 지원되지 않습니다. 지원되는 입력 스트림 목록은 Real-Time 모드 사용자 가이드를 참조하세요.
OPERATOR_OR_SINK_NOT_IN_ALLOWLIST
<errorType>(s): <message> Real-Time 모드의 <errorType> 허용 목록에 포함되지 않음 이 검사를 무시하려면 spark.databricks.streaming.realTimeMode.allowlistCheck를 false로 설정합니다. 이를 변경하면 사용자 고유의 위험으로 쿼리를 실행하는 데 동의하게 됩니다.
OUTPUT_MODE_NOT_SUPPORTED
출력 모드 <outputMode> 지원되지 않습니다. 이 제한을 해결하려면 출력 모드를 업데이트로 설정합니다. 나중에 <outputMode> 지원될 수 있습니다.
SESSION_WINDOWS_NOT_SUPPORTED
세션 창은 아직 지원되지 않습니다. 허용되는 유일한 창 집계는 텀블링 및 슬라이딩 윈도우입니다.
SHUFFLE_MORE_THAN_ONCE
실제 계획에는 <shuffleCount> 스트리밍 셔플 연산자가 있습니다. 아마도 셔플이 여러 번 필요한 작업을 호출하고 있으며, RTM은 이를 지원하지 않습니다. 쿼리를 실행하려면 spark.databricks.streaming.realTimeMode.allowlistCheck를 false로 설정합니다. 이를 변경하면 사용자 고유의 위험으로 쿼리를 실행하는 데 동의하게 됩니다.
SINK_NOT_SUPPORTED
현재 <className> 싱크는 지원되지 않습니다. 지원되는 싱크 목록은 Real-Time 모드 사용자 가이드를 참조하세요.
SQL_CONFIGURATION_NOT_SUPPORTED
다음 구성은 지원되지 않습니다.
<invalidReasons>; 클러스터 구성에서 spark.databricks.streaming.realTimeMode.enabled를 true로 설정하고, SparkSession 구성에서 <confNames>가 있는 경우 제거한 후, Spark 클러스터를 다시 시작합니다.
STATEFUL_OPERATORS_BEFORE_UNION_NOT_SUPPORTED
실시간 모드의 스트리밍 쿼리는 유니온 앞에 상태 저장 연산자(예: 집계, 중복 제거, transformWithState)를 포함할 수 없습니다. 상태 저장 작업을 하기 전에 유니온을 적용하도록 쿼리를 재구성하세요.
스트림 스트림 조인 비내부 지원되지 않음
RTM 스트림 조인은 현재 내부 조인만 지원하지만, <joinType>을(를) 받았습니다.
STREAM_STREAM_JOIN_NOT_SUPPORTED
스트리밍 조인 유형은 아직 지원되지 않습니다.