STREAMING_QUERY_EVOLUTION_ERROR hibafeltétel

SQLSTATE: 42000

Adatfolyam lekérdezés közbeni evolúciós hiba

ASYNC_PROGRESS_TRACKING_NOT_SUPPORTED

A streaming sink evolution nem használható együtt aszinkron előrehaladás követéssel. Az aszinkron előrehaladás követése csak V1 commit metaadatokat tart fenn, és csendben elhagyná a sinkenként szükséges metaadatokat, amelyeket a sink evolúció igényel. Tiltsd ki az egyiket a kettő közül: állítsd be a spark.sql.streaming.queryEvolution.enableSinkEvolution kifejezést hamisnak, vagy állítsd az asyncProgressTrackingEnabled opciót hamisra.

CONTINUOUS_PROCESSING_NOT_SUPPORTED

A streaming sink evolúció nem használható együtt folyamatos feldolgozással. A folyamatos feldolgozás csak V1 commit metaadatokat tart fenn, és csendben elhagyná a sink-enként megkövetelt metaadatokat, amelyeket az evolúció igényel. Tiltsd ki a sink evolution-t úgy, hogy a spark.sql.streaming.queryEvolution.enableSinkEvolution false-ra állítsd be, vagy használj mikro-batch triggert a Trigger.Continuous helyett.

DUPLIKÁTUM_FORRÁS_NEVEK

Ismétlődő streamforrásnevek észlelhetők: <duplicateNames>. Minden streamforrásnak egyedi névvel kell rendelkeznie. Győződjön meg arról, hogy minden forrásnak különböző neve van a név() metódus használatával.

INVALID_SINK_NAME

Érvénytelen streaming kimenet neve: <sinkName>. A névnevek csak betűket ('a'-'z', 'A'-'Z'), számjegyeket ('0'-'9') és aláhúzásjeleket ('_') tartalmazhatnak ASCII.

INVALID_SOURCE_NAME

Érvénytelen streamforrás neve: ''<sourceName>. A forrásnevek csak betűket ('-'z', 'A'-'Z'), számjegyeket ('0'-'9' ) és aláhúzásjeleket tartalmazhatnak ASCII ('_'). Ha szükséges, a backticks használatával speciális karaktereket tartalmazó neveket idézhet.

Nevezett források megkövetelik az érvényesítést

A név() metódus nem használható streamelési források elnevezésére, ha a spark.sql.streaming.queryEvolution.enableSourceEvolution le van tiltva. Engedélyezze a forrásfejlődést a spark.sql.streaming.queryEvolution.enableSourceEvolution igaz értékre állításával, vagy a név() hívás eltávolításával.

NAMED_SOURCES_REQUIRE_OFFSET_LOG_V2

A megnevezett streamforrások érvényesítéséhez az OffsetMap v2 eltolásnapló-formátumra van szükség, de V<version> került elő. A V2 formátum sourceId:offset párokat használ, amelyek támogatják a forrásfejlődést. Állítsa a spark.sql.streaming.offsetLog.version értéket 2-esre, vagy tiltsa le a nevesített források kényszerítését a spark.sql.streaming.queryEvolution.enableSourceEvolution beállítás hamis értékre állításával

NAMED_SOURCE_ON_VIEW

A name() metódus nem használható nézetalapú streamelési forráson. <sourceCount> forrás található: <sourceNames>. Írja át a streaming lekérdezést úgy, hogy közvetlenül a mögöttes táblaforrás(ok)ból olvasson, és nevezze el őket a(z) IDENTIFIED BY használatával.

SINK_AZONOSÍTÓ_ÚJRAHASZNÁLVA

A "<sinkId>" csomópont nevének újrahasználata nem engedélyezett az ellenőrzőpontnál <checkpointLocation>. Ezt a foglalatnevet korábban használták, majd lecserélték egy másik foglalatra. Az inaktív sink nevek újbóli használata adatpontossági problémákhoz vezethet. Új sink használatához rendeljen hozzá egy másik nevet a DataStreamWriter name() metódusával (például .name("my_new_sink")).

SINK_PROVIDER_MISMATCH

A '<sinkId>' kimeneti szolgáltatója nem módosítható az ellenőrzési pont helyén <checkpointLocation>. A feldolgozó korábban a <previousProvider> szolgáltatót használta, de most már a <currentProvider> szolgáltatót használja. Ha megváltoztatja az illesztőprogram típusát, miközben megtartja ugyanazt az illesztőprogram nevet, adatpontossági problémákhoz vezethet. Az új fogadótípus használatához rendeljen hozzá egy másik nevet a DataStreamWriter név() metódusával (például .name("my_new_sink")).

Forráselnevezés nem támogatott

A streamelési forrás elnevezése nem támogatott. A forrásnév "<name>" meg lett adva, de a funkció le van tiltva. Engedélyezze a funkciót a spark.sql.streaming.queryEvolution.enableSourceEvolution igaz értékre állításával.

TOMBSTONE_SOURCE_NAME_REUSE

Nem használhatók újra a törölt forrásnevek: <sourceNames>. Ezeket a forrásneveket korábban használták, majd eltávolították a streamelési lekérdezésből az ellenőrzőpont helyén <checkpointLocation>. A kódolt forrásnevek újbóli használata adat-helyességi problémákhoz vezethet. Használjon különböző forrásneveket.

NÉVTELEN_STREAMING_TÁROLÓK_VÉGREHAJTÁSSAL

Az adatfolyamhoz tartozó fogadó nevét meg kell adni, ha a spark.sql.streaming.queryEvolution.enableSinkEvolution aktiválva van. A DataStreamWriter name() metódusával rendeljen nevet a stream fogadóhoz.

Nevezetlen streaming források végrehajtással

Minden streamforrást el kell nevezni, ha engedélyezve van a spark.sql.streaming.queryEvolution.enableSourceEvolution. Névtelen források találhatók: <sourceInfo>. A name() metódus használatával rendeljen neveket az összes streamforráshoz.