STREAMING_QUERY_EVOLUTION_ERROR condição de erro

SQLSTATE: 42000

Erro de evolução da consulta de streaming

NAMES_FONTE_DUPLICADAS

Nomes de origem de streaming duplicados detectados: <duplicateNames>. Cada fonte de streaming deve ter um nome exclusivo. Verifique se todas as fontes têm nomes distintos usando o método name().

INVALID_SINK_NAME

Nome do destino de streaming inválido: '<sinkName>'. Os nomes do coletor devem conter ASCII apenas letras ('a'-'z', 'A'-'Z'), dígitos ('0'-'9') e sublinhados ('_') .

INVALID_SOURCE_NAME

Nome de origem de streaming inválido: '<sourceName>'. Os nomes de origem devem conter ASCII apenas letras ('a'-'z', 'A'-'Z'), dígitos ('0'-'9') e sublinhados ('_') . Use aspas invertidas para citar nomes com caracteres especiais, se necessário.

FONTES_NOMEADAS_EXIGEM_APLICAÇÃO

Não é possível usar o método name() para nomear fontes de streaming quando spark.sql.streaming.queryEvolution.enableSourceEvolution estiver desabilitado. Habilite a evolução do código-fonte definindo spark.sql.streaming.queryEvolution.enableSourceEvolution como true ou remova a chamada name().

NAMED_SOURCES_REQUIRE_OFFSET_LOG_V2

O controle de fontes de streaming nomeadas requer o formato de log de deslocamento V2 (OffsetMap), mas o formato encontrado foi V<version>. O formato V2 usa pares sourceId:offset que dão suporte à evolução da fonte. Defina spark.sql.streaming.offsetLog.version como 2 ou desabilite a imposição de fontes nomeadas definindo spark.sql.streaming.queryEvolution.enableSourceEvolution como false

ID_CÂNULA_REUTILIZADO

Não é possível reutilizar o nome do coletor '<sinkId>' no local do ponto de verificação <checkpointLocation>. Esse nome do coletor foi usado anteriormente e substituído por um coletor diferente. Reutilizar nomes de pias inativas pode levar a problemas de precisão de dados. Para usar um novo coletor, atribua um nome diferente usando o método name() no DataStreamWriter (por exemplo, .name("my_new_sink")).

DISCREPÂNCIA DO PROVEDOR DE SINK

Não é possível alterar o provedor de coletor para o coletor '<sinkId>' no local do ponto de verificação <checkpointLocation>. O coletor estava usando anteriormente o provedor '<previousProvider>', mas agora está usando '<currentProvider>'. Alterar o tipo de coletor mantendo o mesmo nome do coletor pode levar a problemas de correção de dados. Para usar o novo tipo de coletor, atribua um nome diferente usando o método name() no DataStreamWriter (por exemplo, .name("my_new_sink")).

TOMBSTONE_SOURCE_NAME_REUSE

Não é possível reutilizar nomes de origem tombados: <sourceNames>. Esses nomes de origem foram previamente usados e depois removidos da consulta de streaming no local do ponto de verificação <checkpointLocation>. Reutilização de nomes de fontes tombadas pode levar a problemas de correção de dados. Por favor, use nomes de fontes diferentes.

SINKS_DE_TRANSMISSÃO_NOMEADOS_COM_APLICAÇÃO

O coletor de streaming deve ser nomeado quando spark.sql.streaming.queryEvolution.enableSinkEvolution está habilitado. Use o método name() no DataStreamWriter para atribuir um nome ao coletor de streaming.

UNNAMED_STREAMING_SOURCES_WITH_ENFORCEMENT

Todas as fontes de streaming devem ser nomeadas quando spark.sql.streaming.queryEvolution.enableSourceEvolution estiver habilitado. Fontes não nomeadas encontradas: <sourceInfo>. Use o método name() para atribuir nomes a todas as fontes de streaming.