Versão DLT 2022.40

28 de setembro a 5 de outubro de 2022

Esses recursos e melhorias foram lançados com a versão 2022.40 do DLT.

Versões do Databricks Runtime usadas por esta versão

Canal:

• ATUAL (padrão): Databricks Runtime 11.0.7
• VERSÃO PRÉVIA: Databricks Runtime 11.0.7

Novos recursos e melhorias nesta versão

• Usar um rótulo de cluster diferente de default ou maintenance nas configurações do pipeline causa falhas durante a criação ou edição do pipeline. Para obter mais informações sobre a configuração de cluster para Pipelines Declarativos do Lakeflow Spark, consulte Configurar computação clássica para pipelines.

• Agora você pode abrir ou executar pipelines diretamente de seus notebooks do Lakeflow Spark Declarative Pipelines. Consulte Desenvolver e depurar pipelines com um notebook (herdado).

• Essa versão inclui uma alteração interruptiva na estrutura de dados das configurações de pipeline retornada pelas solicitações de API do DLT. Essa alteração retorna o campo edition como um valor em maiúsculas. Anteriormente, esse valor era retornado como um caso misto. Você deve atualizar seus clientes que leem o edition valor em respostas à API para garantir o processamento correto do valor retornado. No entanto, o edition valor em solicitações de API não faz distinção entre maiúsculas e minúsculas; seus clientes que enviam solicitações, incluindo esse campo, não precisam de atualização.

Correções de bug nesta versão

• Essa versão corrige um bug que faz com que a interface do usuário do DLT mostre um pipeline no estado RUNNING mesmo após a falha na atualização.

• Essa atualização corrige um bug na interface APPLY_CHANGES ao processar novamente dados de entrada em que os dados contêm operações duplicadas DELETE com o mesmo valor na SEQUENCE coluna. Esse cenário resulta em valores NULL na tabela de destino e na remoção do valor DeleteVersion. Isso é equivalente a marcar o registro como NOT-DELETED. Com essa alteração, as operações DELETE duplicadas são tratadas de forma idempotente e sempre marcam o registro como DELETED.

• Essa versão corrige um bug que faz com que as linhas fiquem ocultas durante o processamento scd tipo 2 quando um registro histórico anterior é excluído contendo as mesmas colunas que o próximo registro histórico.

• Essa atualização corrige um bug que faz uma exibição com uma expectativa expect_or_fail permanecer no estado RUNNING, mesmo que a expectativa falhe. Com essa correção, o pipeline falha e faz a transição para o estado FAILED.