DLT versão 2022.40

28 de setembro - 5 de outubro de 2022

Esses recursos e melhorias foram lançados com a versão 2022.40 do DLT.

Versões do Databricks Runtime usadas por esta versão

Canal:

• ATUAL (padrão): Databricks Runtime 11.0.7
• PRÉ-VISUALIZAÇÃO: Databricks Runtime 11.0.7

Novos recursos e melhorias nesta versão

• O uso de um rótulo de cluster diferente de default ou maintenance nas configurações do pipeline causa falhas durante a criação ou edição do pipeline. Para obter mais informações sobre a configuração de cluster para Lakeflow Spark Declarative Pipelines, consulte Configurar computação clássica para pipelines.

• Agora você pode abrir ou executar pipelines diretamente de seus notebooks Lakeflow Spark Declarative Pipelines. Veja Desenvolver e depurar pipelines com um notebook (legado).

• Esta versão inclui uma alteração significativa na estrutura de dados das configurações do pipeline retornada por solicitações à API DLT . Esta alteração retorna o campo edition como um valor em maiúsculas. Anteriormente, este valor era devolvido em letras maiúsculas e minúsculas. Você deve atualizar seus clientes que leem o valor edition nas respostas da API para garantir o processamento correto do valor de retorno. No entanto, o valor edition em solicitações de API não diferencia maiúsculas de minúsculas; Seus clientes que enviam solicitações incluindo este campo não precisam de atualização.

Correções de bugs nesta versão

• Esta versão corrige um bug que faz com que a interface do usuário DLT mostre um pipeline em um estado RUNNING, mesmo após uma falha de atualização.

• Esta atualização corrige um bug na interface APPLY_CHANGES ao reprocessar dados de entrada em que os dados contêm operações de DELETE duplicadas com o mesmo valor na coluna SEQUENCE. Esse cenário resulta em valores de NULL na tabela de destino e na remoção do valor de DeleteVersion. Isso equivale a marcar o registro como NOT-DELETED. Com esta alteração, as operações duplicadas de DELETE são tratadas de forma idempotente e sempre marcam o registo como DELETED.

• Esta versão corrige um bug que fazia com que as linhas ficassem ocultas durante processamento de SCD tipo 2 quando um registro histórico anterior é excluído contendo as mesmas colunas do próximo registro histórico.

• Esta atualização corrige um bug que faz com que uma exibição com uma expectativa de expect_or_fail permaneça no estado RUNNING, mesmo se a expectativa falhar. Com essa correção, o pipeline falha e faz a transição para o estado FAILED.