Versão DLT 2023.41

16 de setembro - 20 de outubro de 2023

Esses recursos e melhorias foram lançados com a versão 2023.41 do DLT.

Observação

As versões são disponibilizadas em fases. Sua versão DLT, incluindo versões do Databricks Runtime, pode não ser atualizada até uma semana ou mais após a data de lançamento inicial.

Versões do Databricks Runtime usadas por esta versão

Canal:

• ATUAL (padrão): Databricks Runtime 12.2.14
• VERSÃO PRÉVIA: Databricks Runtime 13.3.3

Novos recursos e melhorias nesta versão

• Agora você pode adicionar monitoramento personalizado e alertas aos pipelines declarativos do Lakeflow Spark usando ganchos de evento (Prévia Pública). Por exemplo, usando ganchos de evento, você pode enviar emails ou integrar-se a soluções de monitoramento de terceiros para enviar alertas quando ocorrem eventos selecionados.

• Esta versão melhora a detecção e as mensagens de erro para dependências circulares em um pipeline. Por exemplo, quando uma tabela a jusante é referenciada para criar uma tabela a montante.

Correções de bug nesta versão

• Esta versão corrige um problema que faz com que um pipeline falhe quando uma consulta SCD tipo 1 com expectativas ativadas tem uma incompatibilidade de maiúsculas e minúsculas em nomes de coluna.

• Com esta versão, os valores padrão da política de cluster são aplicados corretamente quando a configuração de apply_policy_default_values é definida como true na configuração do pipeline. Anteriormente, em alguns casos, os padrões de política de cluster não eram aplicados corretamente. Consulte Selecionar uma política de computação.