DLT versão 2023.16

24 a 28 de abril de 2023

Esses recursos e melhorias foram lançados com a versão 2023.16 do DLT.

Versões do Databricks Runtime usadas por esta versão

Canal:

• ATUAL (padrão): Databricks Runtime 11.3.10
• VERSÃO PRELIMINAR: Databricks Runtime 12.2.3

Novos recursos e melhorias nesta versão

• O suporte DLT para o Unity Catalog está em Visualização Pública. Você pode usar o Unity Catalog com seus Lakeflow Spark Declarative Pipelines para:

  • Defina um catálogo no Unity Catalog onde o seu fluxo de trabalho persistirá tabelas.
  • Leia os dados das tabelas do Unity Catalog.

  Consulte Utilizar o catálogo Unity com pipelines.

• Por padrão, as tabelas de streaming exigem fontes que apenas adicionam dados. Esta versão apresenta o sinalizador skipChangeCommits que pode ser definido em uma tabela de streaming de destino para ignorar alterações em uma tabela de streaming de origem quando a tabela de origem requer atualizações ou exclusões. Consulte Configurar uma tabela de streaming para ignorar alterações em uma tabela de streaming de origem

• Com esta versão, o limite para atualizações simultâneas em um espaço de trabalho é aumentado para 100. O limite de atualizações simultâneas anterior era de 20.

• A DLT agora é suportada nas regiões do Azure China.

• Ao executar um pipeline a partir de um notebook, agora pode exibir o log de eventos na barra lateral do notebook. Veja Desenvolver e depurar pipelines com um notebook (legado).

Correções de bugs nesta versão

• Esta versão corrige um bug que fazia com que a página de listagem de pipelines falhasse quando o caractere "%" foi inserido na caixa de pesquisa.