DLT versão 2023.43

30 de outubro - 3 de novembro de 2023

Esses recursos e melhorias foram lançados com a versão 2023.43 do DLT.

Note

Os lançamentos são realizados em fases. Sua versão DLT, incluindo as versões do Databricks Runtime, pode não ser atualizada até uma semana ou mais após a data de lançamento inicial.

Versões do Databricks Runtime usadas por esta versão

Channel:

• atual (padrão): Databricks Runtime 12.2.15
• Visualização: Databricks Runtime 13.3.4

Novos recursos e melhorias nesta versão

• Ao exibir um pipeline na interface do usuário DLT, agora você pode exibir os conjuntos de dados do pipeline em uma exibição tabular, além da visualização em gráfico. Você pode usar a exibição tabular para obter uma visão geral de todos os conjuntos de dados no pipeline, especialmente quando o DAG é muito grande para caber na exibição de gráfico. Você também pode encontrar conjuntos de dados específicos usando filtros como nome e tipo de conjunto de dados. Consulte Detalhes do pipeline disponíveis na página de monitoramento.

• Com esta versão, você verá uma mensagem de aviso se não usar a palavra-chave LIVE ao fazer referência a uma tabela no mesmo pipeline.

• Agora você pode gravar em uma tabela de streaming a partir de vários fluxos de origem, permitindo adicionar e remover fontes de streaming que acrescentam dados a uma tabela de streaming existente sem exigir uma atualização completa ou preencher uma tabela de streaming com dados históricos ausentes. Consulte Usando vários fluxos para gravar em um único destino.

• Agora pode adicionar um script de inicialização permitido ao cluster que executa um pipeline com Unity Catalog ativado.