Lakeflow Spark Declarative Pipelines lançamento 2025.30

Julho 23 - 30, 2025

Esses recursos e melhorias foram lançados com a versão 2025.30 do Lakeflow Spark Declarative Pipelines.

Versões do Databricks Runtime usadas por esta versão

Canal:

• ATUAL (padrão): Databricks Runtime 16.1
• ANTEVISÃO: Databricks Runtime 16.4

Observação

Como as liberações do canal Lakeflow Spark Declarative Pipelines seguem um processo de atualização contínua, as atualizações de canal são implantadas em diferentes regiões em momentos diferentes. Sua versão, incluindo as versões do Databricks Runtime, pode não ser atualizada até uma semana ou mais após a data de lançamento inicial. Para localizar a versão do Databricks Runtime para um pipeline, consulte Informações sobre o tempo de execução.

Novos recursos e melhorias

• Adicionámos as seguintes novas funcionalidades às APIs AUTO CDC no Lakeflow Spark Declarative Pipelines.

  • Vários fluxos por destino: O comando create_auto_cdc_flow agora suporta um parâmetro name, permitindo que vários fluxos AUTO CDC independentes gravem na mesma tabela de destino. Isso permite cenários como a aplicação de atualizações incrementais e fluxos de correção a uma única tabela.

  • Backfills únicos: um novo parâmetro once suporta operações de enchimento único (por exemplo, hidratações iniciais). Quando uma vez = true, o fluxo ingere um instantâneo de dados uma única vez e ignora chegadas futuras de arquivos.

  • Suporte SQL: A nova sintaxe CREATE FLOW SQL permite que você use AUTO CDC INTO diretamente em SQL, com o mesmo suporte para nome e uma vez.

• O Lakeflow Editor agora suporta conexão de cluster sob demanda + manutenção de cluster ativada pela atividade do usuário.