Lakeflow Spark Declarative Pipelines versão 2025.30

23 de julho a 30 de 2025

Esses recursos e melhorias foram lançados com a versão 2025.30 do Lakeflow Spark Declarative Pipelines.

Versões do Databricks Runtime usadas por esta versão

Canal:

• ATUAL (padrão): Databricks Runtime 16.1
• VERSÃO PRÉVIA: Databricks Runtime 16.4

Observação

Como as versões de canal do Lakeflow Spark Declarative Pipelines seguem um processo de atualização sem interrupção, as atualizações de canal são implantadas em diferentes regiões em momentos diferentes. Sua versão, incluindo versões do Databricks Runtime, pode não ser atualizada até uma semana ou mais após a data de lançamento inicial. Para localizar a versão do Databricks Runtime para um pipeline, consulte as informações do Runtime.

Novos recursos e melhorias

• Adicionamos as seguintes novas capacidades às APIs AUTO CDC em Pipelines Declarativas do Lakeflow Spark.

  • Vários fluxos por destino: o comando create_auto_cdc_flow agora dá suporte a um parâmetro de nome, permitindo que vários fluxos AUTO CDC independentes sejam gravados na mesma tabela de destino. Isso permite cenários como a aplicação de atualizações incrementais e fluxos de correção a uma única tabela.

  • Backfills únicos: um novo parâmetro once dá suporte a operações de backfill único (por exemplo, hidratações iniciais). Quando a condição "uma vez" é igual a verdadeiro, o fluxo captura os dados apenas uma vez e ignora futuras chegadas de arquivos.

  • Suporte ao SQL: a nova sintaxe CREATE FLOW SQL permite que você use o AUTO CDC INTO diretamente no SQL, com o mesmo suporte para nome e a funcionalidade de 'once'.

• O Editor Lakeflow agora oferece suporte para conexão de cluster sob demanda e manutenção ativa do cluster iniciada pela atividade do usuário.