Notas de versão do Lakeflow Spark Declarative Pipelines 2026

Os seguintes recursos, melhorias e correções de bug do Lakeflow Spark Declarative Pipelines foram lançados em 2026.

Observação

Como as versões de canal do Lakeflow Spark Declarative Pipelines seguem um processo de atualização sem interrupção, as atualizações de canal são implantadas em diferentes regiões em momentos diferentes. Sua versão, incluindo versões do Databricks Runtime, pode não ser atualizada até uma semana ou mais após a data de lançamento inicial. Para localizar a versão do Databricks Runtime para um pipeline, consulte as informações do Runtime.

Janeiro de 2026

As funcionalidades e melhorias nos Lakeflow Spark Declarative Pipelines foram lançadas entre 14 de novembro de 2025 e 13 de janeiro de 2026.

Versões do Databricks Runtime usadas por esta versão

Canal:

• ATUAL (padrão): Databricks Runtime 16.4
• VERSÃO PRÉVIA: Databricks Runtime 17.3

Novos recursos e melhorias

• Agora você pode armazenar e gerenciar expectativas de qualidade de dados diretamente nas tabelas do Catálogo do Unity, centralizando regras de qualidade de dados com sua estrutura de governança de dados. Isso permite que regras auditáveis de qualidade controladas por versão possam ser compartilhadas em vários pipelines.

• Os pipelines contínuos em execução há mais de 7 dias agora reiniciam normalmente com tempo de inatividade mínimo e uma causa de atualização explícita (INFRASTRUCTURE_MAINTENANCE), em vez de serem reiniciados abruptamente quando o sistema de computação subjacente precisar ser atualizado.

• Os pipelines agora dão suporte ao modo de execução em fila, em que várias solicitações de atualização são automaticamente enfileiradas e executadas sequencialmente em vez de falharem devido a conflitos. Isso simplifica as operações para pipelines com gatilhos de atualização frequente e elimina a necessidade de coordenação manual de tentativas.

• Agora você pode materializar várias visões SCD Tipo 2 de uma fonte única de dados de alteração, melhorando a eficiência ao criar várias visões históricas dos mesmos dados. Isso elimina a necessidade de reprocessar dados de origem para cada saída scd tipo 2.

• Agora, os agendamentos e a configuração do pipeline podem ser armazenados e lidos das propriedades da tabela do Unity Catalog, permitindo o gerenciamento centralizado de configurações por meio da governança de dados. Isso permite que você gerencie o comportamento do pipeline junto com suas definições de dados.

• MANAGE As permissões agora são propagadas automaticamente para exibições materializadas e tabelas de streaming no Unity Catalog, simplificando o gerenciamento de permissões para resultados de pipeline. Isso garante um controle de acesso consistente sem concessões de permissão manual.

• As operações SCD Tipo 2 agora coalescem automaticamente registros duplicados com a mesma chave natural, garantindo a consistência dos dados e prevenindo registros históricos duplicados em suas tabelas de dimensões com alteração lenta.

• Os pipelines agora têm uma opção para remover automaticamente tabelas inativas que não fazem mais parte da definição do pipeline. Isso ajuda a manter data warehouses limpos e reduz os custos de armazenamento de tabelas obsoletas. Consulte Usar o Catálogo do Unity com pipelines.

• A definição de pipeline, as operações de patch e as alterações de identidade em execução agora estão incluídas no log de auditoria, fornecendo um acompanhamento abrangente das alterações de configuração para monitoramento de conformidade e segurança. Consulte o log de eventos do Pipeline.

Correções

Nenhuma correção de bug significativa foi incluída neste período de versão. Todas as alterações foram novos recursos e melhorias.