Observação
O acesso a essa página exige autorização. Você pode tentar entrar ou alterar diretórios.
O acesso a essa página exige autorização. Você pode tentar alterar os diretórios.
16 a 18 de julho de 2025
Esses recursos e melhorias foram lançados com a versão 2025.29 do Declarative Pipelines.
Versões do Databricks Runtime usadas por esta versão
Canal:
- CURRENT (padrão): Databricks Runtime 16.1
- VERSÃO PRÉVIA: Databricks Runtime 16.4
Observação
Como as versões de canal do Lakeflow Spark Declarative Pipelines seguem um processo de atualização sem interrupção, as atualizações de canal são implantadas em diferentes regiões em momentos diferentes. Sua versão, incluindo versões do Databricks Runtime, pode não ser atualizada até uma semana ou mais após a data de lançamento inicial. Para localizar a versão do Databricks Runtime para um pipeline, consulte as informações do Runtime.
Novos recursos e aprimoramentos
O recurso Mover Tabelas entre Pipelines Declarativos do Lakeflow agora está disponível em geral (GA). Isso permite que os usuários movam exibições materializadas e tabelas de streaming de um pipeline para outro com um comando SQL e um ajuste de código secundário. Ver Mover tabelas entre pipelines declarativos do Lakeflow
Os comandos ALTER agora podem ser executados em MV/STs criados por pipelines DE ETL para comentários de tabela, comentários de coluna e RLS/CLM. Como parte desse recurso, as atualizações de pipeline preservam (por chave de nome de coluna) os valores de campos que podem ser ALTERed pelos usuários em vez de substituí-los. Continuaremos respeitando definições explícitas no código-fonte e qualquer coisa não definida explicitamente será preservada. A tabela abaixo mostra esse comportamento:
Metadados no nível da coluna:
| Abordagem | Comportamento | Estado existente no conjunto de dados | O que é definido no código-fonte do Pipeline ou no comando Criar e Substituir | Estado final após a atualização do Pipeline ou a execução do comando Criar e Substituir |
|---|---|---|---|---|
| Merge | Não descartaremos metadados existentes no conjunto de dados antes de aplicar o que é definido no código-fonte do Pipeline ou no comando Criar e Substituir. | Coluna X com comentário 1 | Coluna Y com Comentário 2 | Coluna X com comentário 1 Coluna Y com Comentário 2 |
| Merge | Se os metadados estiverem definidos na origem do pipeline, eles serão redefinidos no recarregamento. | Coluna X com comentário 1 | Coluna X com comentário 3 Coluna Y com Comentário 2 | Coluna X com comentário 3 Coluna Y com Comentário 2 |
Metadados no nível da tabela:
| Abordagem | Comportamento | Estado existente no conjunto de dados | O que é definido no código-fonte do Pipeline ou no comando Criar e Substituir | Estado final após a atualização do Pipeline ou a execução do comando Criar e Substituir |
|---|---|---|---|---|
| Merge | Não descartaremos metadados existentes no conjunto de dados antes de aplicar o que é definido no código-fonte do Pipeline ou no comando Criar e Substituir. | Filtro de linha 1 | Filtro de linha 2 | Filtro de linha 2 |
| Merge | Se os metadados estiverem definidos na origem do pipeline, eles serão redefinidos no recarregamento. | Filtro de linha 1 | None | Filtro de linha 1 |
Você pode continuar modificando o código-fonte como antes. Essa abordagem de mesclagem preserva os ALTERs externos feitos na tabela.
Esse novo comportamento de mesclagem apresenta uma alteração importante. Antes, as atualizações de pipeline excluíam filtros de linha ou máscaras de coluna existentes se a definição do pipeline não os incluísse. Agora você deve excluir explicitamente comentários, filtros de linha ou máscaras de coluna existentes usando o Gerenciador de Catálogos ou o comando ALTER.
Para saber como usar os comandos SQL, consulte ALTER MATERIALIZED VIEW e ALTER STREAMING TABLE.