Nota
O acesso a esta página requer autorização. Podes tentar iniciar sessão ou mudar de diretório.
O acesso a esta página requer autorização. Podes tentar mudar de diretório.
16 a 18 de julho de 2025
Esses recursos e melhorias foram lançados com a versão 2025.29 do Declarative Pipelines.
Versões do Databricks Runtime usadas por esta versão
Canal:
- ATUAL (padrão): Databricks Runtime 16.1
- VISUALIZAÇÃO: Databricks Runtime 16.4
Observação
Como as liberações do canal Lakeflow Spark Declarative Pipelines seguem um processo de atualização contínua, as atualizações de canal são implantadas em diferentes regiões em momentos diferentes. Sua versão, incluindo as versões do Databricks Runtime, pode não ser atualizada até uma semana ou mais após a data de lançamento inicial. Para localizar a versão do Databricks Runtime para um pipeline, consulte Informações sobre o tempo de execução.
Novos recursos e melhorias
O recurso Mover tabelas entre pipelines declarativos Lakeflow agora está disponível ao público em geral (GA). Isso permite que os usuários movam Exibições Materializadas e Tabelas de Streaming de um pipeline para outro com um comando SQL e um pequeno ajuste de código. Consulte Mover tabelas entre pipelines declarativos do Lakeflow
Os comandos ALTER agora podem ser executados em MV/STs criados por pipelines ETL para comentários de tabela, comentários de coluna e RLS/CLM. Como parte desse recurso, as atualizações de pipeline preservam (por chave de nome de coluna) os valores dos campos que podem ser ALTERADOS pelos usuários em vez de substituí-los. Continuaremos a respeitar definições explícitas no código-fonte, e tudo o que não for explicitamente definido será preservado. A tabela abaixo mostra esse comportamento:
Metadados em nível de coluna:
| Abordagem | Comportamento | Estado existente no conjunto de dados | O que está definido no código-fonte do Pipeline ou no comando Criar e substituir | Estado final após a atualização do pipeline ou a execução do comando Criar e substituir |
|---|---|---|---|---|
| Merge | NÃO vamos eliminar os metadados existentes no conjunto de dados antes de aplicar o que está definido no código-fonte do Pipeline ou no comando Criar e Substituir. | Coluna X com comentário 1 | Coluna Y com Comentário 2 | Coluna X com comentário 1 Coluna Y com comentário 2 |
| Merge | Se os metadados estiverem definidos na fonte do pipeline, serão redefinidos na atualização. | Coluna X com comentário 1 | Coluna X com comentário 3 Coluna Y com comentário 2 | Coluna X com comentário 3 Coluna Y com comentário 2 |
Metadados no nível da tabela:
| Abordagem | Comportamento | Estado existente no conjunto de dados | O que está definido no código-fonte do Pipeline ou no comando Criar e substituir | Estado final após a atualização do pipeline ou a execução do comando Criar e substituir |
|---|---|---|---|---|
| Merge | NÃO vamos eliminar os metadados existentes no conjunto de dados antes de aplicar o que está definido no código-fonte do Pipeline ou no comando Criar e Substituir. | Filtro de linha 1 | Filtro de linha 2 | Filtro de linha 2 |
| Merge | Se os metadados estiverem definidos na fonte do pipeline, serão redefinidos na atualização. | Filtro de linha 1 | Nenhum | Filtro de linha 1 |
Você pode continuar a modificar o código-fonte como antes. Essa abordagem de mesclagem preserva ALTERs externos feitos na tabela.
Esse novo comportamento de mesclagem introduz uma alteração importante. Antes, as atualizações de pipeline excluíam filtros de linha ou máscaras de coluna existentes se a definição de pipeline não os incluísse. Agora você deve excluir explicitamente comentários, filtros de linha ou máscaras de coluna existentes, usando o Catalog Explorer ou o comando ALTER.
Para saber como usar os comandos SQL, consulte ALTER MATERIALIZED VIEW e ALTER STREAMING TABLE.