Lakeflow Declarative Pipelines, versión 2025.29

16 de julio a 18 de 2025

Estas características y mejoras se publicaron con la versión 2025.29 de canalizaciones declarativas.

Versiones de Databricks Runtime usadas por esta versión

Canal:

• CURRENT (valor predeterminado): Databricks Runtime 16.1
• VERSIÓN PRELIMINAR: Databricks Runtime 16.4

Nota:

Dado que las actualizaciones de las canalizaciones declarativas de Lakeflow Spark siguen un proceso de actualización continua, las actualizaciones de los canales se implementan en distintas regiones en diferentes momentos. Es posible que la versión, incluidas las versiones de Databricks Runtime, no se actualicen hasta una semana o más después de la fecha de lanzamiento inicial. Para buscar la versión de Databricks Runtime para una canalización, consulte Información del entorno de ejecución.

Nuevas características y mejoras

• La característica Move Tables Between Lakeflow Declarative Pipelines (Mover tablas entre canalizaciones declarativas de Lakeflow) ahora está disponible con carácter general (GA). Esto permite a los usuarios mover vistas materializadas y tablas de streaming de una canalización a otra con un comando SQL y un ajuste de código secundario. Consulte Movimiento de tablas entre canalizaciones declarativas de Lakeflow.

• Los comandos ALTER ahora se pueden ejecutar en MV/ST creados por canalizaciones de ETL para comentarios de tabla, comentarios de columna y RLS/CLM. Como parte de esta característica, las actualizaciones de canalización conservan (por clave de nombre de columna) los valores de los campos que pueden ser ALTERed por los usuarios en lugar de sobrescribirlos. Continuaremos respetando las definiciones explícitas en el código fuente y se conserva todo lo que no esté definido explícitamente. En la tabla siguiente se muestra este comportamiento:

Metadatos de nivel de columna:

Enfoque	Comportamiento	Estado existente en el conjunto de datos	Qué se define en el código fuente de canalización o el comando Crear y reemplazar	Estado final después de actualizar la canalización o ejecutar el comando Crear y reemplazar
Merge	No quitaremos los metadatos existentes en el conjunto de datos antes de aplicar lo que se define en el código fuente de la Pipeline o el comando Crear y Reemplazar.	Columna X con el comentario 1	Columna Y con comentario 2	Columna X con comentario 1 Columna Y con comentario 2
Merge	Si los metadatos se establecen en el origen de la canalización, se restablecerán al realizar una actualización.	Columna X con el comentario 1	Columna X con comentario 3 Columna Y con comentario 2	Columna X con comentario 3 Columna Y con comentario 2

Metadatos de nivel de tabla:

Enfoque	Comportamiento	Estado existente en el conjunto de datos	Qué se define en el código fuente de canalización o el comando Crear y reemplazar	Estado final después de actualizar la canalización o ejecutar el comando Crear y reemplazar
Merge	No quitaremos los metadatos existentes en el conjunto de datos antes de aplicar lo que se define en el código fuente de la Pipeline o el comando Crear y Reemplazar.	Filtro de fila 1	Filtro de fila 2	Filtro de fila 2
Merge	Si los metadatos se establecen en el origen de la canalización, se restablecerán al realizar una actualización.	Filtro de fila 1	Ninguno	Filtro de fila 1

Puede seguir modificando el código fuente como antes. Este enfoque de combinación conserva los ALTER externos realizados en la tabla.

Este nuevo comportamiento de combinación presenta un cambio importante. Antes, las actualizaciones de canalización eliminaron los filtros de fila o las máscaras de columna existentes si la definición de canalización no las incluía. Ahora debe eliminar explícitamente los comentarios, filtros de fila o máscaras de columna existentes, mediante el Explorador de catálogos o el comando ALTER.

Para obtener información sobre cómo usar los comandos SQL, vea ALTER MATERIALIZED VIEW y ALTER STREAMING TABLE.