Canalizaciones declarativas de Lakeflow Spark versión 2025.30

23 de julio de 30, 2025

Estas características y mejoras se publicaron con la versión 2025.30 de Lakeflow Spark Declarative Pipelines.

Versiones de Databricks Runtime usadas por esta versión

Canal:

• CURRENT (valor predeterminado): Databricks Runtime 16.1
• VERSIÓN PRELIMINAR: Databricks Runtime 16.4

Nota:

Dado que las actualizaciones de las canalizaciones declarativas de Lakeflow Spark siguen un proceso de actualización continua, las actualizaciones de los canales se implementan en distintas regiones en diferentes momentos. Es posible que su versión, incluidas las versiones de Databricks Runtime, no se actualice hasta una semana o más después de la fecha de lanzamiento inicial. Para buscar la versión de Databricks Runtime para una canalización, consulte Información del entorno de ejecución.

Nuevas características y mejoras

• Hemos agregado las siguientes nuevas capacidades a las API AUTO CDC en las canalizaciones declarativas de Spark de Lakeflow.

  • Varios flujos por destino: el comando create_auto_cdc_flow ahora admite un parámetro name, lo que permite que varios flujos AUTO CDC independientes escriban en la misma tabla de destino. Esto permite escenarios como aplicar actualizaciones incrementales y flujos de corrección a una sola tabla.

  • Reposición de un solo uso: un nuevo parámetro once admite operaciones de reposición de un solo uso (por ejemplo, hidrataciones iniciales). Cuando 'once' es verdadero, el flujo ingiere una instantánea de datos una sola vez y omite las llegadas futuras de archivos.

  • Compatibilidad con SQL: la nueva sintaxis CREATE FLOW de SQL permite usar AUTO CDC INTO directamente en SQL, con la misma compatibilidad para name y once.

• El Editor de Lakeflow ahora admite la conexión de clúster bajo demanda y la función de mantener activo el clúster, desencadenada por la actividad del usuario.