Lakeflow Spark Declarative Pipelines Version 2025.30

23. - 30. Juli 2025

Diese Features und Verbesserungen wurden mit der Version 2025.30 von Lakeflow Spark Declarative Pipelines veröffentlicht.

Databricks-Runtime-Versionen, die in dieser Version verwendet werden

Channel:

• CURRENT (Standard): Databricks Runtime 16.1
• VORSCHAU: Databricks Runtime 16.4

Hinweis

Da Lakeflow Spark Declarative Pipelines-Kanalversionen einem rollierenden Upgradeprozess folgen, werden Kanalupgrades zu unterschiedlichen Zeiten in verschiedenen Regionen bereitgestellt. Ihre Version, einschließlich Databricks-Runtime-Versionen, wird möglicherweise erst nach einer Woche oder mehr nach dem ursprünglichen Veröffentlichungsdatum aktualisiert. Informationen zum Suchen der Databricks-Runtime-Version für eine Pipeline finden Sie unter Runtime-Informationen.

Neue Features und Verbesserungen

• Wir haben die folgenden neuen Funktionen zu AUTO CDC-APIs in Lakeflow Spark Declarative Pipelines hinzugefügt.

  • Mehrere Flüsse pro Ziel: Der Befehl create_auto_cdc_flow unterstützt jetzt einen Namensparameter, sodass mehrere unabhängige AUTO CDC-Flüsse in dieselbe Zieltabelle geschrieben werden können. Dies ermöglicht Szenarien wie das Anwenden inkrementeller Updates und Korrekturdatenströme auf eine einzelne Tabelle.

  • Einmaliges Ausfüllen: Ein neuer Einmalparameter unterstützt einmalige Rückfüllvorgänge (z. B. anfängliche Hydratationen). Wenn einmal = true, erfasst der Fluss eine Momentaufnahme von Daten ein einziges Mal und ignoriert zukünftige Dateiankünfte.

  • SQL-Unterstützung: Mit der neuen CREATE FLOW SQL-Syntax können Sie AUTO CDC INTO direkt in SQL mit derselben Unterstützung für Namen und einmal verwenden.

• Der Lakeflow-Editor unterstützt jetzt on-demand cluster connect + Cluster keep-alive ausgelöst durch Benutzeraktivitäten.