Teilen über


Lakeflow Declarative Pipelines Release 2025.29

16. - 18. Juli 2025

Diese Features und Verbesserungen wurden mit der Version 2025.29 von Declarative Pipelines veröffentlicht.

Databricks-Runtime-Versionen, die von dieser Version verwendet werden

Kanal:

  • CURRENT (Standard): Databricks Runtime 16.1
  • VORSCHAU: Databricks Runtime 16.4

Hinweis

Da Lakeflow Spark Declarative Pipelines-Kanalversionen einem rollierenden Upgradeprozess folgen, werden Kanalupgrades zu unterschiedlichen Zeiten in verschiedenen Regionen bereitgestellt. Ihre Version, einschließlich Databricks-Runtime-Versionen, wird möglicherweise erst nach einer Woche oder mehr nach dem ursprünglichen Veröffentlichungsdatum aktualisiert. Informationen zum Suchen der Databricks-Runtime-Version für eine Pipeline finden Sie unter Runtime-Informationen.

Neue Features und Verbesserungen

  • Das Feature "Tabellen zwischen Lakeflow Declarative Pipelines" ist jetzt allgemein verfügbar (GA). Auf diese Weise können Benutzer materialisierte Ansichten und Streamingtabellen von einer Pipeline zu einer anderen mit einem SQL-Befehl und einer geringfügigen Codeanpassung verschieben. Siehe Verschieben von Tabellen zwischen deklarativen Lakeflow-Pipelines

  • ALTER-Befehle können jetzt auf MV/STs ausgeführt werden, die von ETL-Pipelines für Tabellenkommentare, Spaltenkommentare und RLS/CLM erstellt wurden. Im Rahmen dieses Features behalten Pipelineupdates die Werte von Feldern bei (nach Spaltennamenschlüssel), die von Benutzern alteRed werden können, anstatt sie zu überschreiben. Wir werden weiterhin explizite Definitionen im Quellcode respektieren, und alles, was nicht explizit definiert ist, wird beibehalten. Die folgende Tabelle zeigt dieses Verhalten:

Metadaten auf Spaltenebene:

Vorgehensweise Verhalten Vorhandener Zustand im Dataset Definiert im Pipeline-Quellcode oder Befehl "Erstellen und Ersetzen" Endstatus nach der Pipelineaktualisierung oder Ausführung des Befehls "Erstellen und Ersetzen"
Merge Vorhandene Metadaten im Dataset werden nicht entfernt, bevor wir das definierte im Pipeline-Quellcode oder im Befehl "Erstellen und Ersetzen" anwenden. Spalte X mit Kommentar 1 Spalte Y mit Kommentar 2 Spalte X mit Kommentar 1 Spalte Y mit Kommentar 2
Merge Wenn die Metadaten in der Pipelinequelle festgelegt sind, wird sie beim Aktualisieren zurückgesetzt. Spalte X mit Kommentar 1 Spalte X mit Kommentar 3 Spalte Y mit Kommentar 2 Spalte X mit Kommentar 3 Spalte Y mit Kommentar 2

Metadaten auf Tabellenebene:

Vorgehensweise Verhalten Vorhandener Zustand im Dataset Definiert im Pipeline-Quellcode oder Befehl "Erstellen und Ersetzen" Endstatus nach der Pipelineaktualisierung oder Ausführung des Befehls "Erstellen und Ersetzen"
Merge Vorhandene Metadaten im Dataset werden nicht entfernt, bevor im Pipeline-Quellcode oder im Befehl "Erstellen und Ersetzen" definiert wird. Zeilenfilter 1 Zeilenfilter 2 Zeilenfilter 2
Merge Wenn die Metadaten in der Pipelinequelle festgelegt sind, wird sie beim Aktualisieren zurückgesetzt. Zeilenfilter 1 Nichts Zeilenfilter 1

Sie können den Quellcode weiterhin wie zuvor ändern. Bei diesem Zusammenführungsansatz bleiben externe ALTERs erhalten, die an der Tabelle vorgenommen wurden.

Dieses neue Zusammenführungsverhalten führt zu einer wichtigen Änderung. Vor der Pipelineaktualisierung wurden vorhandene Zeilenfilter oder Spaltenmasken gelöscht, wenn sie von der Pipelinedefinition nicht eingeschlossen wurden. Jetzt müssen Sie vorhandene Kommentare, Zeilenfilter oder Spaltenformate explizit mithilfe des Katalog-Explorers oder des BEFEHLS ALTER löschen.

Informationen zur Verwendung der SQL-Befehle finden Sie unter ALTER MATERIALIZED VIEW und ALTER STREAMING TABLE.