Lakeflow Spark Declarative Pipelines – Versionshinweise 2026

Die folgenden Features, Verbesserungen und Fehlerbehebungen von Lakeflow Spark Declarative Pipelines wurden 2026 veröffentlicht.

Hinweis

Da Lakeflow Spark Declarative Pipelines-Kanalversionen einem rollierenden Upgradeprozess folgen, werden Kanalupgrades zu unterschiedlichen Zeiten in verschiedenen Regionen bereitgestellt. Ihre Version, einschließlich Databricks-Runtime-Versionen, wird möglicherweise erst nach einer Woche oder mehr nach dem ursprünglichen Veröffentlichungsdatum aktualisiert. Informationen zum Suchen der Databricks-Runtime-Version für eine Pipeline finden Sie unter Runtime-Informationen.

Januar 2026

Diese Features und Verbesserungen an Lakeflow Spark Declarative Pipelines wurden zwischen dem 14. November 2025 und dem 13. Januar 2026 veröffentlicht.

Databricks-Runtime-Versionen, die in dieser Version verwendet werden

Channel:

• CURRENT (Standard): Databricks Runtime 16.4
• VORSCHAU: Databricks Runtime 17.3

Neue Features und Verbesserungen

• Sie können die Erwartungen an die Datenqualität jetzt direkt in Unity-Katalogtabellen speichern und verwalten, um Datenqualitätsregeln mit Ihrem Datengovernance-Framework zu zentralisieren. Dies ermöglicht versionsgesteuerte, auditierbare Qualitätsregeln, die für mehrere Pipelines freigegeben werden können.

• Fortlaufende Pipelines, die länger als 7 Tage laufen, starten jetzt ordnungsgemäß mit minimalen Ausfallzeiten und einer expliziten Updateursache (INFRASTRUCTURE_MAINTENANCE), anstatt abrupt neu zu starten, wenn die zugrunde liegende Berechnung aktualisiert werden muss.

• Pipelines unterstützen jetzt den Warteschlangenmodus, bei dem mehrere Aktualisierungsanforderungen automatisch in die Warteschlange gestellt und nacheinander ausgeführt werden, anstatt aufgrund von Konflikten zu scheitern. Dadurch werden Vorgänge für Pipelines mit häufigen Updatetriggern vereinfacht und die Notwendigkeit einer manuellen Wiederholungskoordination beseitigt.

• Sie können jetzt mehrere SCD-Typ 2-Ansichten aus einer einzigen Änderungsdatenquelle materialisieren und die Effizienz beim Erstellen mehrerer historischer Ansichten derselben Daten verbessern. Dadurch ist es nicht erforderlich, Quelldaten für jede SCD-Typ 2-Ausgabe neu zu verarbeiten.

• Pipelinezeitpläne und -konfigurationen können jetzt in den Tabelleneigenschaften des Unity-Katalogs gespeichert und gelesen werden, wodurch die zentrale Einstellungsverwaltung über die Datengovernance ermöglicht wird. Auf diese Weise können Sie das Pipelineverhalten zusammen mit Ihren Datendefinitionen verwalten.

• MANAGE Berechtigungen werden jetzt automatisch an materialisierte Ansichten und Streamingtabellen im Unity-Katalog verteilt, was die Berechtigungsverwaltung für Pipelineausgaben vereinfacht. Dadurch wird eine konsistente Zugriffssteuerung ohne manuelle Berechtigungserteilungen sichergestellt.

• SCD-Typ-2-Vorgänge führen jetzt automatisch doppelte Datensätze mit demselben natürlichen Schlüssel zusammen, um Datenkonsistenz sicherzustellen und doppelte historische Datensätze in Ihren Slowly Changing Dimension (SCD) Tabellen zu verhindern.

• Pipelines haben jetzt die Möglichkeit, inaktive Tabellen, die nicht mehr Teil der Pipelinedefinition sind, automatisch abzulegen. Dies trägt dazu bei, saubere Data Warehouses zu verwalten und die Speicherkosten aus veralteten Tabellen zu reduzieren. Siehe Verwenden des Unity-Katalogs mit Pipelines.

• Pipeline-Definition, Patch-Vorgänge und Änderungen an der Run-as-Identität sind jetzt im Überwachungsprotokoll enthalten und bieten umfassende Verfolgung von Konfigurationsänderungen für die Compliance- und Sicherheitsüberwachung. Siehe Pipelineereignisprotokoll.

Fehlerkorrekturen

In diesem Veröffentlichungszeitraum wurden keine signifikanten Fehlerkorrekturen enthalten. Alle Änderungen waren neue Features und Verbesserungen.