DLT Version 2022.40

28. September - 5. Oktober 2022

Diese Features und Verbesserungen wurden mit der 2022.40-Version von DLT veröffentlicht.

Databricks-Runtime-Versionen, die in dieser Version verwendet werden

Kanal:

• CURRENT (Standard): Databricks Runtime 11.0.7
• VORSCHAU: Databricks Runtime 11.0.7

Neue Features und Verbesserungen in dieser Version

• Die Verwendung einer anderen Clusterbezeichnung als default oder maintenance in Ihren Pipelineeinstellungen verursacht Fehler beim Erstellen oder Bearbeiten der Pipeline. Weitere Informationen zur Clusterkonfiguration für Lakeflow Spark Declarative Pipelines finden Sie unter Konfigurieren der klassischen Berechnung für Pipelines.

• Sie können pipelines jetzt direkt aus Ihren Lakeflow Spark Declarative Pipelines-Notizbüchern öffnen oder ausführen. Siehe Entwickeln und Debuggen von Pipelines mit einem Notebook (Legacy).

• Diese Version enthält eine kritische Änderung in der Datenstruktur der Pipelineeinstellungen, die von DLT-API-Anforderungen zurückgegeben werden. Diese Änderung gibt das edition Feld in Großbuchstaben zurück. Zuvor wurde dieser Wert als gemischter Fall zurückgegeben. Sie müssen Ihre Clients aktualisieren, die den edition Wert in API-Antworten lesen, um die korrekte Verarbeitung des Rückgabewerts sicherzustellen. Allerdings ist der edition Wert in API-Anforderungen nicht auf Groß- und Kleinschreibung sensitiv; Ihre Clients, die Anforderungen einschließlich dieses Feldes senden, müssen nicht aktualisiert werden.

Fehlerbehebungen in dieser Version

• Diese Version behebt einen Fehler, der bewirkt, dass die DLT-Benutzeroberfläche eine Pipeline in einem RUNNING Zustand anzeigt, auch nach einem Updatefehler.

• Dieses Update behebt einen Fehler in der APPLY_CHANGES Schnittstelle beim erneuten Verarbeiten von Eingabedaten, bei denen die Daten doppelte DELETE Vorgänge mit demselben Wert in der SEQUENCE Spalte enthalten. Dieses Szenario führt zu NULL Werten in der Zieltabelle und zum Entfernen des DeleteVersion Werts. Dies entspricht dem Markieren des Datensatzes als NOT-DELETED. Bei dieser Änderung werden die doppelten DELETE Vorgänge auf idempotente Weise behandelt und markieren den Datensatz immer als DELETED.

• Diese Version behebt einen Fehler, der dazu führt, dass Zeilen während der SCD-Typ 2-Verarbeitung ausgeblendet werden, wenn ein vorheriger historischer Datensatz gelöscht wird, der dieselben Spalten wie der nächste historische Datensatz enthält.

• Dieses Update behebt einen Fehler, der dazu führt, dass eine Ansicht mit der expect_or_fail Erwartung im RUNNING Zustand bleibt, auch wenn die Erwartung fehlschlägt. Mit diesem Fix schlägt die Pipeline fehl und wechselt in den Zustand FAILED.