DLT Veröffentlichung 2023.11

20. - 24. März 2023

Diese Features und Verbesserungen wurden mit der 2023.11-Version von DLT veröffentlicht.

Databricks-Runtime-Versionen, die in dieser Version verwendet werden

Channel:

• AKTUELL (Standard): Databricks Runtime 11.3.6
• VORSCHAU: Databricks Runtime 12.1.2

Neue Features und Verbesserungen in dieser Version

• Sie können jetzt den Echtzeitstatus für Ihre Pipelineupdates mit E-Mail-Benachrichtigungen erhalten. Sie können eine oder mehrere E-Mail-Adressen so konfigurieren, dass Benachrichtigungen empfangen werden, wenn:

  • Ein Pipelineupdate wird erfolgreich abgeschlossen, schlägt mit einem wiederholbaren Fehler fehl oder schlägt mit einem nicht wiederholbaren Fehler fehl.
  • Ein einzelner Datenfluss schlägt fehl.

  Zum Konfigurieren von Benachrichtigungs-E-Mails klicken Sie beim Erstellen oder Bearbeiten einer Pipeline auf Benachrichtigungen in den Pipelineeinstellungen. Siehe Hinzufügen von E-Mail-Benachrichtigungen für Pipelineereignisse.

• Diese Version enthält Änderungen, um die Benutzererfahrung zu verbessern, wenn Sie die Pipelineliste in der DLT-Benutzeroberfläche anzeigen. Die Änderungen umfassen eine Erhöhung der Anzahl der Pipelines, die auf jeder Seite angezeigt werden. Standardmäßig werden 20 Pipelines auf jeder Seite angezeigt. Der vorherige Standardwert bestand in der Anzeige von 10 Pipelines auf jeder Seite.

• In diesem Release werden im DLT-Ereignisprotokoll Veraltungswarnungen angezeigt, wenn Python-Datasetdefinitionen umgekehrte Schrägstriche (Backticks) um den Datasetnamen enthalten (z. B. Definition einer Tabelle als dlt.table(name="`table.name`")).

Fehlerbehebungen in dieser Version

• Diese Version behebt einen Fehler, der beim Verwenden des spark.sql("SHOW CATALOGS") Befehls zu einem Fehler führt. SHOW CATALOGS ist jetzt ein unterstützter Befehl.