Freigeben über

Delta Live Tables-Release 2022.49

  • Artikel

6.–9. Dezember 2022

Diese Features und Verbesserungen wurden mit dem Release 2022.49 von Delta Live Tables veröffentlicht.

Von diesem Release verwendete Databricks Runtime-Versionen

Kanal:

  • AKTUELL (Standard): Databricks Runtime 11.0.11
  • VORSCHAU: Databricks Runtime 11.3.2

Neue Features und Verbesserungen in dieser Version

  • Sie können jetzt Dateien aus einem Databricks-Git-Ordner als Python-Module importieren. Sie können Dateien aus dem aktuellen Repositorypfad oder mit sys.path.append() aus einem angegebenen Repositorypfad importieren.

  • Erweiterte Automatische Skalierung ist jetzt allgemein verfügbar. Mit dieser Version ist die erweiterte automatische Skalierung der Standardmodus für neue Pipelines, die in der Benutzeroberfläche erstellt wurden. Databricks empfiehlt das Aktualisieren von Pipelines, die die vorhandene Clusterautoskalierung verwenden, um eine erweiterte automatische Skalierung zu verwenden.

  • Bei Pipelines, die im fortlaufenden Modus ausgeführt werden, beträgt das standardmäßige Wiederholungslimit jetzt 2, wenn wiederholungsfähige Fehler auftreten. Einschließlich des ursprünglichen Versuchs haben alle Flows drei Versuche (mit exponentiellem Backoff) für die Ausführung, wenn nicht schwerwiegende Fehler auftreten. Bisher waren standardmäßig unbegrenzte Wiederholungsversuche für Batchflows und fünf Wiederholungsversuche für Streamingflows möglich.

  • Der Konfigurationsparameter pipelines.maxFlowRetryAttempts gilt jetzt für das Wiederholungslimit für alle Flows, einschließlich Batch- und Streamingflows sowie fortlaufender oder ausgelöster Pipelines. Bisher galt pipelines.maxFlowRetryAttempts für alle Wiederholungslimits im Auslösungsmodus, aber nur für Batchflows im fortlaufenden Modus – Wiederholungsversuche für Streamingpipelines im fortlaufenden Modus wurden durch pipelines.numStreamRetryAttempts gesteuert. Bei vorhandenen Pipelines wird pipelines.numStreamRetryAttempts weiterhin für Streamingflows im fortlaufenden Modus unterstützt. Wenn sowohl pipelines.numStreamRetryAttempts als auch pipelines.maxFlowRetryAttempts festgelegt sind, hat pipelines.numStreamRetryAttempts Priorität für Streamingflows im fortlaufenden Modus. Andernfalls wird der konfigurierte Wert für pipelines.maxFlowRetryAttempts verwendet. Weitere Informationen finden Sie unter Delta Live Tables-Eigenschaftenreferenz.

Fehlerbehebungen in diesem Release

  • Dieses Release behebt einen Fehler, der dazu führt, dass für Photon-fähige Cluster falsche DBU-Werte pro Stunde angezeigt werden.

  • Dieses Release behebt einen Fehler, der dazu führt, dass Delta Live Tables-Wartungstasks in Arbeitsbereichen mit Unity Catalog-Unterstützung fehlschlagen.

  • Dieses Release behebt einen Fehler, bei dem das Beenden oder Neustarten einer fortlaufenden Pipeline, die Daten mit Auto Loader erfasst, dazu führt, dass die Pipeline mehrere Minuten lang hängen bleibt.