DLT Version 2022.49

6. - 9. Dezember 2022

Diese Features und Verbesserungen wurden mit der 2022.49-Version von DLT veröffentlicht.

Databricks-Runtime-Versionen, die in dieser Version verwendet werden

Kanal:

• AKTUELL (Standard): Databricks Runtime 11.0.11
• VORSCHAU: Databricks Runtime 11.3.2

Neue Features und Verbesserungen in dieser Version

• Sie können jetzt Dateien aus einem Git-Ordner "Databricks" als Python-Module importieren. Sie können Dateien aus dem aktuellen Repository-Pfad oder einem angegebenen Repository-Pfad mithilfe von sys.path.append().

• Erweiterte Automatische Skalierung ist jetzt allgemein verfügbar. Mit dieser Version ist die erweiterte automatische Skalierung der Standardmodus für neue Pipelines, die in der Benutzeroberfläche erstellt wurden. Databricks empfiehlt das Aktualisieren von Pipelines, die die vorhandene Clusterautoskalierung verwenden, um eine erweiterte automatische Skalierung zu verwenden.

• Für Pipelines, die im fortlaufenden Modus ausgeführt werden, beträgt der Standardgrenzwert für wiederholungsversuche jetzt 2, wenn wiederholungsfähige Fehler auftreten. Einschließlich des ursprünglichen Versuchs haben alle Abläufe drei Versuche (mit exponentiellem Backoff), um ausgeführt zu werden, wenn nicht schwerwiegende Fehler auftreten. Zuvor waren die Standardwerte unbegrenzte Wiederholungen für Batchflüsse und fünf Wiederholungsversuche für Streaming-Prozesse.

• Der Konfigurationsparameter pipelines.maxFlowRetryAttempts gilt jetzt für den Wiederholungsgrenzwert für alle Flüsse, einschließlich Batch- und Streamingflüssen sowie fortlaufende oder ausgelöste Pipelines. Zuvor wurden alle Wiederholungsgrenzwerte im ausgelösten Modus angewendet, im fortlaufenden Modus aber nur auf Batchflüsse; Wiederholungsversuche für Streaming-Pipelines im fortlaufenden Modus wurden durch pipelines.maxFlowRetryAttempts gesteuert. Für vorhandene Pipelines wird pipelines.numStreamRetryAttempts weiterhin für Streamingflüsse im fortlaufenden Modus unterstützt. Wenn sowohl pipelines.numStreamRetryAttempts als auch pipelines.maxFlowRetryAttempts festgelegt sind, hat pipelines.numStreamRetryAttempts Vorrang für Datenströme im kontinuierlichen Modus. Andernfalls wird der konfigurierte Wert pipelines.maxFlowRetryAttempts verwendet. Siehe Pipelineeigenschaftenreferenz.

Fehlerbehebungen in dieser Version

• Diese Version behebt einen Fehler, der dazu führt, dass falsche DBU-Berechnungen pro Stunde für Photon-fähige Cluster angezeigt werden.

• Diese Version behebt einen Fehler, der dazu führt, dass DLT-Wartungsaufgaben in Unity-Katalog-aktivierten Arbeitsbereichen fehlschlagen.

• Diese Version behebt einen Fehler, bei dem das Anhalten oder Neustarten einer fortlaufenden Pipeline, die Daten mit dem automatischen Laden erfasst, dazu führt, dass die Pipeline mehrere Minuten lang hängen bleibt.