DLT Release 2022.37

14. - 22. September 2022

Diese Features und Verbesserungen wurden mit der 2022.37-Version von DLT veröffentlicht.

Databricks-Runtime-Versionen, die in dieser Version verwendet werden

Channel:

• AKTUELL (Standard): Databricks Runtime 10.3.7
• VORSCHAU: Databricks Runtime 11.0.5

Neue Features und Verbesserungen in dieser Version

• Die API-Anforderung für die Startaktualisierung gibt nun das request_id Feld im Antworttext zurück. Dies request_id ist ein stabiler Bezeichner für die ursprüngliche Anforderung, die das Update startet. Wenn ein Update wiederholt oder neu gestartet wird, erbt das neue Update request_id.

{
  "update_id": "the ID of the update that was started",
  "request_id": "The ID of the request that started this update"
}

Die neue requests API-Anforderung (GET /pipelines/{pipeline_id}/requests/{request_id}) gibt den Status der Pipelineaktualisierung zurück, die zugeordnet request_idist. Die Antwort enthält Informationen über das neueste Update.

{
  "status": "ACTIVE",
  "latest_update": {}
}

• Ihr Python-Code kann jetzt spark.sql-Operationen außerhalb von dlt.table()- oder dlt.view()-Funktionen aufrufen, solange der Vorgang nicht aus einer materialisierten Ansicht oder Streamingtabelle gelesen wird.

• Ereignisprotokolleinträge enthalten nun die maturity Eigenschaft, um die Stabilität des Ereignisschemas anzugeben. Mögliche Werte sind stable, evolving und deprecated. Weitere Informationen zum DLT-Ereignisprotokoll finden Sie unter Pipeline-Ereignisprotokoll.

• Die Fehlermeldung wird verbessert, wenn bei den Quelltabellen, die von einer Streamingtabelle genutzt werden, inkompatible Änderungen vorgenommen werden.

• Sie können jetzt eine Clusterrichtlinie in der DLT-Benutzeroberfläche auswählen, wenn Sie eine Pipeline erstellen oder bearbeiten. Zuvor erforderte das Festlegen der Clusterrichtlinie für eine Pipeline, dass die JSON-Einstellungen der Pipeline bearbeitet wurden.

• Schnellerer Pipelinestart. Dieses Release enthält Verbesserungen, die den Schritt SETTING_UP_TABLES beim Starten einer Pipeline beschleunigen.

Fehlerbehebungen in dieser Version

• Diese Version behebt einen Fehler, der verhindert, dass die automatische Skalierung erhöht wird, wenn keine Leerlaufclusterinstanzen verfügbar sind.