DLT wersja 2022.37

14 - 22 września 2022 r.

Te funkcje i ulepszenia zostały wydane w wersji 2022.37 dlT.

Wersje środowiska Databricks Runtime używane w tej wersji

Channel:

• CURRENT (ustawienie domyślne): Databricks Runtime 10.3.7
• WERSJA ZAPOZNAWCZA: Databricks Runtime 11.0.5

Nowe funkcje i ulepszenia w tej wersji

• Żądanie początkowej aktualizacji interfejsu API zwraca teraz pole request_id w treści odpowiedzi. request_id jest stabilnym identyfikatorem oryginalnego żądania rozpoczynającego aktualizację. Jeśli aktualizacja zostanie ponowiona lub ponownie uruchomiona, nowa aktualizacja dziedziczy request_id.

{
  "update_id": "the ID of the update that was started",
  "request_id": "The ID of the request that started this update"
}

Nowe żądanie interfejsu API requests (GET /pipelines/{pipeline_id}/requests/{request_id}) zwraca stan aktualizacji potoku skojarzonej z request_id. Odpowiedź zawiera informacje o najnowszej aktualizacji.

{
  "status": "ACTIVE",
  "latest_update": {}
}

• Kod Pythona może teraz wywoływać operacje spark.sql poza funkcjami dlt.table() lub dlt.view(), pod warunkiem, że operacja nie polega na odczycie z zmaterializowanego widoku lub tabeli strumieniowej.

• Wpisy dziennika zdarzeń zawierają teraz właściwość maturity, aby wskazać stabilność schematu zdarzeń. Możliwe wartości to stable, evolvingi deprecated. Aby uzyskać więcej informacji na temat dziennika zdarzeń DLT, zobacz Dziennik zdarzeń potoku.

• Komunikat o błędzie jest poprawiany, gdy wprowadzane są niezgodne zmiany w tabelach źródłowych używanych przez tabelę przesyłania strumieniowego.

• Teraz możesz wybrać zasady klastra w interfejsie użytkownika DLT podczas tworzenia lub edytowania potoku. Wcześniej ustawienie zasad klastra dla potoku wymagało edytowania ustawień JSON potoku.

• Szybsze uruchamianie pipeline'u. Ta wersja zawiera ulepszenia przyspieszające krok SETTING_UP_TABLES przy uruchamianiu potoku.

Poprawki błędów w tej wersji

• W tej wersji naprawiono błąd, który uniemożliwia ulepszone skalowanie automatyczne w górę, gdy nie są dostępne żadne bezczynne wystąpienia klastra.