Delta Live Tables wersja 2022.37

  • Artykuł

14 września 2022 r.

Te funkcje i ulepszenia zostały wydane wraz z wersją 2022.37 tabel delta live tables.

Wersje środowiska Databricks Runtime używane w tej wersji

Kanał:

  • CURRENT (ustawienie domyślne): Databricks Runtime 10.3.7
  • WERSJA ZAPOZNAWCZA: Databricks Runtime 11.0.5

Nowe funkcje i ulepszenia w tej wersji

  • Żądanie interfejsu API uruchamiania aktualizacji potoku zwraca request_id teraz pole w treści odpowiedzi. Jest request_id to stabilny identyfikator oryginalnego żądania rozpoczynającego aktualizację. Jeśli aktualizacja zostanie ponowiona lub ponownie uruchomiona, nowa aktualizacja dziedziczy request_idelement .
{
  "update_id": "the ID of the update that was started",
  "request_id": "The ID of the request that started this update"
}

Nowe requests żądanie interfejsu API (GET /pipelines/{pipeline_id}/requests/{request_id}) zwraca stan aktualizacji potoku skojarzonej z elementem request_id. Odpowiedź zawiera informacje o najnowszej aktualizacji.

{
   "status": "ACTIVE",
   "latest_update": {
   }
 }

  • Kod języka Python może teraz wywoływać spark.sql operacje poza dlt.table() funkcjami lub dlt.view() , o ile operacja nie jest odczytywana z tabeli na żywo.

  • Wpisy dziennika zdarzeń zawierają maturity teraz właściwość wskazującą stabilność schematu zdarzeń. Możliwe wartości to stable, evolvingi deprecated. Aby uzyskać więcej informacji na temat dziennika zdarzeń tabel delta Live Tables, zobacz Co to jest dziennik zdarzeń tabel delta live?.

  • Komunikat o błędzie jest ulepszany po wprowadzeniu niezgodnych zmian w tabelach źródłowych używanych przez tabelę przesyłania strumieniowego.

  • Teraz możesz wybrać zasady klastra w interfejsie użytkownika delty tabel na żywo podczas tworzenia lub edytowania potoku. Wcześniej ustawienie zasad klastra dla potoku wymaganego do edytowania ustawień JSON potoku.

  • Szybsze uruchamianie potoku. Ta wersja zawiera ulepszenia przyspieszające SETTING_UP_TABLES krok po uruchomieniu potoku.

Poprawki błędów w tej wersji

  • W tej wersji naprawiono usterkę uniemożliwiającą skalowanie automatyczne rozszerzone w górę, gdy nie są dostępne bezczynne wystąpienia klastra.