DlT wersja 2022.40

28 września — 5 października 2022 r.

Te funkcje i ulepszenia zostały wydane w wersji 2022.40 dlT.

Wersje środowiska Databricks Runtime używane w tej wersji

kanał :

• CURRENT (ustawienie domyślne): Databricks Runtime 11.0.7
• PODGLĄD: Databricks Runtime 11.0.7

Nowe funkcje i ulepszenia w tej wersji

• W ustawieniach potoku użycie etykiety klastra innej niż default lub maintenance powoduje niepowodzenia podczas tworzenia lub edycji potoku. Aby uzyskać więcej informacji na temat konfiguracji klastra dla potoków deklaratywnych platformy Spark w usłudze Lakeflow, zobacz Konfigurowanie klasycznych obliczeń dla potoków.

• Możesz teraz otwierać lub uruchamiać potoki bezpośrednio z notesów Potoki deklaratywne platformy Spark w usłudze Lakeflow. Zobacz Tworzenie i debugowanie potoków za pomocą notesu (starsza wersja).

• Ta wersja zawiera zmianę powodującą niekompatybilność w strukturze danych ustawień potoku zwracanych przez żądania interfejsu API DLT . Ta zmiana zwraca pole edition jako wyższą wartość. Wcześniej ta wartość została zwrócona jako przypadek mieszany. Należy zaktualizować klientów odczytujących wartość edition w odpowiedziach interfejsu API, aby zapewnić prawidłowe przetwarzanie wartości zwracanej. Jednak wartość edition w żądaniach interfejsu API jest nieczuła na wielkość liter; klienci przesyłający żądania zawierające to pole nie muszą aktualizować swoich żądań.

Poprawki błędów w tej wersji

• W tej wersji naprawiono błąd, który powoduje, że interfejs użytkownika DLT wyświetla ciąg w stanie RUNNING nawet po niepowodzeniu aktualizacji.

• Ta aktualizacja naprawia usterkę w interfejsie APPLY_CHANGES podczas ponownego przetwarzania danych wejściowych, w których dane zawierają zduplikowane DELETE operacje o tej samej wartości w kolumnie SEQUENCE . Ten scenariusz skutkuje pojawieniem się wartości NULL w tabeli docelowej i usunięciem wartości DeleteVersion. Jest to równoważne oznaczaniu rekordu jako NOT-DELETED. Dzięki tej zmianie zduplikowane operacje DELETE są obsługiwane idempotentnie i zawsze oznaczają rekord jako DELETED.

• W tej wersji naprawiono usterkę powodującą ukrycie wierszy podczas przetwarzania typu 2 protokołu SCD , gdy poprzedni rekord historyczny jest usuwany zawierający te same kolumny co następny rekord historyczny.

• Ta aktualizacja naprawia błąd powodujący, że widok z oczekiwaniem expect_or_fail pozostaje w stanie RUNNING, nawet jeśli oczekiwanie nie zostanie spełnione. Dzięki tej poprawce pipeline ulega awarii i przechodzi do stanu FAILED.