Informacje o wersji deklaratywnych potoków Lakeflow Spark 2026

Następujące funkcje, ulepszenia i poprawki błędów potoków deklaratywnych Lakeflow Spark zostały wydane w 2026 r.

Uwaga / Notatka

Ponieważ wersje kanałów deklaratywnych potoków Lakeflow Spark w ramach procesu aktualizacji kroczącej są wdrażane w różnych regionach w różnym czasie. Twoje wydanie, łącznie z wersjami środowiska Databricks Runtime, może nie zostać zaktualizowane przez tydzień lub dłużej po początkowej dacie wydania. Aby znaleźć bieżącą wersję środowiska Databricks Runtime dla potoku, zobacz Dane środowiska.

Marzec 2026 r.

Te funkcje i ulepszenia potoków deklaratywnych platformy Spark w usłudze Lakeflow zostały wydane od 26 lutego 2026 r. do 31 marca 2026 r.

Wersje środowiska Databricks Runtime używane w tej wersji

Następujące wersje były aktualne od 31 marca 2026 r.

Kanał:

• CURRENT (ustawienie domyślne): Databricks Runtime 17.3.8
• WERSJA ZAPOZNAWCZA: Databricks Runtime 18.1.0

Nowe funkcje i ulepszenia

• Potoki bezserwerowe obsługują automatyczne skalowanie pionowe oparte na procesorze CPU. Funkcja dynamicznie dostosowuje zasoby klastra na podstawie rzeczywistego wykorzystania procesora CPU, aby zwiększyć stabilność obciążenia.
• Można teraz zachować tabele katalogu Unity podczas usuwania potoku, co pozwala na zabezpieczenie zasobów danych nawet po skasowaniu potoku. Zapewnia to większą elastyczność zarządzania cyklami życia potoku bez ryzyka utraty danych.
• Teraz można tworzyć tabele przesyłania strumieniowego przy użyciu nowej składni przepływu, która zapewnia bardziej bezpośredni, deklaratywny sposób definiowania potoków danych przesyłanych strumieniowo. Upraszcza to tworzenie potoków i jest zgodne z bieżącymi wzorcami inżynierii danych.
• Haki potoków są teraz dostępne dla potoków wyzwalanych przez zadania. Użyj ich do uruchamiania niestandardowej logiki przed i po aktualizacjach potoków w ramach zadań Lakeflow. Haki potokowe rozszerzają możliwości automatyzacji w zakresie zorganizowanego przetwarzania danych.
• Potoki teraz zachowują konfiguracje filtrów wierszy i masek kolumn podczas aktualizacji tabeli, dzięki czemu zasady zabezpieczeń Unity Catalog pozostają nienaruszone podczas odświeżeń potoków. Zapobiega to przypadkowemu usunięciu zasad zabezpieczeń podczas ewolucji schematu.
• Zastosowanie zmian w usłudze CDC obsługuje teraz tryb ponownej bazy danych daty/godziny. Funkcja poprawnie obsługuje konwersje sygnatur czasowych między starszymi i nowoczesnymi systemami kalendarzy. Zapobiega to niespójnościom danych podczas przetwarzania historycznych danych daty/godziny za pomocą przepływów przechwytywania danych zmian.
• Teraz można używać instrukcji SQL w operacjach w potokach strumieniowych, co pozwala na bardziej elastyczną logikę przetwarzania mikrosadowego. Usuwa to poprzednie ograniczenia, które wymagały użycia Pythona lub Scali do obsługi wsadów niestandardowych.
• Potoki obsługują teraz odwołania do przodu w rejestracji ujścia. Możesz zdefiniować przepływy danych odwołujące się do tabel podrzędnych, zanim zostaną zadeklarowane. Upraszcza to złożone definicje potoków i usuwa ograniczenia porządkowania.
• Przepływy dodawane jednorazowo są teraz weryfikowane podczas symulacji, przechwytując błędy konfiguracji przed rozpoczęciem uruchamiania potoku. Poprawia to doświadczenie programistyczne poprzez ujawnianie problemów wcześniej w procesie tworzenia potoku.

Poprawki błędów

W tym okresie wydania nie uwzględniono żadnych znaczących poprawek błędów. Wszystkie zmiany były nowymi funkcjami i ulepszeniami.

Luty 2026 r.

Te nowe funkcje i ulepszenia deklaratywnych potoków Lakeflow Spark zostały wydane między 14 stycznia a 25 lutego 2026 roku.

Wersje środowiska Databricks Runtime używane w tej wersji

Następujące wersje były aktualne od 25 lutego 2026 r.

Kanał:

• CURRENT (ustawienie domyślne): Databricks Runtime 17.3
• WERSJA ZAPOZNAWCZA: Databricks Runtime 17.3

Nowe funkcje i ulepszenia

• Potoki teraz obsługują rozszerzanie typów dla tabel Delta, co umożliwia bezpieczne rozszerzanie typów danych kolumn (na przykład INT do LONG, FLOAT do DOUBLE) bez konieczności pełnego resetowania potoku. Umożliwia to procesy ewolucji schematu, które wcześniej wymagały interwencji ręcznej.
• Teraz można użyć materializacji typu SCD 1 z elementem AUTO CDC, zapewniając prostszy wzorzec CDC, który aktualizuje najnowszą wartość bez utrzymania pełnej historii zmian. Zmniejsza to obciążenie magazynu w przypadku przypadków użycia, które nie wymagają pełnej historii.
• Potoki danych są teraz ponownie używane w istniejących klastrach podczas próby ponownego uruchamiania aktualizacji, co zmniejsza opóźnienie ponawiania prób i obniża koszty obliczeń poprzez wyeliminowanie nadmiarowego czasu uruchamiania klastrów.
• Umożliwienie optymalizacji predykcyjnej jest teraz prawidłowo wyświetlane w zmaterializowanych widokach i tabelach strumieniowych, jeśli zostały odświeżone w ciągu ostatniego miesiąca.
• Potoki teraz weryfikują wiele przepływów razem, przechwytując konflikty konfiguracji i problemy zależności między przepływami w fazie suchego uruchamiania przed rozpoczęciem wykonywania.
• Metadane, które można zmieniać, są teraz zachowywane podczas aktualizacji potoku przetwarzania danych, co umożliwia pełną obsługę komend ALTER w tabelach przesyłania strumieniowego.
• Błędy Pythona w potokach teraz zawierają kody stanu SQL, co poprawia diagnostykę błędów i umożliwia lepszą programową obsługę błędów w narzędziach do dalszego przetwarzania.
• Rurociągi teraz obsługują instancje ARM do klasycznych obliczeń.

Poprawki błędów

• Wartości kolumn tożsamości w tabelach strumieniowych z wyłącznie dołączaniem są teraz poprawnie generowane podczas pierwszej aktualizacji.

Styczeń 2026 r.

Te funkcje i ulepszenia potoków deklaratywnych platformy Spark w usłudze Lakeflow zostały wydane od 14 listopada 2025 r. do 13 stycznia 2026 r.

Wersje środowiska Databricks Runtime używane w tej wersji

Następujące wersje były aktualne od 13 stycznia 2026 r.

Kanał:

• CURRENT (ustawienie domyślne): Databricks Runtime 17.3
• WERSJA ZAPOZNAWCZA: Databricks Runtime 17.3

Nowe funkcje i ulepszenia

• Teraz można przechowywać oczekiwania dotyczące jakości danych oraz zarządzać nimi bezpośrednio w tabelach Unity Catalog, scentralizować reguły jakości danych w ramach ram zarządzania danymi. Umożliwia to zarządzanie regułami jakości z kontrolą wersji i pełną audytowalnością, które mogą być współdzielone przez wiele potoków.

• Potoki ciągłe działające dłużej niż 7 dni są teraz łagodnie uruchamiane ponownie z minimalnym przestojem i wyraźnym powodem aktualizacji (INFRASTRUCTURE_MAINTENANCE), zamiast nagle restartować, gdy warstwa obliczeniowa musi zostać odświeżona.

• Potoki teraz obsługują tryb wykonywania w kolejce, w którym wiele żądań aktualizacji jest automatycznie kolejkowanych i wykonywanych sekwencyjnie, zamiast napotykania konfliktów. Upraszcza to operacje potoków danych z częstymi wyzwalaczami aktualizacji i eliminuje konieczność ręcznej koordynacji ponownego uruchamiania.

• Teraz można zmaterializować wiele widoków typu SCD 2 z jednego źródła danych zmiany, co zwiększa wydajność podczas tworzenia wielu widoków historycznych tych samych danych. Eliminuje to konieczność ponownego przetwarzania danych źródłowych dla każdego wyjściowego typu SCD 2.

• Harmonogramy i konfiguracje potoków można teraz przechowywać i odczytywać z właściwości tabel Unity Catalog, umożliwiając scentralizowane zarządzanie ustawieniami poprzez zarządzanie danymi. Umożliwia to zarządzanie zachowaniem potoku w połączeniu z definicjami danych.

• MANAGE uprawnienia są teraz automatycznie propagowane do zmaterializowanych widoków i tabel strumieniowych w Unity Catalog, co upraszcza zarządzanie uprawnieniami dla wyników potoku. Zapewnia to spójną kontrolę dostępu bez przyznawania uprawnień ręcznych.

• Operacje typu 2 SCD automatycznie łączą zduplikowane rekordy przy użyciu tego samego klucza naturalnego, zapewniając spójność danych i zapobiegając powielaniu rekordów historycznych w wolno zmieniających się tabelach wymiarowych.

• Systemy rurociągów mają teraz możliwość automatycznego usuwania nieaktywnych tabel, które nie są już częścią definicji systemu. Pomaga to zachować czyste magazyny danych i zmniejszyć koszty magazynowania z przestarzałych tabel. Zobacz Używanie Unity Catalogu z potokami.

• Definicje potoku, operacje poprawek i zmiany uruchamianej tożsamości są teraz uwzględniane w dzienniku inspekcji, zapewniając kompleksowe śledzenie zmian konfiguracji w kontekście zgodności i monitorowania zabezpieczeń. Zobacz Dziennik zdarzeń rurociągu.

Poprawki błędów

W tym okresie wydania nie uwzględniono żadnych znaczących poprawek błędów. Wszystkie zmiany były nowymi funkcjami i ulepszeniami.