Zpráva k verzi deklarativních kanálů Sparku Lakeflow 2026

V roce 2026 byly vydány následující funkce, vylepšení a opravy chyb deklarativních kanálů Lakeflow Spark.

Poznámka:

Vzhledem k tomu, že verze kanálu deklarativních potrubí Lakeflow Spark se řídí procesem postupného upgradu, upgrady kanálů se nasazují v různých regionech v různých časech. Vaše verze, včetně verzí Databricks Runtime, se nemusí aktualizovat do týdne nebo více po počátečním datu vydání. Pokud chcete zjistit aktuální verzi Databricks Runtime pro datový kanál, podívejte se na Informace o modulu runtime.

Březen 2026

Mezi 26. únorem 2026 a 31. březnem 2026 byly vydány tyto funkce a vylepšení deklarativních kanálů Lakeflow Spark.

Verze Databricks Runtime použité v rámci tohoto vydání

Následující verze byly aktuální od 31. března 2026.

Kanál:

• CURRENT (výchozí): Databricks Runtime 17.3.8
• PREVIEW: Databricks Runtime 18.1.0

Nové funkce a vylepšení

• Bezserverové kanály teď podporují vertikální automatické škálování založené na procesoru. Tato funkce dynamicky upravuje prostředky clusteru na základě skutečného využití procesoru, aby se zlepšila stabilita úloh.
• Tabulky katalogu Unity teď můžete zachovat při odstraňování pipeline a uchovat své datové prostředky i po jejím odebrání. Díky tomu získáte větší flexibilitu při správě životního cyklu kanálu bez rizika ztráty dat.
• Teď můžete vytvářet streamované tabulky pomocí nové syntaxe toku, která poskytuje přímější a deklarativní způsob definování datových kanálů streamování. To zjednodušuje tvorbu pipeline a odpovídá současným vzorům datového inženýrství.
• Pro kanály aktivované úlohami jsou teď k dispozici háky kanálu. Použijte je ke spuštění vlastní logiky před a po aktualizacích pipeline v úlohách Lakeflow. Háky kanálu rozšiřují možnosti automatizace pro orchestraci zpracování dat.
• Kanály teď během aktualizací tabulky zachovávají konfiguraci filtru řádků a masky sloupců, takže zásady zabezpečení katalogu Unity zůstanou v aktualizacích kanálu nedotčené. Zabráníte tak náhodnému odebrání zásad zabezpečení během vývoje schématu.
• CDC teď podporuje režim přesunu data a času. Tato funkce správně zpracovává převody časových razítek mezi staršími a moderními kalendářními systémy. To brání nesrovnalostem v datech při zpracování historických údajů o datu a času prostřednictvím toků pro zachytávání změn dat.
• Nyní můžete používat SQL příkazy v rámci operací foreachBatch ve streamovacích kanálech, což umožňuje flexibilnější logiku mikrodávkového zpracování. Tím se odstraňují předchozí omezení, která vyžadovala použití Pythonu nebo Scaly pro vlastní dávkové zpracování.
• Kanály teď podporují předávací odkazy v registraci jímky. Toky dat, které odkazují na podřízené tabulky, můžete definovat dříve, než se deklarují. To zjednodušuje složité definice pipeline a odstraňuje omezení pořadí.
• Toky typu Append-once se teď ověřují během suchých spuštění a zachytávají chyby konfigurace před zahájením spuštění kanálu. Tím se zlepší možnosti vývoje tím, že se problémy zobrazí dříve v pracovním postupu vytváření kanálu.

Opravy chyb

V tomto období vydání nebyly zahrnuty žádné významné opravy chyb. Všechny změny byly nové funkce a vylepšení.

Únor 2026

Funkce a vylepšení deklarativních kanálů Lakeflow Spark byly vydány od 14. ledna 2026 do 25. února 2026.

Verze Databricks Runtime použité v rámci tohoto vydání

Následující verze byly aktuální od 25. února 2026.

Kanál:

• CURRENT (výchozí): Databricks Runtime 17.3
• PREVIEW: Databricks Runtime 17.3

Nové funkce a vylepšení

• Kanály nyní podporují rozšiřování typů pro tabulky Delta, což umožňuje bezpečné rozšíření datových typů sloupců (například z INT na LONG, z FLOAT na DOUBLE) bez nutnosti úplného resetování kanálu. To umožňuje vývoj schématu pracovních postupů, které dříve vyžadovaly ruční zásah.
• Nyní můžete použít materializaci typu SCD 1 s AUTO CDC, což představuje jednodušší vzor CDC, který vloží nebo aktualizuje nejnovější hodnotu, aniž by zachovával úplnou historii změn. Tím se sníží režijní náklady na úložiště pro případy použití, které nevyžadují úplnou historii.
• Kanály teď opakovaně používají existující clustery při opakování neúspěšných aktualizací, snižují latenci opakování a snižují náklady na výpočetní prostředky tím, že eliminují redundantní dobu spuštění clusteru.
• Povolení prediktivní optimalizace se teď správně zobrazuje v materializovaných zobrazeních a tabulkách streamování, pokud byly aktualizovány během posledního měsíce.
• Kanály teď před zahájením spuštění ověřují více toků a zachytává konflikty konfigurace a problémy závislostí mezi toky během fáze suchého spuštění.
• Během aktualizací kanálu příjmu dat se teď zachovají upravitelná metadata, což umožňuje úplnou podporu příkazů ALTER pro tabulky streamování příjmu dat.
• Python chyby v datových tocích teď obsahují kódy stavu SQL, což vylepšuje diagnostiku chyb a umožňuje lepší programové zpracování chyb v navazujících nástrojích.
• Pipeliny teď podporují instance ARM pro klasické výpočty.

Opravy chyb

• Hodnoty identitních sloupců v tabulkách streamování pouze pro přidávání se teď správně generují při prvním spuštění aktualizace.

Leden 2026

Tyto funkce a vylepšení deklarativních kanálů Sparku Lakeflow byly vydány mezi 14. listopadem 2025 a 13. lednem 2026.

Verze Databricks Runtime použité v rámci tohoto vydání

Následující verze byly aktuální od 13. ledna 2026.

Kanál:

• CURRENT (výchozí): Databricks Runtime 17.3
• PREVIEW: Databricks Runtime 17.3

Nové funkce a vylepšení

• Nyní můžete ukládat a spravovat očekávání kvality dat přímo v tabulkách katalogu Unity a centralizovat pravidla kvality dat s architekturou zásad správného řízení dat. To umožňuje řídit verze a auditovatelná pravidla kvality, která se dají sdílet napříč několika kanály.

• Průběžné kanály, které běží déle než 7 dní, se teď řádně restartují s minimálními výpadky a explicitní příčinou aktualizace (INFRASTRUCTURE_MAINTENANCE) místo náhlého restartování, když je potřeba základní výpočetní prostředky aktualizovat.

• Potrubí nyní podporují režim spouštění ve frontě, kdy se více žádostí o aktualizaci automaticky zařadí do fronty a spouští se postupně namísto toho, aby selhaly kvůli konfliktům. To zjednodušuje operace pro kanály s častými aktivačními událostmi aktualizace a eliminuje potřebu ruční koordinace opakování.

• Nyní můžete materializovat více zobrazení typu SCD typu 2 z jednoho zdroje dat změn, což zlepšuje efektivitu při vytváření více historických zobrazení stejných dat. Tím se eliminuje nutnost znovu zpracovat zdrojová data pro každý výstup typu SCD 2.

• Plány kanálů a konfigurace se teď dají ukládat a číst z vlastností tabulky Katalogu Unity, což umožňuje centralizovanou správu nastavení prostřednictvím zásad správného řízení dat. To vám umožní spravovat chování kanálu společně s definicemi dat.

• MANAGE oprávnění se teď automaticky rozšíří do materializovaných zobrazení a streamovaných tabulek v katalogu Unity, což zjednodušuje správu oprávnění pro výstupy kanálu. Tím se zajistí konzistentní řízení přístupu bez udělení ručních oprávnění.

• Operace TYPU 2 SCD teď automaticky sjednotí duplicitní záznamy se stejným přirozeným klíčem, čímž zajistí konzistenci dat a brání duplicitním historickým záznamům v pomalu se měnících tabulkách dimenzí.

• Kanály teď mají možnost automaticky vypustit neaktivní tabulky, které už nejsou součástí definice kanálu. To pomáhá udržovat čisté datové sklady a snižovat náklady na úložiště z zastaralých tabulek. Podívejte se na Použití katalogu Unity s kanály.

• Definice kanálu, operace oprav a změny u identity pro spuštění jsou nyní zahrnuty v protokolu auditu, což umožňuje komplexní sledování změn konfigurace pro účely dodržování předpisů a monitorování zabezpečení. Viz protokol událostí kanálu.

Opravy chyb

V tomto období vydání nebyly zahrnuty žádné významné opravy chyb. Všechny změny byly nové funkce a vylepšení.