Zpráva k verzi deklarativních kanálů Sparku Lakeflow 2026

V roce 2026 byly vydány následující funkce, vylepšení a opravy chyb deklarativních kanálů Lakeflow Spark.

Poznámka:

Vzhledem k tomu, že verze kanálu deklarativních potrubí Lakeflow Spark se řídí procesem postupného upgradu, upgrady kanálů se nasazují v různých regionech v různých časech. Vaše verze, včetně verzí Databricks Runtime, se nemusí aktualizovat do týdne nebo více po počátečním datu vydání. Chcete-li zjistit verzi modulu runtime Databricks pro konkrétní kanál, podívejte se na Informace o modulu runtime.

Leden 2026

Tyto funkce a vylepšení deklarativních kanálů Sparku Lakeflow byly vydány mezi 14. listopadem 2025 a 13. lednem 2026.

Verze Databricks Runtime použité v rámci tohoto vydání

Kanál:

• CURRENT (výchozí): Databricks Runtime 16.4
• PREVIEW: Databricks Runtime 17.3

Nové funkce a vylepšení

• Nyní můžete ukládat a spravovat očekávání kvality dat přímo v tabulkách katalogu Unity a centralizovat pravidla kvality dat s architekturou zásad správného řízení dat. To umožňuje řídit verze a auditovatelná pravidla kvality, která se dají sdílet napříč několika kanály.

• Průběžné kanály, které běží déle než 7 dní, se teď řádně restartují s minimálními výpadky a explicitní příčinou aktualizace (INFRASTRUCTURE_MAINTENANCE) místo náhlého restartování, když je potřeba základní výpočetní prostředky aktualizovat.

• Potrubí nyní podporují režim spouštění ve frontě, kdy se více žádostí o aktualizaci automaticky zařadí do fronty a spouští se postupně namísto toho, aby selhaly kvůli konfliktům. To zjednodušuje operace pro kanály s častými aktivačními událostmi aktualizace a eliminuje potřebu ruční koordinace opakování.

• Nyní můžete materializovat více zobrazení typu SCD typu 2 z jednoho zdroje dat změn, což zlepšuje efektivitu při vytváření více historických zobrazení stejných dat. Tím se eliminuje nutnost znovu zpracovat zdrojová data pro každý výstup typu SCD 2.

• Plány kanálů a konfigurace se teď dají ukládat a číst z vlastností tabulky Katalogu Unity, což umožňuje centralizovanou správu nastavení prostřednictvím zásad správného řízení dat. To vám umožní spravovat chování kanálu společně s definicemi dat.

• MANAGE oprávnění se teď automaticky rozšíří do materializovaných zobrazení a streamovaných tabulek v katalogu Unity, což zjednodušuje správu oprávnění pro výstupy kanálu. Tím se zajistí konzistentní řízení přístupu bez udělení ručních oprávnění.

• Operace TYPU 2 SCD teď automaticky sjednotí duplicitní záznamy se stejným přirozeným klíčem, čímž zajistí konzistenci dat a brání duplicitním historickým záznamům v pomalu se měnících tabulkách dimenzí.

• Kanály teď mají možnost automaticky vypustit neaktivní tabulky, které už nejsou součástí definice kanálu. To pomáhá udržovat čisté datové sklady a snižovat náklady na úložiště z zastaralých tabulek. Podívejte se na Použití katalogu Unity s kanály.

• Definice kanálu, operace oprav a změny u identity pro spuštění jsou nyní zahrnuty v protokolu auditu, což umožňuje komplexní sledování změn konfigurace pro účely dodržování předpisů a monitorování zabezpečení. Viz protokol událostí kanálu.

Opravy chyb

V tomto období vydání nebyly zahrnuty žádné významné opravy chyb. Všechny změny byly nové funkce a vylepšení.