Lakeflow Declarative Pipelines verze 2025.29

16. července – 18. července 2025

Tyto funkce a vylepšení byly vydány ve verzi 2025.29 produktu Declarative Pipelines.

Verze Databricks Runtime používané tímto vydáním

Kanál:

  • CURRENT (výchozí): Databricks Runtime 16.1
  • PREVIEW: Databricks Runtime 16.4

Poznámka:

Vzhledem k tomu, že deklarativní kanály Sparku v kanálech Lakeflow se řídí procesem postupného upgradu, upgrady kanálů se nasazují v různých oblastech v různých časech. Vaše verze, včetně verzí Databricks Runtime, se nemusí aktualizovat do týdne nebo více po počátečním datu vydání. Verzi Databricks Runtime pro pipeline najdete v části Informace o modulu runtime.

Nové funkce a vylepšení

  • Funkce Přesunout tabulky mezi deklarativními kanály Lakeflow je nyní obecně dostupná (GA). To umožňuje uživatelům přesouvat materializovaná zobrazení a streamované tabulky z jednoho kanálu do druhého pomocí příkazu SQL a menší úpravy kódu. Viz Přesun tabulek mezi deklarativními kanály Lakeflow

  • Příkazy ALTER lze nyní spouštět na objektech MV/ST vytvořených pomocí ETL pipeline pro komentáře k tabulkám, komentáře ke sloupcům a RLS/CLM. V rámci této funkce aktualizace pipeline zachovávají (podle klíče tvořeného názvem sloupce) hodnoty polí, která mohou uživatelé měnit, namísto aby je přepisovaly. Budeme dál respektovat explicitní definice ve zdrojovém kódu a nic, co není explicitně definováno, zůstane zachováno. Následující tabulka ukazuje toto chování:

Metadata na úrovni sloupců:

Přístup Chování Existující stav datové sady Co je definované ve zdrojovém kódu pipeline nebo v příkazu Vytvořit a Nahradit Koncový stav po aktualizaci pipeline nebo po spuštění příkazu „Vytvořit a nahradit“
Merge Před použitím toho, co je definováno ve zdrojovém kódu Pipelineu nebo příkazu ‚Vytvořit a nahradit‘, nezahodíme existující metadata pro datovou sadu. Sloupec X s komentářem 1 Sloupec Y s komentářem 2 Sloupec X s komentářem 1 Sloupec Y s komentářem 2
Merge Pokud jsou metadata nastavena ve zdroji datového kanálu, při aktualizaci se obnoví do výchozího nastavení. Sloupec X s komentářem 1 Sloupec X s komentářem 3 Sloupec Y s komentářem 2 Sloupec X s komentářem 3 Sloupec Y s komentářem 2

Metadata na úrovni tabulky:

Přístup Chování Existující stav datové sady Co je definované ve zdrojovém kódu pipeline nebo v příkazu Vytvořit a Nahradit Koncový stav po aktualizaci Pipeline nebo spuštění příkazu Create and Replace
Merge Před použitím toho, co je definováno ve zdrojovém kódu Pipelineu nebo příkazu ‚Vytvořit a nahradit‘, nezahodíme existující metadata pro datovou sadu. Filtr řádků 1 Filtr řádků 2 Filtr řádků 2
Merge Pokud jsou metadata nastavena ve zdroji datového kanálu, při aktualizaci se obnoví do výchozího nastavení. Filtr řádků 1 None Filtr řádků 1

Zdrojový kód můžete dál upravovat jako předtím. Tento přístup slučování zachovává externí příkazy ALTER provedené na tabulce.

Toto nové chování při slučování představuje důležitou změnu. Před aktualizací kanálu se odstranily existující filtry řádků nebo masky sloupců, pokud je definice kanálu nezahrnovala. Teď musíte pomocí Průzkumníka katalogu nebo příkazu ALTER explicitně odstranit existující komentáře, filtry řádků nebo masky sloupců.

Informace o tom, jak používat příkazy SQL, naleznete ALTER MATERIALIZED VIEW a ALTER STREAMING TABLE.