Deklarativní kanály Sparku ve verzi Lakeflow 2025.30

23. července – 30, 2025

Tyto funkce a vylepšení byly vydány v rámci verze 2025.30 produktu Spark Declarative Pipelines na Lakeflow.

Verze Databricks Runtime použité v tomto vydání

Kanál:

• CURRENT (výchozí): Databricks Runtime 16.1
• PREVIEW: Databricks Runtime 16.4

Poznámka:

Protože vydání kanálu Lakeflow pro Spark Declarative Pipelines probíhají formou postupného zavádění aktualizací, aktualizace kanálu se nasazují v různých regionech v různou dobu. Vaše verze, včetně verzí Databricks Runtime, se nemusí aktualizovat do týdne nebo více po počátečním datu vydání. Informace o verzi modulu runtime Databricks pro potrubí najdete v Informace o modulu runtime.

Nové funkce a vylepšení

• Do rozhraní API AUTO CDC v deklarativních pipeline Sparku na Lakeflow jsme přidali následující nové možnosti.

  • Více toků na cíl: Příkaz create_auto_cdc_flow teď podporuje parametr názvu, který umožňuje zápis více nezávislých toků AUTO CDC do stejné cílové tabulky. To umožňuje scénáře, jako je použití přírůstkových aktualizací i streamů oprav v jedné tabulce.

  • Jednorázové zpětné doplnění dat: Nový parametr `once` podporuje jednorázové operace zpětného doplnění dat (např. počáteční naplnění). Když je `once = true`, tok jednorázově načte snímek dat a ignoruje budoucí příchody souborů.

  • Podpora SQL: Nová syntaxe CREATE FLOW SQL umožňuje používat funkci AUTO CDC INTO přímo v SQL se stejnou podporou názvu a jednou.

• Editor Lakeflow nyní podporuje připojení clusteru na vyžádání a udržování clusteru v aktivním stavu spouštěné aktivitou uživatele.