Poznámky k verzi Lakeflow Pipelines 2026

V roce 2026 byly vydány následující funkce, vylepšení a opravy chyb kanálu Lakeflow.

Poznámka:

Protože vydání kanálu Lakeflow pipelines probíhají formou postupné aktualizace, aktualizace kanálu se nasazují v různých regionech v různou dobu. Vaše verze, včetně verzí Databricks Runtime, se nemusí aktualizovat do týdne nebo více po počátečním datu vydání. Pokud chcete zjistit aktuální verzi Databricks Runtime pro datový kanál, podívejte se na Informace o modulu runtime.

Srpen 2026

Tyto funkce a vylepšení potrubí Lakeflow byly zveřejněny mezi 13. srpnem 2026 a 8. zářím 2026.

Verze Databricks Runtime použité v rámci tohoto vydání

Následující verze byly platné k 8. září 2026.

Kanál:

  • AKTUÁLNÍ (výchozí): Databricks Runtime 18
  • NÁHLED: Databricks Runtime 18

Nové funkce a vylepšení

  • Nyní můžete pomocí nových rozhraní API CREATE TABLE ... FLOW (SQL) a create_table() s @append_flow (Python) vytvářet nestreamovací spravované tabulky, do nichž zapisuje jeden nebo více toků append (Beta), takže do jedné tabulky může zapisovat více zdrojů. Tato import_checkpoint možnost migruje existující workload Structured Streaming do pipeline bez nutnosti přepracování. Viz CREATE TABLE ... FLOW (potrubí) a create_table.
  • Pipeline nyní mohou ve foreachBatch sinkách spouštět vícepříkazové transakce SQL. To umožňuje transakční, vícepříkazovou dávkovou logiku v rámci streamovacích pipeline.
  • Změny sloupců na úrovni ALTER TABLE ve streamovacích tabulkách se nyní týkají pouze metadat (Beta), takže již nevyžadují úplné obnovení, reset kontrolních bodů ani opětovné načtení dat, a přejmenování nebo odstranění zdroje už nevyžaduje schemaTrackingLocation. To vyžaduje Unity Catalog s aktivovanými externími metadaty.
  • U nově vytvořených materializovaných pohledů a streamovaných tabulek v kanálech Classic Unity Catalog je nyní povoleno sledování řádků, což odpovídá chování bezserverových kanálů. To sjednocuje chování při sledování řádků napříč Classic i serverless pipeline.
  • Verze prostředí pro Lakeflow pipelines nyní poskytuje 100% pokrytí rozhraní API pro Lakeflow pipelines ve službě Spark Connect (veřejná preview verze). Můžete ji adoptovat ručně nebo automatickou migrací, která zahrnuje detekci změny chování a automatické vrácení zpět v případě neúspěchu spuštění. Viz Konfigurace verzí prostředí pro kanály.
  • Protokol událostí pro kanály Lakeflow je nyní k dispozici jako systémová tabulka Unity Catalogu, system.lakeflow_pipeline_events_preview.pipeline_events (Beta). Můžete v reálném čase dotazovat události pro každý pipeline v regionu z jedné tabulky a události zůstávají zachovány i po smazání pipeline. Viz referenční informace k systémové tabulce událostí pipeline.
  • Graf kanálu Lakeflow Pipelines nyní zobrazuje nadřazené zdroje jako uzly v grafu DAG a obsahuje přepínač v uživatelském rozhraní pro jejich zobrazení nebo skrytí. To usnadňuje sledování původu dat v potrubí.
  • Nyní můžete přímo ze stránky monitorování kanálu spustit selektivní plné obnovení ve standardním režimu. To vám dává větší kontrolu nad tím, jak běží plná obnova, aniž byste museli upravovat definici pipeline.

Opravy chyb

V tomto období vydání nebyly zahrnuty žádné významné opravy chyb. Všechny změny byly nové funkce a vylepšení.

Červenec 2026

Tyto funkce a vylepšení potrubí Lakeflow byly zveřejněny mezi 7. červencem 2026 a 12. srpnem 2026.

Verze Databricks Runtime použité v rámci tohoto vydání

Následující verze byly platné k 12. srpnu 2026.

Kanál:

  • CURRENT (výchozí): Databricks Runtime 17.3
  • NÁHLED: Databricks Runtime 18

Nové funkce a vylepšení

  • Pipeline nyní podporuje režim bez verzí, kde Azure Databricks automaticky spravuje verzi Databricks Runtime místo toho, abyste připínali konkrétní verzi. To udržuje pipeline v udržovaném runtime bez ručních aktualizací verzí.
  • Katalogové commity jsou nyní dostupné ve veřejném náhledu pro všechny pracovní prostory pro streamovací tabulky a materializované pohledy. V rámci transakcí zahrnujících více tabulek a více příkazů můžete na streamovacích tabulkách s povolenými katalogovými commity provádět operace příkazů jazyka DML (Data Manipulation Language). Viz potvrzení katalogu.
  • Pipeline nyní mohou importovat existující kontrolní bod, což zjednodušuje scénáře migrace a obnovy.
  • Kontinuální kanály jsou nyní integrovány s historií dotazů, což zlepšuje sledovatelnost změn vytvořených dlouhotrvajícími průběžnými aktualizacemi.
  • Nyní můžete nastavit maximální počet současně aktivních aktualizací pipeline, což vám dává větší kontrolu nad souběžností pipeline.
  • Nové kanály nyní ve výchozím nastavení automaticky používají aktuální režim publikování, což zjednodušuje jejich vytváření.
  • Plánované obnovy jsou nyní blokovány u samostatných materializovaných zobrazení a streamovacích tabulek, které odkazují na dočasné zobrazení, čímž se zabraňuje selhání obnovy.

Opravy chyb

V tomto období vydání nebyly zahrnuty žádné významné opravy chyb. Všechny změny byly nové funkce a vylepšení.

Červen 2026

Tyto funkce a vylepšení kanálů Lakeflow byly vydány v období od 10. června 2026 do 7. července 2026.

Verze Databricks Runtime použité v rámci tohoto vydání

Následující verze byly aktuální od 7. července 2026.

Kanál:

  • CURRENT (výchozí): Databricks Runtime 17.3
  • NÁHLED: Databricks Runtime 18

Nové funkce a vylepšení

  • AUTO CDC cílové tabulky nyní podporují liquid clustering, který můžete povolit pomocí primárního klíče nebo prostřednictvím specifikace ingestování dat. To zlepšuje výkon dotazů u cílových tabulek pro zachytávání změn dat bez nutnosti ruční správy clusteringu.
  • Nyní můžete přidat očekávání kvality dat pro samostatná materializovaná zobrazení pomocí CONSTRAINT expectation_name EXPECT (expectation_expr) klauzule. To vám umožňuje vynucovat pravidla kvality dat u samostatných materializovaných pohledů bez definice datového kanálu.
  • REPLACE WHERE toky teď podporují přírůstkovou aktualizaci. Oprávněné toky rekomputují pouze změněná data místo opětovného zpracování úplného vstupu, což snižuje náklady na aktualizaci.
  • Pipeline spuštěné na klasických výpočetních prostředcích teď podporují verze prostředí, díky čemuž máte větší kontrolu nad správou závislostí v klasických výpočetních prostředcích.

Opravy chyb

  • Opravili jsme problém, kdy se potvrzený kurzor mohl zaseknout při opětovné aktivaci nečinného konektoru, což mohlo pozastavit průběh ingestace dat.

Květen 2026

Tyto funkce a vylepšení kanálů Lakeflow byly zveřejněny v období od 6. května 2026 do 9. června 2026.

Verze Databricks Runtime použité v rámci tohoto vydání

Následující verze byly aktuální od 9. června 2026.

Kanál:

  • CURRENT (výchozí): Databricks Runtime 17.3
  • PŘEHLED: Databricks Runtime 18.1

Nové funkce a vylepšení

  • AUTO CDC nyní podporuje bitemporální sledování a pro každý řádek uchovává jak systémový čas (kdy byl záznam uložen), tak čas platnosti (kdy byl platný). To umožňuje správnost finančních, auditovaných a regulačních úloh k určitému bodu v čase.
  • Kanály založené na Pythonu teď znovu používají virtuální prostředí z předchozích aktualizací. REPLy ve warm poolu přednačítají prostředí z mezipaměti, takže přeskakují instalaci závislostí, pokud se prostředí mezi aktualizacemi nezmění. Tím se zkracuje doba spuštění.
  • Teď můžete deklarovat závislosti knihovny Python přímo v definici kanálu místo volání %pip install v buňkách poznámkového bloku. Závislosti se instalují v prostředí Python na začátku aktualizace. Viz Správa závislostí Pythonu pro kanály.
  • Datové pipeline, které používají automatické liquid clustering (CLUSTER BY AUTO), nyní automaticky odstraní sloupce pro clustering, když jsou tyto sloupce odebrány ze schématu materializovaného pohledu. Dříve to vyžadovalo ruční úplnou aktualizaci.
  • Nyní můžete změnit vlastníka materializovaného zobrazení nebo streamovací tabulky na instanční objekt služby pomocí ALTER MATERIALIZED VIEW nebo ALTER STREAMING TABLE ... SET OWNER TO. Dříve bylo možné vlastnictví změnit pouze prostřednictvím Průzkumníka katalogu.
  • ALTER TABLE ... DROP FEATURE je nyní podporován pro materializovaná zobrazení a streamované tabulky.

Opravy chyb

  • Byla vyřešena souběhová podmínka, při které duplicitní volání StartUpdate mohla spustit více souběžných aktualizací pipeline. Tokeny idempotence se teď ověřují a ukládají, aby se zabránilo duplicitním spuštěním.

Duben 2026

Tyto funkce a vylepšení kanálů Lakeflow byly vydány v období od 5. dubna 2026 do 6. května 2026.

Verze Databricks Runtime použité v rámci tohoto vydání

Následující verze byly aktuální k 6. květnu 2026.

Kanál:

  • CURRENT (výchozí): Databricks Runtime 17.3
  • PŘEHLED: Databricks Runtime 18.1

Nové funkce a vylepšení

  • Samostatná materializovaná zobrazení a streamované tabulky (dříve označované jako kanály v Databricks SQL) jsou nyní k dispozici na bezserverových výpočetních prostředcích (Beta), takže můžete vytvářet a spravovat tyto objekty bez zřizování vyhrazených clusterů kanálů. Tím se sníží provozní režie a náklady na samostatné deklarativní objekty.
  • Pipelines a samostatné streamovací tabulky nyní podporují toky REPLACE WHERE (beta). REPLACE WHERE toky jsou vhodné pro přírůstkové dávkové zpracování spojení a agregací. Viz Dávkové zpracování pomocí toků REPLACE WHERE.
  • Zpracování typu 2 SCD teď vynechá položky null z map verzí během operací čtení i zápisu, což zlepšuje efektivitu úložiště a výkon dotazů pro pomalé změny úloh dimenzí.
  • Editor Databricks SQL nyní obsahuje specializovanou funkci pro vytváření materializovaných zobrazení, která přímo v editoru poskytuje průvodce a nápovědu k syntaxi. To zjednodušuje pracovní postup pro definování a konfiguraci materializovaných zobrazení.
  • Editor SQL Databricks teď obsahuje AUTO CDC dovednost, která vám pomůže při nastavování kanálů pro zachytávání dat změn (CDC). Tím se usnadňuje konfigurace CDC pipeline.

Opravy chyb

V tomto období vydání nebyly zahrnuty žádné významné opravy chyb. Všechny změny byly nové funkce a vylepšení.

Březen 2026

Tyto funkce a vylepšení kanálů Lakeflow byly vydány v období od 26. února 2026 do 31. března 2026.

Verze Databricks Runtime použité v rámci tohoto vydání

Následující verze byly aktuální od 31. března 2026.

Kanál:

  • CURRENT (výchozí): Databricks Runtime 17.3.8
  • PŘEHLED: Databricks Runtime 18.1.0

Nové funkce a vylepšení

  • Bezserverové kanály teď podporují vertikální automatické škálování založené na procesoru. Tato funkce dynamicky upravuje prostředky clusteru na základě skutečného využití procesoru, aby se zlepšila stabilita úloh.
  • Tabulky katalogu Unity teď můžete zachovat při odstraňování pipeline a uchovat své datové prostředky i po jejím odebrání. Díky tomu získáte větší flexibilitu při správě životního cyklu kanálu bez rizika ztráty dat.
  • Teď můžete vytvářet streamované tabulky pomocí nové syntaxe toku, která poskytuje přímější a deklarativní způsob definování datových kanálů streamování. To zjednodušuje tvorbu pipeline a odpovídá současným vzorům datového inženýrství.
  • Kanály teď během aktualizací tabulky zachovávají konfiguraci filtru řádků a masky sloupců, takže zásady zabezpečení katalogu Unity zůstanou v aktualizacích kanálu nedotčené. Zabráníte tak náhodnému odebrání zásad zabezpečení během vývoje schématu.
  • CDC teď podporuje režim přesunu data a času. Tato funkce správně zpracovává převody časových razítek mezi staršími a moderními kalendářními systémy. To brání nesrovnalostem v datech při zpracování historických údajů o datu a času prostřednictvím toků pro zachytávání změn dat.
  • Nyní můžete používat SQL příkazy v rámci operací foreachBatch ve streamovacích kanálech, což umožňuje flexibilnější logiku mikrodávkového zpracování. Tím se odstraňují předchozí omezení, která vyžadovala použití Pythonu nebo Scaly pro vlastní dávkové zpracování.
  • Kanály teď podporují předávací odkazy v registraci jímky. Toky dat, které odkazují na podřízené tabulky, můžete definovat dříve, než se deklarují. To zjednodušuje složité definice pipeline a odstraňuje omezení pořadí.
  • Toky typu Append-once se teď ověřují během suchých spuštění a zachytávají chyby konfigurace před zahájením spuštění kanálu. Tím se zlepší možnosti vývoje tím, že se problémy zobrazí dříve v pracovním postupu vytváření kanálu.

Opravy chyb

V tomto období vydání nebyly zahrnuty žádné významné opravy chyb. Všechny změny byly nové funkce a vylepšení.

Únor 2026

Tyto funkce a vylepšení kanálů Lakeflow byly vydány od 14. ledna 2026 do 25. února 2026.

Verze Databricks Runtime použité v rámci tohoto vydání

Následující verze byly aktuální od 25. února 2026.

Kanál:

  • CURRENT (výchozí): Databricks Runtime 17.3
  • PŘEHLED: Databricks Runtime 17.3

Nové funkce a vylepšení

  • Kanály nyní podporují rozšiřování typů pro tabulky Delta, což umožňuje bezpečné rozšíření datových typů sloupců (například z INT na LONG, z FLOAT na DOUBLE) bez nutnosti úplného resetování kanálu. To umožňuje vývoj schématu pracovních postupů, které dříve vyžadovaly ruční zásah.
  • Nyní můžete použít materializaci typu SCD 1 s AUTO CDC, což představuje jednodušší vzor CDC, který vloží nebo aktualizuje nejnovější hodnotu, aniž by zachovával úplnou historii změn. Tím se sníží režijní náklady na úložiště pro případy použití, které nevyžadují úplnou historii.
  • Kanály teď opakovaně používají existující clustery při opakování neúspěšných aktualizací, snižují latenci opakování a snižují náklady na výpočetní prostředky tím, že eliminují redundantní dobu spuštění clusteru.
  • Povolení prediktivní optimalizace se teď správně zobrazuje v materializovaných zobrazeních a tabulkách streamování, pokud byly aktualizovány během posledního měsíce.
  • Kanály teď před zahájením spuštění ověřují více toků a zachytává konflikty konfigurace a problémy závislostí mezi toky během fáze suchého spuštění.
  • Během aktualizací kanálu příjmu dat se teď zachovají upravitelná metadata, což umožňuje úplnou podporu příkazů ALTER pro tabulky streamování příjmu dat.
  • Python chyby v datových tocích teď obsahují kódy stavu SQL, což vylepšuje diagnostiku chyb a umožňuje lepší programové zpracování chyb v navazujících nástrojích.
  • Pipeliny teď podporují instance ARM pro klasické výpočty.

Opravy chyb

  • Hodnoty identitních sloupců v tabulkách streamování pouze pro přidávání se teď správně generují při prvním spuštění aktualizace.

Leden 2026

Tyto funkce a vylepšení kanálů Lakeflow byly vydány od 14. listopadu 2025 do 13. ledna 2026.

Verze Databricks Runtime použité v rámci tohoto vydání

Následující verze byly aktuální od 13. ledna 2026.

Kanál:

  • CURRENT (výchozí): Databricks Runtime 17.3
  • PŘEHLED: Databricks Runtime 17.3

Nové funkce a vylepšení

  • Nyní můžete ukládat a spravovat očekávání kvality dat přímo v tabulkách katalogu Unity a centralizovat pravidla kvality dat s architekturou zásad správného řízení dat. To umožňuje řídit verze a auditovatelná pravidla kvality, která se dají sdílet napříč několika kanály.

  • Průběžné kanály, které běží déle než 7 dní, se teď řádně restartují s minimálními výpadky a explicitní příčinou aktualizace (INFRASTRUCTURE_MAINTENANCE) místo náhlého restartování, když je potřeba základní výpočetní prostředky aktualizovat.

  • Potrubí nyní podporují režim spouštění ve frontě, kdy se více žádostí o aktualizaci automaticky zařadí do fronty a spouští se postupně namísto toho, aby selhaly kvůli konfliktům. To zjednodušuje operace pro kanály s častými aktivačními událostmi aktualizace a eliminuje potřebu ruční koordinace opakování.

  • Nyní můžete materializovat více zobrazení typu SCD typu 2 z jednoho zdroje dat změn, což zlepšuje efektivitu při vytváření více historických zobrazení stejných dat. Tím se eliminuje nutnost znovu zpracovat zdrojová data pro každý výstup typu SCD 2.

  • Plány kanálů a konfigurace se teď dají ukládat a číst z vlastností tabulky Katalogu Unity, což umožňuje centralizovanou správu nastavení prostřednictvím zásad správného řízení dat. To vám umožní spravovat chování kanálu společně s definicemi dat.

  • MANAGE oprávnění se teď automaticky rozšíří do materializovaných zobrazení a streamovaných tabulek v katalogu Unity, což zjednodušuje správu oprávnění pro výstupy kanálu. Tím se zajistí konzistentní řízení přístupu bez udělení ručních oprávnění.

  • Operace TYPU 2 SCD teď automaticky sjednotí duplicitní záznamy se stejným přirozeným klíčem, čímž zajistí konzistenci dat a brání duplicitním historickým záznamům v pomalu se měnících tabulkách dimenzí.

  • Kanály teď mají možnost automaticky vypustit neaktivní tabulky, které už nejsou součástí definice kanálu. To pomáhá udržovat čisté datové sklady a snižovat náklady na úložiště z zastaralých tabulek. Podívejte se na Použití katalogu Unity s kanály.

  • Definice kanálu, operace oprav a změny u identity pro spuštění jsou nyní zahrnuty v protokolu auditu, což umožňuje komplexní sledování změn konfigurace pro účely dodržování předpisů a monitorování zabezpečení. Viz protokol událostí kanálu.

Opravy chyb

V tomto období vydání nebyly zahrnuty žádné významné opravy chyb. Všechny změny byly nové funkce a vylepšení.

  • Poslední aktualizace v