A Lakeflow Spark Deklaratív csővezetékek 2026-os kiadási megjegyzései

2026-ban megjelentek a következő Lakeflow Spark Deklaratív folyamatok funkciói, fejlesztései és hibajavításai.

Megjegyzés:

Mivel a Lakeflow Spark Deklaratív folyamatok csatornáinak kiadásai egy gördülő frissítési folyamatot követnek, a csatornafrissítések különböző régiókban, különböző időpontokban lesznek üzembe helyezve. Előfordulhat, hogy a kiadás , beleértve a Databricks Runtime-verziókat is, csak egy héttel vagy a kezdeti kiadás dátuma után frissül. Egy folyamat jelenlegi Databricks Runtime-verziójának megkereséséhez tekintse meg a futtatókörnyezet adatait.

2026. április

Ezek a funkciók és fejlesztések a Lakeflow Spark deklaratív folyamataihoz 2026. április 5. és május 6. között kerültek kiadásra.

A jelen kiadás által használt Databricks Runtime-verziók

A következő verziók 2026. május 6-ától voltak aktuálisak.

csatorna:

• CURRENT (alapértelmezett): Databricks Runtime 17.3
• ELŐZETES VERZIÓ: Databricks Runtime 18.1

Új funkciók és fejlesztések

• Az önálló materializált nézetek és streamtáblák (korábban a Databricks SQL-ben folyamatok) már elérhetők a kiszolgáló nélküli számításban (bétaverzió), így dedikált folyamatfürtök kiépítése nélkül hozhatja létre és kezelheti ezeket az objektumokat. Ez csökkenti az önálló deklaratív objektumok működési költségeit és költségeit.
• Az adatfolyamok és az önálló streaming táblák mostantól támogatják a REPLACE WHERE folyamatokat (béta). A REPLACE WHERE adatfolyamok jól alkalmasak az összekapcsolások és aggregációk inkrementális kötegelt feldolgozására. Lásd: Kötegelt feldolgozás REPLACE WHERE folyamatokkal.
• A 2. típusú SCD-feldolgozás mostantól kihagyja a verziótérképekből származó null bejegyzéseket az olvasási és írási műveletek során, így javítva a tárolási hatékonyságot és a lekérdezési teljesítményt a lassan változó dimenzióbeli számítási feladatok esetében.

• A Databricks SQL-szerkesztő már tartalmaz egy dedikált képességet a materializált nézetek létrehozásához, amely irányított segítséget és szintaxisbeli segítséget nyújt közvetlenül a szerkesztőben. Ez leegyszerűsíti a munkafolyamatot a materializált nézetek definiálásához és konfigurálásához.
• A Databricks SQL-szerkesztő mostantól tartalmaz egy AUTOMATIKUS CDC-képességet, amely segít a változásadat-rögzítési folyamatok beállításában. Ez csökkenti a CDC-munkafolyamatok konfigurálásának tanulási görbét.

Hibajavítások

Ebben a kiadási időszakban nem jelentek meg jelentős hibajavítások. Minden változás új funkciók és fejlesztések voltak.

2026. március

A Lakeflow Spark deklaratív csővezetékeinek funkciói és fejlesztései 2026. február 26. és 2026. március 31. között jelentek meg.

A jelen kiadás által használt Databricks Runtime-verziók

A következő verziók 2026. március 31-étől voltak aktuálisak.

csatorna:

• CURRENT (alapértelmezett): Databricks Runtime 17.3.8
• ELŐZETES VERZIÓ: Databricks Runtime 18.1.0

Új funkciók és fejlesztések

• A kiszolgáló nélküli folyamatok mostantól támogatják a cpu-alapú vertikális automatikus skálázást. A funkció dinamikusan módosítja a fürterőforrásokat a tényleges CPU-kihasználtság alapján a számítási feladatok stabilitásának javítása érdekében.
• Most már megtarthatja a Unity Catalog-táblákat egy folyamat törlésekor, így a folyamat eltávolítása után is megőrizheti az adategységeket. Ez nagyobb rugalmasságot biztosít a folyamatok életciklusának kezeléséhez anélkül, hogy adatvesztést kockáztat.
• Most már létrehozhat streamelési táblákat az új folyamatszintaxis használatával, amely közvetlenebb, deklaratívabb módot kínál a streamelési adatfolyamok definiálására. Ez leegyszerűsíti a folyamatok készítését, és igazodik az aktuális adatelemzési mintákhoz.
• A folyamathogok mostantól elérhetők a feladat által aktivált folyamatokhoz. Ezekkel egyéni logikát futtathat a Lakeflow-feladatok folyamatfrissítései előtt és után. A pipeline hookok kibővítik az automatizálási képességeket az orchesztrált adatfeldolgozáshoz.
• A folyamatok mostantól megőrzik a sorszűrő és az oszlopmaszk konfigurációját a táblafrissítések során, így a Unity Catalog biztonsági szabályzatai érintetlenek maradnak a folyamatfrissítések során. Ez megakadályozza a biztonsági szabályzat véletlen eltávolítását a séma fejlődése során.
• A CDC a módosítások alkalmazása mostantól támogatja a datetime rebase módot. A funkció megfelelően kezeli az örökölt és a modern naptárrendszerek közötti időbélyeg-konverziókat. Ez megakadályozza az adatkonkonzisztenciákat az előzménydátumadatok módosítási adatrögzítési folyamatokon keresztüli feldolgozásakor.
• Mostantól SQL-utasításokat is használhat a streamelési folyamatok foreachBatch műveletein belül, így rugalmasabb mikrobatch-feldolgozási logikát tesz lehetővé. Ez eltávolítja azokat a korábbi korlátozásokat, amelyek Python vagy Scala-t igényelnek az egyéni kötegkezeléshez.
• Az adatcsatornák mostantól támogatják az előre mutató hivatkozásokat a fogadó regisztrációjában. A deklarálás előtt definiálhatja az alsóbb rétegbeli táblákra hivatkozó adatfolyamokat. Ez leegyszerűsíti az összetett folyamatdefiníciókat, és eltávolítja a rendezési korlátozásokat.
• Az egyszeri hozzáfűzési folyamatok a próbafuttatások során kerülnek ellenőrzésre, felismerve a konfigurációs hibákat, mielőtt a folyamat végrehajtása megkezdődne. Ez a folyamatkészítési munkafolyamat korábbi problémáinak megoldásával javítja a fejlesztési élményt.

Hibajavítások

Ebben a kiadási időszakban nem jelentek meg jelentős hibajavítások. Minden változás új funkciók és fejlesztések voltak.

2026. február

2026. január 14. és 2026. február 25. között jelentek meg ezek a funkciók és fejlesztések a Lakeflow Spark deklaratív folyamatokhoz.

A jelen kiadás által használt Databricks Runtime-verziók

A következő verziók 2026. február 25-én voltak aktuálisak.

csatorna:

• CURRENT (alapértelmezett): Databricks Runtime 17.3
• ELŐZETES VERZIÓ: Databricks Runtime 17.3

Új funkciók és fejlesztések

• A folyamatok mostantól támogatják a Delta-táblák típusszélesítését, így az oszlop adattípusai biztonságosan kiterjeszthetők (például INT-ról LONG-re, FLOAT-ról DOUBLE-re) anélkül, hogy teljes folyamatrendszer-visszaállításra lenne szükség. Ez lehetővé teszi a korábban manuális beavatkozást igénylő sémafejlődési munkafolyamatokat.
• Mostantól használhatja az SCD 1. típusú materializálást AUTO CDC, amely egyszerűbb CDC-mintát biztosít, amely a legújabb értéket állítja elő anélkül, hogy teljes változáselőzményeket tartana fenn. Ez csökkenti a teljes előzményt nem igénylő használati esetek tárolási többletterhelését.
• A folyamatok most már újrahasznosítják a meglévő fürtöket a sikertelen frissítések újbóli próbálkozásánál, csökkentve a késést az újrapróbálások során és csökkentik a számítási költségeket a felesleges fürtindítási idő megszüntetésével.
• A prediktív optimalizálás engedélyezése mostantól megfelelően jelenik meg a materializált nézeteken és streamelési táblákon, ha azokat az elmúlt hónapban frissítették.
• A csővezetékek mostantól egyszerre több folyamatot is ellenőriznek, és a végrehajtás megkezdése előtt a száraz futtatási fázisban észlelik a konfigurációs ütközéseket és a függőségi problémákat a folyamatok között.
• A betöltési folyamat frissítései során a rendszer megőrzi a módosítható metaadatokat, így teljes mértékben támogatja az "ALTER" parancsokat a betöltési streamelési táblákon.
• Python folyamatok hibái mostantól SQL-állapotkódokat hordoznak, javítják a hibadiagnosztikát, és lehetővé teszik a jobb programozott hibakezelést az alsóbb rétegbeli eszközökben.
• A csővezetékek mostantól támogatják az ARM-példányokat a klasszikus számítási feladatokhoz.

Hibajavítások

• A csak hozzáfűzést engedélyező streamelő táblák identitásoszlop-értékei most már helyesen jönnek létre az első frissítési futtatáskor.

2026. január

A Lakeflow Spark deklaratív csővezetékeinek funkciói és fejlesztései 2025. november 14. és 2026. január 13. között jelentek meg.

A jelen kiadás által használt Databricks Runtime-verziók

A következő verziók 2026. január 13-ától voltak aktuálisak.

csatorna:

• CURRENT (alapértelmezett): Databricks Runtime 17.3
• ELŐZETES VERZIÓ: Databricks Runtime 17.3

Új funkciók és fejlesztések

• Mostantól közvetlenül a Unity Catalog-táblákban tárolhatja és kezelheti az adatminőségi elvárásokat, és központosíthatja az adatminőségi szabályokat az adatszabályozási keretrendszerrel. Ez lehetővé teszi a verzióvezérelt, naplózható minőségi szabályokat, amelyek több folyamaton is megoszthatók.

• A 7 napnál tovább futó folyamatos csővezetékek mostantól kecsesen újraindulnak minimális állásidővel és meghatározott frissítési okkal (INFRASTRUCTURE_MAINTENANCE), ahelyett, hogy hirtelen újraindulnának, amikor a mögöttes számítást frissíteni kell.

• A pipeline-ek mostantól támogatják a sorba állított végrehajtási módot, ahol a rendszer több frissítési kérelmet automatikusan várólistára helyez, és egymás után hajt végre, elkerülve az ütközéseket. Ez leegyszerűsíti a gyakori frissítési triggerekkel rendelkező folyamatok műveleteit, és szükségtelenné teszi a manuális újrapróbálkozási koordinációt.

• Mostantól több 2. típusú SCD-nézetet is létrehozhat egyetlen változási adatforrásból, így javítja a hatékonyságot ugyanazon adatok több előzménynézetének létrehozásakor. Ez szükségtelenné teszi a forrásadatok újrafeldolgozását minden 2. típusú SCD-kimenethez.

• A folyamatütemezések és -konfigurációk mostantól tárolhatók és olvashatók a Unity Catalog táblatulajdonságaiból, ami lehetővé teszi a központosított beállítások kezelését az adatkezelésen keresztül. Ez lehetővé teszi a folyamat viselkedésének kezelését az adatdefiníciók mellett.

• MANAGE A rendszer mostantól automatikusan propagálja az engedélyeket a materializált nézetekbe és streamelési táblákba a Unity Katalógusban, így egyszerűbbé teszi a folyamatkimenetek engedélykezelését. Ez biztosítja a konzisztens hozzáférés-vezérlést manuális engedély megadása nélkül.

• A 2. típusú SCD-műveletek mostantól automatikusan azonos természetes kulccsal egyesítik az ismétlődő rekordokat, biztosítva az adatkonzisztenciát, és megakadályozzák a lassan változó dimenziótáblák ismétlődő előzményrekordjait.

• A csővezetékek mostantól rendelkeznek egy lehetőséggel, hogy automatikusan eldobják azokat az inaktív táblákat, amelyek már nem részei a csővezeték-definíciónak. Ez segít fenntartani a tiszta adattárházakat, és csökkenti az elavult táblák tárolási költségeit. Lásd: A Unity-katalógus használata csővezetékekkel

• A folyamatdefiníció, a javításműveletek és a futtató identitás változásai mostantól szerepelnek a naplózási naplóban, így átfogóan nyomon követhetők a konfigurációs változások a megfelelőség és a biztonsági monitorozás érdekében. Lásd a folyamat eseménynaplóját.

Hibajavítások

Ebben a kiadási időszakban nem jelentek meg jelentős hibajavítások. Minden változás új funkciók és fejlesztések voltak.