Megosztás:

Szerver nélküli számítási kapacitás kibocsátási megjegyzései

Ez a cikk ismerteti azokat a funkciókat és viselkedéseket, amelyek jelenleg elérhetők és hamarosan elérhetők a jegyzetfüzetek és feladatok kiszolgáló nélküli számításán.

A kiszolgáló nélküli számítással kapcsolatos további információkért lásd: Csatlakozás kiszolgáló nélküli számításhoz.

Az Azure Databricks rendszeresen kiadja a kiszolgáló nélküli számítás frissítéseit, és automatikusan frissíti a kiszolgáló nélküli számítási futtatókörnyezetet a platform fejlesztéseinek és frissítéseinek támogatásához. Minden felhasználó ugyanazokat a frissítéseket kapja, és rövid idő alatt kerülnek bevezetésre.

kiszolgáló nélküli környezet verziói

A jegyzetfüzetek és feladatok servermentes számítási teljesítménye a környezeti verziókat használja, amelyek egy stabil kliens API-t biztosítanak a Spark Connect alapján, hogy biztosítsák az alkalmazás kompatibilitását. Ez lehetővé teszi a Databricks számára, hogy függetlenül frissítse a szervert, így fejlesztve a teljesítményt, javítva a biztonságot, és kijavítva a hibákat anélkül, hogy bármilyen kódbeli módosítást igényelne a munkaterheléseken.

Minden környezeti verzió tartalmaz egy konkrét Python verziót, valamint egy Python csomagok halmazát meghatározott verziókkal. A Databricks új funkciókat és javításokat vezet be a legújabb környezeti verzióban, miközben biztonsági frissítéseket alkalmaz minden támogatott környezeti verzióra.

A kiszolgáló nélküli környezet verziónaplóját lásd a Kiszolgáló nélküli környezet verziói című részben.

Kibocsátási megjegyzések

Ez a szakasz a kiszolgáló nélküli számítás kibocsátási megjegyzéseit tartalmazza. A kiadási jegyzetek év és hét szerint vannak rendszerezve. A kiszolgáló nélküli számítás mindig az itt felsorolt legújabb kiadású verzióval fut.

17.3-es verzió

2025. október 28.

Ez a kiszolgáló nélküli számítási kiadás nagyjából megfelel a Databricks Runtime 17.3 LTS-nek.

Új funkciók

  • LIMIT A rekurzív CTE-k MINDEN támogatása: Mostantól rekurzív közös táblakifejezésekkel (rCTE-kkel) is használhatja a LIMIT ALL záradékot, hogy explicit módon megszabja, hogy a lekérdezési eredményekre ne alkalmazzanak sorkorlátot. Lásd Közös tábla kifejezés (CTE).

  • A Unity Catalog-kötetekben lévő fájlokhoz való hozzáfűzés helyes hibát ad vissza: Ha a Unity Catalog-kötetekben meglévő fájlokhoz próbál hozzáfűzni, egy leíróbb hibaüzenet jelenik meg a probléma megértéséhez és megoldásához.

  • st_dump függvénytámogatás: Mostantól a st_dump függvény használatával lebonthat egy geometriai objektumot az alkotórészeibe, és egyszerűbb geometriák készletét adja vissza. Lásd: st_dump függvény.

  • A sokszög belső gyűrűs függvények mostantól támogatottak: Mostantól a következő függvényekkel dolgozhat a sokszög belső gyűrűkkel:

  • EXECUTE IMMEDIATE állandó kifejezések használata: Az EXECUTE IMMEDIATE utasítás mostantól támogatja az állandó kifejezések használatát a lekérdezési sztringben, így rugalmasabb dinamikus SQL-végrehajtást tesz lehetővé. Lásd a(z) EXECUTE IMMEDIATE.

  • Engedélyezés spark.sql.files.maxPartitionBytes a kiszolgáló nélküli számításban: Mostantól konfigurálhatja a spark.sql.files.maxPartitionBytes Spark-konfigurációs paramétert a kiszolgáló nélküli számítási környezetben, hogy meghatározza a fájlok olvasása során az egyetlen partícióba csomagolandó bájtok maximális számát. Lásd: Spark-tulajdonságok konfigurálása kiszolgáló nélküli jegyzetfüzetekhez és feladatokhoz.

Viselkedésváltozások

  • MV/ST frissítési információk támogatása a DESCRIBE EXTENDED AS JSON-ban: A DESCRIBE EXTENDED AS JSON parancs mostantól tartalmazza a materializált nézetek és streamelő táblák frissítési információinak körét, így láthatóvá teszi az utolsó frissítési időt és állapotot.

  • Metaadatoszlop hozzáadása a következőhöz DESCRIBE QUERY : DESCRIBE TABLEA DESCRIBE QUERYDESCRIBE TABLE parancsok mostantól tartalmaznak egy metaadatoszlopot a kimenetükben, amely további információkat nyújt az egyes oszlopok tulajdonságairól és jellemzőiről.

  • Null struccok helyes kezelése NullType-oszlopok elvetésekor: Az Azure Databricks mostantól helyesen kezeli a nullstrukturálási értékeket az oszlopok NullTypeelvetésekor, megakadályozva az adatok esetleges sérülését vagy váratlan viselkedését.

  • A null strukturák jobb kezelése a Parquetben: Ez a kiadás a null strukturálási értékek kezelésének továbbfejlesztése a Parquet-fájlokból való olvasáskor és íráskor, a konzisztensebb és helyesebb működés biztosítása érdekében.

  • Frissítse az aws-msk-iam-auth kódtárat a Kafkához: Az aws-msk-iam-auth Amazon MSK IAM-hitelesítéshez használt kódtárat a legújabb verzióra frissítették, így nagyobb biztonságot és kompatibilitást biztosítva.

17.2-es verzió

2025. szeptember 25.

Ez a kiszolgáló nélküli számítási kiadás nagyjából megfelel a Databricks Runtime 17.2-nek.

Új funkciók

  • ST_ExteriorRing a függvény mostantól támogatott: Mostantól a ST_ExteriorRing függvény használatával kinyerheti a sokszög külső határát, és vonalzóként visszaadhatja. Lásd: st_exteriorring függvény.

  • Támogatási TEMPORARY kulcsszó a metrikanézet létrehozásához: Mostantól használhatja a TEMPORARY kulcsszót metrikanézet létrehozásakor. Az ideiglenes metrikanézetek csak az őket létrehozó munkamenetben láthatók, és a munkamenet végén el lesznek vetve. Lásd a(z) CREATE VIEW.

  • Natív I/O LokiFileSystem.getFileStatus használata az S3-on: LokiFileSystem.getFileStatus mostantól a natív I/O-vermet használja az Amazon S3-forgalomhoz, és org.apache.hadoop.fs.FileStatusobjektumokat ad vissza shaded.databricks.org.apache.hadoop.fs.s3a.S3AFileStatus helyett.

  • Az Automatikus betöltő módban következtet a partícióoszlopokrasingleVariantColumn: Az Automatikus betöltő mostantól a fájl elérési útjaiból következtet a partícióoszlopokra, amikor félig strukturált változattípusként tölti be az adatokat a singleVariantColumn beállítás használatával. Korábban a rendszer nem észlelt automatikusan partícióoszlopokat. Lásd az Automatikus betöltő beállításai című témakört.

Viselkedésváltozások

  • DESCRIBE CONNECTION Megjeleníti a JDBC-kapcsolatok környezeti beállításait: Az Azure Databricks mostantól felhasználói környezetbeállításokat is tartalmaz az DESCRIBE CONNECTION egyéni illesztőprogramokat támogató és elkülönítetten futtatott JDBC-kapcsolatok kimenetében. Más kapcsolattípusok változatlanok maradnak.

  • Lehetőség az egységes előzmények csonkolására a felügyelt táblák migrálása során: Mostantól csonkolhatja az egységes előzményeket, amikor az Uniform/Iceberg engedélyezésével migrálja a táblákat ALTER TABLE...SET MANAGED használatával. Ez leegyszerűsíti a migrálást, és csökkenti az állásidőt az Uniform manuális letiltásához és újbóli engedélyezéséhez képest.

  • Helyes eredmények split üres regex és pozitív korlát esetén: Az Azure Databricks mostantól helyes eredményeket ad vissza üres regex és pozitív korlát használata esetén split function . Korábban a függvény helytelenül csonkolt a fennmaradó sztringre ahelyett, hogy az utolsó elembe beleadta volna.

  • Javítás url_decode és try_url_decode hibakezelés a Photonben: A Photonben, try_url_decode() és url_decode()failOnError = false mostantól érvénytelen URL-kódolt sztringeket ad vissza NULL a lekérdezés meghiúsulása helyett.

  • Megosztott végrehajtási környezet a Unity Catalog Python UDTF-jeihez: Az Azure Databricks mostantól ugyanazzal a tulajdonossal és Spark-munkamenettel osztja meg a Python által felhasználó által definiált táblafüggvények (UDTF-ek) végrehajtási környezetét. Választható STRICT ISOLATION záradék áll rendelkezésre az UDTF-ek megosztásának letiltására mellékhatásokkal, például környezeti változók módosításával vagy tetszőleges kód végrehajtásával.

17.1-es verzió

2025. augusztus 19.

Ez a kiszolgáló nélküli számítási kiadás nagyjából megfelel a Databricks Runtime 17.1-es verziójának.

Új funkciók

  • Csökkentett memóriahasználat a Photon-író széles sémáihoz: Olyan fejlesztések történtek a Photon motoron, amelyek jelentősen csökkentik a széles sémák memóriahasználatát, és olyan forgatókönyveket kezelnek, amelyek korábban memóriakihasználtsági hibákat eredményeztek.

Viselkedésváltozások

  • Érvénytelen CHECK kényszerek esetén jelentkező hiba: Az Azure Databricks most egy olyan hibát jelez AnalysisException , amely miatt a CHECK kényszerkifejezés nem oldható fel a kényszer érvényesítése során.

  • A Pulsar összekötő már nem teszi elérhetővé a Bouncy Castle-t: A Bouncy Castle könyvtár most árnyékolt a Pulsar összekötőben, hogy megakadályozza az osztályúti ütközéseket. Ennek eredményeképpen a Spark-feladatok már nem férhetnek hozzá az összekötő osztályaihoz org.bouncycastle.* . Ha a kód a Bouncy Castle függvénytől függ, telepítse manuálisan a könyvtárat kiszolgáló nélküli környezetben.

  • Az automatikus betöltő alapértelmezés szerint fájleseményeket használ, ha elérhető: Az Automatikus betöltő fájleseményeket használ a címtárlista helyett, ha a betöltési útvonal egy külső hely, ahol engedélyezve van a fájlesemények használata. Az alapértelmezett érték most useManagedFileEventsif_available (volt false). Ez javíthatja a betöltési teljesítményt, és figyelmeztetést naplózhat, ha a fájlesemények még nincsenek engedélyezve.

  • A Teradata-összekötő kijavítja a kis- és nagybetűk megkülönböztetésére vonatkozó sztring-összehasonlítást: A Teradata-összekötő mostantól alapértelmezés szerint az Azure Databrickshez igazítja a sztringek összehasonlítási viselkedését a kis- és nagybetűk megkülönböztetésével.TMODE=ANSI Ez a módosítás konfigurálható, és csak akkor érinti a meglévő felhasználókat, ha bejelentkeznek.

Kiszolgáló nélküli környezet 4-es verziója

2025. augusztus 13.

A 4. környezeti verzió már elérhető a kiszolgáló nélküli jegyzetfüzetekben és feladatokban. Ez a környezeti verzió könyvtárfrissítéseket és API-frissítéseket tartalmaz. Lásd : Kiszolgáló nélküli környezet 4-es verziója.

17.0-s verzió

2025. július 24.

Ez a kiszolgáló nélküli számítási kiadás nagyjából megfelel a Databricks Runtime 17.0-nak.

Új funkciók

  • SQL-eljárás támogatása: Az SQL-szkriptek mostantól beágyazhatók egy, a Unity Catalogban újrafelhasználható objektumként tárolt eljárásba. Az eljárást a CREATE PROCEDURE paranccsal hozhatja létre, majd meghívhatja a CALL paranccsal.

  • Alapértelmezett rendezés beállítása az SQL funkciókhoz: Az új DEFAULT COLLATION záradék használata a CREATE FUNCTION parancsban meghatározza a paraméterekhez, a visszatérési típushoz és a függvénytörzsben található STRING literálokhoz használt alapértelmezett rendezést.

  • Rekurzív közös táblakifejezések (rCTE) támogatása: Az Azure Databricks mostantól támogatja a hierarchikus adatok rekurzív közös táblakifejezések (rCTE-k) használatával történő navigációját. A rekurzív kapcsolat követéséhez használjon egy önhivatkozó CTE-t a UNION ALL-val.

  • A PySpark és a Spark Connect mostantól támogatja a DataFrame-eket df.mergeInto API: A PySpark és a Spark Connect mostantól támogatja az API-t df.mergeInto .

  • Támogatás ALL CATALOGS a sémákbanSHOW: A SHOW SCHEMAS szintaxis frissült, hogy elfogadja a ALL CATALOGS, így lehetővé teszi az iterálást az összes névtereket támogató aktív katalógusban. A kimeneti attribútumok mostantól tartalmazzák a catalog megfelelő névtér katalógusát jelző oszlopot.

  • A folyékony fürtözés mostantól hatékonyabban tömöríti a törlési vektorokat: A folyékony fürtözésű Delta-táblák mostantól hatékonyabban alkalmazzák a törlési vektorok fizikai módosításait, amikor OPTIMIZE fut. További részleteket a Parquet-adatfájlok módosításainak alkalmazása című témakörben talál.

  • Nem determinisztikus kifejezések engedélyezése a UPDATE/INSERT oszlopértékekhez MERGE műveleteknél: Az Azure Databricks mostantól lehetővé teszi a nem determinisztikus kifejezések használatát a frissített és beszúrt oszlopértékekben MERGE műveleteknél. Most például dinamikus vagy véletlenszerű értékeket hozhat létre az oszlopokhoz olyan kifejezések használatával, mint a rand().

  • Módosítsa a Delta MERGE Python API-kat, hogy a DataFrame-et adja vissza egység helyett: A Python MERGE API-k (például DeltaMergeBuilder) mostantól az SQL API-hoz hasonló DataFrame-et is visszaadnak ugyanazokkal az eredményekkel.

Viselkedésváltozások

  • Az Automatikus betöltő növekményes címtár-listázási beállítás viselkedési változása: Az elavult automatikus betöltő cloudFiles.useIncrementalListing beállítás értéke mostantól alapértelmezett értékre falsevan állítva. Ennek eredményeképpen az Auto Loader minden egyes futtatáskor teljes könyvtárlistát hajt végre. A Databricks nem javasolja ennek a lehetőségnek a használatát. Ehelyett fájlértesítési módot használjon fájleseményekkel.

  • CREATE VIEW Az oszlopszintű záradékok hibát jeleznek, ha a záradék csak a materializált nézetekre vonatkozik: CREATE VIEW az olyan parancsok, amelyek csak az s-hez MATERIALIZED VIEWérvényes oszlopszintű záradékot adnak meg, hibát jeleznek. Az érintett záradékok közé tartoznak a NOT NULLmegadott adattípusok DEFAULTés COLUMN MASK.

A serverless teljesítménycélok GA státuszban van

2025. június 10.

A feladatok és folyamatok kiszolgáló nélküli teljesítménybeállításának kiválasztása általánosan elérhető.

Ha a teljesítményoptimalizált beállítás engedélyezve van, a számítási feladat a gyorsabb indítási és végrehajtási időhöz lesz optimalizálva. Ha le van tiltva, a kiszolgáló nélküli számítási feladat normál teljesítménymódban fut, amely a költségekre van optimalizálva, és valamivel nagyobb indítási késéssel rendelkezik.

További információt a Teljesítmény mód kiválasztása és a Teljesítmény mód kiválasztása című témakörben talál.

16.4-es verzió

2025. május 28.

Ez a kiszolgáló nélküli számítási kiadás nagyjából megfelel a Databricks Runtime 16.4 LTS-nek.

Viselkedésváltozások

  • Javítás az adatforrás-gyorsítótárazott csomagok beállításainak tiszteletben tartásához: Ez a frissítés biztosítja, hogy a tábla beolvassa az összes adatforrás-csomaghoz beállított tiszteletbeállításokat gyorsítótárazáskor, és nem csak az első gyorsítótárazott táblaolvasást. Korábban az adatforrástáblák olvasásai az első tervet gyorsítótárazták, de a későbbi lekérdezések során nem sikerült figyelembe venni a különböző beállításokat.

  • Engedélyezze a jelzőt a forráselemek anyaggá alakításának kötelezővé tételéhez a MERGE műveletekben: Korábban a felhasználók kikapcsolhatták a forráselemek anyaggá alakítását a MERGE-ben a következő beállítással merge.materializeSourcenone. Ha az új jelző aktív, mindig szükség lesz a forrásanyagra, és az azt kikapcsolni próbáló kísérletek hibát eredményeznek. A Databricks azt tervezi, hogy csak azoknak az ügyfeleknek engedélyezi ezt a jelzőt, akik korábban nem módosították ezt a konfigurációt, így a felhasználók többsége nem tapasztalhat semmilyen változást a viselkedésben.

Új funkciók

  • Az Automatikus betöltő mostantól törölheti a feldolgozott fájlokat a forráskönyvtárban: Most már utasíthatja az Automatikus betöltőt, hogy automatikusan helyezze át vagy törölje a feldolgozott fájlokat. Ezt a funkciót az cloudFiles.cleanSource Automatikus betöltő beállítással engedélyezheti. Lásd az Automatikus betöltő beállításai című témakörtcloudFiles.cleanSource.

  • Típusszűkítési támogatás hozzáadva a Delta-táblákból való streameléshez: Ez a kiadás támogatja a típusszűrési oszlopadatokat tartalmazó Delta-táblából való streamelést, valamint a Databricks-to-Databricks Delta Sharing használatával engedélyezett típuskiszűréssel rendelkező Delta-táblák megosztását. A típusszűkítési funkció jelenleg nyilvános előzetes verzióban érhető el. Lásd típusbővítés.

  • IDENTIFIER a DBSQL-ben már elérhető a katalógusműveletek támogatása: Mostantól használhatja a IDENTIFIER záradékot a következő katalógusműveletek végrehajtásakor:

    • CREATE CATALOG
    • DROP CATALOG
    • COMMENT ON CATALOG
    • ALTER CATALOG

    Ez az új szintaxis lehetővé teszi, hogy dinamikusan adja meg a katalógusneveket az ezekhez a műveletekhez definiált paraméterekkel, így rugalmasabb és újrafelhasználhatóbb SQL-munkafolyamatokat tesz lehetővé. A szintaxis példájaként vegye figyelembe, hogy CREATE CATALOG IDENTIFIER(:param) hol param van megadva egy paraméter a katalógus nevének megadásához. Lásd IDENTIFIER záradék.

  • Az csoportosított kifejezések mostantól automatikusan generált átmeneti aliasokat biztosítanak: A csoportosított kifejezések automatikusan létrehozott aliasai most már determinisztikusan tartalmazzák COLLATE az információkat. Az automatikusan létrehozott aliasok átmenetiek (instabilak), és nem szabad támaszkodni rá. Ehelyett ajánlott eljárásként következetesen és explicit módon kell használni expression AS alias .

  • Szűrőleküldési API-támogatás hozzáadása a Python-adatforrásokhoz: A kiszolgáló nélküli számítás mostantól támogatja a szűrőleküldést a Python-adatforrások köteges olvasására mint API, hasonlóan az SupportsPushDownFilters interfészhez. Lásd a 16.4 LTS kiadási megjegyzéseit.

  • Python UDF-nyomkövetés fejlesztése: A Python UDF-nyomkövetés mostantól az illesztőtől és a végrehajtótól származó kereteket is tartalmazza az ügyfélkeretekkel együtt, ami jobb hibaüzeneteket eredményez, amelyek nagyobb és relevánsabb részleteket mutatnak (például a keretsor tartalmát egy UDF-ben).

  • UNION/EXCEPT/INTERSECT egy nézetben, és EXECUTE IMMEDIATE most helyes eredményeket ad vissza: Ideiglenes és állandó nézetdefiníciók lekérdezése legfelső szintű UNION/EXCEPT/INTERSECT és az alias nélküli oszlopok korábban helytelen eredményeket adtak vissza, mert UNION/EXCEPT/INTERSECT a kulcsszavak aliasnak minősültek. Most ezek a lekérdezések megfelelően hajtják végre a teljes műveletet.

  • Adatforrás-gyorsítótára tervbeállítás és áthelyezési útmutató: A fájlos forrástáblából való olvasás megfelelően figyelembe veszi a lekérdezési beállításokat (például elválasztójeleket). Korábban az első lekérdezési terv gyorsítótárba került, és az azt követő opcióváltoztatásokat figyelmen kívül hagyták. Az előző viselkedés visszaállításához állítsa spark.sql.legacy.readFileSourceTableCacheIgnoreOptionstrueértékre.

  • Új listagg és string_agg függvények: Ettől a kiadástól kezdődően a listagg vagy a string_agg függvények használatával összesítheti a STRING és BINARY értékeket a csoporton belül. Lásd : string_agg.

A teljesítménymód mostantól konfigurálható kiszolgáló nélküli feladatokon

2025. április 14.

Most már kiválaszthatja a kiszolgáló nélküli feladatok teljesítménymódját a Feladat részletei lapon található Teljesítményoptimalizált beállítással. Korábban az összes kiszolgáló nélküli feladat teljesítményoptimalizált volt. Most letilthatja a teljesítményoptimalizált beállítást, hogy a számítási feladatot normál teljesítmény módban futtassa. A standard peformance mód úgy lett kialakítva, hogy csökkentse a számítási feladatok költségeit, ahol elfogadható a valamivel magasabb indítási késés.

A standard teljesítménymód nem támogatott a folyamatos folyamatokhoz, a végponttal létrehozott egyszeri futtatásokhoz vagy az runs/submit SQL Warehouse-feladatokkal kapcsolatos feladatokhoz, beleértve a materializált nézeteket is.

A teljesítménymódról további információt a Teljesítmény mód kiválasztása című témakörben talál.

16.3-es verzió

2025. április 9.

Ez a kiszolgáló nélküli számítási kiadás nagyjából megfelel a Databricks Runtime 16.3-nak.

Viselkedésváltozások

  • *Továbbfejlesztett hibaüzenet, ha kafka.sasl.client.callback.handler.class érvénytelen érték van hozzárendelve: Ez a kiadás tartalmaz egy módosítást, amely leíróbb hibaüzenetet ad vissza, ha kafka.sasl.client.callback.handler.class érvénytelen értéket rendel hozzá.

Új funkciók

  • Az állapotolvasó támogatása ga: A strukturált streamelési lekérdezések állapotadatainak olvasása mostantól általánosan elérhető a kiszolgáló nélküli számításban. Lásd: Strukturált streamelési állapotinformációk olvasása.

  • A Delta táblaprotokoll leminősítés GA ellenőrzőpont-védelemmel általánosan elérhető: DROP FEATURE a Delta Lake táblafunkcióinak eltávolításához és a táblaprotokoll leminősítéséhez. Alapértelmezés szerint DROP FEATURE mostantól védett ellenőrzőpontokat hoz létre egy optimalizáltabb és egyszerűbb visszalépési élmény érdekében, amely nem igényel várakozási időt vagy előzmény csonkolást. Lásd Delta Lake tábla szolgáltatás megszüntetése és tábla protokoll visszaminősítése.

  • Procedurális SQL-szkriptek írása AZ ANSI SQL/PSM (nyilvános előzetes verzió) alapján: Mostantól az ANSI SQL/PSM-alapú szkriptelési képességeket használhatja az SQL-lel kapcsolatos eljárási logika írásához, beleértve a vezérlőfolyamat-utasításokat, a helyi változókat és a kivételkezelést. Lásd az SQL-szkriptelést.

  • Táblázat- és nézetszintű alapértelmezett rendezés: Mostantól megadhat egy alapértelmezett rendezést a táblákhoz és nézetekhez. Ez leegyszerűsíti a táblák és nézetek létrehozását, ahol az összes vagy a legtöbb oszlop ugyanazzal a rendezéssel rendelkezik. Lásd : Rendezés.

  • Új H3 függvények: Három új H3 függvény lett hozzáadva: h3_try_coverash3, h3_try_coverash3string és h3_try_tessellateaswkb.

  • Több táblaoszlop módosítása egy ALTER TABLE utasításban: Mostantól egyetlen utasításban ALTER TABLE több oszlopot is módosíthat. Lásd...ALTER TABLECOLUMN záradékot.

16.2-es verzió

2025. március 13.

Ez a kiszolgáló nélküli számítási kiadás nagyjából megfelel a Databricks Runtime 16.2-nek.

Viselkedésváltozások

  • A Delta Sharingben a táblaelőzmények alapértelmezés szerint engedélyezve vannak: Az SQL-paranccsal ALTER SHARE <share> ADD TABLE <table> létrehozott megosztások esetében alapértelmezés szerint engedélyezve van az előzménymegosztás (WITH HISTORY). Lásd a(z) ALTER SHARE.

  • A hitelesítőadat-kezelési SQL-utasítások hibát adnak vissza, ha a hitelesítő adatok típusa nem egyezik: Most, ha a hitelesítőadat-kezelési SQL-utasításban megadott hitelesítő adattípus nem egyezik meg a hitelesítő argumentum típusával, a rendszer hibát ad vissza, és az utasítás nem fut.

Új funkciók

  • Használja a & a generált oszlopkifejezésekben. Mostantól használhatja a timestampdiff és a timestampadd függvényeket a Delta Lake generált oszlopkifejezésekben. Lásd a Delta Lake által létrehozott oszlopokat.

  • Frissítés a DESCRIBE TABLE metaadatok strukturált JSON-ként való visszaadásához: A parancs segítségével mostantól JSON-dokumentumként is visszaadhatja a DESCRIBE TABLE AS JSON tábla metaadatait. A JSON-kimenet strukturáltabb, mint az alapértelmezett, ember által olvasható jelentés, és programozott módon használható a tábla sémájának értelmezéséhez. További információ: DESCRIBE TABLE AS JSON.

  • Végi szóközökre érzéketlen rendezések: A serverless környezet mostantól támogatja a végi szóközökre érzéketlen rendezéseket. Ezek a kollációk például a 'Hello' és 'Hello ' értékeket egyenlőként kezelik. További információ: RTRIM-rendezés.

Hibajavítások

  • Továbbfejlesztett növekményes klónfeldolgozás: Ez a kiadás egy peremes eset javítását tartalmazza, ahol egy növekményes CLONE fájl újramásolhatja a forrástáblából a céltáblába másolt fájlokat. Lásd : Tábla klónozása az Azure Databricksben.

Kiszolgáló nélküli jegyzetfüzeteken elérhető magas memóriabeállítás (nyilvános előzetes verzió)

2025. február 7-én

Mostantól nagyobb memóriaméretet konfigurálhat a kiszolgáló nélküli számítási jegyzetfüzet számítási feladataihoz. Ez a beállítás interaktív és ütemezett jegyzetfüzet-számítási feladatokra is alkalmazható.

A magas memóriával rendelkező kiszolgáló nélküli használat magasabb DBU-kibocsátási sebességgel rendelkezik, mint a normál memória.

További információ: Nagy memória kiszolgáló nélküli számítás használata.

16.1-es verzió

2025. február 5-én

Ez a kiszolgáló nélküli számítási kiadás nagyjából megfelel a Databricks Runtime 16.0-nak és a Databricks Runtime 16.1-nek.

Új funkciók

  • Rekurzív sémák Avro-támogatása: Most már használhatja a recursiveFieldMaxDepth opciót a from_avro funkcióval és a avro adatforrással. Ez a beállítás a séma-rekurzió maximális mélységét állítja be az Avro-adatforráson. Lásd a streamelt Avro-adatok olvasását és írását.
  • Az Avro Confluent sémaregisztrációs adatbázisának kiterjesztett támogatása: A Kiszolgáló nélküli szolgáltatás mostantól támogatja az Avro-sémahivatkozást a Confluent sémaregisztrációs adatbázisával. Lásd : Hitelesítés külső Confluent-sémaregisztrációs adatbázisba.
  • A folyékony fürtözést használó táblákon való kényszerített újracsoportosítás: A OPTIMIZE FULL szintaxissal mostantól kényszerítheti a tábla összes rekordjának újracsoportosítását, folyékony fürtözés engedélyezése esetén. Lásd: Az összes rekord újracsoportosításának kényszerítése.
  • A PythonHoz készült Delta API-k mostantól támogatják az identitásoszlopokat: A Python Delta API-ival mostantól identitásoszlopokkal rendelkező táblákat hozhat létre. Lásd: Identitásoszlopok használata a Delta Lake-ben.
  • Folyékony fürtözött táblák létrehozása streamelés közbeni írás során: Mostantól engedélyezheti a folyékony fürtözést, amikor új táblákat hoz létre strukturált streamelésű írásokkal. Lásd Folyékony klaszterezés engedélyezése.
  • Támogatás a következőhöz: OPTIMIZE FULL záradék: A kiszolgáló nélküli számítás mostantól támogatja a OPTIMIZE FULL záradékot. Ez a feltétel optimalizálja a folyékony klaszterezést használó táblában lévő összes rekordot, beleértve a korábban klaszterezett adatokat is.
  • A WITH-beállítások specifikációjának INSERT és a táblahivatkozások támogatása: A kiszolgáló nélküli számítás mostantól támogatja az adatforrások viselkedésének szabályozására használható utasítás táblahivatkozásainak és táblázatneveinek INSERT.
  • Új SQL-függvények: A következő SQL-függvények érhetők el kiszolgáló nélküli számításon:
    • try_url_decode a url_decode hibatűrő verziója.
    • zeroifnull 0 értéket ad vissza, ha a függvény bemeneti kifejezése zeroifnull() null értékű.NULL
    • nullifzero akkor ad NULL vissza, ha a bemenet 0, vagy ha nem 0.
    • a dayname(expr) a hét napjának hárombetűs angol betűszóját adja vissza az adott dátumhoz.
    • az uniform(expr1, expr2 [,seed]) egy véletlenszerű értéket ad vissza független és azonos eloszlású értékekkel a megadott számtartományon belül.
    • randstr(length) véletlenszerű alfa-numerikus karaktereket tartalmazó sztringet length ad vissza.
  • Az adatok Delta-táblába való egyesítésekor engedélyezze az automatikus sémafejlődést: Támogatás withSchemaEvolution() lett hozzáadva az DeltaMergeBuilder osztálytaghoz. Az withSchemaEvolution() automatikus sémafejlődés engedélyezésére használható a MERGE műveletek során. Például: mergeBuilder.whenMatched(...).withSchemaEvolution().execute()}}.
  • Az Apache Sparkban a rendezés támogatása nyilvános előzetes verzióban érhető el: Mostantól nyelvérzékeny, kis- és nagybetűket nem érzékelyítő és hozzáférés-érzéketlen rendezéseket rendelhet oszlopokhoz és kifejezésekhez STRING . Ezeket a kollációkat karakterlánc-összehasonlításokban, rendezési, csoportosítási műveletekben és több karakterláncfüggvényben használják. Lásd : Rendezés.
  • A Delta Lake-beli rendezések támogatása nyilvános előzetes verzióban érhető el: A Delta-tábla létrehozásakor vagy módosításakor most már megadhatja az oszlopok rendezéseit. Lásd a Delta Lake összehasonlítási támogatását.
  • LITE A vákuum mód nyilvános előzetes verzióban érhető el: Mostantól VACUUM table_name LITE kisebb súlyú vákuumműveletet hajthat végre, amely a Delta tranzakciónapló metaadatait használja. Tekintse meg: Teljes vs. könnyű mód és VACUUM.
  • A záradék paraméterezésének USE CATALOG with IDENTIFIER támogatása: Az IDENTIFIER utasítás mostantól támogatja a USE CATALOG záradékot. Ezzel a támogatással paraméterezheti az aktuális katalógust egy sztringváltozó vagy paraméterjelölő alapján.
  • COMMENT ON COLUMN táblák és nézetek támogatása: Az COMMENT ON utasítás mostantól támogatja a nézet- és táblaoszlopok megjegyzéseinek módosítását.
  • Elnevezett paraméter meghívása további függvényekhez: A következő függvények támogatják az elnevezett paraméterhívást:
  • A SYNC METADATA parancs paraméterét a REPAIR TABLE Hive metaadattár támogatja: Mostantól a SYNC METADATA paraméterrel REPAIR TABLE frissítheti a Hive metaadattár által kezelt táblák metaadatait. Lásd a(z) REPAIR TABLE.
  • Továbbfejlesztett adatintegritás tömörített Apache Arrow-kötegekhez: Az adatsérülések elleni további védelem érdekében mostantól minden LZ4 tömörített Arrow köteg tartalmazza a tartalom és blokk ellenőrzőösszegeit. Lásd az LZ4-keret formátumának leírását.
  • Beépített Oracle JDBC-illesztő: A kiszolgáló nélküli számítás most már beépített Oracle JDBC-illesztővel rendelkezik. Ha egy ügyfél által feltöltött JDBC-illesztő JAR-t használ a DriverManager keresztül, át kell írnia a szkripteket az egyéni JAR kifejezett használatához. Ellenkező esetben a rendszer a beépített illesztőprogramot használja. Ez az illesztőprogram csak a Lakehouse Federationt támogatja. Egyéb használati esetekben saját meghajtót kell megadnia.
  • Az elérési utakkal elért Delta-táblák részletesebb hibái: Új hibaüzenet jelenik meg az elérési utak használatával elért Delta-táblákhoz. A rendszer minden kivételt továbbít a felhasználónak. A kivétel DELTA_MISSING_DELTA_TABLE akkor van fenntartva, ha a mögöttes fájlok nem olvashatók Delta-táblaként.

Viselkedésváltozások

  • Breaking change: Hosted RStudio is end-of-life: Ezzel a kiadással a Databricks által üzemeltetett RStudio-kiszolgáló élettartama lejárt, és nem érhető el a kiszolgáló nélküli számításon futó Azure Databricks-munkaterületeken. További információ és az RStudio alternatíváinak listája: Csatlakozás a Databricks által üzemeltetett RStudio-kiszolgálóhoz.

  • Törés okozó változás: A byte, short, int és long típusok szélesebb típusúra történő módosításának támogatásának eltávolítása: A Delta- és Apache Iceberg-táblák konzisztens viselkedésének biztosítása érdekében a következő adattípus-módosítások már nem alkalmazhatók a típus szélesítés funkcióval rendelkező táblákra:

    • byte, short, int és longdecimal.
    • byte, short, és int a double-hoz.

  • Regex-minták helyes elemzése beágyazott karaktercsoportba rendezéssel: Ez a kiadás tartalmaz egy módosítást, amely támogatja a regex minták megfelelő elemzését a beágyazott karaktercsoportozásban való negációval. A rendszer például [^[abc]] "bármely olyan karakterként lesz elemezve, amely NEM az "abc" egyike.

    Emellett a Photon viselkedése inkonzisztens volt a Sparkkal a beágyazott karakterosztályok esetében. A beágyazott karakterosztályokat tartalmazó Regex-minták már nem használják a Photont, hanem a Sparkot. A beágyazott karakterosztály minden olyan minta, amely szögletes zárójeleket tartalmaz más szögletes zárójeleken belül, például [[a-c][1-3]].

  • A Delta Lake MERGEduplikált egyezésészlelésének javítása :MERGE most már figyelembe veszi a WHEN MATCHED záradékban megadott feltételeket. Tekintse meg, hogyan használhatja az "upsert" műveletet egy Delta Lake táblázatban az egyesítési (merge) eljárással.

  • A addArtifact() funkció mostantól konzisztens a számítási típusok között: Amikor függőséget ad addArtifact(archive = True) hozzá a kiszolgáló nélküli számításhoz, a rendszer automatikusan kicsomagolja az archívumot.

Hibajavítások

  • Az időzóna-eltolások mostantól másodperceket is tartalmaznak, amikor CSV-, JSON- és XML-formátumú szerializálás történik: Az olyan időbélyegek, amelyek másodpercekkel rendelkező időzóna-eltolásokat tartalmaznak (az 1900 előtti időbélyegeknél gyakori), a szerializálás során kihagyták a másodperceket, amikor CSV, JSON vagy XML formátumban történtek. Az alapértelmezett időbélyeg-formázó ki lett javítva, és most a megfelelő eltolási értékeket adja vissza ezekhez az időbélyegekhez.

Egyéb módosítások

  • cloudFiles A következő hibakódok lettek átnevezve:
    • _LEGACY_ERROR_TEMP_DBR_0143 át lett nevezve CF_INCORRECT_STREAM_USAGE-re.
    • _LEGACY_ERROR_TEMP_DBR_0260 át lett nevezve CF_INCORRECT_BATCH_USAGE -re.

15.4-es verzió

2024. október 28.

Ez a kiszolgáló nélküli számítási kiadás nagyjából megfelel a Databricks Runtime 15.4-nek

Új funkciók

  • UTF-8 érvényesítési függvények: Ez a kiadás az alábbi függvényeket mutatja be az UTF-8 sztringek érvényesítéséhez:
    • is_valid_utf8 ellenőrizte, hogy egy sztring érvényes UTF-8 sztring-e.
    • make_valid_utf8 egy potenciálisan érvénytelen UTF-8 sztringet helyettesítő karakterek használatával konvertál érvényes UTF-8 sztringgé.
    • validate_utf8 hibát jelez, ha a bemenet nem érvényes UTF-8 sztring.
    • try_validate_utf8 akkor ad NULL vissza, ha a bemenet nem érvényes UTF-8 sztring.
  • Az UniForm Iceberg engedélyezése a következővel ALTER TABLE: Mostantól adatfájlok újraírása nélkül engedélyezheti az UniForm Iceberget a meglévő táblákon. Lásd: Iceberg-olvasás engedélyezése meglévő táblán.
  • try_url_decode függvény: Ez a kiadás bemutatja a try_url_decode függvényt, amely egy URL-kódolt sztringet dekódol. Ha a sztring nem a megfelelő formátumban van, a függvény hibafelismertetés helyett ad vissza NULL .
  • Opcionálisan lehetővé teszi az optimalizáló számára, hogy nem kényszerített külső kulcsokra támaszkodjon: A lekérdezési teljesítmény javítása érdekében mostantól megadhatja a kulcsszót a RELYFOREIGN KEY táblák létrehozásakor vagy módosításakor .
  • Párhuzamos futtatás szelektív felülírásokhoz: A szelektív felülírások most olyan feladatokat futtatnak párhuzamosan replaceWhere, amelyek adatokat törölnek és új adatokat szúrnak be, ezáltal javítva a lekérdezési teljesítményt és a fürt kihasználtságát.
  • Jobb teljesítmény a szelektív felülírásokkal rendelkező adatcsatornák módosításához: A módosítási adatcsatornával rendelkező táblák szelektív replaceWhere felülírása többé nem ír külön módosítási adatfájlokat a beszúrt adatokhoz. Ezek a műveletek a mögöttes Parquet-adatfájlokban található rejtett _change_type oszlopot használják a módosítások íráserősítés nélküli rögzítéséhez.
  • Továbbfejlesztett lekérdezési késés a parancshoz: Ez a COPY INTO kiadás tartalmaz egy módosítást, amely javítja a parancs lekérdezési késésétCOPY INTO. Ez a fejlesztés úgy valósul meg, hogy a RocksDB állapottároló aszinkron módon tölti be az állapotot. Ezzel a módosítással javulni fog a nagy állapotú lekérdezések kezdési ideje, például a nagy számú már betöltött fájllal rendelkező lekérdezések esetében.
  • Az ellenőrzési korlátozások táblafunkciójának elvetése: Most már elvetheti a checkConstraints tábla funkciót egy Delta-táblából a következővel ALTER TABLE table_name DROP FEATURE checkConstraints: . Lásd: Ellenőrzési korlátozások letiltása.

Viselkedésváltozások

  • Sémakötés módosítása nézetekhez: Amikor a nézet alapjául szolgáló lekérdezés adattípusai eltérnek a nézet első létrehozásakor használt adatoktól, a Databricks többé nem ad hibát a nézetre mutató hivatkozásoknál, ha nem lehet biztonságos megjelenítést végrehajtani.

    Ehelyett a nézet a szokásos kitevési szabályokkal kompenzál, ahol lehet. Ez a módosítás lehetővé teszi, hogy a Databricks könnyebben tolerálja a táblaséma változásait.

  • A nem dokumentált ! szintaxistűrés NOT letiltása a logikai logikán kívül: A Databricks többé nem tolerálja a logikai logikán kívüli szinonimák ! használatátNOT. Ez a módosítás csökkenti a zavart, igazodik az SQL szabványhoz, és hordozhatóbbá teszi az SQL-t. Például:

    CREATE ... IF ! EXISTS, IS ! NULL, ! NULL oszlop vagy mező tulajdonság és ! IN! BETWEEN kifejezést a következőre kell cserélni:

    CREATE ... IF NOT EXISTS, IS NOT NULL, NOT NULL oszlop- vagy mezőtulajdonság, NOT IN és NOT BETWEEN.

    Ez a módosítás nem érinti a logikai előtag operátort! (pl. !is_mgr vagy !(true AND false)) .

  • Az oszlopdefiníció szintaxisának nem dokumentált és feldolgozatlan részeinek letiltása a nézetekben: A Databricks nevesített oszlopokkal és oszlopokkal kapcsolatos megjegyzéseket támogat CREATE VIEW .

    Az oszloptípusok, NOT NULL korlátozások vagy DEFAULT meghatározása a szintaxisban semmilyen hatás nélkül eltűrhető. A Databricks eltávolítja ezt a szintaxistűrést. Ez csökkenti a zavart, igazodik az SQL szabványhoz, és lehetővé teszi a jövőbeli fejlesztéseket.

  • Konzisztens hibakezelés a Base64-dekódoláshoz a Sparkban és a Photonben: Ez a kiadás módosítja, hogy a Photon hogyan kezeli a Base64 dekódolási hibáit a hibák Spark-kezelésének megfelelően. A módosítások előtt a Photon és a Spark kódgenerálási folyamata néha nem tudta megfelelően kezelni az elemzési kivételeket, míg a Spark értelmezési végrehajtása helyesen emelte ki a IllegalArgumentException vagy ConversionInvalidInputError kivételeket. Ez a frissítés biztosítja, hogy a Photon következetesen ugyanazokat a kivételeket emelje ki, mint a Spark a Base64 dekódolási hibái során, kiszámíthatóbb és megbízhatóbb hibakezelést biztosítva.

  • CHECK Hasznosabb hibaüzenet megjelenítése érdekében a Databricks Runtime 15.3 és újabb verziókban egy érvénytelen oszlopnévre hivatkozó kényszert tartalmazó utasítás a ALTER TABLE ADD CONSTRAINT hibaosztályt adja vissza. Korábban egy INTERNAL_ERROR volt visszaadva.

A JDK JDK 8-ról JDK 17-re frissül

2024. augusztus 15.

A notebookok és munkafolyamatok számára kiszolgáló nélküli számítás kiszolgáló oldalon a Java Development Kit (JDK) 8-ról JDK 17-re migrált. Ez a frissítés a következő viselkedési változásokat tartalmazza:

  • Regex-minták helyes elemzése beágyazott karaktercsoportozással: Ezzel a frissítéssel az Azure Databricks mostantól támogatja a regex minták megfelelő elemzését beágyazott karaktercsoportozással. A rendszer például [^[abc]] "bármely olyan karakterként lesz elemezve, amely NEM az "abc" egyike.

    Emellett a Photon viselkedése inkonzisztens volt a Sparkkal a beágyazott karakterosztályok esetében. A beágyazott karakterosztályokat tartalmazó Regex-minták már nem használják a Photont, hanem a Sparkot. A beágyazott karakterosztály minden olyan minta, amely szögletes zárójeleket tartalmaz más szögletes zárójeleken belül, például [[a-c][1-3]].

15.1-es verzió

2024. július 23.

Ez a kiszolgáló nélküli számítási kiadás nagyjából megfelel a Databricks Runtime 15.1-nek

Új funkciók

Csillag (*) szintaxis támogatása a WHERE utasításban: Mostantól a WHERE utasításban csillag (WHERE) szintaxissal hivatkozhat a SELECT lista összes oszlopára.

Például: SELECT * FROM VALUES(1, 2) AS T(a1, a2) WHERE 1 IN(T.*).

Changes

Továbbfejlesztett hiba kezelés a JSON-elemzéshez: A JSON-elemző from_json() és a JSON útvonal kifejezések mostantól gyorsabban kezelik a hibás szintaxist, ami kevesebb adatvesztéssel jár.

Ha hibás JSON-szintaxissal találkozik egy strukturált mezőben, egy tömbértékben, egy térképkulcsban vagy egy leképezési értékben, a JSON-elemző mostantól csak az olvashatatlan mezőre, kulcsra vagy elemre ad vissza.NULL A következő mezők, kulcsok vagy elemek megfelelően lesznek elemezve. A módosítás előtt a JSON-elemző megszakította a tömb, a struktúra vagy a térkép elemzését, és a fennmaradó tartalomra NULL-t adott vissza.

14.3-es verzió

2024. április 15.

Ez a kezdeti kiszolgáló nélküli számítási verzió. Ez a verzió nagyjából megfelel a Databricks Runtime 14.3-nak néhány olyan módosítással, amelyek bizonyos nem kiszolgáló nélküli és örökölt funkciók támogatását megszüntetik.

Támogatott Spark-konfigurációs paraméterek

A Spark konfigurációjának kiszolgáló nélküli számításon való automatizálásához az Azure Databricks eltávolította a legtöbb Spark-konfiguráció manuális beállításának támogatását. A támogatott Spark-konfigurációs paraméterek listájának megtekintéséhez lásd: Spark-tulajdonságok konfigurálása kiszolgáló nélküli jegyzetfüzetekhez és feladatokhoz.

A kiszolgáló nélküli számításon futó feladatok sikertelenek lesznek, ha nem támogatott Spark-konfigurációt állít be.

input_file függvények elavultak

A input_file_name(), input_file_block_length() és input_file_block_start() függvény elavult. Ezeknek a függvényeknek a használata erősen nem ajánlott.

Ehelyett használja a fájl metaadatainak oszlopát a fájl metaadatainak lekéréséhez.

Viselkedési változások

A kiszolgáló nélküli számítási 2024.15-ös verzió a következő viselkedési változásokat tartalmazza:

  • unhex(hexStr) hibajavítás: A függvény használatakor a unhex(hexStr) hexStr mindig egy egész bájtra van kipárnázva. Korábban az unhex függvény figyelmen kívül hagyta az első fél bájtot. Például: unhex('ABC') most x'0ABC'-t állít elő x'BC' helyett.
  • Az automatikusan létrehozott oszlop aliasok mostantól stabilak: Ha egy kifejezés eredményére felhasználó által megadott oszlopalias nélkül hivatkozik, ez az automatikusan létrehozott alias stabil lesz. Az új algoritmus a korábban automatikusan létrehozott nevek módosítását eredményezheti olyan funkciókban, mint a materializált nézetek.
  • A típusmezőkkel végzett CHAR táblavizsgálatok mostantól mindig ki vannak jelölve: a Delta-táblák, bizonyos JDBC-táblák és külső adatforrások nem párnázott formában tárolják a CHAR-adatokat. Olvasáskor az Azure Databricks mostantól a deklarált hosszúságú szóközökkel fogja kipárnázni az adatokat a megfelelő szemantikák biztosítása érdekében.
  • A BIGINT/DECIMÁLIS értékből IDŐBÉLYEG értékre történő átalakítás kivételt dob a túlcsordult értékek esetén: Az Azure Databricks lehetővé teszi a BIGINT/DECIMÁLIS értékek IDŐBÉLYEG értékre történő átalakítását, az értéket a Unix időszak óta eltelt másodpercek számaként kezelve. Korábban az Azure Databricks túlcsordult értékeket adott vissza, de most kivételt eredményez a túlcsordulás esetén. Használja a try_cast-t, hogy null értéket adjon vissza kivétel helyett.
  • A PySpark UDF végrehajtása a dedikált számítási UDF-végrehajtás pontos viselkedésének megfelelően lett továbbfejlesztve: A következő módosítások történtek:
    • Az UDF-ek karaktersorozat visszatérési típussal mostantól nem konvertálják implicit módon a nem karaktersorozat értékeket karaktersorozattá. Korábban a visszatérési str típusú UDF-ek burkolót str(..) alkalmaztak az eredményre, függetlenül a visszaadott érték tényleges adattípusától.
    • Az timestamp visszatérési típussal rendelkező UDF-ek többé nem alkalmazzák implicit módon az időzónák időbélyegekké való konvertálását.
  • Last updated on