Szerver nélküli számítási kapacitás kibocsátási megjegyzései

Ez a cikk ismerteti azokat a funkciókat és viselkedéseket, amelyek jelenleg elérhetők és hamarosan elérhetők a jegyzetfüzetek és feladatok kiszolgáló nélküli számításán.

A kiszolgáló nélküli számítással kapcsolatos további információkért lásd: Csatlakozás kiszolgáló nélküli számításhoz.

Az Azure Databricks rendszeresen kiadja a kiszolgáló nélküli számítás frissítéseit, és automatikusan frissíti a kiszolgáló nélküli számítási futtatókörnyezetet a platform fejlesztéseinek és frissítéseinek támogatásához. Minden felhasználó ugyanazokat a frissítéseket kapja, és rövid idő alatt kerülnek bevezetésre.

Szerver nélküli környezeti verziók

A jegyzetfüzetek és feladatok servermentes számítási teljesítménye a környezeti verziókat használja, amelyek egy stabil kliens API-t biztosítanak a Spark Connect alapján, hogy biztosítsák az alkalmazás kompatibilitását. Ez lehetővé teszi a Databricks számára, hogy függetlenül frissítse a szervert, így fejlesztve a teljesítményt, javítva a biztonságot, és kijavítva a hibákat anélkül, hogy bármilyen kódbeli módosítást igényelne a munkaterheléseken.

Minden környezeti verzió tartalmaz egy konkrét Python verziót, valamint egy Python csomagok halmazát meghatározott verziókkal. A Databricks új funkciókat és javításokat vezet be a legújabb környezeti verzióban, miközben biztonsági frissítéseket alkalmaz minden támogatott környezeti verzióra.

Szerver nélküli környezet verzió kiadási jegyzetekért lásd: Környezeti verziók.

Kibocsátási megjegyzések

Ez a szakasz a kiszolgáló nélküli számítás kibocsátási megjegyzéseit tartalmazza. A kiadási jegyzetek év és hét szerint vannak rendszerezve. A kiszolgáló nélküli számítás mindig az itt felsorolt legújabb kiadású verzióval fut.

A DataFrame-gyorsítótárazás kiszolgáló nélküli számításban most már nyilvános előzetes verzióban érhető el

2026. október 23.

A DataFrame gyorsítótárazás szerver nélküli számításon most nyilvános előzetes verzióban van. Egy DataFrame-et gyorsítótárba helyezhet a df.cache() vagy df.persist() használatával kiszolgáló nélküli számítási környezetben, hogy a költséges eredményt a munkamenet hátralévő részében újra felhasználhassa. A gyorsítótárazáshoz 5-ös vagy újabb verziójú szerver nélküli környezet, Pythonhoz készült Databricks Connect 18.1.8-as vagy újabb verziója, illetve Scalához készült Databricks Connect 18.1.5-ös vagy újabb verziója szükséges. Az előnézet alapértelmezés szerint engedélyezett a legtöbb munkaterületen. A munkaterület adminei a(z) Előnézetek oldalon letilthatják azt. Lásd: DataFrame-ek gyorsítótárazása kiszolgáló nélküli számításon.

2026. október 19.

2026. október 19.

Ez a szerver nélküli számítási kiadás tartalmazza a Databricks Runtime 19 frissítéseit.

Viselkedésváltozások

  • A Spark Connect végrehajtási metrikák elrejtik a sorszűrő és oszlopmaszk részleteit: A DataFrame végrehajtási metrikák most már elrejtik a sorszűrőkkel és oszlopmaszkokkal kapcsolatos belső operátorokat és metrikákat. Ez védi a házirend végrehajtásával kapcsolatos információkat, amikor megvizsgálja a(z) df.executionInfo.metrics elemet, beleértve annak szöveges ábrázolását is. A terv védett részének határa és saját mutatói továbbra is látható marad. A lekérdezési eredmények változatlanok. Azokat a jegyzetfüzeteket vagy eszközöket, amelyek a védett alterveken belüli részletes metrikáktól függenek, frissíteni kell.

2026. szeptember 21.

2026. szeptember 21.

Ez a szerver nélküli számítási kiadás tartalmazza a Databricks Runtime 19 frissítéseit.

Új funkciók

  • truncate függvény: A truncate függvény egy számot egy megadott tizedeshelyre csonkol lekerekítés nélkül.

  • trim_array függvény: A trim_array függvény eltávolítja a tömb végéről a megadott számú elemet.

2026. augusztus 31.

2026. augusztus 31.

Ez a szerver nélküli számítási kiadás tartalmazza a Databricks Runtime 19 frissítéseit.

Új funkciók

  • Az automatikus változásiadat-feed általánosan elérhető: Az automatikus változásiadat-feed (Auto CDF) a sorszintű változásokat a lekérdezés idején számolja. Működik a batch querykkel, strukturált streaminggel és Delta Sharing-kel, és sorkövetést igényel. Lásd: Adatcsatorna automatikus módosítása.

  • parse_sql függvény: A parse_sql függvény egy SQL utasítást elemez, és strukturált JSON-t ad vissza, amely tartalmaz utasítás metaadatokat, táblázathivatkozásokat, select-list kifejezéseket vagy elemző hibainformációkat.

Viselkedésváltozások

  • from_protobuf kihagyja a hibás formált kiválasztatlan mezőket, amikor a séma metszete engedélyezett: Amikor a protobuf séma metszése engedélyezett, from_protobuf már nem dekódol vagy validál olyan mezőket, amelyeket egy lekérdezés nem választ ki. Egy hibás, nem kiválasztott mező a PERMISSIVE módban többé nem állítja nullára a sort, és a FAILFAST módban nem hiúsítja meg a lekérdezést.

  • A JDBC pushdown helyesen kezeli a null literálisokat: Data Source v2 JDBC pushdown most az SQL NULL literalt bocsátja ki a string 'null'helyett. Azok a lekérdezések, amelyek olyan kifejezéseket csoportosítanak, mint a NULLIF, mostantól null értékű csoportot hoznak létre külön 'null' karakterlánc-csoport helyett.

  • A HTTP és AI funkciók már nem követik az átirányításokat: http_request és az AI funkciók már nem követik HTTP 3xx átirányításokat. Azok a hívások, amelyek átirányítást kapnak, most távoli HTTP hibát adnak vissza az átirányítás státusza miatt. A fájlforrás-csatlakozó letöltések nem változnak.

2026. augusztus 24.

2026. augusztus 24.

Ez a szerver nélküli számítási kiadás tartalmazza a Databricks Runtime 19 frissítéseit.

Új funkciók

  • collect_union aggregált függvény: Az collect_union aggregált függvény visszaadja az egyes csoportokon belüli tömbök elemeinek különálló unióját.

Viselkedésváltozások

  • A HAVING kiértékelése az ablakfüggvények előtt történik a generátorokat tartalmazó lekérdezésekben: a generátorokat tartalmazó lekérdezésekben, például a explode esetén, az ablakfüggvények kiértékelése most a HAVING szűrő után történik. Az ablak eredményei ezért csak azokat a sorokat tartalmazzák, amelyeket a(z) HAVING megtart.

  • A politikalogika alapértelmezés szerint rejtve van a lekérdezési tervekben: a lekérdezési tervek már nem fedik ki sorszűrő és oszlopmaszk politikalogikát, hacsak a felhasználó nem rendelkezik a INSPECT_POLICY_EXECUTION metastore jogosultsággal.

  • A Delta API DML irányelv-definiáló jogokat használ: DeltaTable.delete, DeltaTable.update, és DeltaTable.merge most sorszűrő és oszlopmaszk politikafüggvényeket a szabályzatmeghatározó jogaival oldja meg, megfelelve az SQL DML-nek. A hívóknak már nincs szükségük a(z) EXECUTE elemre ezeknél a házirendfüggvényeknél, ha rendelkeznek a szükséges táblaengedélyekkel.

2026. augusztus 17.

2026. augusztus 17.

Ez a szerver nélküli számítási kiadás tartalmazza a Databricks Runtime 19 frissítéseit.

Új funkciók

  • is_valid_variant függvény: A is_valid_variant függvény akkor tér vissza true , ha a bemenet jól formált VARIANT érték, és false egyébként. Használd a variáns adatok ellenőrzésére a lefelé irányuló feldolgozás előtt.

  • DataFrameGroupBy.cov és SeriesGroupBy.describe a pandas API-ban a Sparken: a Sparken található pandas API most támogatja DataFrameGroupBy.cov, amely kiszámítja az oszlopok páros kovarianciáját az egyes csoportokon belül, és SeriesGroupBy.describe, amely leíró statisztikákat generál minden csoporthoz.

  • pa.ChunkedArray támogatás a createDataFrame: createDataFrame() most már kezeli a pandas DataFrame-eket PyArrow ChunkedArray oszlopokkal, így elkerülve a típushibákat, amikor Arrow-backed Pandas adatokat használsz.

A JAR feladatok szerver nélküli számításon már általánosan elérhetők

2026. augusztus 6.

Csomagold be a Scala vagy Java kódot JAR-ként, és futtatd feladatként egy Lakeflow Job-ban szerver nélküli számításon. A JAR-nak meg kell felelnie a szerver nélküli környezeti verzió Scala, Java Development Kit (JDK) és Databricks Connect verzióival. Lásd: Hozzon létre és futtasd a JAR-okat szerver nélküli számításon.

Szerver nélküli számítási hozzáférés-vezérlés már általánosan elérhető

2026. augusztus 3.

A szerver nélküli számítási hozzáférés-vezérlés mostantól általánosan elérhető. A munkaterület adminisztrátorai két beépített szerver nélküli számítási objektumon keresztül irányíthatják, hogy ki futtatja a szerver nélküli munkaterheléseket: Alapértelmezett Interaktív Compute (a notebookokhoz és a Databricks Connect hozzáférését szabályozza) és az Alapértelmezett Automatizált Számítás (a Lakeflow-on a feladatokhoz és a Spark Deklaratív Pipeline-ekhez való hozzáférést). Minden munkaterületi felhasználónak alapértelmezetten mindkét objektumon van Can Use funkciója, így a meglévő munkaterhelések változás nélkül futnak.

Lásd : Szerver nélküli számítás kezelése.

2026. július 6.

2026. július 6.

Ez a kiszolgáló nélküli számítási kiadás a Databricks Runtime 18 frissítéseit tartalmazza.

Új funkciók

  • Spark deklaratív pipelines a Lakeflow-on streaming query ID: A Spark deklaratív pipelines a Lakeflow-on most már igény szerint beállíthatják a streaming lekérdezés ID-jét.

  • IP-cím függvények (Nyilvános Előnézet): Új SQL funkciók állnak rendelkezésre az IPv4- és IPv6-címekkel, valamint a CIDR-blokkokkal való munkához, beleértve a ip_host, ip_cidr, ip_version, ip_prefix_length, ip_network, ip_as_string, ip_as_binary, ip_network_last, ip_cidr_contains és try_* null-biztonságos viselkedésű változatait. Lásd : ip_host és kapcsolódó függvények.

  • Igény szerinti állapot-újraosztás (Nyilvános előnézet): A strukturált streaming most már támogatja az állapottartó lekérdezések keverési partíciói számának módosítását anélkül, hogy elveszítené az ellenőrzőpont állapotát. Tekintse meg az igény szerinti állapot újraparticionálását az állapotalapú streamelési lekérdezésekhez.

Viselkedésváltozások

  • CREATE OR REPLACE TABLE Megőrzi a megjegyzéseket: CREATE OR REPLACE TABLE Most már alapértelmezés szerint megőrzi a meglévő oszlop- és táblamegjegyzéseket. Korábban a megjegyzések elvesztek egy tábla újbóli létrehozásakor. A felügyelt táblák és nézetek most már megfelelnek a materializált nézetek és a streamelési táblák meglévő viselkedésének.

  • A DataFrame név szerinti írásai kompatibilis oszlopokat alakítanak át: writeTo().append(), writeTo().overwrite(), writeTo().overwritePartitions() és write.mode("append").saveAsTable() most automatikusan átalakítják a típuskompatibilis oszlopokat (például int-ról long-ra), hogy megfeleljenek a cél Delta-tábla sémájának. Korábban ezek a műveletek sikertelenek voltak, amikor az DELTA_FAILED_TO_MERGE_FIELDS oszloptípusok kompatibilisek voltak, de nem voltak azonosak. A viselkedés most már megfelel az SQL-nek INSERT INTO ... BY NAME.

  • ALTER TABLE SET TBLPROPERTIES for pipelines.pipelineId: ALTER TABLE <table> SET TBLPROPERTIES('pipelines.pipelineId' = '<pipeline-id>') most megpróbálja a megadott táblát a pipeline számára írhatóvá tenni. Korábban ennek a tulajdonságnak a normál táblára való beállítása nem volt hatással. Ha a tábla nem alkalmas pipeline-írásokhoz, a parancs SETTING_PIPELINES_PIPELINE_ID_NOT_SUPPORTED kivételt dob.

  • DESCRIBE EXTENDED AS JSON Tartalmazza a prediktív optimalizálási eredményeket: DESCRIBE EXTENDED ... AS JSON most már tartalmazza a kimenetében a prediktív optimalizálási értékelési eredményeket. Korábban ez az információ nem lett visszaadva a JSON-kimenetben.

  • A metrikanézet ablakmérőszámai helyes eredményeket adnak vissza: A metrikanézet ablakmérőszámai most már helyes eredményeket adnak, amikor a lekérdezések GROUP BY, IN/BETWEEN szűrőket vagy vegyes predikátumokat használnak az ablak rendezési oszlopán. Korábban ezek a szűrőminták helytelen eredményeket eredményezhetnek.

  • Strukturált streamelés deduplikálása NaN kulcsokkal: a strukturált streamelés deduplikálása most duplikátumként kezeli azokat a NaN (Not-a-Number) értékeket, amelyek különböző bitmintázatokkal rendelkeznek, amikor egy double vagy float oszlopot deduplikációs kulcsként használnak. Korábban a NaN különböző belső ábrázolású értékeket eltérőként kezelték, és nem deduplikáltak.

  • NATURAL JOIN Kis- és nagybetűtől független oszloppárosítás: NATURAL JOIN most a gyakori oszlopokat kis- és nagybetűtől függetlenül párosítja, összhangban az ekvivalens USING csatlakozással. Korábban az oszlopegyeztetés kis- és nagybetűérzékeny volt, ezért azokat az oszlopokat, amelyek csak a kis- és nagybetűk használatában különböztek (például ID vs. id), nem ismerte fel közös oszlopként, így az elvárt equi-join helyett észrevétlen cross join történt.

18.2-es verzió

2026. május 13.

Ez a kiszolgáló nélküli számítási kiadás nagyjából megfelel a Databricks Runtime 18.2-nek.

Új funkciók

  • CREATE OR REPLACE Ideiglenes táblák támogatása: CREATE OR REPLACE TEMP TABLE A CREATE OR REPLACE szintaxis most már támogatott, lehetővé téve az ideiglenes táblák létrehozását vagy lecserélését egyetlen utasításban. Így nincs szükség az ideiglenes táblák explicit elvetésére és újbóli létrehozására.

  • agg() a measure() függvény álneve: agg() most már elérhető álnévként a measure() függvényhez. Ez a módosítás teljes mértékben visszamenőlegesen kompatibilis. A meglévő lekérdezések módosítás measure() nélkül működnek, és agg() azonos argumentumok használata esetén azonos eredményeket eredményeznek.

  • Snowflake JDBC illesztőprogram frissítés: A Snowflake JDBC illesztőprogramot 3.22.0-ról 3.28.0-ra frissítették.

  • pyspark.pipelines.testing namespace alias: pyspark.pipelines.testing most már kényelmi aliasként érhető el a(z) dlt.testing API-khoz. Spark Deklaratív folyamatok importálása a Lakeflow-folyamat tesztelési segédprogramjaira bármelyik névtéren keresztül.

  • A delta tábla története tartalmazza az írási opció zászlókat: A delta tábla története (DESCRIBE HISTORY) most már írási opció zászlókat is tartalmaz az operationParameters oszlopban a(z) WRITE és REPLACE TABLE műveletekhez. Ha a következő beállítások explicit módon engedélyezve vannak, logikai jelzőkként jelennek meg az előzményekben (csak akkor, ha true):

    A WRITE és REPLACE TABLE műveletek esetén:

    • isDynamicPartitionOverwrite: a dinamikus partíció felülírási mód használatakor jelen van
    • canOverwriteSchema: a séma felülírása (overwriteSchema) engedélyezésekor jelen van
    • canMergeSchema: a sémaegyesítés (mergeSchema) engedélyezésekor jelen van

    Műveletek esetén REPLACE TABLE :

    • predicate: használatkor replaceWhere jelen van
    • isV1WriterSaveAsTableOverwrite: akkor jelenik meg, amikor a csere egy felülírás által .saveAsTable kiváltódott
  • Adatok szelektív cseréje a(z) replaceOn és replaceUsing DataFrame API-kkal: A Scala- és Python DataFrame API-k replaceOn és replaceUsing beállításai már általánosan elérhetők. Ezekkel a beállításokkal lecserélheti a tábla egy részét egy DataFrame eredményére. replaceOn helyettesíti azokat a sorokat, amelyek megfelelnek egy felhasználó által definiált feltételnek. replaceUsing lecseréli azokat a sorokat, ahol a megadott oszlopok értékei megegyeznek. Ezek az API-k kiegészítik a INSERT REPLACE ON és INSERT REPLACE USING SQL-utasításokat. Lásd: Adatok szelektív felülírása a Delta Lake használatával.

Viselkedésváltozások

  • A NULL struktúra megőrzése INSERT, MERGE-ben és sémaevolúciót használó streamírásokban: INSERT, MERGE és a sémaevolúciót használó streamírások esetén a forrásban lévő NULL struktúra most NULL-ként tárolódik a célban. Korábban ez az érték helytelenül jelent meg nem null struktúraként, ahol minden mező NULL-ra volt állítva, míg a sémafejlődés nélküli műveletek helyesen megőrizték a NULL struktúrákat. Ha a kód egy nem null értékű struktúra fogadására támaszkodott, amelynek mezői mind NULL értékűek voltak, frissítse a kódot egy NULL struktúra kezelésére.

  • Javítás a LEFT OUTER JOIN LATERAL sorok elhagyásának hibájára: Egy hiba, amely hibásan eltávolította a sorokat a LEFT OUTER JOIN LATERAL lekérdezésekből, most már ki van javítva. Az ezt a szerkezetet használó lekérdezések most a megfelelő eredményeket adnak vissza. Ha ideiglenesen vissza szeretne térni az előző viselkedésre, állítsa be a(z) spark.databricks.sql.optimizer.lateralJoinPreserveOuterSemantic értékét true-re.

  • NATURAL JOIN tiszteletben tartja a kis- és nagybetűket nem megkülönböztető oszloppárosítást: NATURAL JOIN most helyesen használja a kis- és nagybetűket nem megkülönböztető oszloppárosítást, amikor spark.sql.caseSensitive értéke false (az alapértelmezett). Korábban a NATURAL JOIN kis- és nagybetű-érzékeny összehasonlítást használt a gyakori oszlopok azonosítására, ami miatt a csak kis- és nagybetűkben különböző oszlopok (például ID szemben id) nem ismerhetők fel egyezőként. Ez azt okozta NATURAL JOIN, hogy észrevétlenül keresztbe illesztett eredményeket hozott létre. Ez a javítás összehangolja a NATURAL JOIN viselkedést az USING, amelyek már megfelelően kezelték a kis- és nagybetűk érzéketlenségét. A hiba által érintett lekérdezések mostantól helyes eredményeket adnak vissza megfelelően illesztett oszlopokkal.

  • SQL UDF függőségi validáció a Unity Catalogban: A Unity Catalog most már bekényszeríti az SQL felhasználó által definiált függvények (UDF) függőségi validációját az Access Control megkerülésének megakadályozására. Korábban a REST API-val létrehozott SQL-függvények olyan függőségekre hivatkozhattak, amelyekhez a felhasználónak nem volt hozzáférése. Az érvénytelen függőségi konfigurációkkal rendelkező SQL UDF-ek mostantól le vannak tiltva a végrehajtástól.

  • Az AWS SDK v1 függőségei árnyékoltak: az AWS SDK v1 függőségek, amelyek az Azure Databricks runtime-hoz tartoznak, most árnyékoltak, és már nem elérhetők közvetlenül a classpathon. Ha a kód az Azure Databricks futtatókörnyezet által korábban biztosított AWS SDK v1 kódtáraktól függ, vegye fel őket explicit függőségekként a projektbe. Ez a módosítás előkészíti az AWS SDK v2-be való migrálást az SDK v1 AWS-támogatásának megszűnése után.

  • Az ESRI által definiált SRID 102100 hibás EPSG hatóságának javítása: Az SRID 102100 koordináta-referenciarendszerének (CRS) leképezése most helyesen a(z) ESRI:102100 elemet használja a helytelen EPSG:102100 helyett. Ez a javítás biztosítja, hogy a térinformatikai adatok tárolása a megfelelő szolgáltatónál történik a más rendszerekkel való jobb együttműködés érdekében.

18.1-es verzió

2026. április 20.

Ez a kiszolgáló nélküli számítási kiadás nagyjából megfelel a Databricks Runtime 18.1-es verziójának.

Új funkciók

  • DATETIMEOFFSET adattípus támogatása Microsoft Azure Synapse-hoz: Az DATETIMEOFFSET adattípus Microsoft Azure Synapse kapcsolatok esetén támogatott.

  • Google BigQuery táblamegjegyzések: A Google BigQuery táblaleírásai táblamegjegyzésként jelennek meg.

  • JDBC kapcsolat: Használj JDBC kapcsolatot adatforrás olvasásához és írásához a Spark Data Source API-val vagy a Databricks Remote Query SQL API-val.

  • Sémaevolúció with INSERT utasításokkal: Használjuk a INSERT záradékot SQL WITH SCHEMA EVOLUTION utasításokkal, hogy automatikusan fejlesszük a céltábla sémáját a beillesztési műveletek során. A záradék a INSERT INTO, INSERT OVERWRITE és INSERT INTO ... REPLACE formátumok esetében támogatott. Lásd a sémafejlődést.

  • Megőrzött NULL struktúraértékek a(z) INSERT műveletekben: A sémaevolúcióval vagy implicit castinggal rendelkező INSERT műveletek megőrzik a NULL struktúraértékeket, amikor a forrás- és céltáblák struktúramezőinek sorrendje eltér.

  • Delta Sharing többutasításos tranzakciók támogatása: A Delta Sharing táblák, amelyek előre aláírt URL-t vagy felhőalapú tokenmegosztási módot használnak, támogatják a többutasításos tranzakciókat. A tranzakción belüli első hozzáféréskor a rendszer a táblaverziót rögzítette és újra felhasználja a tranzakció minden további olvasásához. Az időutazás, az adatcsatorna módosítása és a streamelés nem támogatott.

  • parse_timestamp SQL függvény: Az parse_timestamp SQL függvény több mintázat segítségével elemzi az időbélyeg-karakterláncokat. A függvény a Photon gépmotoron fut a jobb teljesítmény érdekében.

  • max_by és min_by opcionális korláttal: Az aggregált függvények, a max_by és a min_by, most egy opcionális harmadik argumentumot, a limit értéket (legfeljebb 100 000), is elfogadnak, és ablakfüggvények vagy CTE-k nélkül a legfelső vagy legalsó K értékből álló tömböt adnak vissza.

  • Vektoros aggregáló- és skalárfüggvények: Új SQL-függvények az ARRAY<FLOAT> vektorokon működnek beágyazási és hasonlósági munkaterhelésekhez, beleértve a vector_avg, vector_sum, vector_cosine_similarity, vector_inner_product, vector_l2_distance, vector_norm és vector_normalize függvényeket. Lásd a beépített függvényeket.

  • SQL-kurzorok támogatása az összetett utasításokban: Az SQL-szkriptek összetett utasításai most már támogatják a kurzorfeldolgozást. A DEKLARÁLT KURZOR használatával definiálhat egy kurzort, majd open utasítást, FETCH utasítást és CLOSE utasítást a lekérdezés futtatásához és sorok egyenkénti felhasználásához.

  • Közelítő top-k vázlatfüggvények: Új függvények lehetővé teszik a közelítő top-k összeállítását és kombinálását elosztott top-k aggregációhoz: approx_top_k_accumulate, approx_top_k_combine és approx_top_k_estimate. Lásd: approx_top_k aggregátumfüggvény.

  • Tuple sketch függvények: Új aggregált és skaláris függvények támogatják az egyedi elemek számlálását és a kulcs-összefoglaló párokon végzett aggregációt. Lásd a beépített függvényeket.

  • Új geotérbeli függvények: A következő geotérbeli függvények már elérhetők:

    • st_estimatesrid függvény: Egy bemeneti geometria legjobb előrejelzett térbeli referenciaazonosítóját (SRID) becsüli meg.
    • st_force2d függvény: Egy földrajzi vagy geometriai alakzatot 2D-s ábrázolásúvá alakít át.
    • st_nrings függvény: Megszámolja a sokszögben vagy többpógonyban lévő gyűrűk teljes számát, beleértve a külső és belső gyűrűket is.
    • st_numpoints függvény: Megszámolja a földrajzi vagy geometriai nem üres pontok számát.
  • Photon támogatás a geotérbeli függvényekhez: st_difference funkció, st_intersection függvény és st_union funkció most a Photon motoron fut a gyorsabb teljesítmény érdekében.

Viselkedésváltozások

  • A megfigyelési metrika hibái már nem buktatják meg a lekérdezéseket: A megfigyelési metrika gyűjtése során fellépő hibák már nem okoznak lekérdezés-végrehajtási hibát. Korábban a OBSERVE záradékok hibái (például nullával való osztás) blokkolhatják vagy meghiúsulhatják a teljes lekérdezést. Most a lekérdezés sikeresen befejeződik, és a hiba akkor jelentkezik, amikor a observation.get hívást végrehajtja.

  • DESCRIBE FLOW Fenntartott kulcsszó: A DESCRIBE FLOW parancs most elérhető. Ha van egy flow nevű táblázata, használja a DESCRIBE schema.flow, DESCRIBE TABLE flow vagy DESCRIBE `flow` karaktereket backtickekkel.

  • SpatialSQL boolean halmazműveletek: ST_Difference, ST_Intersection és ST_Union új implementációt használ, amely körülbelül 2-szer gyorsabb teljesítményt nyújt. Az érvényes bemeneti geometriák mindig eredményt adnak. Az eredmények normalizálva vannak a konzisztens kimenethez, és a vonalszegmens metszeteinek 15. tizedesjegye után eltérhetnek a különböző képletek és a műveletek sorrendje miatt.

  • Kivételtípusok SQLSTATE-hez: A kivételtípusok frissültek, hogy támogassák az SQLSTATE-et. Ha a kód sztringegyezés vagy adott kivételtípusok alapján elemzi a kivételeket, frissítse a hibakezelési logikát.

18.0-s verzió

2026. február 27.

Ez a kiszolgáló nélküli számítási kiadás nagyjából megfelel a Databricks Runtime 18.0-nak.

Új funkciók

  • Az SQL szkriptezés már általánosan elérhető: Az SQL szkriptezés már általánosan elérhető.

  • Redshift JDBC illesztőprogram frissítve 2.1.0.28-ra: A Redshift JDBC illesztőprogramot 2.1.0.28-ra frissítették.

  • Osztott izolációs végrehajtási környezet Unity Catalog Python UDF-ekhez: A Unity Catalog Python UDF-ek ugyanazzal a tulajdonossal most már alapértelmezés szerint megoszthatnak egy izolációs környezetet, javítva a teljesítményt és csökkentve a memóriahasználatot. Annak érdekében, hogy az UDF mindig teljesen izolált környezetben fusson, adja hozzá a STRICT ISOLATION jellemző záradékot. Lásd: Környezetelkülönítés.

  • SQL ablakfüggvények metrikus nézetekben: Mostantól SQL ablakfüggvényeket használhatsz metrikus nézetekben futó összértékek, rangsorok és egyéb ablakalapú számítások kiszámítására.

  • Dinamikus shuffle partíciók módosítása állapot nélküli streaming lekérdezésekben: Most már megváltoztathatod a shuffle partíciók számát állapot nélküli streaming lekérdezésekben anélkül, hogy újraindítanád a lekérdezést.

  • Adaptív lekérdezésvégrehajtás és automatikusan optimalizált shuffle állapot nélküli streaming lekérdezésekben: Az adaptív lekérdezésvégrehajtás (AQE) és az automatikusan optimalizált shuffle (AOS) most már támogatott az állapot nélküli streaming lekérdezésekben.

  • Karakterlánc-literálok összevonása mindenhol: A szekvenciális karakterlánc-literálok, például 'Hello' ' World' elemeket '„Helló világ!” alkalmazás' formára történő összevonásának lehetőségét kiterjesztették minden olyan helyre, ahol a karakterlánc-literálok engedélyezettek. Lásd: STRING típus.

  • Paraméterjelölők mindenhol: Most már szinte bárhol használhatod a név (:param) és névtelen (?) paraméterjelölőket, ahol megfelelő típusú literális érték használható, beleértve a DDL utasításokat és oszloptípusokat is. Lásd : Paraméterjelölők.

  • IDENTIFIER záradék mindenhol: A IDENTIFIER klauzula, amely a karakterláncokat SQL-objektumnevekké alakítja, most már szinte mindenütt használható, ahol azonosító megengedett, beleértve az oszlopaliasokat és oszlopdefiníciókat is. Lásd IDENTIFIER záradék.

  • Új BITMAP_AND_AGG függvény: Új bitmap_and_agg aggregáló függvény elérhető.

  • Új Theta sketch függvények: Új funkciókönyvtár érhető el a Datasketches Theta Sketch használatával az egyedi elemek számának közelítő meghatározásához és halmazműveletekhez, beleértve a theta_sketch_agg, theta_union_agg, theta_intersection_agg és kapcsolódó funkciókat.

  • Új KLL Sketch függvénykönyvtár: Új függvénykönyvtár elérhető KLL Sketches építéséhez közelítő kvantilis számításhoz, beleértve kll_sketch_agg_bigint, kll_sketch_agg_double és kapcsolódó függvényeket.

  • Az Apache Parquet könyvtár frissítve 1.16.0-ra: Az Apache Parquet könyvtárat frissítették 1.16.0 verzióra.

  • Új geotérbeli függvények: A következő új geotérbeli függvények most már támogatottak:

  • Jobb térbeli csatlakozási teljesítmény: A térbeli csatlakozás teljesítménye mostantól javul a kevert térbeli csatlakozás támogatásának bevezetésével.

  • A geotérbeli függvények teljesítményének javítása: Photon-implementációk mostantól elérhetők a st_isvalid függvényhez, a st_makeline függvényhez és a st_makepolygon függvényhez.

  • EWKT bemeneti támogatás: A try_to_geography, try_to_geometry, to_geography és to_geometry funkciók most már elfogadják az Extended Well-Known Text (EWKT) bemenetet.

Viselkedésváltozások

  • FSCK REPAIR TABLE Alapértelmezett metaadat-javítást tartalmaz: A FSCK REPAIR TABLE parancs most már tartalmaz egy kezdeti metaadat-javítási lépést, mielőtt ellenőrizné a hiányzó adatfájlokat. A parancs sérült ellenőrzőpontokkal vagy érvénytelen partícióértékekkel rendelkező táblákon is használható.

  • Az arányi tényezők összehangolása az olvasások és az automatikusan optimalizált írások között: A partícióméretezés arányi tényezői most már következetesen törtértékeket használnak az olvasási műveletek és az automatikusan optimalizált írások során. Ez a módosítás eltérő számú feladatot eredményezhet az olvasási műveletekhez.

  • A Python UDF-ek végrehajtása egységesítve a PySpark és a Unity Catalog között: a Unity Catalog Python UDF-ek most már az Apache Arrow-t használják alapértelmezett csereformátumként, javítva az általános teljesítményt. Ennek a változásnak a részeként a TIMESTAMP Python UDF-eknek átadott értékek már nem tartalmazzák az időzónával kapcsolatos információkat az datetime objektum attribútumában tzinfo . Ha az UDF időzónainformációkra támaszkodik, állítsa vissza a date = date.replace(tzinfo=timezone.utc) kóddal. Lásd: Az időbélyeg időzóna-viselkedése soronkénti bemenetek esetén.

  • Javított hibaüzenetek Kafka csatlakozó bejelentkezési modul problémáira: Ha a Kafka csatlakozót árnyéktalan bejelentkezési modul osztállyal használjuk, az Azure Databricks most hibaüzeneteket kínál, amelyek a helyes árnyékolt osztály előtagjának (kafkashaded.org.apache.kafka vagy kafkashaded.software.amazon.msk.auth.iam) használatát javasolják.

  • Időutazási korlátozások és VACUUM megtartási viselkedés: Az Azure Databricks most minden tábla esetében blokkolja az időutazási lekérdezéseket a deletedFileRetentionDuration küszöbértéken túl. A VACUUM parancs figyelmen kívül hagyja a megőrzési időtartam argumentumát, kivéve, ha az érték 0 óra. Nem állíthat be deletedFileRetentionDuration nagyobb értéket, mint logRetentionDuration vagy fordítva.

  • BinaryType alapértelmezés szerint bytes a PySparkban: A PySparkbanBinaryType most már következetesen Python bytes-ra képeződik le. Korábban a PySpark a BinaryType elemet a kontextustól függően a bytes vagy a bytearray elemnek feleltette meg. A régi viselkedés visszaállításához állítsa a spark.sql.execution.pyspark.binaryAsBytes értéket false-re.

  • Partíciós oszlopok materializálása a Parquet fájlokban: A particionált Delta-táblák mostantól az újonnan írt Parquet adatfájlokban is tárolják a partíciós oszlopokat. Korábban a partícióértékek a Delta tranzakciónapló metaadataiban voltak tárolva, és a könyvtárak elérési útvonalaiban tükröződtek vissza, azonban nem jelentek meg oszlopként magukban a Parquet-fájlokban. Ez a módosítás hatással lehet azokra a számítási feladatokra, amelyek közvetlenül olvassák a Delta által írt Parquet-fájlokat.

  • DESCRIBE TABLE output tartalmaz metaadat-oszlopot: A DESCRIBE TABLE [EXTENDED] kimenete most új metadata oszlopot tartalmaz minden táblatípus esetén, amely szemantikai metaadatokat (megjelenítési név, formátum és szinonimák) tartalmaz, amelyeket a táblán JSON stringként definiálnak.

A kiszolgáló nélküli környezet 5-ös verziója már elérhető

2026. február 25.

Most már használhatja a kiszolgáló nélküli környezet 5-ös verzióját a kiszolgáló nélküli jegyzetfüzetekben és feladatokban. Ez magában foglalja a CPU- és GPU-környezet verzióit is. Lásd Környezet 5. verzió.

17.3 verzió

2025. október 28.

Ez a kiszolgáló nélküli számítási kiadás nagyjából megfelel a Databricks Runtime 17.3 LTS-nek.

Új funkciók

  • LIMIT Az ALL záradék támogatása rekurzív CTE-khez: Most már használhatod a LIMIT ALL záradékot rekurzív közös táblázatkifejezésekkel (rCTE-kkel) annak explicit megadására, hogy a lekérdezési eredményekre ne alkalmazzanak sorkorlátot. Lásd Közös tábla kifejezés (CTE).

  • A Unity Catalog kötetekben lévő fájlokhoz való hozzáfűzés helyes hibát ad vissza: Ha megpróbálunk meglévő fájlokhoz hozzáfűzni a Unity Catalog kötetekben, most egy leíróbb hibaüzenetet ad, amely segít megérteni és megoldani a problémát.

  • st_dump Funkció támogatás: Most már használhatod a st_dump függvényt arra, hogy egy geometriai objektumot alkotó részekre bontsunk, így egyszerűbb geometriákat adunk vissza. Lásd: st_dump függvény.

  • A sokszög belső gyűrűivel kapcsolatos függvények mostantól támogatottak: A következő függvényeket használhatod sokszögek belső gyűrűivel való munkához:

  • EXECUTE IMMEDIATE konstans kifejezésekkel: A(z) EXECUTE IMMEDIATE utasítás most már támogatja a konstans kifejezések használatát a lekérdezési karakterláncban, lehetővé téve a dinamikus SQL rugalmasabb végrehajtását. Lásd a(z) EXECUTE IMMEDIATE.

  • A spark.sql.files.maxPartitionBytes engedélyezése a szerver nélküli számításban: Most már konfigurálhatod a spark.sql.files.maxPartitionBytes Spark-konfigurációs paramétert a szerver nélküli számításon, hogy szabályozd az egyetlen partícióba csomagolandó bájtok maximális számát fájlok olvasása közben. Lásd: Spark-tulajdonságok konfigurálása kiszolgáló nélküli jegyzetfüzetekhez és feladatokhoz.

Viselkedésváltozások

  • Támogassa az MV/ST frissítési információkat a DESCRIBE EXTENDED AS JSON programban: A DESCRIBE EXTENDED AS JSON parancs most már tartalmaz frissítési információkat a materializált nézetekhez és streaming táblákhoz, így láthatóvá válik az utolsó frissítési idő és állapot.

  • Metaadat-oszlop hozzáadása a(z) DESCRIBE TABLE és DESCRIBE QUERY elemhez: Az DESCRIBE QUERY és DESCRIBE TABLE parancsok most már tartalmaznak egy metaadat-oszlopot a kimenetükben, amely további információkat nyújt az egyes oszlopok tulajdonságairól és jellemzőiről.

  • A null szerkezetek helyes kezelése NullType oszlopok elhagyásakor: Az Azure Databricks most már helyesen kezeli a null szerkezeti értékeket a NullType használatával történő oszlopelhagyáskor, megelőzve a lehetséges adatsérülést vagy váratlan viselkedést.

  • A null szerkezetek jobb kezelése a Parquet-ben: Ez a kiadás fejlesztéseket tartalmaz abban, hogyan kezelik a null szerkezeti értékeket a Parquet fájlokból olvasáskor és íráskor, így következetesebb és helyesebb viselkedést biztosítva.

  • Az aws-msk-iam-autentifikációs könyvtár frissítése Kafka-hoz: Az aws-msk-iam-auth Amazon MSK IAM hitelesítéshez használt könyvtárat frissítették a legújabb verzióra, ami javított biztonságot és kompatibilitást biztosít.

17.2-es verzió

2025. szeptember 25.

Ez a kiszolgáló nélküli számítási kiadás nagyjából megfelel a Databricks Runtime 17.2-nek.

Új funkciók

  • ST_ExteriorRing funkció most már támogatott: Most már használhatod a ST_ExteriorRing függvényt egy sokszög külső határának kihúzására, és vissza kell adni egy vonalláncként. Lásd: st_exteriorring függvény.
  • A TEMPORARY kulcsszó támogatása metrikus nézet létrehozásához: Most már használhatod a TEMPORARY kulcsszót metrikus nézet létrehozásakor. Az ideiglenes metrikanézetek csak az őket létrehozó munkamenetben láthatók, és a munkamenet végén el lesznek vetve. Lásd a(z) CREATE VIEW.

  • Natív I/O használata a(z) LokiFileSystem.getFileStatus számára S3-on: A(z) LokiFileSystem.getFileStatus most már az Amazon S3-forgalomhoz a natív I/O stacket használja, és a(z) shaded.databricks.org.apache.hadoop.fs.s3a.S3AFileStatus helyett org.apache.hadoop.fs.FileStatus objektumokat ad vissza.

  • Az Auto Loader kikövetkezteti a partíciós oszlopokat singleVariantColumn módban: Az Auto Loader most a fájlútvonalakból következteti ki a partíciós oszlopokat, amikor félig strukturált variáns típusként vesz fel adatokat a singleVariantColumn opció használatával. Korábban a rendszer nem észlelt automatikusan partícióoszlopokat. Lásd : Automatikus betöltő.

Viselkedésváltozások

  • DESCRIBE CONNECTION megjeleníti a JDBC kapcsolatok környezeti beállításait : Az Azure Databricks most már felhasználói által definiált környezetbeállításokat tartalmaz a DESCRIBE CONNECTION JDBC kapcsolatok kimenetében, amelyek egyedi illesztőprogramokat támogatnak és elszigetelten futnak. Más kapcsolattípusok változatlanok maradnak.

  • Lehetőség a Uniform-előzmények csonkolására menedzselt táblák migrálásakor: Most már a ALTER TABLE...SET MANAGED használatával is csonkolhatod a Uniform-előzményeket, amikor Uniform/Iceberg engedélyezése mellett migrálod a táblákat. Ez leegyszerűsíti a migrálást, és csökkenti az állásidőt az Uniform manuális letiltásához és újbóli engedélyezéséhez képest.

  • Helyes eredmények üres split regexszel és pozitív limittel: Az Azure Databricks most helyes eredményeket ad a(z) split function üres regexszel és pozitív limittel történő használatakor. Korábban a függvény helytelenül csonkolta a fennmaradó karakterláncot ahelyett, hogy azt az utolsó elembe foglalta volna.

  • url_decode és try_url_decode hibakezelésének javítása a Photonban: A Photonban a(z) try_url_decode() és a(z) url_decode()failOnError = false használatával most NULL értékkel tér vissza érvénytelen URL-kódolású karakterláncok esetén ahelyett, hogy a lekérdezés meghiúsulna.

  • Közös végrehajtási környezet a Unity Catalog Python UDTF-ekhez: Azure Databricks most megosztja a Python felhasználódefiniált táblafüggvények (UDTF-k) végrehajtási környezetét azonos tulajdonostól és ugyanabból a Spark-munkamenetből. Választható STRICT ISOLATION záradék áll rendelkezésre az UDTF-ek megosztásának letiltására mellékhatásokkal, például környezeti változók módosításával vagy tetszőleges kód végrehajtásával.

17.1-es verzió

2025. augusztus 19.

Ez a kiszolgáló nélküli számítási kiadás nagyjából megfelel a Databricks Runtime 17.1-es verziójának.

Új funkciók

  • Csökkentett memóriahasználat széles sémák esetén a Photon íróban: A Photon motorban fejlesztések történtek, amelyek jelentősen csökkentik a memóriahasználatot széles sémák esetén, kezelve azokat a helyzeteket, amelyek korábban memóriahiányos hibákhoz vezettek.

Viselkedésváltozások

  • Hiba érvénytelen CHECK korlátozások esetén: Az Azure Databricks most AnalysisException kivételt dob, ha egy CHECK korlátozási kifejezés nem oldható fel a korlátozások ellenőrzése során.

  • A Pulsar-összekötő már nem teszi elérhetővé a Bouncy Castle-t: a Bouncy Castle könyvtár most be van árnyékolva a Pulsar-összekötőben, hogy elkerülje az osztályúti konfliktusokat. Ennek eredményeképpen a Spark-feladatok már nem férhetnek hozzá az összekötő osztályaihoz org.bouncycastle.* . Ha a kód a Bouncy Castle függvénytől függ, telepítse manuálisan a könyvtárat kiszolgáló nélküli környezetben.

  • Az Auto Loader alapértelmezett fájleseményeket használ, ha elérhető: Az Auto Loader fájleseményeket használ a könyvtárlista helyett, ha a betöltési útvonal külső helyen van, és fájlesemények engedélyezve vannak. Az alapértelmezett érték most useManagedFileEventsif_available (volt false). Ez javíthatja a feldolgozási teljesítményt, és a rendszer figyelmeztetést naplóz, ha a fájlesemények még nincsenek engedélyezve.

  • A Teradata connector kijavítja a kis- és nagybetűket megkülönböztető karakterlánc-összehasonlítást: A Teradata connector mostantól alapértelmezés szerint TMODE=ANSI, így a karakterlánc-összehasonlítás viselkedése az Azure Databrickshez igazodik azáltal, hogy kis- és nagybetűket megkülönböztetővé teszi azt. Ez a módosítás konfigurálható, és csak akkor érinti a meglévő felhasználókat, ha bejelentkeznek.

Kiszolgáló nélküli környezet 4-es verziója

2025. augusztus 13.

A környezet verzió 4 már elérhető a szerver nélküli jegyzetfüzetekben és feladatokban. Ez a környezeti verzió könyvtárfrissítéseket és API-frissítéseket tartalmaz. Lásd Környezet 4. verzió.

17.0-s verzió

2025. július 24.

Ez a kiszolgáló nélküli számítási kiadás nagyjából megfelel a Databricks Runtime 17.0-nak.

Új funkciók

  • SQL eljárás támogatása: Az SQL szkriptek most már egy Unity Catalog-ban újrahasználható eszközként tárolt eljárásban kapszulálhatók. Az eljárást a CREATE PROCEDURE paranccsal hozhatja létre, majd meghívhatja a CALL paranccsal.

  • Alapértelmezett rendezés beállítása SQL-függvényekhez: Az CREATE FUNCTION parancs új DEFAULT COLLATION záradékának használata határozza meg a függvényben használt alapértelmezett rendezést a STRING paraméterekhez, a visszatérési típushoz és a függvénytörzsben szereplő STRING literálokhoz.

  • Rekurzív közös táblakifejezések (rCTE) támogatása: Az Azure Databricks most támogatja hierarchikus adatok navigálását rekurzív közös táblakifejezésekkel (rCTE-k). A rekurzív kapcsolat követéséhez használjon egy önhivatkozó CTE-t a UNION ALL-val.

  • A PySpark és a Spark Connect most már támogatja a DataFrame-ek df.mergeInto API-ját: A PySpark és a Spark Connect most már támogatja az df.mergeInto API-t.

  • Támogatás ALL CATALOGS a SHOW SCHEMAS-ban: A SHOW SCHEMAS szintaxis frissítve van a jóváhagyásra ALL CATALOGS, lehetővé téve, hogy átnézd az összes aktív katalógust, amely támogatja a névtereket. A kimeneti attribútumok mostantól tartalmazzák a catalog megfelelő névtér katalógusát jelző oszlopot.

  • A Liquid clustering most már hatékonyabban tömöríti a törlési vektorokat: a Liquid clusteringet használó Delta-táblák most hatékonyabban alkalmazzák a törlési vektorok fizikai módosításait, amikor a(z) OPTIMIZE fut. További részleteket a Parquet-adatfájlok módosításainak alkalmazása című témakörben talál.

  • Nem determinisztikus kifejezések engedélyezése a UPDATE/INSERTMERGE műveletek oszlopértékeiben: Az Azure Databricks most már lehetővé teszi a nem determinisztikus kifejezések használatát a MERGE műveletekben frissített és beszúrt oszlopértékekben. Most például dinamikus vagy véletlenszerű értékeket hozhat létre az oszlopokhoz olyan kifejezések használatával, mint a rand().

  • A Delta MERGE Python API-kat úgy változtatjuk meg, hogy DataFrame adják vissza az Unit helyett: A Python MERGE API-k (például DeltaMergeBuilder) most szintén DataFrame-et adnak vissza, mint az SQL API, ugyanazzal az eredménnyel.

Viselkedésváltozások

  • Viselkedésváltozás az Auto Loader inkrementális könyvtárlistázási opciónál: A lejárt Auto Loader cloudFiles.useIncrementalListing opció értéke most alapértelmezés szerint false. Ennek eredményeképpen az Auto Loader minden egyes futtatáskor teljes könyvtárlistát hajt végre. A Databricks nem javasolja ennek a lehetőségnek a használatát. Ehelyett fájlértesítési módot használjon fájleseményekkel.

  • CREATE VIEW Az oszlopszintű záradékok most hibát jeleznek, ha a záradék csak a materializált nézetekre vonatkozna: CREATE VIEW azok a parancsok, amelyek olyan oszlopszintű záradékot adnak meg, amely csak az MATERIALIZED VIEW-re érvényes, most hibát adnak. Az érintett záradékok közé tartoznak a NOT NULLmegadott adattípusok DEFAULTés COLUMN MASK.

A serverless teljesítménycélok GA státuszban van

2025. június 10.

A feladatok és folyamatok kiszolgáló nélküli teljesítménybeállításának kiválasztása általánosan elérhető.

Ha a teljesítményoptimalizált beállítás engedélyezve van, a számítási feladat a gyorsabb indítási és végrehajtási időhöz lesz optimalizálva. Ha le van tiltva, a kiszolgáló nélküli számítási feladat normál teljesítménymódban fut, amely a költségekre van optimalizálva, és valamivel nagyobb indítási késéssel rendelkezik.

További információt a Teljesítmény mód kiválasztása és a Teljesítmény mód kiválasztása című témakörben talál.

16.4-es verzió

2025. május 28.

Ez a kiszolgáló nélküli számítási kiadás nagyjából megfelel a Databricks Runtime 16.4 LTS-nek.

Viselkedésváltozások

  • Javítás az adatforrások gyorsítótárazott terveinek opciókezeléséhez: Ez a frissítés biztosítja, hogy a táblaolvasások gyorsítótárazáskor az összes adatforrás-tervhez beállított opciót figyelembe vegyék, ne csak az első gyorsítótárazott táblaolvasásnál. Korábban az adatforrástáblák olvasásai az első tervet gyorsítótárazták, de a későbbi lekérdezések során nem sikerült figyelembe venni a különböző beállításokat.

  • Jelző engedélyezése a forrásmaterializáció kötelezővé tételéhez MERGE műveleteknél: Korábban a felhasználók kikapcsolhatták a forrásmaterializációt a MERGE-ben a merge.materializeSourcenone értékre állításával. Ha az új jelző aktív, mindig szükség lesz a forrásanyagra, és az azt kikapcsolni próbáló kísérletek hibát eredményeznek. A Databricks azt tervezi, hogy csak azoknak az ügyfeleknek engedélyezi ezt a jelzőt, akik korábban nem módosították ezt a konfigurációt, így a felhasználók többsége nem tapasztalhat semmilyen változást a viselkedésben.

Új funkciók

  • Az Auto Loader most már képes tisztítani a feldolgozott fájlokat a forráskönyvtárban: Most már utasítást adhat az Auto Loadernek, hogy automatikusan mozgatja vagy törölje a feldolgozott fájlokat. Ezt a funkciót az cloudFiles.cleanSource Automatikus betöltő beállítással engedélyezheti. Lásd: Gyakori, alatta cloudFiles.cleanSource.

  • A típusbővítés támogatása hozzáadva a Delta-táblákból történő streameléshez: Ez a kiadás támogatja a típusbővített oszlopadatokat tartalmazó Delta-táblából történő streamelést, valamint a Delta-tábla megosztását a Databricks-to-Databricks Delta Sharing segítségével, amelyen a típusbővítés engedélyezve van. A típusszűkítési funkció jelenleg nyilvános előzetes verzióban érhető el. Lásd típusbővítés.

  • IDENTIFIER A támogatás most elérhető a DBSQL-ben katalógusműveletekhez: Most már használhatod a IDENTIFIER záradékot a következő katalógusműveletek végrehajtásakor:

    • CREATE CATALOG
    • DROP CATALOG
    • COMMENT ON CATALOG
    • ALTER CATALOG

    Ez az új szintaxis lehetővé teszi, hogy dinamikusan adja meg a katalógusneveket az ezekhez a műveletekhez definiált paraméterekkel, így rugalmasabb és újrafelhasználhatóbb SQL-munkafolyamatokat tesz lehetővé. A szintaxis példájaként vegye figyelembe, hogy CREATE CATALOG IDENTIFIER(:param) hol param van megadva egy paraméter a katalógus nevének megadásához. Lásd IDENTIFIER záradék.

  • A kollált kifejezések most már automatikusan generált átmeneti aliasokat biztosítanak: a kollált kifejezésekhez tartozó automatikusan generált aliasok kialakításuk során determinisztikusan beépítik a(z) COLLATE információt. Az automatikusan létrehozott aliasok átmenetiek (instabilak), és nem szabad támaszkodni rá. Ehelyett ajánlott eljárásként következetesen és explicit módon kell használni expression AS alias .

  • Filter pushdown API-támogatás hozzáadása Python adatforrásokhoz: A szerver nélküli számítási környezet most támogatja a Python adatforrásokból történő kötegelt olvasás szűrőleküldését API formájában, a SupportsPushDownFilters interfészhez hasonlóan. Lásd a 16.4 LTS kiadási megjegyzéseit.

  • Python UDF visszakövetés fejlesztése: A Python UDF visszakövetés most mind a meghajtó, mind a végrehajtó kereteit, valamint klienskereteket tartalmaz, így jobb hibaüzenetek jelennek meg, amelyek nagyobb és relevánsabb részleteket mutatnak (például az UDF-en belüli keretek sortartalmát).

  • A nézetdefiníción belüli UNION/EXCEPT/INTERSECT és a EXECUTE IMMEDIATE most helyes eredményeket adnak vissza: Az ideiglenes és tartós nézetdefiníciókra vonatkozó, legfelső szintű UNION//EXCEPTINTERSECT és alias nélküli oszlopokat tartalmazó lekérdezések korábban hibás eredményeket adtak, mert a INTERSECT UNION/EXCEPT/ kulcsszavakat aliasoknak tekintették. Most ezek a lekérdezések megfelelően hajtják végre a teljes műveletet.

  • Adatforrás gyorsítótárazott terv konfigurációja és migrációs útmutató: A fájlforrástáblából történő olvasás helyesen figyelembe veszi a lekérdezési opciókat (például az elválasztókat). Korábban az első lekérdezési terv gyorsítótárba került, és az azt követő opcióváltoztatásokat figyelmen kívül hagyták. Az előző viselkedés visszaállításához állítsa spark.sql.legacy.readFileSourceTableCacheIgnoreOptionstrueértékre.

  • Új listagg és string_agg függvények: Ettől a kiadástól kezdve a listagg vagy string_agg függvényekkel csoporton belül összesítheted a STRING és BINARY értékeket. Lásd string_agg.

A teljesítménymód mostantól konfigurálható kiszolgáló nélküli feladatokon

2025. április 14.

Most már kiválaszthatja a kiszolgáló nélküli feladatok teljesítménymódját a Feladat részletei lapon található Teljesítményoptimalizált beállítással. Korábban az összes kiszolgáló nélküli feladat teljesítményoptimalizált volt. Most letilthatja a teljesítményoptimalizált beállítást, hogy a számítási feladatot normál teljesítmény módban futtassa. A standard peformance mód úgy lett kialakítva, hogy csökkentse a számítási feladatok költségeit, ahol elfogadható a valamivel magasabb indítási késés.

A standard teljesítménymód nem támogatott a folyamatos folyamatokhoz, a végponttal létrehozott egyszeri futtatásokhoz vagy az runs/submit SQL Warehouse-feladatokkal kapcsolatos feladatokhoz, beleértve a materializált nézeteket is.

A teljesítménymódról további információt a Teljesítmény mód kiválasztása című témakörben talál.

16.3-es verzió

2025. április 9.

Ez a kiszolgáló nélküli számítási kiadás nagyjából megfelel a Databricks Runtime 16.3-nak.

Viselkedésváltozások

  • *Javított hibaüzenet, ha a(z) kafka.sasl.client.callback.handler.class érvénytelen értéket kap: Ez a kiadás tartalmaz egy változtatást, hogy egy leíróbb hibaüzenetet adjon, ha a(z) kafka.sasl.client.callback.handler.class érvénytelen értéket kap.

Új funkciók

  • Az állapotolvasó támogatása általánosan elérhető: A strukturált streaming lekérdezésekhez szükséges állapotinformációk olvasásának támogatása most már általánosan elérhető szerver nélküli számítási rendszeren. Lásd: Strukturált streamelési állapotinformációk olvasása.

  • A Delta-tábla protokolljának ellenőrzőpont-védelemmel ellátott visszaminősítése általánosan elérhető: DROP FEATURE A funkció általánosan elérhető a Delta Lake-tábla funkcióinak eltávolításához és a tábla protokolljának visszaminősítéséhez. Alapértelmezés szerint DROP FEATURE mostantól védett ellenőrzőpontokat hoz létre egy optimalizáltabb és egyszerűbb visszalépési élmény érdekében, amely nem igényel várakozási időt vagy előzmény csonkolást. Lásd Delta Lake tábla szolgáltatás megszüntetése és tábla protokoll visszaminősítése.

  • Írj eljárási SQL szkripteket ANSI SQL/PSM (Public Preview) alapján: Most már használhatsz ANSI SQL/PSM alapú szkriptelési lehetőségeket SQL-rel eljárási logika írásához, beleértve a vezérlőfolyamat-utasításokat, helyi változókat és kivételkezelést. Lásd az SQL-szkriptelést.

  • Tábla- és nézetszintű alapértelmezett kolláció: Most már meghatározhatsz alapértelmezett kollációt táblákhoz és nézetekhez. Ez leegyszerűsíti a táblák és nézetek létrehozását, ahol az összes vagy a legtöbb oszlop ugyanazzal a rendezéssel rendelkezik. Lásd Kolláció.

  • Új H3 függvények: Három új H3 funkciót adtak hozzá: h3_try_coverash3, h3_try_coverash3string és h3_try_tessellateaswkb.

  • Több táblázatoszlop módosítása egy ALTER TABLE utasításban: Most már több oszlopot is módosíthatsz egyetlen ALTER TABLE utasításban. Lásd...ALTER TABLECOLUMN záradékot.

16.2-es verzió

2025. március 13.

Ez a kiszolgáló nélküli számítási kiadás nagyjából megfelel a Databricks Runtime 16.2-nek.

Viselkedésváltozások

  • A Delta Sharingben alapértelmezés szerint engedélyezve van a táblatörténet: az SQL-paranccsal, a ALTER SHARE <share> ADD TABLE <table> használatával létrehozott megosztásoknál a történetmegosztás (WITH HISTORY) mostantól alapértelmezés szerint engedélyezve van. Lásd a(z) ALTER SHARE.

  • A hitelesítő adatokkal kapcsolatos SQL-utasítások hibát adnak vissza, ha a hitelesítő adat típusa nem egyezik: Ha a hitelesítőadat-kezelési SQL-utasításban megadott hitelesítőadat-típus nem egyezik a hitelesítőadat-argumentum típusával, akkor a rendszer hibát ad vissza, és az utasítás nem fut le.

Új funkciók

  • Használd a timestampdiff és timestampadd elemet a generált oszlopkifejezésekben Most már használhatod a timestampdiff és timestampadd függvényeket a Delta Lake által generált oszlopkifejezésekben. Lásd a Delta Lake által létrehozott oszlopokat.

  • A DESCRIBE TABLE mostantól strukturált JSON-ként adja vissza a metaadatokat: Most már használhatod a DESCRIBE TABLE AS JSON parancsot, hogy a tábla metaadatait JSON-dokumentumként add vissza. A JSON-kimenet strukturáltabb, mint az alapértelmezett, ember által olvasható jelentés, és programozott módon használható a tábla sémájának értelmezéséhez. További információ: DESCRIBE TABLE AS JSON.

  • A záró szóközökre nem érzékeny rendezések: A Serverless most már támogatja a záró szóközökre nem érzékeny rendezéseket. Ezek a kollációk például a 'Hello' és 'Hello ' értékeket egyenlőként kezelik. További információ: RTRIM-rendezés.

Hibajavítások

  • Az inkrementális klónozás feldolgozásának javítása: Ez a kiadás tartalmaz egy javítást egy olyan szélső esetre, amikor egy inkrementális CLONE újra másolhatja a már korábban átmásolt fájlokat egy forrástáblából egy céltáblába. Lásd : Tábla klónozása az Azure Databricksben.

Kiszolgáló nélküli jegyzetfüzeteken elérhető magas memóriabeállítás (nyilvános előzetes verzió)

2025. február 7.

Mostantól nagyobb memóriaméretet konfigurálhat a kiszolgáló nélküli számítási jegyzetfüzet számítási feladataihoz. Ez a beállítás interaktív és ütemezett jegyzetfüzet-számítási feladatokra is alkalmazható.

A magas memóriával rendelkező kiszolgáló nélküli használat magasabb DBU-kibocsátási sebességgel rendelkezik, mint a normál memória.

További információ: Nagy memória kiszolgáló nélküli számítás használata.

16.1-es verzió

2025. február 5.

Ez a kiszolgáló nélküli számítási kiadás nagyjából megfelel a Databricks Runtime 16.0-nak és a Databricks Runtime 16.1-nek.

Új funkciók

  • Avro támogatás rekurzív sémához: Most már használhatod az recursiveFieldMaxDepth opciót a from_avro függvénnyel és az avro adatforrással. Ez a beállítás a séma-rekurzió maximális mélységét állítja be az Avro-adatforráson. Lásd a streamelt Avro-adatok olvasását és írását.
  • Bővített támogatás a Confluent Schema Registryhez az Avro számára: A Serverless most támogatja az Avro sémareferenciát a Confluent Schema Registryhez. Lásd : Hitelesítés külső Confluent-sémaregisztrációs adatbázisba.
  • Kényszerítsd a folyadékklaszterezést tartalmazó tábláknál: Most már a OPTIMIZE FULL szintaxist segítségével kényszerítheted az összes rekord újraklaszterezését egy táblában, ahol a folyadékklaszterezés engedélyezve van. Lásd: Újracsoportosítás kényszerítése.
  • A Pythonhoz készült Delta API-k most már támogatják az identitásoszlopokat: Most már használhatod a Pythonhoz készült Delta API-kat identitásoszlopokkal rendelkező táblák létrehozásához. Lásd : Identitásoszlopok.
  • Liquid clustered táblák létrehozása streamelési írások során: Mostantól a clusterBy használható a liquid clustering engedélyezésére új táblák létrehozásakor Structured Streaming-írásokkal. Lásd Folyékony klaszterezés engedélyezése.
  • A OPTIMIZE FULL záradék támogatása: A szerver nélküli számítási környezet most már támogatja a OPTIMIZE FULL záradékot. Ez a feltétel optimalizálja a folyékony klaszterezést használó táblában lévő összes rekordot, beleértve a korábban klaszterezett adatokat is.
  • A WITH beállítások specifikációjának támogatása a INSERT és a táblahivatkozás esetén: A serverless számítási környezet most támogatja az opcióspecifikáció használatát a INSERT utasítás táblahivatkozásaihoz és táblaneveihez, amely az adatforrások viselkedésének szabályozására használható.
  • Új SQL függvények: A következő SQL függvények már elérhetők a serverless számítási környezetben:
    • try_url_decode a url_decode hibatűrő változata.
    • zeroifnull 0-t ad vissza, ha a zeroifnull() függvény bemeneti kifejezése NULL.
    • nullifzeroNULL értéket ad vissza, ha a bemenet 0, vagy a bemeneti értéket, ha az nem 0.
    • a dayname(expr) adja vissza a hét napjának hárombetűs angol rövidítését az adott dátum számára.
    • uniform(expr1, expr2 [,seed]) véletlenszerű értéket ad vissza, amelynek értékei független és azonos eloszlással rendelkeznek a megadott számtartományban.
    • A randstr(length) egy length karakter hosszúságú, véletlenszerű alfanumerikus karakterekből álló sorozatot ad vissza.
  • Engedélyezze az automatikus séma evolúciót az adatok Delta táblájába való összevonásakor: A DeltaMergeBuilder osztály withSchemaEvolution() tagja támogatást kapott. Az withSchemaEvolution() automatikus sémafejlődés engedélyezésére használható a MERGE műveletek során. Például: mergeBuilder.whenMatched(...).withSchemaEvolution().execute()}}.
  • Az Apache Spark kollációtámogatása nyilvános előzetes verzióban érhető el: Most már nyelvfüggő, a kis- és nagybetűket, valamint az ékezeteket figyelmen kívül hagyó kollációkat rendelhet hozzá a STRING oszlopokhoz és kifejezésekhez. Ezeket a kollációkat karakterlánc-összehasonlításokban, rendezési, csoportosítási műveletekben és több karakterláncfüggvényben használják. Lásd Kolláció.
  • A kollációk Delta Lake-beli támogatása nyilvános előnézetben érhető el: Most már definiálhatod az oszlopok kollációit Delta-tábla létrehozásakor vagy módosításakor. Lásd a Delta Lake összehasonlítási támogatását.
  • LITE mód a vákuumhoz nyilvános előzetes verzióban érhető el: Mostantól a VACUUM table_name LITE használatával könnyebb vákuumművelet végezhető, amely a Delta tranzakciónaplóban található metaadatokat használ. Lásd Teljes és könnyű mód és VACUUM.
  • Támogatás a USE CATALOG with IDENTIFIER klauzula paraméterezéséhez: A IDENTIFIER klauzula most már támogatott az USE CATALOG utasításhoz. Ezzel a támogatással paraméterezheti az aktuális katalógust egy sztringváltozó vagy paraméterjelölő alapján.
  • COMMENT ON COLUMN táblák és nézetek támogatása: Az COMMENT ON utasítás most már támogatja a nézetek és táblázatoszlopok kommentjeinek módosítását.
  • Elnevezett paraméterhívás további függvényekhez: A következő függvények támogatják az elnevezett paraméterhívást:
  • A REPAIR TABLE parancs SYNC METADATA paramétere támogatott a Hive metastore esetén: Most már használhatod a SYNC METADATA paramétert a REPAIR TABLE paranccsal egy Hive metastore által felügyelt tábla metaadatainak frissítésére. Lásd a(z) REPAIR TABLE.
  • Fokozott adatintegritás tömörített Apache Arrow adagokhoz: Az adatsérülés elleni további védelem érdekében minden LZ4 tömörített Arrow tétel tartalmazza a LZ4 tartalom- és blokkellenőrző összegeket. Lásd az LZ4-keret formátumának leírását.
  • Beépített Oracle JDBC illesztőprogram: A szerver nélküli számítás most már beépített Oracle JDBC illesztőprogrammal rendelkezik. Ha egy ügyfél által feltöltött JDBC-illesztő JAR-t használ a DriverManager keresztül, át kell írnia a szkripteket az egyéni JAR kifejezett használatához. Ellenkező esetben a rendszer a beépített illesztőprogramot használja. Ez az illesztőprogram csak a Lakehouse Federationt támogatja. Egyéb használati esetekben saját meghajtót kell megadnia.
  • Részletesebb hibák Delta táblákhoz, amelyeket útvonalakon keresztül érnek el: Új hibaüzenet-élmény érhető el a Delta táblákhoz, amelyeket útvonalakon keresztül érnek el. A rendszer minden kivételt továbbít a felhasználónak. A kivétel DELTA_MISSING_DELTA_TABLE akkor van fenntartva, ha a mögöttes fájlok nem olvashatók Delta-táblaként.

Viselkedésváltozások

  • Kompatibilitást törő változás: A Databricks által üzemeltetett RStudio Server támogatása megszűnik: Ezzel a kiadással a Databricks által üzemeltetett RStudio Server életciklusa véget ér, és egyetlen, serverless compute-ot használó Azure Databricks-munkaterületen sem érhető el. További információ és az RStudio alternatíváinak listája: Csatlakozás a Databricks által üzemeltetett RStudio-kiszolgálóhoz.
  • Kompatibilitást törő változás: A short, int, long és byte típusok szélesebb típusokra történő módosításának támogatása megszűnik: A Delta és Apache Iceberg táblák közötti következetes viselkedés biztosítása érdekében a következő adattípus-változtatások már nem alkalmazhatók olyan táblákra, ahol a típusbővítési funkció engedélyezve van:

    • byte-ról/-ről, short-ről, int-ről és long-ról/-ről decimal-ra/-re.
    • byte, short, és int -ig double.
  • Regex minták helyes elemzése negációval a beágyazott karaktercsoportosításban: Ez a kiadás tartalmaz egy változást, amely támogatja a regex minták helyes elemzését negációval a beágyazott karaktercsoportosításban. A rendszer például [^[abc]] "bármely olyan karakterként lesz elemezve, amely NEM az "abc" egyike.

    Emellett a Photon viselkedése inkonzisztens volt a Sparkkal a beágyazott karakterosztályok esetében. A beágyazott karakterosztályokat tartalmazó Regex-minták már nem használják a Photont, hanem a Sparkot. A beágyazott karakterosztály minden olyan minta, amely szögletes zárójeleket tartalmaz más szögletes zárójeleken belül, például [[a-c][1-3]].

  • A duplikált egyezések észlelésének javítása a Delta Lake-ben MERGE:MERGE most figyelembe veszi a WHEN MATCHED záradékban megadott feltételeket. Tekintse meg, hogyan használhatja az "upsert" műveletet egy Delta Lake táblázatban az egyesítési (merge) eljárással.

  • A addArtifact() funkcionalitás most már egységes a compute-típusok között: amikor a addArtifact(archive = True) használatával függőséget adsz hozzá a serverless compute-hoz, az archívum automatikusan kibontódik.

Hibajavítások

  • Az időzóna-eltolások most már másodperceket is tartalmaznak, ha CSV-, JSON- és XML-formátumba szerializálják őket: Azok az időbélyegek, amelyek időzóna-eltolása másodperceket is tartalmaz (ez gyakori az 1900 előtti időbélyegeknél), CSV-, JSON- és XML-formátumba szerializáláskor korábban kihagyták a másodperceket. Az alapértelmezett időbélyeg-formázó ki lett javítva, és most a megfelelő eltolási értékeket adja vissza ezekhez az időbélyegekhez.

Egyéb módosítások

  • Átnevezett hibakódok a cloudFiles Structured Streaming forráshoz: Az alábbi hibakódokat átnevezték:
    • A(z) _LEGACY_ERROR_TEMP_DBR_0143 nevet megváltoztatjuk CF_INCORRECT_STREAM_USAGE-re.
    • A(z) _LEGACY_ERROR_TEMP_DBR_0260 nevet megváltoztatjuk CF_INCORRECT_BATCH_USAGE -re.

15.4-es verzió

2024. október 28.

Ez a kiszolgáló nélküli számítási kiadás nagyjából megfelel a Databricks Runtime 15.4-nek

Új funkciók

  • UTF-8 validációs függvények: Ez a kiadás az alábbi funkciókat vezeti be az UTF-8 stringek validálásához:
    • is_valid_utf8 ellenőrzi, hogy egy karakterlánc érvényes UTF-8-karakterlánc-e.
    • make_valid_utf8 egy potenciálisan érvénytelen UTF-8 stringet helyettesítő karakterek segítségével érvényes UTF-8 stringgé alakít.
    • validate_utf8 hibát jelez, ha a bemenet nem érvényes UTF-8 láncsor.
    • try_validate_utf8 akkor tér vissza NULL , ha a bemenet nem érvényes UTF-8 láncsor.
  • A UniForm Iceberg engedélyezése ALTER TABLE használatával: Most már meglévő táblák esetében is engedélyezhető a UniForm Iceberg az adatfájlok újraírása nélkül. Lásd : Egy meglévő táblán.
  • try_url_decode function: Ez a kiadás bevezeti a try_url_decode funkciót, amely egy URL-kódolt stringet dekódol. Ha a sztring nem a megfelelő formátumban van, a függvény hibafelismertetés helyett ad vissza NULL .
  • Opcionálisan engedélyezheti az optimalizáló számára, hogy a nem kényszerített idegen kulcskorlátokra támaszkodjon: A lekérdezések teljesítményének javítása érdekében most már megadhatja a RELY kulcsszót a FOREIGN KEY korlátoknál, amikor CREATE vagy ALTER egy táblát.
  • Párhuzamos feladatok szelektív felülírásokhoz: A szelektív felülírások replaceWhere most már olyan feladatokat futtatnak, amelyek törölnek adatokat és párhuzamosan adnak be új adatokat, javítva a lekérdezések teljesítményét és a klaszterhasználatot.
  • A változásadatfolyam teljesítményének javítása szelektív felülírások esetén: A replaceWhere használatával végzett szelektív felülírások a változásadatfolyammal rendelkező táblákon többé nem írnak külön változásadat-fájlokat a beszúrt adatokhoz. Ezek a műveletek a mögöttes Parquet-adatfájlokban található rejtett _change_type oszlopot használják a módosítások íráserősítés nélküli rögzítéséhez.
  • Javított lekérdezési késleltetés a COPY INTO parancsnál: Ez a kiadás tartalmaz egy változtatást, amely javítja a COPY INTO parancs lekérdezési késleltetését. Ez a fejlesztés úgy valósul meg, hogy a RocksDB állapottároló aszinkron módon tölti be az állapotot. Ezzel a módosítással javulni fog a nagy állapotú lekérdezések kezdési ideje, például a nagy számú már betöltött fájllal rendelkező lekérdezések esetében.
  • Az ellenőrzési kényszerek táblafunkció eltávolításának támogatása: Mostantól a checkConstraints táblafunkciót eltávolíthatod egy Delta-táblából a ALTER TABLE table_name DROP FEATURE checkConstraints használatával. Lásd: Ellenőrzési korlátozások eltávolítása.

Viselkedésváltozások

  • Sémakötés változása nézetekhez: Amikor egy nézet mögöttes lekérdezésének adattípusai eltérnek a nézet eredeti, amikor a nézet létrehozása során használták, a Databricks már nem dob hibákat a nézetre való hivatkozások esetén, ha nem lehet biztonságos castot végrehajtani.

    Ehelyett a nézet a szokásos kitevési szabályokkal kompenzál, ahol lehet. Ez a módosítás lehetővé teszi, hogy a Databricks könnyebben tolerálja a táblaséma változásait.

  • Tiltsák meg a dokumentálatlan ! szintaxis tolerálását a NOT boolean logikán kívül: a Databricks többé nem tolerálja ! használatát a NOT szinonimájaként a boolean logikán kívül. Ez a módosítás csökkenti a zavart, igazodik az SQL szabványhoz, és hordozhatóbbá teszi az SQL-t. Például:

    CREATE ... IF ! EXISTS, IS ! NULL, ! NULL oszlop- vagy mezőtulajdonságot, ! IN és ! BETWEEN le kell cserélni erre:

    CREATE ... IF NOT EXISTS, IS NOT NULL, NOT NULL oszlop vagy mező tulajdonság NOT IN , és NOT BETWEEN.

    Ez a módosítás nem érinti a logikai előtag operátort! (pl. !is_mgr vagy !(true AND false)) .

  • Dokumentálatlan és feldolgozatlan oszlopdefiníciós szintaxisrészek letiltása nézetekben: A Databricks támogatja a CREATE VIEW elnevezett oszlopokkal és oszlopmegjegyzésekkel.

    Az oszloptípusok, NOT NULL korlátozások vagy DEFAULT meghatározása a szintaxisban semmilyen hatás nélkül eltűrhető. A Databricks eltávolítja ezt a szintaxistűrést. Ez csökkenti a zavart, igazodik az SQL szabványhoz, és lehetővé teszi a jövőbeli fejlesztéseket.

  • Következetes hibakezelés a Base64 dekódolásához a Sparkban és a Photonban: Ez a kiadás megváltoztatja, ahogyan a Photon kezeli a Base64-dekódolási hibákat, hogy megfeleljen annak, ahogyan a Spark kezeli ezeket a hibákat. A módosítások előtt a Photon és a Spark kódgenerálási folyamata néha nem tudta megfelelően kezelni az elemzési kivételeket, míg a Spark értelmezési végrehajtása helyesen emelte ki a IllegalArgumentException vagy ConversionInvalidInputError kivételeket. Ez a frissítés biztosítja, hogy a Photon következetesen ugyanazokat a kivételeket emelje ki, mint a Spark a Base64 dekódolási hibái során, kiszámíthatóbb és megbízhatóbb hibakezelést biztosítva.

  • Ha egy érvénytelen oszlopnévre hivatkozó CHECK korlátozást ad hozzá, az most a UNRESOLVED_COLUMN.WITH_SUGGESTION hibaosztályt adja vissza: A hasznosabb hibaüzenetek érdekében a Databricks Runtime 15.3-as és újabb verzióiban egy olyan ALTER TABLE ADD CONSTRAINT utasítás, amely egy érvénytelen oszlopnévre hivatkozó CHECK korlátozást tartalmaz, a UNRESOLVED_COLUMN.WITH_SUGGESTION hibaosztályt adja vissza. Korábban egy INTERNAL_ERROR volt visszaadva.

A JDK JDK 8-ról JDK 17-re frissül

2024. augusztus 15.

A notebookok és munkafolyamatok számára kiszolgáló nélküli számítás kiszolgáló oldalon a Java Development Kit (JDK) 8-ról JDK 17-re migrált. Ez a frissítés a következő viselkedési változásokat tartalmazza:

  • Regex minták helyes parsolása negációval beágyazott karaktercsoportosításban: Ezzel a frissítéssel az Azure Databricks most már támogatja a regex minták helyes elemzését negációval a beágyazott karaktercsoportozásban. A rendszer például [^[abc]] "bármely olyan karakterként lesz elemezve, amely NEM az "abc" egyike.

    Emellett a Photon viselkedése inkonzisztens volt a Sparkkal a beágyazott karakterosztályok esetében. A beágyazott karakterosztályokat tartalmazó Regex-minták már nem használják a Photont, hanem a Sparkot. A beágyazott karakterosztály minden olyan minta, amely szögletes zárójeleket tartalmaz más szögletes zárójeleken belül, például [[a-c][1-3]].

15.1-es verzió

2024. július 23.

Ez a kiszolgáló nélküli számítási kiadás nagyjából megfelel a Databricks Runtime 15.1-nek

Új funkciók

A csillag (*) szintaxis támogatása a WHERE záradékban: Most már használhatod a csillag (*) szintaxist a WHERE záradékban, hogy a SELECT listából az összes oszlopra hivatkozz.

Például: SELECT * FROM VALUES(1, 2) AS T(a1, a2) WHERE 1 IN(T.*).

Changes

Javított hibakezelés a JSON-feldolgozás során: A from_json() és a JSON-útvonal-kifejezésekhez használt JSON-elemző most gyorsabban helyreáll a hibás szintaxisból, ami kevesebb adatveszteséget eredményez.

Ha hibás JSON-szintaxissal találkozik egy strukturált mezőben, egy tömbértékben, egy térképkulcsban vagy egy leképezési értékben, a JSON-elemző mostantól csak az olvashatatlan mezőre, kulcsra vagy elemre ad vissza.NULL A következő mezők, kulcsok vagy elemek megfelelően lesznek elemezve. A módosítás előtt a JSON-elemző megszakította a tömb, a struktúra vagy a térkép elemzését, és a fennmaradó tartalomra NULL-t adott vissza.

14.3-es verzió

2024. április 15.

Ez a kezdeti kiszolgáló nélküli számítási verzió. Ez a verzió nagyjából megfelel a Databricks Runtime 14.3-nak néhány olyan módosítással, amelyek bizonyos nem kiszolgáló nélküli és örökölt funkciók támogatását megszüntetik.

Támogatott Spark konfigurációs paraméterek

A Spark konfigurációjának kiszolgáló nélküli számításon való automatizálásához az Azure Databricks eltávolította a legtöbb Spark-konfiguráció manuális beállításának támogatását. A támogatott Spark-konfigurációs paraméterek listájának megtekintéséhez lásd: Spark-tulajdonságok konfigurálása kiszolgáló nélküli jegyzetfüzetekhez és feladatokhoz.

A kiszolgáló nélküli számításon futó feladatok sikertelenek lesznek, ha nem támogatott Spark-konfigurációt állít be.

input_file függvények elavultak

A input_file_name(), input_file_block_length() és input_file_block_start() függvény elavult. Ezeknek a függvényeknek a használata erősen nem ajánlott.

Ehelyett használja a fájl metaadatainak oszlopát a fájl metaadatainak lekéréséhez.

Viselkedési változások

A kiszolgáló nélküli számítási 2024.15-ös verzió a következő viselkedési változásokat tartalmazza:

  • unhex(hexStr) hibajavítás: A unhex(hexStr) függvény használatakor a hexStr mindig egy egész bájthoz van kitöltve. Korábban az unhex függvény figyelmen kívül hagyta az első fél bájtot. Például: unhex('ABC') most x'0ABC'-t állít elő x'BC' helyett.
  • Az automatikusan generált oszlop aliasok most stabilak: Ha egy kifejezés eredményét felhasználó által megadott oszlopalias nélkül hivatkoznak meg, ez az automatikusan generált alias most stabil lesz. Az új algoritmus a korábban automatikusan létrehozott nevek módosítását eredményezheti olyan funkciókban, mint a materializált nézetek.
  • A CHAR típusú mezőkkel rendelkező táblák beolvasásakor az értékek mostantól mindig ki vannak töltve: a Delta-táblák, bizonyos JDBC-táblák és külső adatforrások nem kitöltött formában tárolják a CHAR-adatokat. Olvasáskor az Azure Databricks mostantól a deklarált hosszúságú szóközökkel fogja kipárnázni az adatokat a megfelelő szemantikák biztosítása érdekében.
  • A BIGINT/DECIMAL-ból TIMESTAMP-ba történő castok kivételt adnak túlcsordult értékekre: az Azure Databricks lehetővé teszi a BIGINT-ről és DECIMAL-ról TIMESTAMP-ra történő casting-et úgy, hogy az értéket a Unix epoch másodperceinek számaként kezeli. Korábban az Azure Databricks túlcsordult értékeket adott vissza, de most kivételt eredményez a túlcsordulás esetén. Használja a try_cast-t, hogy null értéket adjon vissza kivétel helyett.
  • A PySpark UDF-végrehajtást továbbfejlesztettük, hogy pontosan megfeleljen a dedikált számítási környezetben történő UDF-végrehajtás pontos viselkedésének: Az alábbi változtatások történtek:
    • Az UDF-ek karaktersorozat visszatérési típussal mostantól nem konvertálják implicit módon a nem karaktersorozat értékeket karaktersorozattá. Korábban a visszatérési str típusú UDF-ek burkolót str(..) alkalmaztak az eredményre, függetlenül a visszaadott érték tényleges adattípusától.
    • Az timestamp visszatérési típussal rendelkező UDF-ek többé nem alkalmazzák implicit módon az időzónák időbélyegekké való konvertálását.