Megjegyzés
Az oldalhoz való hozzáféréshez engedély szükséges. Megpróbálhat bejelentkezni vagy módosítani a címtárat.
Az oldalhoz való hozzáféréshez engedély szükséges. Megpróbálhatja módosítani a címtárat.
Ez a cikk ismerteti azokat a funkciókat és viselkedéseket, amelyek jelenleg elérhetők és hamarosan elérhetők a jegyzetfüzetek és feladatok kiszolgáló nélküli számításán.
A kiszolgáló nélküli számítással kapcsolatos további információkért lásd: Csatlakozás kiszolgáló nélküli számításhoz.
Az Azure Databricks rendszeresen kiadja a kiszolgáló nélküli számítás frissítéseit, és automatikusan frissíti a kiszolgáló nélküli számítási futtatókörnyezetet a platform fejlesztéseinek és frissítéseinek támogatásához. Minden felhasználó ugyanazokat a frissítéseket kapja, és rövid idő alatt kerülnek bevezetésre.
Szerver nélküli környezeti verziók
A jegyzetfüzetek és feladatok servermentes számítási teljesítménye a környezeti verziókat használja, amelyek egy stabil kliens API-t biztosítanak a Spark Connect alapján, hogy biztosítsák az alkalmazás kompatibilitását. Ez lehetővé teszi a Databricks számára, hogy függetlenül frissítse a szervert, így fejlesztve a teljesítményt, javítva a biztonságot, és kijavítva a hibákat anélkül, hogy bármilyen kódbeli módosítást igényelne a munkaterheléseken.
Minden környezeti verzió tartalmaz egy konkrét Python verziót, valamint egy Python csomagok halmazát meghatározott verziókkal. A Databricks új funkciókat és javításokat vezet be a legújabb környezeti verzióban, miközben biztonsági frissítéseket alkalmaz minden támogatott környezeti verzióra.
Szerver nélküli környezet verzió kiadási jegyzetekért lásd: Környezeti verziók.
Kibocsátási megjegyzések
Ez a szakasz a kiszolgáló nélküli számítás kibocsátási megjegyzéseit tartalmazza. A kiadási jegyzetek év és hét szerint vannak rendszerezve. A kiszolgáló nélküli számítás mindig az itt felsorolt legújabb kiadású verzióval fut.
- DataFrame gyorsítótározás szerver nélküli számításon most már nyilvános előnézetben van
- 2026. október 19.
- 2026. szeptember 21.
- 2026. augusztus 31.
- 2026. augusztus 24.
- 2026. augusztus 17.
- A JAR feladatok serverless compute-en már általánosan elérhetők
- Szerver nélküli számítási hozzáférés-vezérlés már általánosan elérhető
- 2026. július 6.
- 18.2-es verzió
- 18.1-es verzió
- 18.0 verzió
- Szerver nélküli környezet 5. verziója már elérhető
- 17.3 verzió
- 17.2-es verzió
- 17.1-es verzió
- Szerver nélküli környezet 4. verzió
- 17.0 verzió
- A szerver nélküli teljesítménycélok általánosan elérhetők
- 16.4-es verzió
- A teljesítménymód most konfigurálható szerver nélküli feladatokon
- 16.3 verzió
- 16.2-es verzió
- Magas memória beállítás elérhető szerver nélküli jegyzetfüzeteken (Nyilvános előnézet)
- 16.1 verzió
- 15.4-es verzió
- A JDK JDK 8-ról JDK 17-re frissült
- 15.1-es verzió
- 14.3 verzió
A DataFrame-gyorsítótárazás kiszolgáló nélküli számításban most már nyilvános előzetes verzióban érhető el
2026. október 23.
A DataFrame gyorsítótárazás szerver nélküli számításon most nyilvános előzetes verzióban van. Egy DataFrame-et gyorsítótárba helyezhet a df.cache() vagy df.persist() használatával kiszolgáló nélküli számítási környezetben, hogy a költséges eredményt a munkamenet hátralévő részében újra felhasználhassa. A gyorsítótárazáshoz 5-ös vagy újabb verziójú szerver nélküli környezet, Pythonhoz készült Databricks Connect 18.1.8-as vagy újabb verziója, illetve Scalához készült Databricks Connect 18.1.5-ös vagy újabb verziója szükséges. Az előnézet alapértelmezés szerint engedélyezett a legtöbb munkaterületen. A munkaterület adminei a(z) Előnézetek oldalon letilthatják azt. Lásd: DataFrame-ek gyorsítótárazása kiszolgáló nélküli számításon.
2026. október 19.
2026. október 19.
Ez a szerver nélküli számítási kiadás tartalmazza a Databricks Runtime 19 frissítéseit.
Viselkedésváltozások
-
A Spark Connect végrehajtási metrikák elrejtik a sorszűrő és oszlopmaszk részleteit: A DataFrame végrehajtási metrikák most már elrejtik a sorszűrőkkel és oszlopmaszkokkal kapcsolatos belső operátorokat és metrikákat. Ez védi a házirend végrehajtásával kapcsolatos információkat, amikor megvizsgálja a(z)
df.executionInfo.metricselemet, beleértve annak szöveges ábrázolását is. A terv védett részének határa és saját mutatói továbbra is látható marad. A lekérdezési eredmények változatlanok. Azokat a jegyzetfüzeteket vagy eszközöket, amelyek a védett alterveken belüli részletes metrikáktól függenek, frissíteni kell.
2026. szeptember 21.
2026. szeptember 21.
Ez a szerver nélküli számítási kiadás tartalmazza a Databricks Runtime 19 frissítéseit.
Új funkciók
truncatefüggvény: Atruncatefüggvény egy számot egy megadott tizedeshelyre csonkol lekerekítés nélkül.trim_arrayfüggvény: Atrim_arrayfüggvény eltávolítja a tömb végéről a megadott számú elemet.
2026. augusztus 31.
2026. augusztus 31.
Ez a szerver nélküli számítási kiadás tartalmazza a Databricks Runtime 19 frissítéseit.
Új funkciók
Az automatikus változásiadat-feed általánosan elérhető: Az automatikus változásiadat-feed (Auto CDF) a sorszintű változásokat a lekérdezés idején számolja. Működik a batch querykkel, strukturált streaminggel és Delta Sharing-kel, és sorkövetést igényel. Lásd: Adatcsatorna automatikus módosítása.
parse_sqlfüggvény: Aparse_sqlfüggvény egy SQL utasítást elemez, és strukturált JSON-t ad vissza, amely tartalmaz utasítás metaadatokat, táblázathivatkozásokat, select-list kifejezéseket vagy elemző hibainformációkat.
Viselkedésváltozások
from_protobufkihagyja a hibás formált kiválasztatlan mezőket, amikor a séma metszete engedélyezett: Amikor a protobuf séma metszése engedélyezett,from_protobufmár nem dekódol vagy validál olyan mezőket, amelyeket egy lekérdezés nem választ ki. Egy hibás, nem kiválasztott mező aPERMISSIVEmódban többé nem állítja nullára a sort, és aFAILFASTmódban nem hiúsítja meg a lekérdezést.A JDBC pushdown helyesen kezeli a null literálisokat: Data Source v2 JDBC pushdown most az SQL
NULLliteralt bocsátja ki a string'null'helyett. Azok a lekérdezések, amelyek olyan kifejezéseket csoportosítanak, mint aNULLIF, mostantól null értékű csoportot hoznak létre külön'null'karakterlánc-csoport helyett.A HTTP és AI funkciók már nem követik az átirányításokat:
http_requestés az AI funkciók már nem követik HTTP 3xx átirányításokat. Azok a hívások, amelyek átirányítást kapnak, most távoli HTTP hibát adnak vissza az átirányítás státusza miatt. A fájlforrás-csatlakozó letöltések nem változnak.
2026. augusztus 24.
2026. augusztus 24.
Ez a szerver nélküli számítási kiadás tartalmazza a Databricks Runtime 19 frissítéseit.
Új funkciók
-
collect_unionaggregált függvény: Azcollect_unionaggregált függvény visszaadja az egyes csoportokon belüli tömbök elemeinek különálló unióját.
Viselkedésváltozások
A
HAVINGkiértékelése az ablakfüggvények előtt történik a generátorokat tartalmazó lekérdezésekben: a generátorokat tartalmazó lekérdezésekben, például aexplodeesetén, az ablakfüggvények kiértékelése most aHAVINGszűrő után történik. Az ablak eredményei ezért csak azokat a sorokat tartalmazzák, amelyeket a(z)HAVINGmegtart.A politikalogika alapértelmezés szerint rejtve van a lekérdezési tervekben: a lekérdezési tervek már nem fedik ki sorszűrő és oszlopmaszk politikalogikát, hacsak a felhasználó nem rendelkezik a
INSPECT_POLICY_EXECUTIONmetastore jogosultsággal.A Delta API DML irányelv-definiáló jogokat használ:
DeltaTable.delete,DeltaTable.update, ésDeltaTable.mergemost sorszűrő és oszlopmaszk politikafüggvényeket a szabályzatmeghatározó jogaival oldja meg, megfelelve az SQL DML-nek. A hívóknak már nincs szükségük a(z)EXECUTEelemre ezeknél a házirendfüggvényeknél, ha rendelkeznek a szükséges táblaengedélyekkel.
2026. augusztus 17.
2026. augusztus 17.
Ez a szerver nélküli számítási kiadás tartalmazza a Databricks Runtime 19 frissítéseit.
Új funkciók
is_valid_variantfüggvény: Ais_valid_variantfüggvény akkor tér visszatrue, ha a bemenet jól formáltVARIANTérték, ésfalseegyébként. Használd a variáns adatok ellenőrzésére a lefelé irányuló feldolgozás előtt.DataFrameGroupBy.covésSeriesGroupBy.describea pandas API-ban a Sparken: a Sparken található pandas API most támogatjaDataFrameGroupBy.cov, amely kiszámítja az oszlopok páros kovarianciáját az egyes csoportokon belül, ésSeriesGroupBy.describe, amely leíró statisztikákat generál minden csoporthoz.pa.ChunkedArraytámogatás acreateDataFrame:createDataFrame()most már kezeli a pandas DataFrame-eket PyArrowChunkedArrayoszlopokkal, így elkerülve a típushibákat, amikor Arrow-backed Pandas adatokat használsz.
A JAR feladatok szerver nélküli számításon már általánosan elérhetők
2026. augusztus 6.
Csomagold be a Scala vagy Java kódot JAR-ként, és futtatd feladatként egy Lakeflow Job-ban szerver nélküli számításon. A JAR-nak meg kell felelnie a szerver nélküli környezeti verzió Scala, Java Development Kit (JDK) és Databricks Connect verzióival. Lásd: Hozzon létre és futtasd a JAR-okat szerver nélküli számításon.
Szerver nélküli számítási hozzáférés-vezérlés már általánosan elérhető
2026. augusztus 3.
A szerver nélküli számítási hozzáférés-vezérlés mostantól általánosan elérhető. A munkaterület adminisztrátorai két beépített szerver nélküli számítási objektumon keresztül irányíthatják, hogy ki futtatja a szerver nélküli munkaterheléseket: Alapértelmezett Interaktív Compute (a notebookokhoz és a Databricks Connect hozzáférését szabályozza) és az Alapértelmezett Automatizált Számítás (a Lakeflow-on a feladatokhoz és a Spark Deklaratív Pipeline-ekhez való hozzáférést). Minden munkaterületi felhasználónak alapértelmezetten mindkét objektumon van Can Use funkciója, így a meglévő munkaterhelések változás nélkül futnak.
Lásd : Szerver nélküli számítás kezelése.
2026. július 6.
2026. július 6.
Ez a kiszolgáló nélküli számítási kiadás a Databricks Runtime 18 frissítéseit tartalmazza.
Új funkciók
Spark deklaratív pipelines a Lakeflow-on streaming query ID: A Spark deklaratív pipelines a Lakeflow-on most már igény szerint beállíthatják a streaming lekérdezés ID-jét.
IP-cím függvények (Nyilvános Előnézet): Új SQL funkciók állnak rendelkezésre az IPv4- és IPv6-címekkel, valamint a CIDR-blokkokkal való munkához, beleértve a
ip_host,ip_cidr,ip_version,ip_prefix_length,ip_network,ip_as_string,ip_as_binary,ip_network_last,ip_cidr_containséstry_*null-biztonságos viselkedésű változatait. Lásd : ip_host és kapcsolódó függvények.Igény szerinti állapot-újraosztás (Nyilvános előnézet): A strukturált streaming most már támogatja az állapottartó lekérdezések keverési partíciói számának módosítását anélkül, hogy elveszítené az ellenőrzőpont állapotát. Tekintse meg az igény szerinti állapot újraparticionálását az állapotalapú streamelési lekérdezésekhez.
Viselkedésváltozások
CREATE OR REPLACE TABLEMegőrzi a megjegyzéseket:CREATE OR REPLACE TABLEMost már alapértelmezés szerint megőrzi a meglévő oszlop- és táblamegjegyzéseket. Korábban a megjegyzések elvesztek egy tábla újbóli létrehozásakor. A felügyelt táblák és nézetek most már megfelelnek a materializált nézetek és a streamelési táblák meglévő viselkedésének.A DataFrame név szerinti írásai kompatibilis oszlopokat alakítanak át:
writeTo().append(),writeTo().overwrite(),writeTo().overwritePartitions()éswrite.mode("append").saveAsTable()most automatikusan átalakítják a típuskompatibilis oszlopokat (példáulint-róllong-ra), hogy megfeleljenek a cél Delta-tábla sémájának. Korábban ezek a műveletek sikertelenek voltak, amikor azDELTA_FAILED_TO_MERGE_FIELDSoszloptípusok kompatibilisek voltak, de nem voltak azonosak. A viselkedés most már megfelel az SQL-nekINSERT INTO ... BY NAME.ALTER TABLE SET TBLPROPERTIESforpipelines.pipelineId:ALTER TABLE <table> SET TBLPROPERTIES('pipelines.pipelineId' = '<pipeline-id>')most megpróbálja a megadott táblát a pipeline számára írhatóvá tenni. Korábban ennek a tulajdonságnak a normál táblára való beállítása nem volt hatással. Ha a tábla nem alkalmas pipeline-írásokhoz, a parancsSETTING_PIPELINES_PIPELINE_ID_NOT_SUPPORTEDkivételt dob.DESCRIBE EXTENDED AS JSONTartalmazza a prediktív optimalizálási eredményeket:DESCRIBE EXTENDED ... AS JSONmost már tartalmazza a kimenetében a prediktív optimalizálási értékelési eredményeket. Korábban ez az információ nem lett visszaadva a JSON-kimenetben.A metrikanézet ablakmérőszámai helyes eredményeket adnak vissza: A metrikanézet ablakmérőszámai most már helyes eredményeket adnak, amikor a lekérdezések
GROUP BY,IN/BETWEENszűrőket vagy vegyes predikátumokat használnak az ablak rendezési oszlopán. Korábban ezek a szűrőminták helytelen eredményeket eredményezhetnek.Strukturált streamelés deduplikálása
NaNkulcsokkal: a strukturált streamelés deduplikálása most duplikátumként kezeli azokat aNaN(Not-a-Number) értékeket, amelyek különböző bitmintázatokkal rendelkeznek, amikor egydoublevagyfloatoszlopot deduplikációs kulcsként használnak. Korábban aNaNkülönböző belső ábrázolású értékeket eltérőként kezelték, és nem deduplikáltak.NATURAL JOINKis- és nagybetűtől független oszloppárosítás:NATURAL JOINmost a gyakori oszlopokat kis- és nagybetűtől függetlenül párosítja, összhangban az ekvivalensUSINGcsatlakozással. Korábban az oszlopegyeztetés kis- és nagybetűérzékeny volt, ezért azokat az oszlopokat, amelyek csak a kis- és nagybetűk használatában különböztek (példáulIDvs.id), nem ismerte fel közös oszlopként, így az elvárt equi-join helyett észrevétlen cross join történt.
18.2-es verzió
2026. május 13.
Ez a kiszolgáló nélküli számítási kiadás nagyjából megfelel a Databricks Runtime 18.2-nek.
Új funkciók
CREATE OR REPLACEIdeiglenes táblák támogatása:CREATE OR REPLACE TEMP TABLEACREATE OR REPLACEszintaxis most már támogatott, lehetővé téve az ideiglenes táblák létrehozását vagy lecserélését egyetlen utasításban. Így nincs szükség az ideiglenes táblák explicit elvetésére és újbóli létrehozására.agg()ameasure()függvény álneve:agg()most már elérhető álnévként ameasure()függvényhez. Ez a módosítás teljes mértékben visszamenőlegesen kompatibilis. A meglévő lekérdezések módosításmeasure()nélkül működnek, ésagg()azonos argumentumok használata esetén azonos eredményeket eredményeznek.Snowflake JDBC illesztőprogram frissítés: A Snowflake JDBC illesztőprogramot 3.22.0-ról 3.28.0-ra frissítették.
pyspark.pipelines.testingnamespace alias:pyspark.pipelines.testingmost már kényelmi aliasként érhető el a(z)dlt.testingAPI-khoz. Spark Deklaratív folyamatok importálása a Lakeflow-folyamat tesztelési segédprogramjaira bármelyik névtéren keresztül.A delta tábla története tartalmazza az írási opció zászlókat: A delta tábla története (
DESCRIBE HISTORY) most már írási opció zászlókat is tartalmaz azoperationParametersoszlopban a(z)WRITEésREPLACE TABLEműveletekhez. Ha a következő beállítások explicit módon engedélyezve vannak, logikai jelzőkként jelennek meg az előzményekben (csak akkor, hatrue):A
WRITEésREPLACE TABLEműveletek esetén:-
isDynamicPartitionOverwrite: a dinamikus partíció felülírási mód használatakor jelen van -
canOverwriteSchema: a séma felülírása (overwriteSchema) engedélyezésekor jelen van -
canMergeSchema: a sémaegyesítés (mergeSchema) engedélyezésekor jelen van
Műveletek esetén
REPLACE TABLE:-
predicate: használatkorreplaceWherejelen van -
isV1WriterSaveAsTableOverwrite: akkor jelenik meg, amikor a csere egy felülírás által.saveAsTablekiváltódott
-
Adatok szelektív cseréje a(z)
replaceOnésreplaceUsingDataFrame API-kkal: A Scala- és Python DataFrame API-kreplaceOnésreplaceUsingbeállításai már általánosan elérhetők. Ezekkel a beállításokkal lecserélheti a tábla egy részét egy DataFrame eredményére.replaceOnhelyettesíti azokat a sorokat, amelyek megfelelnek egy felhasználó által definiált feltételnek.replaceUsinglecseréli azokat a sorokat, ahol a megadott oszlopok értékei megegyeznek. Ezek az API-k kiegészítik aINSERT REPLACE ONésINSERT REPLACE USINGSQL-utasításokat. Lásd: Adatok szelektív felülírása a Delta Lake használatával.
Viselkedésváltozások
A NULL struktúra megőrzése INSERT, MERGE-ben és sémaevolúciót használó streamírásokban:
INSERT,MERGEés a sémaevolúciót használó streamírások esetén a forrásban lévő NULL struktúra most NULL-ként tárolódik a célban. Korábban ez az érték helytelenül jelent meg nem null struktúraként, ahol minden mező NULL-ra volt állítva, míg a sémafejlődés nélküli műveletek helyesen megőrizték a NULL struktúrákat. Ha a kód egy nem null értékű struktúra fogadására támaszkodott, amelynek mezői mind NULL értékűek voltak, frissítse a kódot egy NULL struktúra kezelésére.Javítás a
LEFT OUTER JOIN LATERALsorok elhagyásának hibájára: Egy hiba, amely hibásan eltávolította a sorokat aLEFT OUTER JOIN LATERALlekérdezésekből, most már ki van javítva. Az ezt a szerkezetet használó lekérdezések most a megfelelő eredményeket adnak vissza. Ha ideiglenesen vissza szeretne térni az előző viselkedésre, állítsa be a(z)spark.databricks.sql.optimizer.lateralJoinPreserveOuterSemanticértékéttrue-re.NATURAL JOINtiszteletben tartja a kis- és nagybetűket nem megkülönböztető oszloppárosítást:NATURAL JOINmost helyesen használja a kis- és nagybetűket nem megkülönböztető oszloppárosítást, amikorspark.sql.caseSensitiveértékefalse(az alapértelmezett). Korábban aNATURAL JOINkis- és nagybetű-érzékeny összehasonlítást használt a gyakori oszlopok azonosítására, ami miatt a csak kis- és nagybetűkben különböző oszlopok (példáulIDszembenid) nem ismerhetők fel egyezőként. Ez azt okoztaNATURAL JOIN, hogy észrevétlenül keresztbe illesztett eredményeket hozott létre. Ez a javítás összehangolja aNATURAL JOINviselkedést azUSING, amelyek már megfelelően kezelték a kis- és nagybetűk érzéketlenségét. A hiba által érintett lekérdezések mostantól helyes eredményeket adnak vissza megfelelően illesztett oszlopokkal.SQL UDF függőségi validáció a Unity Catalogban: A Unity Catalog most már bekényszeríti az SQL felhasználó által definiált függvények (UDF) függőségi validációját az Access Control megkerülésének megakadályozására. Korábban a REST API-val létrehozott SQL-függvények olyan függőségekre hivatkozhattak, amelyekhez a felhasználónak nem volt hozzáférése. Az érvénytelen függőségi konfigurációkkal rendelkező SQL UDF-ek mostantól le vannak tiltva a végrehajtástól.
Az AWS SDK v1 függőségei árnyékoltak: az AWS SDK v1 függőségek, amelyek az Azure Databricks runtime-hoz tartoznak, most árnyékoltak, és már nem elérhetők közvetlenül a classpathon. Ha a kód az Azure Databricks futtatókörnyezet által korábban biztosított AWS SDK v1 kódtáraktól függ, vegye fel őket explicit függőségekként a projektbe. Ez a módosítás előkészíti az AWS SDK v2-be való migrálást az SDK v1 AWS-támogatásának megszűnése után.
Az ESRI által definiált SRID 102100 hibás EPSG hatóságának javítása: Az SRID 102100 koordináta-referenciarendszerének (CRS) leképezése most helyesen a(z)
ESRI:102100elemet használja a helytelenEPSG:102100helyett. Ez a javítás biztosítja, hogy a térinformatikai adatok tárolása a megfelelő szolgáltatónál történik a más rendszerekkel való jobb együttműködés érdekében.
18.1-es verzió
2026. április 20.
Ez a kiszolgáló nélküli számítási kiadás nagyjából megfelel a Databricks Runtime 18.1-es verziójának.
Új funkciók
DATETIMEOFFSET adattípus támogatása Microsoft Azure Synapse-hoz: Az
DATETIMEOFFSETadattípus Microsoft Azure Synapse kapcsolatok esetén támogatott.Google BigQuery táblamegjegyzések: A Google BigQuery táblaleírásai táblamegjegyzésként jelennek meg.
JDBC kapcsolat: Használj JDBC kapcsolatot adatforrás olvasásához és írásához a Spark Data Source API-val vagy a Databricks Remote Query SQL API-val.
Sémaevolúció with INSERT utasításokkal: Használjuk a INSERT záradékot SQL
WITH SCHEMA EVOLUTIONutasításokkal, hogy automatikusan fejlesszük a céltábla sémáját a beillesztési műveletek során. A záradék aINSERT INTO,INSERT OVERWRITEésINSERT INTO ... REPLACEformátumok esetében támogatott. Lásd a sémafejlődést.Megőrzött NULL struktúraértékek a(z) INSERT műveletekben: A sémaevolúcióval vagy implicit castinggal rendelkező
INSERTműveletek megőrzik aNULLstruktúraértékeket, amikor a forrás- és céltáblák struktúramezőinek sorrendje eltér.Delta Sharing többutasításos tranzakciók támogatása: A Delta Sharing táblák, amelyek előre aláírt URL-t vagy felhőalapú tokenmegosztási módot használnak, támogatják a többutasításos tranzakciókat. A tranzakción belüli első hozzáféréskor a rendszer a táblaverziót rögzítette és újra felhasználja a tranzakció minden további olvasásához. Az időutazás, az adatcsatorna módosítása és a streamelés nem támogatott.
parse_timestampSQL függvény: Az parse_timestamp SQL függvény több mintázat segítségével elemzi az időbélyeg-karakterláncokat. A függvény a Photon gépmotoron fut a jobb teljesítmény érdekében.max_byésmin_byopcionális korláttal: Az aggregált függvények, a max_by és a min_by, most egy opcionális harmadik argumentumot, alimitértéket (legfeljebb 100 000), is elfogadnak, és ablakfüggvények vagy CTE-k nélkül a legfelső vagy legalsó K értékből álló tömböt adnak vissza.Vektoros aggregáló- és skalárfüggvények: Új SQL-függvények az
ARRAY<FLOAT>vektorokon működnek beágyazási és hasonlósági munkaterhelésekhez, beleértve a vector_avg, vector_sum, vector_cosine_similarity, vector_inner_product, vector_l2_distance, vector_norm és vector_normalize függvényeket. Lásd a beépített függvényeket.SQL-kurzorok támogatása az összetett utasításokban: Az SQL-szkriptek összetett utasításai most már támogatják a kurzorfeldolgozást. A DEKLARÁLT KURZOR használatával definiálhat egy kurzort, majd open utasítást, FETCH utasítást és CLOSE utasítást a lekérdezés futtatásához és sorok egyenkénti felhasználásához.
Közelítő top-k vázlatfüggvények: Új függvények lehetővé teszik a közelítő top-k összeállítását és kombinálását elosztott top-k aggregációhoz: approx_top_k_accumulate, approx_top_k_combine és approx_top_k_estimate. Lásd:
approx_top_kaggregátumfüggvény.Tuple sketch függvények: Új aggregált és skaláris függvények támogatják az egyedi elemek számlálását és a kulcs-összefoglaló párokon végzett aggregációt. Lásd a beépített függvényeket.
Új geotérbeli függvények: A következő geotérbeli függvények már elérhetők:
-
st_estimatesridfüggvény: Egy bemeneti geometria legjobb előrejelzett térbeli referenciaazonosítóját (SRID) becsüli meg. -
st_force2dfüggvény: Egy földrajzi vagy geometriai alakzatot 2D-s ábrázolásúvá alakít át. -
st_nringsfüggvény: Megszámolja a sokszögben vagy többpógonyban lévő gyűrűk teljes számát, beleértve a külső és belső gyűrűket is. -
st_numpointsfüggvény: Megszámolja a földrajzi vagy geometriai nem üres pontok számát.
-
Photon támogatás a geotérbeli függvényekhez:
st_differencefunkció,st_intersectionfüggvény ésst_unionfunkció most a Photon motoron fut a gyorsabb teljesítmény érdekében.
Viselkedésváltozások
A megfigyelési metrika hibái már nem buktatják meg a lekérdezéseket: A megfigyelési metrika gyűjtése során fellépő hibák már nem okoznak lekérdezés-végrehajtási hibát. Korábban a
OBSERVEzáradékok hibái (például nullával való osztás) blokkolhatják vagy meghiúsulhatják a teljes lekérdezést. Most a lekérdezés sikeresen befejeződik, és a hiba akkor jelentkezik, amikor aobservation.gethívást végrehajtja.DESCRIBE FLOWFenntartott kulcsszó: ADESCRIBE FLOWparancs most elérhető. Ha van egyflownevű táblázata, használja aDESCRIBE schema.flow,DESCRIBE TABLE flowvagyDESCRIBE `flow`karaktereket backtickekkel.SpatialSQL boolean halmazműveletek:
ST_Difference,ST_IntersectionésST_Unionúj implementációt használ, amely körülbelül 2-szer gyorsabb teljesítményt nyújt. Az érvényes bemeneti geometriák mindig eredményt adnak. Az eredmények normalizálva vannak a konzisztens kimenethez, és a vonalszegmens metszeteinek 15. tizedesjegye után eltérhetnek a különböző képletek és a műveletek sorrendje miatt.Kivételtípusok SQLSTATE-hez: A kivételtípusok frissültek, hogy támogassák az SQLSTATE-et. Ha a kód sztringegyezés vagy adott kivételtípusok alapján elemzi a kivételeket, frissítse a hibakezelési logikát.
18.0-s verzió
2026. február 27.
Ez a kiszolgáló nélküli számítási kiadás nagyjából megfelel a Databricks Runtime 18.0-nak.
Új funkciók
Az SQL szkriptezés már általánosan elérhető: Az SQL szkriptezés már általánosan elérhető.
Redshift JDBC illesztőprogram frissítve 2.1.0.28-ra: A Redshift JDBC illesztőprogramot 2.1.0.28-ra frissítették.
Osztott izolációs végrehajtási környezet Unity Catalog Python UDF-ekhez: A Unity Catalog Python UDF-ek ugyanazzal a tulajdonossal most már alapértelmezés szerint megoszthatnak egy izolációs környezetet, javítva a teljesítményt és csökkentve a memóriahasználatot. Annak érdekében, hogy az UDF mindig teljesen izolált környezetben fusson, adja hozzá a
STRICT ISOLATIONjellemző záradékot. Lásd: Környezetelkülönítés.SQL ablakfüggvények metrikus nézetekben: Mostantól SQL ablakfüggvényeket használhatsz metrikus nézetekben futó összértékek, rangsorok és egyéb ablakalapú számítások kiszámítására.
Dinamikus shuffle partíciók módosítása állapot nélküli streaming lekérdezésekben: Most már megváltoztathatod a shuffle partíciók számát állapot nélküli streaming lekérdezésekben anélkül, hogy újraindítanád a lekérdezést.
Adaptív lekérdezésvégrehajtás és automatikusan optimalizált shuffle állapot nélküli streaming lekérdezésekben: Az adaptív lekérdezésvégrehajtás (AQE) és az automatikusan optimalizált shuffle (AOS) most már támogatott az állapot nélküli streaming lekérdezésekben.
Karakterlánc-literálok összevonása mindenhol: A szekvenciális karakterlánc-literálok, például
'Hello' ' World'elemeket'„Helló világ!” alkalmazás'formára történő összevonásának lehetőségét kiterjesztették minden olyan helyre, ahol a karakterlánc-literálok engedélyezettek. Lásd:STRINGtípus.Paraméterjelölők mindenhol: Most már szinte bárhol használhatod a név (
:param) és névtelen (?) paraméterjelölőket, ahol megfelelő típusú literális érték használható, beleértve a DDL utasításokat és oszloptípusokat is. Lásd : Paraméterjelölők.IDENTIFIERzáradék mindenhol: AIDENTIFIERklauzula, amely a karakterláncokat SQL-objektumnevekké alakítja, most már szinte mindenütt használható, ahol azonosító megengedett, beleértve az oszlopaliasokat és oszlopdefiníciókat is. Lásd IDENTIFIER záradék.Új
BITMAP_AND_AGGfüggvény: Újbitmap_and_aggaggregáló függvény elérhető.Új Theta sketch függvények: Új funkciókönyvtár érhető el a Datasketches Theta Sketch használatával az egyedi elemek számának közelítő meghatározásához és halmazműveletekhez, beleértve a theta_sketch_agg, theta_union_agg, theta_intersection_agg és kapcsolódó funkciókat.
Új KLL Sketch függvénykönyvtár: Új függvénykönyvtár elérhető KLL Sketches építéséhez közelítő kvantilis számításhoz, beleértve kll_sketch_agg_bigint, kll_sketch_agg_double és kapcsolódó függvényeket.
Az Apache Parquet könyvtár frissítve 1.16.0-ra: Az Apache Parquet könyvtárat frissítették 1.16.0 verzióra.
Új geotérbeli függvények: A következő új geotérbeli függvények most már támogatottak:
-
st_azimuthfunkció: Visszaadja az északi alapú azimutot az első ponttól a második pontig radiánokban. -
st_boundaryfüggvény: A bemeneti geometria határát adja vissza. -
st_closestpointfüggvény: Visszaadja az első geometrián lévő, a második geometriához legközelebbi pont 2D vetítését. -
st_geogfromewktfüggvény: Egy földrajzi hely kiterjesztett Well-Known szövegének (EWKT) leírását elemzi. -
st_geomfromewktfüggvény: Egy geometria kiterjesztett Well-Known szövegének (EWKT) leírását elemzi.
-
Jobb térbeli csatlakozási teljesítmény: A térbeli csatlakozás teljesítménye mostantól javul a kevert térbeli csatlakozás támogatásának bevezetésével.
A geotérbeli függvények teljesítményének javítása: Photon-implementációk mostantól elérhetők a
st_isvalidfüggvényhez, ast_makelinefüggvényhez és ast_makepolygonfüggvényhez.EWKT bemeneti támogatás: A try_to_geography, try_to_geometry, to_geography és to_geometry funkciók most már elfogadják az Extended Well-Known Text (EWKT) bemenetet.
Viselkedésváltozások
FSCK REPAIR TABLEAlapértelmezett metaadat-javítást tartalmaz: AFSCK REPAIR TABLEparancs most már tartalmaz egy kezdeti metaadat-javítási lépést, mielőtt ellenőrizné a hiányzó adatfájlokat. A parancs sérült ellenőrzőpontokkal vagy érvénytelen partícióértékekkel rendelkező táblákon is használható.Az arányi tényezők összehangolása az olvasások és az automatikusan optimalizált írások között: A partícióméretezés arányi tényezői most már következetesen törtértékeket használnak az olvasási műveletek és az automatikusan optimalizált írások során. Ez a módosítás eltérő számú feladatot eredményezhet az olvasási műveletekhez.
A Python UDF-ek végrehajtása egységesítve a PySpark és a Unity Catalog között: a Unity Catalog Python UDF-ek most már az Apache Arrow-t használják alapértelmezett csereformátumként, javítva az általános teljesítményt. Ennek a változásnak a részeként a
TIMESTAMPPython UDF-eknek átadott értékek már nem tartalmazzák az időzónával kapcsolatos információkat azdatetimeobjektum attribútumábantzinfo. Ha az UDF időzónainformációkra támaszkodik, állítsa vissza adate = date.replace(tzinfo=timezone.utc)kóddal. Lásd: Az időbélyeg időzóna-viselkedése soronkénti bemenetek esetén.Javított hibaüzenetek Kafka csatlakozó bejelentkezési modul problémáira: Ha a Kafka csatlakozót árnyéktalan bejelentkezési modul osztállyal használjuk, az Azure Databricks most hibaüzeneteket kínál, amelyek a helyes árnyékolt osztály előtagjának (
kafkashaded.org.apache.kafkavagykafkashaded.software.amazon.msk.auth.iam) használatát javasolják.Időutazási korlátozások és
VACUUMmegtartási viselkedés: Az Azure Databricks most minden tábla esetében blokkolja az időutazási lekérdezéseket adeletedFileRetentionDurationküszöbértéken túl. AVACUUMparancs figyelmen kívül hagyja a megőrzési időtartam argumentumát, kivéve, ha az érték 0 óra. Nem állíthat bedeletedFileRetentionDurationnagyobb értéket, mintlogRetentionDurationvagy fordítva.BinaryTypealapértelmezés szerintbytesa PySparkban: A PySparkbanBinaryTypemost már következetesen Pythonbytes-ra képeződik le. Korábban a PySpark aBinaryTypeelemet a kontextustól függően abytesvagy abytearrayelemnek feleltette meg. A régi viselkedés visszaállításához állítsa aspark.sql.execution.pyspark.binaryAsBytesértéketfalse-re.Partíciós oszlopok materializálása a Parquet fájlokban: A particionált Delta-táblák mostantól az újonnan írt Parquet adatfájlokban is tárolják a partíciós oszlopokat. Korábban a partícióértékek a Delta tranzakciónapló metaadataiban voltak tárolva, és a könyvtárak elérési útvonalaiban tükröződtek vissza, azonban nem jelentek meg oszlopként magukban a Parquet-fájlokban. Ez a módosítás hatással lehet azokra a számítási feladatokra, amelyek közvetlenül olvassák a Delta által írt Parquet-fájlokat.
DESCRIBE TABLEoutput tartalmaz metaadat-oszlopot: ADESCRIBE TABLE [EXTENDED]kimenete most újmetadataoszlopot tartalmaz minden táblatípus esetén, amely szemantikai metaadatokat (megjelenítési név, formátum és szinonimák) tartalmaz, amelyeket a táblán JSON stringként definiálnak.
A kiszolgáló nélküli környezet 5-ös verziója már elérhető
2026. február 25.
Most már használhatja a kiszolgáló nélküli környezet 5-ös verzióját a kiszolgáló nélküli jegyzetfüzetekben és feladatokban. Ez magában foglalja a CPU- és GPU-környezet verzióit is. Lásd Környezet 5. verzió.
17.3 verzió
2025. október 28.
Ez a kiszolgáló nélküli számítási kiadás nagyjából megfelel a Databricks Runtime 17.3 LTS-nek.
Új funkciók
LIMIT Az ALL záradék támogatása rekurzív CTE-khez: Most már használhatod a
LIMIT ALLzáradékot rekurzív közös táblázatkifejezésekkel (rCTE-kkel) annak explicit megadására, hogy a lekérdezési eredményekre ne alkalmazzanak sorkorlátot. Lásd Közös tábla kifejezés (CTE).A Unity Catalog kötetekben lévő fájlokhoz való hozzáfűzés helyes hibát ad vissza: Ha megpróbálunk meglévő fájlokhoz hozzáfűzni a Unity Catalog kötetekben, most egy leíróbb hibaüzenetet ad, amely segít megérteni és megoldani a problémát.
st_dumpFunkció támogatás: Most már használhatod ast_dumpfüggvényt arra, hogy egy geometriai objektumot alkotó részekre bontsunk, így egyszerűbb geometriákat adunk vissza. Lásd:st_dumpfüggvény.A sokszög belső gyűrűivel kapcsolatos függvények mostantól támogatottak: A következő függvényeket használhatod sokszögek belső gyűrűivel való munkához:
-
st_numinteriorrings: Megkapjuk a sokszög belső határainak (gyűrűinek) számát. Lásd:st_numinteriorringsfüggvény. -
st_interiorringn: Kinyeri egy sokszög n-edik belső határát, és vonalláncként adja vissza. Lásd:st_interiorringnfüggvény.
-
EXECUTE IMMEDIATE konstans kifejezésekkel: A(z)
EXECUTE IMMEDIATEutasítás most már támogatja a konstans kifejezések használatát a lekérdezési karakterláncban, lehetővé téve a dinamikus SQL rugalmasabb végrehajtását. Lásd a(z) EXECUTE IMMEDIATE.A
spark.sql.files.maxPartitionBytesengedélyezése a szerver nélküli számításban: Most már konfigurálhatod aspark.sql.files.maxPartitionBytesSpark-konfigurációs paramétert a szerver nélküli számításon, hogy szabályozd az egyetlen partícióba csomagolandó bájtok maximális számát fájlok olvasása közben. Lásd: Spark-tulajdonságok konfigurálása kiszolgáló nélküli jegyzetfüzetekhez és feladatokhoz.
Viselkedésváltozások
Támogassa az MV/ST frissítési információkat a DESCRIBE EXTENDED AS JSON programban: A
DESCRIBE EXTENDED AS JSONparancs most már tartalmaz frissítési információkat a materializált nézetekhez és streaming táblákhoz, így láthatóvá válik az utolsó frissítési idő és állapot.Metaadat-oszlop hozzáadása a(z) DESCRIBE TABLE és DESCRIBE QUERY elemhez: Az
DESCRIBE QUERYésDESCRIBE TABLEparancsok most már tartalmaznak egy metaadat-oszlopot a kimenetükben, amely további információkat nyújt az egyes oszlopok tulajdonságairól és jellemzőiről.A null szerkezetek helyes kezelése NullType oszlopok elhagyásakor: Az Azure Databricks most már helyesen kezeli a null szerkezeti értékeket a
NullTypehasználatával történő oszlopelhagyáskor, megelőzve a lehetséges adatsérülést vagy váratlan viselkedést.A null szerkezetek jobb kezelése a Parquet-ben: Ez a kiadás fejlesztéseket tartalmaz abban, hogyan kezelik a null szerkezeti értékeket a Parquet fájlokból olvasáskor és íráskor, így következetesebb és helyesebb viselkedést biztosítva.
Az aws-msk-iam-autentifikációs könyvtár frissítése Kafka-hoz: Az
aws-msk-iam-authAmazon MSK IAM hitelesítéshez használt könyvtárat frissítették a legújabb verzióra, ami javított biztonságot és kompatibilitást biztosít.
17.2-es verzió
2025. szeptember 25.
Ez a kiszolgáló nélküli számítási kiadás nagyjából megfelel a Databricks Runtime 17.2-nek.
Új funkciók
-
ST_ExteriorRingfunkció most már támogatott: Most már használhatod aST_ExteriorRingfüggvényt egy sokszög külső határának kihúzására, és vissza kell adni egy vonalláncként. Lásd:st_exteriorringfüggvény.
A
TEMPORARYkulcsszó támogatása metrikus nézet létrehozásához: Most már használhatod aTEMPORARYkulcsszót metrikus nézet létrehozásakor. Az ideiglenes metrikanézetek csak az őket létrehozó munkamenetben láthatók, és a munkamenet végén el lesznek vetve. Lásd a(z) CREATE VIEW.Natív I/O használata a(z)
LokiFileSystem.getFileStatusszámára S3-on: A(z)LokiFileSystem.getFileStatusmost már az Amazon S3-forgalomhoz a natív I/O stacket használja, és a(z)shaded.databricks.org.apache.hadoop.fs.s3a.S3AFileStatushelyettorg.apache.hadoop.fs.FileStatusobjektumokat ad vissza.Az Auto Loader kikövetkezteti a partíciós oszlopokat
singleVariantColumnmódban: Az Auto Loader most a fájlútvonalakból következteti ki a partíciós oszlopokat, amikor félig strukturált variáns típusként vesz fel adatokat asingleVariantColumnopció használatával. Korábban a rendszer nem észlelt automatikusan partícióoszlopokat. Lásd : Automatikus betöltő.
Viselkedésváltozások
DESCRIBE CONNECTIONmegjeleníti a JDBC kapcsolatok környezeti beállításait : Az Azure Databricks most már felhasználói által definiált környezetbeállításokat tartalmaz aDESCRIBE CONNECTIONJDBC kapcsolatok kimenetében, amelyek egyedi illesztőprogramokat támogatnak és elszigetelten futnak. Más kapcsolattípusok változatlanok maradnak.Lehetőség a Uniform-előzmények csonkolására menedzselt táblák migrálásakor: Most már a
ALTER TABLE...SET MANAGEDhasználatával is csonkolhatod a Uniform-előzményeket, amikor Uniform/Iceberg engedélyezése mellett migrálod a táblákat. Ez leegyszerűsíti a migrálást, és csökkenti az állásidőt az Uniform manuális letiltásához és újbóli engedélyezéséhez képest.Helyes eredmények üres
splitregexszel és pozitív limittel: Az Azure Databricks most helyes eredményeket ad a(z)split functionüres regexszel és pozitív limittel történő használatakor. Korábban a függvény helytelenül csonkolta a fennmaradó karakterláncot ahelyett, hogy azt az utolsó elembe foglalta volna.url_decodeéstry_url_decodehibakezelésének javítása a Photonban: A Photonban a(z)try_url_decode()és a(z)url_decode()failOnError = falsehasználatával mostNULLértékkel tér vissza érvénytelen URL-kódolású karakterláncok esetén ahelyett, hogy a lekérdezés meghiúsulna.Közös végrehajtási környezet a Unity Catalog Python UDTF-ekhez: Azure Databricks most megosztja a Python felhasználódefiniált táblafüggvények (UDTF-k) végrehajtási környezetét azonos tulajdonostól és ugyanabból a Spark-munkamenetből. Választható
STRICT ISOLATIONzáradék áll rendelkezésre az UDTF-ek megosztásának letiltására mellékhatásokkal, például környezeti változók módosításával vagy tetszőleges kód végrehajtásával.
17.1-es verzió
2025. augusztus 19.
Ez a kiszolgáló nélküli számítási kiadás nagyjából megfelel a Databricks Runtime 17.1-es verziójának.
Új funkciók
- Csökkentett memóriahasználat széles sémák esetén a Photon íróban: A Photon motorban fejlesztések történtek, amelyek jelentősen csökkentik a memóriahasználatot széles sémák esetén, kezelve azokat a helyzeteket, amelyek korábban memóriahiányos hibákhoz vezettek.
Viselkedésváltozások
Hiba érvénytelen
CHECKkorlátozások esetén: Az Azure Databricks mostAnalysisExceptionkivételt dob, ha egyCHECKkorlátozási kifejezés nem oldható fel a korlátozások ellenőrzése során.A Pulsar-összekötő már nem teszi elérhetővé a Bouncy Castle-t: a Bouncy Castle könyvtár most be van árnyékolva a Pulsar-összekötőben, hogy elkerülje az osztályúti konfliktusokat. Ennek eredményeképpen a Spark-feladatok már nem férhetnek hozzá az összekötő osztályaihoz
org.bouncycastle.*. Ha a kód a Bouncy Castle függvénytől függ, telepítse manuálisan a könyvtárat kiszolgáló nélküli környezetben.Az Auto Loader alapértelmezett fájleseményeket használ, ha elérhető: Az Auto Loader fájleseményeket használ a könyvtárlista helyett, ha a betöltési útvonal külső helyen van, és fájlesemények engedélyezve vannak. Az alapértelmezett érték most
useManagedFileEventsif_available(voltfalse). Ez javíthatja a feldolgozási teljesítményt, és a rendszer figyelmeztetést naplóz, ha a fájlesemények még nincsenek engedélyezve.A Teradata connector kijavítja a kis- és nagybetűket megkülönböztető karakterlánc-összehasonlítást: A Teradata connector mostantól alapértelmezés szerint
TMODE=ANSI, így a karakterlánc-összehasonlítás viselkedése az Azure Databrickshez igazodik azáltal, hogy kis- és nagybetűket megkülönböztetővé teszi azt. Ez a módosítás konfigurálható, és csak akkor érinti a meglévő felhasználókat, ha bejelentkeznek.
Kiszolgáló nélküli környezet 4-es verziója
2025. augusztus 13.
A környezet verzió 4 már elérhető a szerver nélküli jegyzetfüzetekben és feladatokban. Ez a környezeti verzió könyvtárfrissítéseket és API-frissítéseket tartalmaz. Lásd Környezet 4. verzió.
17.0-s verzió
2025. július 24.
Ez a kiszolgáló nélküli számítási kiadás nagyjából megfelel a Databricks Runtime 17.0-nak.
Új funkciók
SQL eljárás támogatása: Az SQL szkriptek most már egy Unity Catalog-ban újrahasználható eszközként tárolt eljárásban kapszulálhatók. Az eljárást a CREATE PROCEDURE paranccsal hozhatja létre, majd meghívhatja a CALL paranccsal.
Alapértelmezett rendezés beállítása SQL-függvényekhez: Az CREATE FUNCTION parancs új
DEFAULT COLLATIONzáradékának használata határozza meg a függvényben használt alapértelmezett rendezést aSTRINGparaméterekhez, a visszatérési típushoz és a függvénytörzsben szereplőSTRINGliterálokhoz.Rekurzív közös táblakifejezések (rCTE) támogatása: Az Azure Databricks most támogatja hierarchikus adatok navigálását rekurzív közös táblakifejezésekkel (rCTE-k). A rekurzív kapcsolat követéséhez használjon egy önhivatkozó CTE-t a
UNION ALL-val.A PySpark és a Spark Connect most már támogatja a DataFrame-ek
df.mergeIntoAPI-ját: A PySpark és a Spark Connect most már támogatja azdf.mergeIntoAPI-t.Támogatás
ALL CATALOGSaSHOWSCHEMAS-ban: ASHOW SCHEMASszintaxis frissítve van a jóváhagyásraALL CATALOGS, lehetővé téve, hogy átnézd az összes aktív katalógust, amely támogatja a névtereket. A kimeneti attribútumok mostantól tartalmazzák acatalogmegfelelő névtér katalógusát jelző oszlopot.A Liquid clustering most már hatékonyabban tömöríti a törlési vektorokat: a Liquid clusteringet használó Delta-táblák most hatékonyabban alkalmazzák a törlési vektorok fizikai módosításait, amikor a(z)
OPTIMIZEfut. További részleteket a Parquet-adatfájlok módosításainak alkalmazása című témakörben talál.Nem determinisztikus kifejezések engedélyezése a
UPDATE/INSERTMERGEműveletek oszlopértékeiben: Az Azure Databricks most már lehetővé teszi a nem determinisztikus kifejezések használatát aMERGEműveletekben frissített és beszúrt oszlopértékekben. Most például dinamikus vagy véletlenszerű értékeket hozhat létre az oszlopokhoz olyan kifejezések használatával, mint arand().A Delta MERGE Python API-kat úgy változtatjuk meg, hogy DataFrame adják vissza az Unit helyett: A Python
MERGEAPI-k (példáulDeltaMergeBuilder) most szintén DataFrame-et adnak vissza, mint az SQL API, ugyanazzal az eredménnyel.
Viselkedésváltozások
Viselkedésváltozás az Auto Loader inkrementális könyvtárlistázási opciónál: A lejárt Auto Loader
cloudFiles.useIncrementalListingopció értéke most alapértelmezés szerintfalse. Ennek eredményeképpen az Auto Loader minden egyes futtatáskor teljes könyvtárlistát hajt végre. A Databricks nem javasolja ennek a lehetőségnek a használatát. Ehelyett fájlértesítési módot használjon fájleseményekkel.CREATE VIEWAz oszlopszintű záradékok most hibát jeleznek, ha a záradék csak a materializált nézetekre vonatkozna:CREATE VIEWazok a parancsok, amelyek olyan oszlopszintű záradékot adnak meg, amely csak azMATERIALIZED VIEW-re érvényes, most hibát adnak. Az érintett záradékok közé tartoznak aNOT NULLmegadott adattípusokDEFAULTésCOLUMN MASK.
A serverless teljesítménycélok GA státuszban van
2025. június 10.
A feladatok és folyamatok kiszolgáló nélküli teljesítménybeállításának kiválasztása általánosan elérhető.
Ha a teljesítményoptimalizált beállítás engedélyezve van, a számítási feladat a gyorsabb indítási és végrehajtási időhöz lesz optimalizálva. Ha le van tiltva, a kiszolgáló nélküli számítási feladat normál teljesítménymódban fut, amely a költségekre van optimalizálva, és valamivel nagyobb indítási késéssel rendelkezik.
További információt a Teljesítmény mód kiválasztása és a Teljesítmény mód kiválasztása című témakörben talál.
16.4-es verzió
2025. május 28.
Ez a kiszolgáló nélküli számítási kiadás nagyjából megfelel a Databricks Runtime 16.4 LTS-nek.
Viselkedésváltozások
Javítás az adatforrások gyorsítótárazott terveinek opciókezeléséhez: Ez a frissítés biztosítja, hogy a táblaolvasások gyorsítótárazáskor az összes adatforrás-tervhez beállított opciót figyelembe vegyék, ne csak az első gyorsítótárazott táblaolvasásnál. Korábban az adatforrástáblák olvasásai az első tervet gyorsítótárazták, de a későbbi lekérdezések során nem sikerült figyelembe venni a különböző beállításokat.
Jelző engedélyezése a forrásmaterializáció kötelezővé tételéhez MERGE műveleteknél: Korábban a felhasználók kikapcsolhatták a forrásmaterializációt a MERGE-ben a
merge.materializeSourcenoneértékre állításával. Ha az új jelző aktív, mindig szükség lesz a forrásanyagra, és az azt kikapcsolni próbáló kísérletek hibát eredményeznek. A Databricks azt tervezi, hogy csak azoknak az ügyfeleknek engedélyezi ezt a jelzőt, akik korábban nem módosították ezt a konfigurációt, így a felhasználók többsége nem tapasztalhat semmilyen változást a viselkedésben.
Új funkciók
Az Auto Loader most már képes tisztítani a feldolgozott fájlokat a forráskönyvtárban: Most már utasítást adhat az Auto Loadernek, hogy automatikusan mozgatja vagy törölje a feldolgozott fájlokat. Ezt a funkciót az
cloudFiles.cleanSourceAutomatikus betöltő beállítással engedélyezheti. Lásd: Gyakori, alattacloudFiles.cleanSource.A típusbővítés támogatása hozzáadva a Delta-táblákból történő streameléshez: Ez a kiadás támogatja a típusbővített oszlopadatokat tartalmazó Delta-táblából történő streamelést, valamint a Delta-tábla megosztását a Databricks-to-Databricks Delta Sharing segítségével, amelyen a típusbővítés engedélyezve van. A típusszűkítési funkció jelenleg nyilvános előzetes verzióban érhető el. Lásd típusbővítés.
IDENTIFIER A támogatás most elérhető a DBSQL-ben katalógusműveletekhez: Most már használhatod a
IDENTIFIERzáradékot a következő katalógusműveletek végrehajtásakor:CREATE CATALOGDROP CATALOGCOMMENT ON CATALOGALTER CATALOG
Ez az új szintaxis lehetővé teszi, hogy dinamikusan adja meg a katalógusneveket az ezekhez a műveletekhez definiált paraméterekkel, így rugalmasabb és újrafelhasználhatóbb SQL-munkafolyamatokat tesz lehetővé. A szintaxis példájaként vegye figyelembe, hogy
CREATE CATALOG IDENTIFIER(:param)holparamvan megadva egy paraméter a katalógus nevének megadásához. Lásd IDENTIFIER záradék.A kollált kifejezések most már automatikusan generált átmeneti aliasokat biztosítanak: a kollált kifejezésekhez tartozó automatikusan generált aliasok kialakításuk során determinisztikusan beépítik a(z)
COLLATEinformációt. Az automatikusan létrehozott aliasok átmenetiek (instabilak), és nem szabad támaszkodni rá. Ehelyett ajánlott eljárásként következetesen és explicit módon kell használniexpression AS alias.Filter pushdown API-támogatás hozzáadása Python adatforrásokhoz: A szerver nélküli számítási környezet most támogatja a Python adatforrásokból történő kötegelt olvasás szűrőleküldését API formájában, a
SupportsPushDownFiltersinterfészhez hasonlóan. Lásd a 16.4 LTS kiadási megjegyzéseit.Python UDF visszakövetés fejlesztése: A Python UDF visszakövetés most mind a meghajtó, mind a végrehajtó kereteit, valamint klienskereteket tartalmaz, így jobb hibaüzenetek jelennek meg, amelyek nagyobb és relevánsabb részleteket mutatnak (például az UDF-en belüli keretek sortartalmát).
A nézetdefiníción belüli UNION/EXCEPT/INTERSECT és a EXECUTE IMMEDIATE most helyes eredményeket adnak vissza: Az ideiglenes és tartós nézetdefiníciókra vonatkozó, legfelső szintű
UNION//EXCEPTINTERSECTés alias nélküli oszlopokat tartalmazó lekérdezések korábban hibás eredményeket adtak, mert aINTERSECTUNION/EXCEPT/ kulcsszavakat aliasoknak tekintették. Most ezek a lekérdezések megfelelően hajtják végre a teljes műveletet.Adatforrás gyorsítótárazott terv konfigurációja és migrációs útmutató: A fájlforrástáblából történő olvasás helyesen figyelembe veszi a lekérdezési opciókat (például az elválasztókat). Korábban az első lekérdezési terv gyorsítótárba került, és az azt követő opcióváltoztatásokat figyelmen kívül hagyták. Az előző viselkedés visszaállításához állítsa
spark.sql.legacy.readFileSourceTableCacheIgnoreOptionstrueértékre.Új
listaggésstring_aggfüggvények: Ettől a kiadástól kezdve alistaggvagystring_aggfüggvényekkel csoporton belül összesítheted aSTRINGésBINARYértékeket. Lásd string_agg.
A teljesítménymód mostantól konfigurálható kiszolgáló nélküli feladatokon
2025. április 14.
Most már kiválaszthatja a kiszolgáló nélküli feladatok teljesítménymódját a Feladat részletei lapon található Teljesítményoptimalizált beállítással. Korábban az összes kiszolgáló nélküli feladat teljesítményoptimalizált volt. Most letilthatja a teljesítményoptimalizált beállítást, hogy a számítási feladatot normál teljesítmény módban futtassa. A standard peformance mód úgy lett kialakítva, hogy csökkentse a számítási feladatok költségeit, ahol elfogadható a valamivel magasabb indítási késés.
A standard teljesítménymód nem támogatott a folyamatos folyamatokhoz, a végponttal létrehozott egyszeri futtatásokhoz vagy az runs/submit SQL Warehouse-feladatokkal kapcsolatos feladatokhoz, beleértve a materializált nézeteket is.
A teljesítménymódról további információt a Teljesítmény mód kiválasztása című témakörben talál.
16.3-es verzió
2025. április 9.
Ez a kiszolgáló nélküli számítási kiadás nagyjából megfelel a Databricks Runtime 16.3-nak.
Viselkedésváltozások
-
*Javított hibaüzenet, ha a(z)
kafka.sasl.client.callback.handler.classérvénytelen értéket kap: Ez a kiadás tartalmaz egy változtatást, hogy egy leíróbb hibaüzenetet adjon, ha a(z)kafka.sasl.client.callback.handler.classérvénytelen értéket kap.
Új funkciók
Az állapotolvasó támogatása általánosan elérhető: A strukturált streaming lekérdezésekhez szükséges állapotinformációk olvasásának támogatása most már általánosan elérhető szerver nélküli számítási rendszeren. Lásd: Strukturált streamelési állapotinformációk olvasása.
A Delta-tábla protokolljának ellenőrzőpont-védelemmel ellátott visszaminősítése általánosan elérhető:
DROP FEATUREA funkció általánosan elérhető a Delta Lake-tábla funkcióinak eltávolításához és a tábla protokolljának visszaminősítéséhez. Alapértelmezés szerintDROP FEATUREmostantól védett ellenőrzőpontokat hoz létre egy optimalizáltabb és egyszerűbb visszalépési élmény érdekében, amely nem igényel várakozási időt vagy előzmény csonkolást. Lásd Delta Lake tábla szolgáltatás megszüntetése és tábla protokoll visszaminősítése.Írj eljárási SQL szkripteket ANSI SQL/PSM (Public Preview) alapján: Most már használhatsz ANSI SQL/PSM alapú szkriptelési lehetőségeket SQL-rel eljárási logika írásához, beleértve a vezérlőfolyamat-utasításokat, helyi változókat és kivételkezelést. Lásd az SQL-szkriptelést.
Tábla- és nézetszintű alapértelmezett kolláció: Most már meghatározhatsz alapértelmezett kollációt táblákhoz és nézetekhez. Ez leegyszerűsíti a táblák és nézetek létrehozását, ahol az összes vagy a legtöbb oszlop ugyanazzal a rendezéssel rendelkezik. Lásd Kolláció.
Új H3 függvények: Három új H3 funkciót adtak hozzá: h3_try_coverash3, h3_try_coverash3string és h3_try_tessellateaswkb.
Több táblázatoszlop módosítása egy ALTER TABLE utasításban: Most már több oszlopot is módosíthatsz egyetlen
ALTER TABLEutasításban. Lásd...ALTER TABLECOLUMN záradékot.
16.2-es verzió
2025. március 13.
Ez a kiszolgáló nélküli számítási kiadás nagyjából megfelel a Databricks Runtime 16.2-nek.
Viselkedésváltozások
A Delta Sharingben alapértelmezés szerint engedélyezve van a táblatörténet: az SQL-paranccsal, a
ALTER SHARE <share> ADD TABLE <table>használatával létrehozott megosztásoknál a történetmegosztás (WITH HISTORY) mostantól alapértelmezés szerint engedélyezve van. Lásd a(z) ALTER SHARE.A hitelesítő adatokkal kapcsolatos SQL-utasítások hibát adnak vissza, ha a hitelesítő adat típusa nem egyezik: Ha a hitelesítőadat-kezelési SQL-utasításban megadott hitelesítőadat-típus nem egyezik a hitelesítőadat-argumentum típusával, akkor a rendszer hibát ad vissza, és az utasítás nem fut le.
Új funkciók
Használd a
timestampdifféstimestampaddelemet a generált oszlopkifejezésekben Most már használhatod a timestampdiff és timestampadd függvényeket a Delta Lake által generált oszlopkifejezésekben. Lásd a Delta Lake által létrehozott oszlopokat.A
DESCRIBE TABLEmostantól strukturált JSON-ként adja vissza a metaadatokat: Most már használhatod aDESCRIBE TABLE AS JSONparancsot, hogy a tábla metaadatait JSON-dokumentumként add vissza. A JSON-kimenet strukturáltabb, mint az alapértelmezett, ember által olvasható jelentés, és programozott módon használható a tábla sémájának értelmezéséhez. További információ: DESCRIBE TABLE AS JSON.A záró szóközökre nem érzékeny rendezések: A Serverless most már támogatja a záró szóközökre nem érzékeny rendezéseket. Ezek a kollációk például a
'Hello'és'Hello 'értékeket egyenlőként kezelik. További információ: RTRIM-rendezés.
Hibajavítások
-
Az inkrementális klónozás feldolgozásának javítása: Ez a kiadás tartalmaz egy javítást egy olyan szélső esetre, amikor egy inkrementális
CLONEújra másolhatja a már korábban átmásolt fájlokat egy forrástáblából egy céltáblába. Lásd : Tábla klónozása az Azure Databricksben.
Kiszolgáló nélküli jegyzetfüzeteken elérhető magas memóriabeállítás (nyilvános előzetes verzió)
2025. február 7.
Mostantól nagyobb memóriaméretet konfigurálhat a kiszolgáló nélküli számítási jegyzetfüzet számítási feladataihoz. Ez a beállítás interaktív és ütemezett jegyzetfüzet-számítási feladatokra is alkalmazható.
A magas memóriával rendelkező kiszolgáló nélküli használat magasabb DBU-kibocsátási sebességgel rendelkezik, mint a normál memória.
További információ: Nagy memória kiszolgáló nélküli számítás használata.
16.1-es verzió
2025. február 5.
Ez a kiszolgáló nélküli számítási kiadás nagyjából megfelel a Databricks Runtime 16.0-nak és a Databricks Runtime 16.1-nek.
Új funkciók
-
Avro támogatás rekurzív sémához: Most már használhatod az
recursiveFieldMaxDepthopciót afrom_avrofüggvénnyel és azavroadatforrással. Ez a beállítás a séma-rekurzió maximális mélységét állítja be az Avro-adatforráson. Lásd a streamelt Avro-adatok olvasását és írását. - Bővített támogatás a Confluent Schema Registryhez az Avro számára: A Serverless most támogatja az Avro sémareferenciát a Confluent Schema Registryhez. Lásd : Hitelesítés külső Confluent-sémaregisztrációs adatbázisba.
-
Kényszerítsd a folyadékklaszterezést tartalmazó tábláknál: Most már a
OPTIMIZE FULLszintaxist segítségével kényszerítheted az összes rekord újraklaszterezését egy táblában, ahol a folyadékklaszterezés engedélyezve van. Lásd: Újracsoportosítás kényszerítése. - A Pythonhoz készült Delta API-k most már támogatják az identitásoszlopokat: Most már használhatod a Pythonhoz készült Delta API-kat identitásoszlopokkal rendelkező táblák létrehozásához. Lásd : Identitásoszlopok.
-
Liquid clustered táblák létrehozása streamelési írások során: Mostantól a
clusterByhasználható a liquid clustering engedélyezésére új táblák létrehozásakor Structured Streaming-írásokkal. Lásd Folyékony klaszterezés engedélyezése. - A OPTIMIZE FULL záradék támogatása: A szerver nélküli számítási környezet most már támogatja a OPTIMIZE FULL záradékot. Ez a feltétel optimalizálja a folyékony klaszterezést használó táblában lévő összes rekordot, beleértve a korábban klaszterezett adatokat is.
-
A WITH beállítások specifikációjának támogatása a INSERT és a táblahivatkozás esetén: A serverless számítási környezet most támogatja az opcióspecifikáció használatát a
INSERTutasítás táblahivatkozásaihoz és táblaneveihez, amely az adatforrások viselkedésének szabályozására használható. -
Új SQL függvények: A következő SQL függvények már elérhetők a serverless számítási környezetben:
- try_url_decode a url_decode hibatűrő változata.
-
zeroifnull 0-t ad vissza, ha a
zeroifnull()függvény bemeneti kifejezéseNULL. -
nullifzero
NULLértéket ad vissza, ha a bemenet 0, vagy a bemeneti értéket, ha az nem 0. - a dayname(expr) adja vissza a hét napjának hárombetűs angol rövidítését az adott dátum számára.
- uniform(expr1, expr2 [,seed]) véletlenszerű értéket ad vissza, amelynek értékei független és azonos eloszlással rendelkeznek a megadott számtartományban.
-
A randstr(length) egy
lengthkarakter hosszúságú, véletlenszerű alfanumerikus karakterekből álló sorozatot ad vissza.
-
Engedélyezze az automatikus séma evolúciót az adatok Delta táblájába való összevonásakor: A
DeltaMergeBuilderosztálywithSchemaEvolution()tagja támogatást kapott. AzwithSchemaEvolution()automatikus sémafejlődés engedélyezésére használható aMERGEműveletek során. Például:mergeBuilder.whenMatched(...).withSchemaEvolution().execute()}}. -
Az Apache Spark kollációtámogatása nyilvános előzetes verzióban érhető el: Most már nyelvfüggő, a kis- és nagybetűket, valamint az ékezeteket figyelmen kívül hagyó kollációkat rendelhet hozzá a
STRINGoszlopokhoz és kifejezésekhez. Ezeket a kollációkat karakterlánc-összehasonlításokban, rendezési, csoportosítási műveletekben és több karakterláncfüggvényben használják. Lásd Kolláció. - A kollációk Delta Lake-beli támogatása nyilvános előnézetben érhető el: Most már definiálhatod az oszlopok kollációit Delta-tábla létrehozásakor vagy módosításakor. Lásd a Delta Lake összehasonlítási támogatását.
-
LITEmód a vákuumhoz nyilvános előzetes verzióban érhető el: Mostantól aVACUUM table_name LITEhasználatával könnyebb vákuumművelet végezhető, amely a Delta tranzakciónaplóban található metaadatokat használ. Lásd Teljes és könnyű mód és VACUUM. -
Támogatás a
USE CATALOG with IDENTIFIERklauzula paraméterezéséhez: A IDENTIFIER klauzula most már támogatott az USE CATALOG utasításhoz. Ezzel a támogatással paraméterezheti az aktuális katalógust egy sztringváltozó vagy paraméterjelölő alapján. - COMMENT ON COLUMN táblák és nézetek támogatása: Az COMMENT ON utasítás most már támogatja a nézetek és táblázatoszlopok kommentjeinek módosítását.
- Elnevezett paraméterhívás további függvényekhez: A következő függvények támogatják az elnevezett paraméterhívást:
-
A REPAIR TABLE parancs
SYNC METADATAparamétere támogatott a Hive metastore esetén: Most már használhatod aSYNC METADATAparamétert aREPAIR TABLEparanccsal egy Hive metastore által felügyelt tábla metaadatainak frissítésére. Lásd a(z) REPAIR TABLE. -
Fokozott adatintegritás tömörített Apache Arrow adagokhoz: Az adatsérülés elleni további védelem érdekében minden
LZ4tömörített Arrow tétel tartalmazza aLZ4tartalom- és blokkellenőrző összegeket. Lásd az LZ4-keret formátumának leírását.
-
Beépített Oracle JDBC illesztőprogram: A szerver nélküli számítás most már beépített Oracle JDBC illesztőprogrammal rendelkezik. Ha egy ügyfél által feltöltött JDBC-illesztő JAR-t használ a
DriverManagerkeresztül, át kell írnia a szkripteket az egyéni JAR kifejezett használatához. Ellenkező esetben a rendszer a beépített illesztőprogramot használja. Ez az illesztőprogram csak a Lakehouse Federationt támogatja. Egyéb használati esetekben saját meghajtót kell megadnia. -
Részletesebb hibák Delta táblákhoz, amelyeket útvonalakon keresztül érnek el: Új hibaüzenet-élmény érhető el a Delta táblákhoz, amelyeket útvonalakon keresztül érnek el. A rendszer minden kivételt továbbít a felhasználónak. A kivétel
DELTA_MISSING_DELTA_TABLEakkor van fenntartva, ha a mögöttes fájlok nem olvashatók Delta-táblaként.
Viselkedésváltozások
- Kompatibilitást törő változás: A Databricks által üzemeltetett RStudio Server támogatása megszűnik: Ezzel a kiadással a Databricks által üzemeltetett RStudio Server életciklusa véget ér, és egyetlen, serverless compute-ot használó Azure Databricks-munkaterületen sem érhető el. További információ és az RStudio alternatíváinak listája: Csatlakozás a Databricks által üzemeltetett RStudio-kiszolgálóhoz.
Kompatibilitást törő változás: A
short,int,longésbytetípusok szélesebb típusokra történő módosításának támogatása megszűnik: A Delta és Apache Iceberg táblák közötti következetes viselkedés biztosítása érdekében a következő adattípus-változtatások már nem alkalmazhatók olyan táblákra, ahol a típusbővítési funkció engedélyezve van:-
byte-ról/-ről,short-ről,int-ről éslong-ról/-rőldecimal-ra/-re. -
byte,short, ésint-igdouble.
-
Regex minták helyes elemzése negációval a beágyazott karaktercsoportosításban: Ez a kiadás tartalmaz egy változást, amely támogatja a regex minták helyes elemzését negációval a beágyazott karaktercsoportosításban. A rendszer például
[^[abc]]"bármely olyan karakterként lesz elemezve, amely NEM az "abc" egyike.Emellett a Photon viselkedése inkonzisztens volt a Sparkkal a beágyazott karakterosztályok esetében. A beágyazott karakterosztályokat tartalmazó Regex-minták már nem használják a Photont, hanem a Sparkot. A beágyazott karakterosztály minden olyan minta, amely szögletes zárójeleket tartalmaz más szögletes zárójeleken belül, például
[[a-c][1-3]].A duplikált egyezések észlelésének javítása a Delta Lake-ben
MERGE:MERGEmost figyelembe veszi aWHEN MATCHEDzáradékban megadott feltételeket. Tekintse meg, hogyan használhatja az "upsert" műveletet egy Delta Lake táblázatban az egyesítési (merge) eljárással.A
addArtifact()funkcionalitás most már egységes a compute-típusok között: amikor aaddArtifact(archive = True)használatával függőséget adsz hozzá a serverless compute-hoz, az archívum automatikusan kibontódik.
Hibajavítások
- Az időzóna-eltolások most már másodperceket is tartalmaznak, ha CSV-, JSON- és XML-formátumba szerializálják őket: Azok az időbélyegek, amelyek időzóna-eltolása másodperceket is tartalmaz (ez gyakori az 1900 előtti időbélyegeknél), CSV-, JSON- és XML-formátumba szerializáláskor korábban kihagyták a másodperceket. Az alapértelmezett időbélyeg-formázó ki lett javítva, és most a megfelelő eltolási értékeket adja vissza ezekhez az időbélyegekhez.
Egyéb módosítások
-
Átnevezett hibakódok a
cloudFilesStructured Streaming forráshoz: Az alábbi hibakódokat átnevezték:- A(z)
_LEGACY_ERROR_TEMP_DBR_0143nevet megváltoztatjukCF_INCORRECT_STREAM_USAGE-re. - A(z)
_LEGACY_ERROR_TEMP_DBR_0260nevet megváltoztatjukCF_INCORRECT_BATCH_USAGE-re.
- A(z)
15.4-es verzió
2024. október 28.
Ez a kiszolgáló nélküli számítási kiadás nagyjából megfelel a Databricks Runtime 15.4-nek
Új funkciók
-
UTF-8 validációs függvények: Ez a kiadás az alábbi funkciókat vezeti be az UTF-8 stringek validálásához:
- is_valid_utf8 ellenőrzi, hogy egy karakterlánc érvényes UTF-8-karakterlánc-e.
- make_valid_utf8 egy potenciálisan érvénytelen UTF-8 stringet helyettesítő karakterek segítségével érvényes UTF-8 stringgé alakít.
- validate_utf8 hibát jelez, ha a bemenet nem érvényes UTF-8 láncsor.
-
try_validate_utf8 akkor tér vissza
NULL, ha a bemenet nem érvényes UTF-8 láncsor.
- A UniForm Iceberg engedélyezése ALTER TABLE használatával: Most már meglévő táblák esetében is engedélyezhető a UniForm Iceberg az adatfájlok újraírása nélkül. Lásd : Egy meglévő táblán.
-
try_url_decode function: Ez a kiadás bevezeti a try_url_decode funkciót, amely egy URL-kódolt stringet dekódol. Ha a sztring nem a megfelelő formátumban van, a függvény hibafelismertetés helyett ad vissza
NULL. -
Opcionálisan engedélyezheti az optimalizáló számára, hogy a nem kényszerített idegen kulcskorlátokra támaszkodjon: A lekérdezések teljesítményének javítása érdekében most már megadhatja a
RELYkulcsszót aFOREIGN KEYkorlátoknál, amikor CREATE vagy ALTER egy táblát. -
Párhuzamos feladatok szelektív felülírásokhoz: A szelektív felülírások
replaceWheremost már olyan feladatokat futtatnak, amelyek törölnek adatokat és párhuzamosan adnak be új adatokat, javítva a lekérdezések teljesítményét és a klaszterhasználatot. -
A változásadatfolyam teljesítményének javítása szelektív felülírások esetén: A
replaceWherehasználatával végzett szelektív felülírások a változásadatfolyammal rendelkező táblákon többé nem írnak külön változásadat-fájlokat a beszúrt adatokhoz. Ezek a műveletek a mögöttes Parquet-adatfájlokban található rejtett_change_typeoszlopot használják a módosítások íráserősítés nélküli rögzítéséhez. -
Javított lekérdezési késleltetés a
COPY INTOparancsnál: Ez a kiadás tartalmaz egy változtatást, amely javítja aCOPY INTOparancs lekérdezési késleltetését. Ez a fejlesztés úgy valósul meg, hogy a RocksDB állapottároló aszinkron módon tölti be az állapotot. Ezzel a módosítással javulni fog a nagy állapotú lekérdezések kezdési ideje, például a nagy számú már betöltött fájllal rendelkező lekérdezések esetében. -
Az ellenőrzési kényszerek táblafunkció eltávolításának támogatása: Mostantól a
checkConstraintstáblafunkciót eltávolíthatod egy Delta-táblából aALTER TABLE table_name DROP FEATURE checkConstraintshasználatával. Lásd: Ellenőrzési korlátozások eltávolítása.
Viselkedésváltozások
Sémakötés változása nézetekhez: Amikor egy nézet mögöttes lekérdezésének adattípusai eltérnek a nézet eredeti, amikor a nézet létrehozása során használták, a Databricks már nem dob hibákat a nézetre való hivatkozások esetén, ha nem lehet biztonságos castot végrehajtani.
Ehelyett a nézet a szokásos kitevési szabályokkal kompenzál, ahol lehet. Ez a módosítás lehetővé teszi, hogy a Databricks könnyebben tolerálja a táblaséma változásait.
Tiltsák meg a dokumentálatlan
!szintaxis tolerálását aNOTboolean logikán kívül: a Databricks többé nem tolerálja!használatát aNOTszinonimájaként a boolean logikán kívül. Ez a módosítás csökkenti a zavart, igazodik az SQL szabványhoz, és hordozhatóbbá teszi az SQL-t. Például:CREATE ... IF ! EXISTS, IS ! NULL,! NULLoszlop- vagy mezőtulajdonságot,! INés ! BETWEEN le kell cserélni erre:CREATE ... IF NOT EXISTS,IS NOT NULL,NOT NULLoszlop vagy mező tulajdonságNOT IN, ésNOT BETWEEN.Ez a módosítás nem érinti a logikai előtag operátort
!(pl.!is_mgrvagy!(true AND false)) .Dokumentálatlan és feldolgozatlan oszlopdefiníciós szintaxisrészek letiltása nézetekben: A Databricks támogatja a CREATE VIEW elnevezett oszlopokkal és oszlopmegjegyzésekkel.
Az oszloptípusok,
NOT NULLkorlátozások vagyDEFAULTmeghatározása a szintaxisban semmilyen hatás nélkül eltűrhető. A Databricks eltávolítja ezt a szintaxistűrést. Ez csökkenti a zavart, igazodik az SQL szabványhoz, és lehetővé teszi a jövőbeli fejlesztéseket.Következetes hibakezelés a Base64 dekódolásához a Sparkban és a Photonban: Ez a kiadás megváltoztatja, ahogyan a Photon kezeli a Base64-dekódolási hibákat, hogy megfeleljen annak, ahogyan a Spark kezeli ezeket a hibákat. A módosítások előtt a Photon és a Spark kódgenerálási folyamata néha nem tudta megfelelően kezelni az elemzési kivételeket, míg a Spark értelmezési végrehajtása helyesen emelte ki a
IllegalArgumentExceptionvagyConversionInvalidInputErrorkivételeket. Ez a frissítés biztosítja, hogy a Photon következetesen ugyanazokat a kivételeket emelje ki, mint a Spark a Base64 dekódolási hibái során, kiszámíthatóbb és megbízhatóbb hibakezelést biztosítva.Ha egy érvénytelen oszlopnévre hivatkozó
CHECKkorlátozást ad hozzá, az most a UNRESOLVED_COLUMN.WITH_SUGGESTION hibaosztályt adja vissza: A hasznosabb hibaüzenetek érdekében a Databricks Runtime 15.3-as és újabb verzióiban egy olyanALTER TABLE ADD CONSTRAINTutasítás, amely egy érvénytelen oszlopnévre hivatkozóCHECKkorlátozást tartalmaz, a UNRESOLVED_COLUMN.WITH_SUGGESTION hibaosztályt adja vissza. Korábban egyINTERNAL_ERRORvolt visszaadva.
A JDK JDK 8-ról JDK 17-re frissül
2024. augusztus 15.
A notebookok és munkafolyamatok számára kiszolgáló nélküli számítás kiszolgáló oldalon a Java Development Kit (JDK) 8-ról JDK 17-re migrált. Ez a frissítés a következő viselkedési változásokat tartalmazza:
Regex minták helyes parsolása negációval beágyazott karaktercsoportosításban: Ezzel a frissítéssel az Azure Databricks most már támogatja a regex minták helyes elemzését negációval a beágyazott karaktercsoportozásban. A rendszer például
[^[abc]]"bármely olyan karakterként lesz elemezve, amely NEM az "abc" egyike.Emellett a Photon viselkedése inkonzisztens volt a Sparkkal a beágyazott karakterosztályok esetében. A beágyazott karakterosztályokat tartalmazó Regex-minták már nem használják a Photont, hanem a Sparkot. A beágyazott karakterosztály minden olyan minta, amely szögletes zárójeleket tartalmaz más szögletes zárójeleken belül, például
[[a-c][1-3]].
15.1-es verzió
2024. július 23.
Ez a kiszolgáló nélküli számítási kiadás nagyjából megfelel a Databricks Runtime 15.1-nek
Új funkciók
A csillag (*) szintaxis támogatása a WHERE záradékban: Most már használhatod a csillag (*) szintaxist a WHERE záradékban, hogy a SELECT listából az összes oszlopra hivatkozz.
Például: SELECT * FROM VALUES(1, 2) AS T(a1, a2) WHERE 1 IN(T.*).
Changes
Javított hibakezelés a JSON-feldolgozás során: A from_json() és a JSON-útvonal-kifejezésekhez használt JSON-elemző most gyorsabban helyreáll a hibás szintaxisból, ami kevesebb adatveszteséget eredményez.
Ha hibás JSON-szintaxissal találkozik egy strukturált mezőben, egy tömbértékben, egy térképkulcsban vagy egy leképezési értékben, a JSON-elemző mostantól csak az olvashatatlan mezőre, kulcsra vagy elemre ad vissza.NULL A következő mezők, kulcsok vagy elemek megfelelően lesznek elemezve. A módosítás előtt a JSON-elemző megszakította a tömb, a struktúra vagy a térkép elemzését, és a fennmaradó tartalomra NULL-t adott vissza.
14.3-es verzió
2024. április 15.
Ez a kezdeti kiszolgáló nélküli számítási verzió. Ez a verzió nagyjából megfelel a Databricks Runtime 14.3-nak néhány olyan módosítással, amelyek bizonyos nem kiszolgáló nélküli és örökölt funkciók támogatását megszüntetik.
Támogatott Spark konfigurációs paraméterek
A Spark konfigurációjának kiszolgáló nélküli számításon való automatizálásához az Azure Databricks eltávolította a legtöbb Spark-konfiguráció manuális beállításának támogatását. A támogatott Spark-konfigurációs paraméterek listájának megtekintéséhez lásd: Spark-tulajdonságok konfigurálása kiszolgáló nélküli jegyzetfüzetekhez és feladatokhoz.
A kiszolgáló nélküli számításon futó feladatok sikertelenek lesznek, ha nem támogatott Spark-konfigurációt állít be.
input_file függvények elavultak
A input_file_name(), input_file_block_length() és input_file_block_start() függvény elavult. Ezeknek a függvényeknek a használata erősen nem ajánlott.
Ehelyett használja a fájl metaadatainak oszlopát a fájl metaadatainak lekéréséhez.
Viselkedési változások
A kiszolgáló nélküli számítási 2024.15-ös verzió a következő viselkedési változásokat tartalmazza:
-
unhex(hexStr) hibajavítás: A
unhex(hexStr)függvény használatakor a hexStr mindig egy egész bájthoz van kitöltve. Korábban az unhex függvény figyelmen kívül hagyta az első fél bájtot. Például:unhex('ABC')mostx'0ABC'-t állít előx'BC'helyett. - Az automatikusan generált oszlop aliasok most stabilak: Ha egy kifejezés eredményét felhasználó által megadott oszlopalias nélkül hivatkoznak meg, ez az automatikusan generált alias most stabil lesz. Az új algoritmus a korábban automatikusan létrehozott nevek módosítását eredményezheti olyan funkciókban, mint a materializált nézetek.
-
A
CHARtípusú mezőkkel rendelkező táblák beolvasásakor az értékek mostantól mindig ki vannak töltve: a Delta-táblák, bizonyos JDBC-táblák és külső adatforrások nem kitöltött formában tárolják a CHAR-adatokat. Olvasáskor az Azure Databricks mostantól a deklarált hosszúságú szóközökkel fogja kipárnázni az adatokat a megfelelő szemantikák biztosítása érdekében. -
A BIGINT/DECIMAL-ból TIMESTAMP-ba történő castok kivételt adnak túlcsordult értékekre: az Azure Databricks lehetővé teszi a BIGINT-ről és DECIMAL-ról TIMESTAMP-ra történő casting-et úgy, hogy az értéket a Unix epoch másodperceinek számaként kezeli. Korábban az Azure Databricks túlcsordult értékeket adott vissza, de most kivételt eredményez a túlcsordulás esetén. Használja a
try_cast-t, hogy null értéket adjon vissza kivétel helyett. -
A PySpark UDF-végrehajtást továbbfejlesztettük, hogy pontosan megfeleljen a dedikált számítási környezetben történő UDF-végrehajtás pontos viselkedésének: Az alábbi változtatások történtek:
- Az UDF-ek karaktersorozat visszatérési típussal mostantól nem konvertálják implicit módon a nem karaktersorozat értékeket karaktersorozattá. Korábban a visszatérési
strtípusú UDF-ek burkolótstr(..)alkalmaztak az eredményre, függetlenül a visszaadott érték tényleges adattípusától. - Az
timestampvisszatérési típussal rendelkező UDF-ek többé nem alkalmazzák implicit módon az időzónák időbélyegekké való konvertálását.
- Az UDF-ek karaktersorozat visszatérési típussal mostantól nem konvertálják implicit módon a nem karaktersorozat értékeket karaktersorozattá. Korábban a visszatérési