Megosztás a következőn keresztül:

Databricks Runtime karbantartási frissítések

  • Cikk

Ez a cikk a Támogatott Databricks Runtime-verziók karbantartási frissítéseit sorolja fel. Ha karbantartási frissítést szeretne hozzáadni egy meglévő fürthöz, indítsa újra a fürtöt. A nem támogatott Databricks Runtime-verziók karbantartási frissítéseit a Databricks Runtime karbantartási frissítései (archiválva) című témakörben találja.

Feljegyzés

A kiadások szakaszosak. Előfordulhat, hogy az Azure Databricks-fiókja a kezdeti kiadási dátum után néhány napig nem frissül.

Databricks Runtime-kiadások

Karbantartási frissítések kiadás szerint:

Databricks Runtime 15.4

Lásd: Databricks Runtime 15.4 LTS.

  • 2024. október 22.
    • [SPARK-49782][SQL] A ResolveDataFrameDropColumns szabály feloldja az UnresolvedAttribute és a gyermek kimenetét
    • [SPARK-49867][SQL] A GetColumnByOrdinal hívásakor az index túllépése esetén megjelenő hibaüzenet javítása
    • [SPARK-49863][SQL] A NormalizeFloatingNumbers javítása a beágyazott szerkezetek null értékűségének megőrzése érdekében
    • [SPARK-49829] A stream-stream illesztés állapottárolóba történő bemenetének hozzáadására vonatkozó optimalizálás módosítása (helyességi javítás)
    • [SPARK-49905] Dedikált ShuffleOrigin használata állapotalapú operátorhoz, hogy megakadályozza az AQE-ből való módosítást
    • [SPARK-46632][SQL] A szubexpresszió kizárásának javítása, ha az egyenértékű ternáris kifejezések eltérő gyermekekkel rendelkeznek
    • [SPARK-49443][SQL][PYTHON] A to_variant_object kifejezés implementálása és schema_of_variant kifejezések nyomtatása OBJECT for Variant Objects
    • [SPARK-49615] Hibajavítás: Az ML-oszlopséma érvényesítésének beállítása a Spark konfigurációjának spark.sql.caseSensitivemegfelelően.
  • 2024. október 10.
  • 2024. szeptember 25.
    • [SPARK-49628][SQL] A ConstantFoldingnek ki kell másolnia az állapotalapú kifejezést a kiértékelés előtt
    • [SPARK-49000][SQL] A RewriteDistinctAggregates kibontásával kijavíthatja a "select count(distinct 1) from t" (select count(distinct 1) from t" (select count(distinct 1) from t) (select count(distinct 1) from t) (select count(distinct 1) from t) (t) elemet, ahol t üres tábla a RewriteDistinctAggregates kibontásával
    • [SPARK-49492][CONNECT] Inaktív végrehajtásiőrzőn megkísérelt újraattachálás
    • [SPARK-49458][CONNECT][PYTHON] Kiszolgálóoldali munkamenet-azonosító biztosítása a ReattachExecute használatával
    • [SPARK-49017][SQL] A beszúrási utasítás sikertelen, ha több paramétert használ
    • [SPARK-49451] Duplikált kulcsok engedélyezése parse_json.
    • Egyéb hibajavítások.
  • 2024. szeptember 17.
    • [SPARK-48463][ML] Make Binarizer, Bucketizer, Vector Assembler, FeatureHasher, QuantizeDiscretizer, OnehotEncoder, StopWordsRemover, Imputer, Interactor támogató beágyazott bemeneti oszlopok
    • [SPARK-49409][CONNECT] A CONNECT_SESSION_PLAN_CACHE_SIZE alapértelmezett értékének módosítása
    • [SPARK-49526][CONNECT][HOTFIX-15.4.2] Windows-stílusú útvonalak támogatása az ArtifactManagerben
    • "[SPARK-48482][PYTHON] dropDuplicates and dropDuplicatesWIthinWatermark kell elfogadni a változó hosszúságú args"
    • [SPARK-43242][CORE] A "Nem várt típusú BlockId" dobása kijavítása a shuffle-sérülés diagnosztizálásához
    • [SPARK-49366][CONNECT] Az union csomópont kezelése levélként az adatkeret oszlopfeloldásában
    • [SPARK-49018][SQL] Kijavítottuk approx_count_distinct nem működik megfelelően a rendezés során
    • [SPARK-49460][SQL] Eltávolítás cleanupResource() az EmptyRelationExec fájlból
    • [SPARK-49056][SQL] A ErrorClassesJsonReader nem tudja megfelelően kezelni a null értéket
    • [SPARK-49336][CONNECT] A beágyazási szint korlátozása protobuf-üzenet csonkolásakor
  • 2024. augusztus 29.
    • Az utasítás kimenete SHOW CREATE TABLE mostantól tartalmazza a materializált nézeten vagy streamelési táblán definiált sorszűrőket vagy oszlopmaszkokat. Lásd: CREATE TABLE MEGJELENÍTÉSE. A sorszűrőkről és az oszlopmaszkokról további információt a bizalmas táblázatadatok szűrése sorszűrők és oszlopmaszkok használatával című témakörben talál.
    • A megosztott hozzáférési móddal konfigurált számítás esetében a Kafka-köteg olvasási és írási korlátozásai ugyanazok, mint a strukturált streamelés esetében dokumentáltak. Lásd a Streamelési korlátozásokat és a Unity Catalog megosztott hozzáférési módra vonatkozó követelményeit.
    • [SPARK-48941][SPARK-48970] Backport ML-író/ olvasó javításai
    • [SPARK-49074][SQL] A variáns javítása a df.cache()
    • [SPARK-49263][CONNECT] Spark Connect Python-ügyfél: Logikai adatkeret-olvasó beállításainak következetes kezelése
    • [SPARK-48955][SQL] ArrayCompact-módosítások belefoglalása a 15.4-ben
    • [SPARK-48937][SQL] Rendezési támogatás hozzáadása StringToMap sztringkifejezésekhez
    • [SPARK-48929] Belső nézethiba javítása és az elemző kivételkörnyezetének törlése
    • [SPARK-49125][SQL] Duplikált oszlopnevek engedélyezése CSV-írásban
    • [SPARK-48934][SS] Az applyInPandasWithState időkorlátjának beállításához helytelenül konvertált Python-dátum/idő típusok
    • [SPARK-48843] Végtelen ciklus megakadályozása BindParameterekkel
    • [SPARK-48981] A StringType simpleString metódusának javítása a pysparkban rendezésekhez
    • [SPARK-49065][SQL] Az örökölt formázók/elemzők újraegyesítésének támogatnia kell a nem JVM alapértelmezett időzónáit
    • [SPARK-48896] [SPARK-48909] [SPARK-48883] A Backport Spark ML-író javításai
    • [SPARK-48725][SQL] CollationAwareUTF8String.lowerCaseCodePoints integrálása sztringkifejezésekbe
    • [SPARK-48978][SQL] ASCII gyorsútvonal implementálása a rendezési támogatásban a UTF8_LCASE
    • [SPARK-49047][PYTHON][CONNECT] Naplózási üzenet csonkolása
    • [SPARK-49146][SS] A hozzáfűző módú streamelési lekérdezésekben hiányzó vízjelekkel kapcsolatos helyességi hibák áthelyezése a hibakeretbe
    • [SPARK-48977][SQL] Sztringkeresés optimalizálása UTF8_LCASE rendezés alatt
    • [SPARK-48889][SS] testStream az állapottárolók kiürítéséhez a befejezés előtt
    • [SPARK-48463] Beágyazott bemeneti oszlopok támogatása a StringIndexerrel
    • [SPARK-48954] try_mod() try_remainder() helyett
    • Az operációs rendszer biztonsági frissítései.

Databricks Runtime 15.3

Lásd: Databricks Runtime 15.3.

  • 2024. október 22.
    • [SPARK-49905] Dedikált ShuffleOrigin használata állapotalapú operátorhoz, hogy megakadályozza az AQE-ből való módosítást
    • [SPARK-49867][SQL] A GetColumnByOrdinal hívásakor az index túllépése esetén megjelenő hibaüzenet javítása
    • [SPARK-48843][15.3.15.2] A végtelen ciklus megakadályozása BindParameterekkel
    • [SPARK-49829] A stream-stream illesztés állapottárolóba történő bemenetének hozzáadására vonatkozó optimalizálás módosítása (helyességi javítás)
    • [SPARK-49863][SQL] A NormalizeFloatingNumbers javítása a beágyazott szerkezetek null értékűségének megőrzése érdekében
    • [SPARK-49782][SQL] A ResolveDataFrameDropColumns szabály feloldja az UnresolvedAttribute és a gyermek kimenetét
    • [SPARK-46632][SQL] A szubexpresszió kizárásának javítása, ha az egyenértékű ternáris kifejezések eltérő gyermekekkel rendelkeznek
    • Az operációs rendszer biztonsági frissítései.
  • 2024. október 10.
    • [SPARK-49688][CONNECT] Adatverseny javítása a megszakítási és végrehajtási terv között
    • [SPARK-49743][SQL] Az OptimizeCsvJsonExpr nem módosíthatja a sémamezőket a GetArrayStructFields metszésekor
    • [BACKPORT][[SPARK-49474]]https://issues.apache.org/jira/browse/SPARK-49474)[SS] A FlatMapGroupsWithState felhasználói függvény hibaosztályának besorolása
    • Az operációs rendszer biztonsági frissítései.
  • 2024. szeptember 25.
    • [SPARK-49492][CONNECT] Inaktív végrehajtásiőrzőn megkísérelt újraattachálás
    • [SPARK-49628][SQL] A ConstantFoldingnek ki kell másolnia az állapotalapú kifejezést a kiértékelés előtt
    • [SPARK-49000][SQL] A RewriteDistinctAggregates kibontásával kijavíthatja a "select count(distinct 1) from t" (select count(distinct 1) from t" (select count(distinct 1) from t) (select count(distinct 1) from t) (select count(distinct 1) from t) (t) elemet, ahol t üres tábla a RewriteDistinctAggregates kibontásával
    • [SPARK-49458][CONNECT][PYTHON] Kiszolgálóoldali munkamenet-azonosító biztosítása a ReattachExecute használatával
    • [SPARK-48719][SQL] Kijavítottuk a > RegrIntercept számítási hibáját RegrSlope , amikor az első paraméter null értékű
    • Az operációs rendszer biztonsági frissítései.
  • 2024. szeptember 17.
    • [SPARK-49336][CONNECT] A beágyazási szint korlátozása protobuf-üzenet csonkolásakor
    • [SPARK-49526][CONNECT][15.3.5] Windows-stílusú útvonalak támogatása az ArtifactManagerben
    • [SPARK-49366][CONNECT] Az union csomópont kezelése levélként az adatkeret oszlopfeloldásában
    • [SPARK-43242][CORE] A "Nem várt típusú BlockId" dobása kijavítása a shuffle-sérülés diagnosztizálásához
    • [SPARK-49409][CONNECT] A CONNECT_SESSION_PLAN_CACHE_SIZE alapértelmezett értékének módosítása
    • Az operációs rendszer biztonsági frissítései.
  • 2024. augusztus 29.
    • [SPARK-49263][CONNECT] Spark Connect Python-ügyfél: Logikai adatkeret-olvasó beállításainak következetes kezelése
    • [SPARK-49056][SQL] A ErrorClassesJsonReader nem tudja megfelelően kezelni a null értéket
    • [SPARK-48862][PYTHON][CONNECT] Ne hívjon _proto_to_string , ha az INFO-szint nincs engedélyezve
    • [SPARK-49146][SS] A hozzáfűző módú streamelési lekérdezésekben hiányzó vízjelekkel kapcsolatos helyességi hibák áthelyezése a hibakeretbe
  • 2024. augusztus 14.
    • [SPARK-48941][SPARK-48970] Backport ML-író/ olvasó javításai
    • [SPARK-48706][PYTHON] A Python UDF magasabb sorrendű függvényekben nem eredményezhet belső hibát
    • [SPARK-48954] try_mod() try_remainder() helyett
    • [SPARK-48597][SQL] Az isStreaming tulajdonság jelölőjének bevezetése a logikai terv szöveges ábrázolásában
    • [SPARK-49065][SQL] Az örökölt formázók/elemzők újraegyesítésének támogatnia kell a nem JVM alapértelmezett időzónáit
    • [SPARK-49047][PYTHON][CONNECT] Naplózási üzenet csonkolása
    • [SPARK-48740][SQL] A hiányzó ablak specifikációs hibájának korai észlelése
  • 2024. augusztus 1.
    • [Kompatibilitástörő változás] A Databricks Runtime 15.3-as és újabb verziójában a Felhasználó által definiált Python-függvények (UDF), a felhasználó által definiált összesítő függvény (UDAF) vagy a felhasználó által definiált táblafüggvény (UDTF) meghívása, amely argumentumként vagy visszatérési értékként használ típust VARIANT , kivételt okoz. Ez a módosítás megakadályozza, hogy a függvények egyike által visszaadott érvénytelen érték miatt fellépő problémák ne forduljanak elő. A típussal kapcsolatos további információkért lásd a VARIANT VARIANT-okkal a félig strukturált adatok tárolását.
    • A jegyzetfüzetek és feladatok kiszolgáló nélküli számítása esetén az ANSI SQL mód alapértelmezés szerint engedélyezve van. Lásd: Támogatott Spark-konfigurációs paraméterek.
    • A megosztott hozzáférési móddal konfigurált számítás esetében a Kafka-köteg olvasási és írási korlátozásai ugyanazok, mint a strukturált streamelés esetében dokumentáltak. Lásd a Streamelési korlátozásokat és a Unity Catalog megosztott hozzáférési módra vonatkozó követelményeit.
    • Az utasítás kimenete SHOW CREATE TABLE mostantól tartalmazza a materializált nézeten vagy streamelési táblán definiált sorszűrőket vagy oszlopmaszkokat. Lásd: CREATE TABLE MEGJELENÍTÉSE. A sorszűrőkről és az oszlopmaszkokról további információt a bizalmas táblázatadatok szűrése sorszűrők és oszlopmaszkok használatával című témakörben talál.
    • [SPARK-46957][CORE] A leszerelésbe migrált shuffle-fájloknak képesnek kell lenniük a végrehajtótól való törlésre
    • [SPARK-48648][PYTHON][CONNECT] A SparkConnectClient.tags megfelelő threadlocalvá tétele
    • [SPARK-48896] [SPARK-48909] [SPARK-48883] A Backport Spark ML-író javításai
    • [SPARK-48713][SQL] Indextartomány-ellenőrzés hozzáadása a UnsafeRow.pointTo értékhez, ha a baseObject bájttömb
    • [SPARK-48834][SQL] Variáns bemenet/kimenet letiltása python skaláris UDF-ekre, UDTF-ekre és UDAF-ekre a lekérdezés-fordítás során
    • [SPARK-48934][SS] Az applyInPandasWithState időkorlátjának beállításához helytelenül konvertált Python-dátum/idő típusok
    • [SPARK-48705][PYTHON] Explicit módon használja a worker_main, amikor a pysparkkal kezdődik
    • [SPARK-48544][SQL] Az üres TreeNode BitSets memóriaterhelésének csökkentése
    • [SPARK-48889][SS] testStream az állapottárolók kiürítéséhez a befejezés előtt
    • [SPARK-49054][SQL] Az alapértelmezett oszlopértéknek támogatnia kell current_* függvényeket
    • [SPARK-48653][PYTHON] Érvénytelen Python-adatforrás hibaosztály-hivatkozásainak javítása
    • [SPARK-48463] Beágyazott bemeneti oszlopok támogatása a StringIndexerrel
    • [SPARK-48810][CONNECT] A munkamenet-leállítás() API-nak idempotensnek kell lennie, és nem lehet sikertelen, ha a munkamenetet már bezárta a kiszolgáló
    • [SPARK-48873][SQL] Használja a UnsafeRow-t a JSON-elemzőben.
    • Az operációs rendszer biztonsági frissítései.
  • 2024. július 11.
    • (Viselkedésváltozás) A Delta-táblaforrásokkal gyorsítótárazott adatkeretek érvénytelenítve lesznek, ha a forrástábla felülírva van. Ez a változás azt jelenti, hogy a Delta-táblák összes állapotváltozása érvényteleníti a gyorsítótárazott eredményeket. Táblaállapot .checkpoint() megőrzése a DataFrame teljes élettartama alatt.
    • A Snowflake JDBC-illesztőprogram a 3.16.1-es verzióra frissül.
    • Ez a kiadás tartalmaz egy hibát, amely megakadályozta, hogy a Spark felhasználói felületi környezet lapja megfelelően jelenjen meg a Databricks Container Servicesben való futtatáskor.
    • Ha az adatok olvasása során figyelmen kívül szeretné hagyni az érvénytelen partíciókat, a fájlalapú adatforrások( például Parquet, ORC, CSV vagy JSON) az IgnoreInvalidPartitionPaths adatforrásbeállítást igaz értékre állíthatják. Például: spark.read.format("parquet").option("ignoreInvalidPartitionPaths", "true").load(...)`. A spark.sql.files.ignoreInvalidPartitionPaths SQL-konfigurációt is használhatja. Az adatforrás-beállítás azonban elsőbbséget élvez az SQL-konfigurációval szemben. Ez a beállítás alapértelmezés szerint hamis.
    • [SPARK-48100][SQL] A sémában nem kijelölt beágyazott struktúramezők kihagyásával kapcsolatos problémák elhárítása
    • [SPARK-47463][SQL] A V2Predicate használata a kifejezés logikai visszatérési típusával való körbefuttatásához
    • [SPARK-48292][CORE] Visszaállítás [SPARK-39195][SQL] A Spark OutputCommitCoordinator leáll, ha a véglegesített fájl nem összhangban van a tevékenység állapotával
    • [SPARK-48475][PYTHON] Optimalizálja _get_jvm_function a PySparkban.
    • [SPARK-48286] A létező alapértelmezett kifejezéssel rendelkező oszlopelemzés javítása – Felhasználó által tapasztalt hiba hozzáadása
    • [SPARK-48481][SQL][SS] Ne alkalmazza az OptimizeOneRowPlant a streamelési adatkészletre
    • "[SPARK-47406][SQL] A TIMESTAMP és a DATETIME kezelése a MYSQLDialectben"
    • [SPARK-48383][SS] Jobb hiba a kafkai StartOffset beállítás eltérő partícióinál
    • [SPARK-48503][14.3-15.3][SQL] Érvénytelen skaláris al lekérdezések javítása a helytelenül engedélyezett nem egyenértékű oszlopok csoportosításával
    • [SPARK-48445][SQL] Ne beágyazott UDF-ek drága gyerekekkel
    • [SPARK-48252][SQL] Szükség esetén frissítse a CommonExpressionRef szolgáltatást
    • [SPARK-48273][master][SQL] A PlanWithUnresolvedIdentifier késői átírásának javítása
    • [SPARK-48566][PYTHON] Kijavítottuk azt a hibát, amely miatt a partícióindexek helytelenek, ha az UDTF-elemzés() a select és partitionColumns függvényt is használja
    • [SPARK-48556][SQL] Helytelen hibaüzenet kijavítása UNSUPPORTED_GROUPING_EXPRESSION
    • Az operációs rendszer biztonsági frissítései.

Databricks Runtime 15.2

Lásd: Databricks Runtime 15.2.

  • 2024. október 22.
    • [SPARK-49905] Dedikált ShuffleOrigin használata állapotalapú operátorhoz, hogy megakadályozza az AQE-ből való módosítást
    • [SPARK-48843][15.3.15.2] A végtelen ciklus megakadályozása BindParameterekkel
    • [SPARK-49829] A stream-stream illesztés állapottárolóba történő bemenetének hozzáadására vonatkozó optimalizálás módosítása (helyességi javítás)
    • [SPARK-49863][SQL] A NormalizeFloatingNumbers javítása a beágyazott szerkezetek null értékűségének megőrzése érdekében
    • [SPARK-49782][SQL] A ResolveDataFrameDropColumns szabály feloldja az UnresolvedAttribute és a gyermek kimenetét
    • [SPARK-46632][SQL] A szubexpresszió kizárásának javítása, ha az egyenértékű ternáris kifejezések eltérő gyermekekkel rendelkeznek
    • Az operációs rendszer biztonsági frissítései.
  • 2024. október 10.
    • [BACKPORT][[SPARK-49474]]https://issues.apache.org/jira/browse/SPARK-49474)[SS] A FlatMapGroupsWithState felhasználói függvény hibaosztályának besorolása
    • [SPARK-49743][SQL] Az OptimizeCsvJsonExpr nem módosíthatja a sémamezőket a GetArrayStructFields metszésekor
    • [SPARK-49688][CONNECT] Adatverseny javítása a megszakítási és végrehajtási terv között
    • Az operációs rendszer biztonsági frissítései.
  • 2024. szeptember 25.
    • [SPARK-49000][SQL] A RewriteDistinctAggregates kibontásával kijavíthatja a "select count(distinct 1) from t" (select count(distinct 1) from t" (select count(distinct 1) from t) (select count(distinct 1) from t) (select count(distinct 1) from t) (t) elemet, ahol t üres tábla a RewriteDistinctAggregates kibontásával
    • [SPARK-48719][SQL] Javítsa ki a RegrSlope & RegrIntercept számítási hibáját, ha az első paraméter null
    • [SPARK-49458][CONNECT][PYTHON] Kiszolgálóoldali munkamenet-azonosító biztosítása a ReattachExecute használatával
    • [SPARK-49628][SQL] A ConstantFoldingnek ki kell másolnia az állapotalapú kifejezést a kiértékelés előtt
    • [SPARK-49492][CONNECT] Inaktív végrehajtásiőrzőn megkísérelt újraattachálás
    • Az operációs rendszer biztonsági frissítései.
  • 2024. szeptember 17.
    • [SPARK-49336][CONNECT] A beágyazási szint korlátozása protobuf-üzenet csonkolásakor
    • [SPARK-49526][CONNECT] Windows-stílusú elérési utak támogatása az ArtifactManagerben
    • [SPARK-49366][CONNECT] Az union csomópont kezelése levélként az adatkeret oszlopfeloldásában
    • [SPARK-43242][CORE] A "Nem várt típusú BlockId" dobása kijavítása a shuffle-sérülés diagnosztizálásához
    • [SPARK-49409][CONNECT] A CONNECT_SESSION_PLAN_CACHE_SIZE alapértelmezett értékének módosítása
    • Az operációs rendszer biztonsági frissítései.
  • 2024. augusztus 29.
    • [SPARK-49056][SQL] A ErrorClassesJsonReader nem tudja megfelelően kezelni a null értéket
    • [SPARK-48597][SQL] Az isStreaming tulajdonság jelölőjének bevezetése a logikai terv szöveges ábrázolásában
    • [SPARK-48862][PYTHON][CONNECT] Ne hívjon _proto_to_string , ha az INFO-szint nincs engedélyezve
    • [SPARK-49263][CONNECT] Spark Connect Python-ügyfél: Logikai adatkeret-olvasó beállításainak következetes kezelése
    • [SPARK-49146][SS] A hozzáfűző módú streamelési lekérdezésekben hiányzó vízjelekkel kapcsolatos helyességi hibák áthelyezése a hibakeretbe
  • 2024. augusztus 14.
    • [SPARK-48941][SPARK-48970] Backport ML-író/ olvasó javításai
    • [SPARK-48050][SS] Logikai terv naplózása a lekérdezés indításakor
    • [SPARK-48706][PYTHON] A Python UDF magasabb sorrendű függvényekben nem eredményezhet belső hibát
    • [SPARK-48740][SQL] A hiányzó ablak specifikációs hibájának korai észlelése
    • [SPARK-49065][SQL] Az örökölt formázók/elemzők újraegyesítésének támogatnia kell a nem JVM alapértelmezett időzónáit
    • [SPARK-49047][PYTHON][CONNECT] Naplózási üzenet csonkolása
  • 2024. augusztus 1.
    • A jegyzetfüzetek és feladatok kiszolgáló nélküli számítása esetén az ANSI SQL mód alapértelmezés szerint engedélyezve van. Lásd: Támogatott Spark-konfigurációs paraméterek.
    • A megosztott hozzáférési móddal konfigurált számítás esetében a Kafka-köteg olvasási és írási korlátozásai ugyanazok, mint a strukturált streamelés esetében dokumentáltak. Lásd a Streamelési korlátozásokat és a Unity Catalog megosztott hozzáférési módra vonatkozó követelményeit.
    • Az utasítás kimenete SHOW CREATE TABLE mostantól tartalmazza a materializált nézeten vagy streamelési táblán definiált sorszűrőket vagy oszlopmaszkokat. Lásd: CREATE TABLE MEGJELENÍTÉSE. A sorszűrőkről és az oszlopmaszkokról további információt a bizalmas táblázatadatok szűrése sorszűrők és oszlopmaszkok használatával című témakörben talál.
    • [SPARK-48705][PYTHON] Explicit módon használja a worker_main, amikor a pysparkkal kezdődik
    • [SPARK-48047][SQL] Az üres TreeNode-címkék memóriaterhelésének csökkentése
    • [SPARK-48810][CONNECT] A munkamenet-leállítás() API-nak idempotensnek kell lennie, és nem lehet sikertelen, ha a munkamenetet már bezárta a kiszolgáló
    • [SPARK-48873][SQL] Használja a UnsafeRow-t a JSON-elemzőben.
    • [SPARK-46957][CORE] A leszerelésbe migrált shuffle-fájloknak képesnek kell lenniük a végrehajtótól való törlésre
    • [SPARK-48889][SS] testStream az állapottárolók kiürítéséhez a befejezés előtt
    • [SPARK-48713][SQL] Indextartomány-ellenőrzés hozzáadása a UnsafeRow.pointTo értékhez, ha a baseObject bájttömb
    • [SPARK-48896] [SPARK-48909] [SPARK-48883] A Backport Spark ML-író javításai
    • [SPARK-48544][SQL] Az üres TreeNode BitSets memóriaterhelésének csökkentése
    • [SPARK-48934][SS] Az applyInPandasWithState időkorlátjának beállításához helytelenül konvertált Python-dátum/idő típusok
    • [SPARK-48463] Beágyazott bemeneti oszlopok támogatása a StringIndexerrel
    • Az operációs rendszer biztonsági frissítései.
  • 2024. július 11.
    • (Viselkedésváltozás) A Delta-táblaforrásokkal gyorsítótárazott adatkeretek érvénytelenítve lesznek, ha a forrástábla felülírva van. Ez a változás azt jelenti, hogy a Delta-táblák összes állapotváltozása érvényteleníti a gyorsítótárazott eredményeket. Táblaállapot .checkpoint() megőrzése a DataFrame teljes élettartama alatt.
    • A Snowflake JDBC-illesztőprogram a 3.16.1-es verzióra frissül.
    • Ez a kiadás tartalmaz egy hibát, amely megakadályozta, hogy a Spark felhasználói felületi környezet lapja megfelelően jelenjen meg a Databricks Container Servicesben való futtatáskor.
    • Kiszolgáló nélküli jegyzetfüzetek és feladatok esetén az ANSI SQL mód alapértelmezés szerint engedélyezve lesz, és támogatja a rövid neveket
    • Ha az adatok olvasása során figyelmen kívül szeretné hagyni az érvénytelen partíciókat, a fájlalapú adatforrások( például Parquet, ORC, CSV vagy JSON) az IgnoreInvalidPartitionPaths adatforrásbeállítást igaz értékre állíthatják. Például: spark.read.format("parquet").option("ignoreInvalidPartitionPaths", "true").load(...)`. A spark.sql.files.ignoreInvalidPartitionPaths SQL-konfigurációt is használhatja. Az adatforrás-beállítás azonban elsőbbséget élvez az SQL-konfigurációval szemben. Ez a beállítás alapértelmezés szerint hamis.
    • [SPARK-48273][SQL] A PlanWithUnresolvedIdentifier késői átírásának javítása
    • [SPARK-48292][CORE] Visszaállítás [SPARK-39195][SQL] A Spark OutputCommitCoordinator leáll, ha a véglegesített fájl nem összhangban van a tevékenység állapotával
    • [SPARK-48100][SQL] A sémában nem kijelölt beágyazott struktúramezők kihagyásával kapcsolatos problémák elhárítása
    • [SPARK-48286] A létező alapértelmezett kifejezéssel rendelkező oszlopelemzés javítása – Felhasználó által tapasztalt hiba hozzáadása
    • [SPARK-48294][SQL] Kisbetű kezelése a nestedTypeMissingElementTypeError alkalmazásban
    • [SPARK-48556][SQL] Helytelen hibaüzenet kijavítása UNSUPPORTED_GROUPING_EXPRESSION
    • [SPARK-48648][PYTHON][CONNECT] A SparkConnectClient.tags megfelelő threadlocalvá tétele
    • [SPARK-48503][SQL] Érvénytelen skaláris al lekérdezések javítása a helytelenül engedélyezett nem egyenértékű oszlopok csoportosításával
    • [SPARK-48252][SQL] Szükség esetén frissítse a CommonExpressionRef szolgáltatást
    • [SPARK-48475][PYTHON] Optimalizálja _get_jvm_function a PySparkban.
    • [SPARK-48566][PYTHON] Kijavítottuk azt a hibát, amely miatt a partícióindexek helytelenek, ha az UDTF-elemzés() a select és partitionColumns függvényt is használja
    • [SPARK-48481][SQL][SS] Ne alkalmazza az OptimizeOneRowPlant a streamelési adatkészletre
    • [SPARK-47463][SQL] A V2Predicate használata a kifejezés logikai visszatérési típusával való körbefuttatásához
    • [SPARK-48383][SS] Jobb hiba a kafkai StartOffset beállítás eltérő partícióinál
    • [SPARK-48445][SQL] Ne beágyazott UDF-ek drága gyerekekkel
    • Az operációs rendszer biztonsági frissítései.
  • 2024. június 17.
    • applyInPandasWithState() megosztott fürtökön érhető el.
    • Kijavít egy hibát, amely miatt a rangsor-ablak optimalizálása a Photon TopK használatával helytelenül kezelt partíciókat és szerkezeteket tartalmaz.
    • Kijavítottunk egy hibát a try_divide() függvényben, amelyben a tizedesjegyeket tartalmazó bemenetek váratlan kivételeket eredményeztek.
    • [SPARK-48197][SQL] Az érvénytelen lambda függvény helyességi hibájának elkerülése
    • [SPARK-48276][PYTHON][CONNECT] Adja hozzá a hiányzó metódust a következőhöz __repr__ : SQLExpression
    • [SPARK-48014][SQL] A MakeFromJava hiba módosítása a EvaluatePythonban felhasználói hibára
    • [SPARK-48016][SQL] Hiba kijavítása try_divide függvényben decimális értékekkel
    • [SPARK-47986][CONNECT][PYTHON] Nem hozható létre új munkamenet, ha a kiszolgáló bezárja az alapértelmezett munkamenetet
    • [SPARK-48173][SQL] A CheckAnalysisnek látnia kell a teljes lekérdezési tervet
    • [SPARK-48056][CONNECT][PYTHON] Terv újrafuttatása SESSION_NOT_FOUND hiba esetén, és nem érkezett részleges válasz
    • [SPARK-48172][SQL] A JDBCDialects backport 15.2-es verzióra való menekülésével kapcsolatos problémák megoldása
    • [SPARK-48105][SS] Az állapottároló kiürítése és a pillanatképek készítése közötti versenyállapot javítása
    • [SPARK-48288] Forrásadattípus hozzáadása az összekötők leadott kifejezéséhez
    • [SPARK-48310][PYTHON][CONNECT] A gyorsítótárazott tulajdonságoknak másolatokat kell visszaadni
    • [SPARK-48277] ErrorClassesJsonReader.getErrorMessage hibaüzenetének javítása
    • [SPARK-47986][CONNECT][PYTHON] Nem hozható létre új munkamenet, ha a kiszolgáló bezárja az alapértelmezett munkamenetet
    • "[SPARK-47406][SQL] A TIMESTAMP és a DATETIME kezelése a MYSQLDialectben"
    • [SPARK-47994][SQL] Hiba kijavítása a CASE WHEN oszlopszűrő leküldésével az SQLServerben
    • [SPARK-47764][CORE][SQL] A ShuffleCleanupMode alapján történő törlési shuffle függőségek
    • [SPARK-47921][CONNECT] Az ExecuteJobTag létrehozásának javítása az ExecuteHolderben
    • [SPARK-48010][SQL] A conf.resolver ismételt hívásának elkerülése a resolveExpressionban
    • [SPARK-48146][SQL] Az aggregátumfüggvény javítása a Kifejezés gyermekalkalmazásban
    • [SPARK-48180][SQL] Javítsa a hibát, ha az UDTF-hívás a TABLE arg használatával elfelejti a zárójeleket több PARTITION/ORDER BY exprs körül
    • Az operációs rendszer biztonsági frissítései.

Databricks Runtime 15.1

Lásd: Databricks Runtime 15.1.

  • 2024. október 22.
    • [SPARK-49863][SQL] A NormalizeFloatingNumbers javítása a beágyazott szerkezetek null értékűségének megőrzése érdekében
    • [SPARK-46632][SQL] A szubexpresszió kizárásának javítása, ha az egyenértékű ternáris kifejezések eltérő gyermekekkel rendelkeznek
    • [SPARK-49782][SQL] A ResolveDataFrameDropColumns szabály feloldja az UnresolvedAttribute és a gyermek kimenetét
    • [SPARK-49905] Dedikált ShuffleOrigin használata állapotalapú operátorhoz, hogy megakadályozza az AQE-ből való módosítást
    • [SPARK-49829] A stream-stream illesztés állapottárolóba történő bemenetének hozzáadására vonatkozó optimalizálás módosítása (helyességi javítás)
    • Az operációs rendszer biztonsági frissítései.
  • 2024. október 10.
    • [SPARK-49688][CONNECT] Adatverseny javítása a megszakítási és végrehajtási terv között
    • [SPARK-49743][SQL] Az OptimizeCsvJsonExpr nem módosíthatja a sémamezőket a GetArrayStructFields metszésekor
    • [BACKPORT][[SPARK-49474]]https://issues.apache.org/jira/browse/SPARK-49474)[SS] A FlatMapGroupsWithState felhasználói függvény hibaosztályának besorolása
    • Az operációs rendszer biztonsági frissítései.
  • 2024. szeptember 25.
    • [SPARK-49628][SQL] A ConstantFoldingnek ki kell másolnia az állapotalapú kifejezést a kiértékelés előtt
    • [SPARK-48719][SQL] Javítsa ki a RegrSlope & RegrIntercept számítási hibáját, ha az első paraméter null
    • [SPARK-49492][CONNECT] Inaktív végrehajtásiőrzőn megkísérelt újraattachálás
    • [SPARK-49000][SQL] A RewriteDistinctAggregates kibontásával kijavíthatja a "select count(distinct 1) from t" (select count(distinct 1) from t" (select count(distinct 1) from t) (select count(distinct 1) from t) (select count(distinct 1) from t) (t) elemet, ahol t üres tábla a RewriteDistinctAggregates kibontásával
    • [SPARK-49458][CONNECT][PYTHON] Kiszolgálóoldali munkamenet-azonosító biztosítása a ReattachExecute használatával
    • Az operációs rendszer biztonsági frissítései.
  • 2024. szeptember 17.
    • [SPARK-49336][CONNECT] A beágyazási szint korlátozása protobuf-üzenet csonkolásakor
    • [SPARK-49526][CONNECT] Windows-stílusú elérési utak támogatása az ArtifactManagerben
    • [SPARK-49409][CONNECT] A CONNECT_SESSION_PLAN_CACHE_SIZE alapértelmezett értékének módosítása
    • [SPARK-43242][CORE] A "Nem várt típusú BlockId" dobása kijavítása a shuffle-sérülés diagnosztizálásához
    • [SPARK-49366][CONNECT] Az union csomópont kezelése levélként az adatkeret oszlopfeloldásában
  • 2024. augusztus 29.
    • [SPARK-49263][CONNECT] Spark Connect Python-ügyfél: Logikai adatkeret-olvasó beállításainak következetes kezelése
    • [SPARK-49056][SQL] A ErrorClassesJsonReader nem tudja megfelelően kezelni a null értéket
    • [SPARK-48862][PYTHON][CONNECT] Ne hívjon _proto_to_string , ha az INFO-szint nincs engedélyezve
    • [SPARK-49146][SS] A hozzáfűző módú streamelési lekérdezésekben hiányzó vízjelekkel kapcsolatos helyességi hibák áthelyezése a hibakeretbe
  • 2024. augusztus 14.
    • [SPARK-48941][SPARK-48970] Backport ML-író/ olvasó javításai
    • [SPARK-48050][SS] Logikai terv naplózása a lekérdezés indításakor
    • [SPARK-48706][PYTHON] A Python UDF magasabb sorrendű függvényekben nem eredményezhet belső hibát
    • [SPARK-48597][SQL] Az isStreaming tulajdonság jelölőjének bevezetése a logikai terv szöveges ábrázolásában
    • [SPARK-49065][SQL] Az örökölt formázók/elemzők újraegyesítésének támogatnia kell a nem JVM alapértelmezett időzónáit
    • [SPARK-49047][PYTHON][CONNECT] Naplózási üzenet csonkolása
    • [SPARK-48740][SQL] A hiányzó ablak specifikációs hibájának korai észlelése
  • 2024. augusztus 1.
    • A jegyzetfüzetek és feladatok kiszolgáló nélküli számítása esetén az ANSI SQL mód alapértelmezés szerint engedélyezve van. Lásd: Támogatott Spark-konfigurációs paraméterek.
    • A megosztott hozzáférési móddal konfigurált számítás esetében a Kafka-köteg olvasási és írási korlátozásai ugyanazok, mint a strukturált streamelés esetében dokumentáltak. Lásd a Streamelési korlátozásokat és a Unity Catalog megosztott hozzáférési módra vonatkozó követelményeit.
    • Az utasítás kimenete SHOW CREATE TABLE mostantól tartalmazza a materializált nézeten vagy streamelési táblán definiált sorszűrőket vagy oszlopmaszkokat. Lásd: CREATE TABLE MEGJELENÍTÉSE. A sorszűrőkről és az oszlopmaszkokról további információt a bizalmas táblázatadatok szűrése sorszűrők és oszlopmaszkok használatával című témakörben talál.
    • [SPARK-48544][SQL] Az üres TreeNode BitSets memóriaterhelésének csökkentése
    • [SPARK-46957][CORE] A leszerelésbe migrált shuffle-fájloknak képesnek kell lenniük a végrehajtótól való törlésre
    • [SPARK-47202][PYTHON] A tzinfo elírási dátumidejeinek javítása
    • [SPARK-48713][SQL] Indextartomány-ellenőrzés hozzáadása a UnsafeRow.pointTo értékhez, ha a baseObject bájttömb
    • [SPARK-48896] [SPARK-48909] [SPARK-48883] A Backport Spark ML-író javításai
    • [SPARK-48810][CONNECT] A munkamenet-leállítás() API-nak idempotensnek kell lennie, és nem lehet sikertelen, ha a munkamenetet már bezárta a kiszolgáló
    • [SPARK-48873][SQL] Használja a UnsafeRow-t a JSON-elemzőben.
    • [SPARK-48934][SS] Az applyInPandasWithState időkorlátjának beállításához helytelenül konvertált Python-dátum/idő típusok
    • [SPARK-48705][PYTHON] Explicit módon használja a worker_main, amikor a pysparkkal kezdődik
    • [SPARK-48889][SS] testStream az állapottárolók kiürítéséhez a befejezés előtt
    • [SPARK-48047][SQL] Az üres TreeNode-címkék memóriaterhelésének csökkentése
    • [SPARK-48463] Beágyazott bemeneti oszlopok támogatása a StringIndexerrel
    • Az operációs rendszer biztonsági frissítései.
  • 2024. július 11.
    • (Viselkedésváltozás) A Delta-táblaforrásokkal gyorsítótárazott adatkeretek érvénytelenítve lesznek, ha a forrástábla felülírva van. Ez a változás azt jelenti, hogy a Delta-táblák összes állapotváltozása érvényteleníti a gyorsítótárazott eredményeket. Táblaállapot .checkpoint() megőrzése a DataFrame teljes élettartama alatt.
    • A Snowflake JDBC-illesztőprogram a 3.16.1-es verzióra frissül.
    • Ez a kiadás tartalmaz egy hibát, amely megakadályozta, hogy a Spark felhasználói felületi környezet lapja megfelelően jelenjen meg a Databricks Container Servicesben való futtatáskor.
    • A jegyzetfüzetek és feladatok kiszolgáló nélküli számítása esetén az ANSI SQL mód alapértelmezés szerint engedélyezve van. Lásd: Támogatott Spark-konfigurációs paraméterek.
    • Ha az adatok olvasása során figyelmen kívül szeretné hagyni az érvénytelen partíciókat, a fájlalapú adatforrások( például Parquet, ORC, CSV vagy JSON) az IgnoreInvalidPartitionPaths adatforrásbeállítást igaz értékre állíthatják. Például: spark.read.format("parquet").option("ignoreInvalidPartitionPaths", "true").load(...)`. A spark.sql.files.ignoreInvalidPartitionPaths SQL-konfigurációt is használhatja. Az adatforrás-beállítás azonban elsőbbséget élvez az SQL-konfigurációval szemben. Ez a beállítás alapértelmezés szerint hamis.
    • [SPARK-48383][SS] Jobb hiba a kafkai StartOffset beállítás eltérő partícióinál
    • [SPARK-48481][SQL][SS] Ne alkalmazza az OptimizeOneRowPlant a streamelési adatkészletre
    • [SPARK-48100][SQL] A sémában nem kijelölt beágyazott struktúramezők kihagyásával kapcsolatos problémák elhárítása
    • [SPARK-47463][SQL] A V2Predicate használata a kifejezés logikai visszatérési típusával való körbefuttatásához
    • [SPARK-48445][SQL] Ne beágyazott UDF-ek drága gyerekekkel
    • [SPARK-48292][CORE] Visszaállítás [SPARK-39195][SQL] A Spark OutputCommitCoordinator leáll, ha a véglegesített fájl nem összhangban van a tevékenység állapotával
    • [SPARK-48566][PYTHON] Kijavítottuk azt a hibát, amely miatt a partícióindexek helytelenek, ha az UDTF-elemzés() a select és partitionColumns függvényt is használja
    • [SPARK-48648][PYTHON][CONNECT] A SparkConnectClient.tags megfelelő threadlocalvá tétele
    • [SPARK-48503][SQL] Érvénytelen skaláris al lekérdezések javítása a helytelenül engedélyezett nem egyenértékű oszlopok csoportosításával
    • [SPARK-48252][SQL] Szükség esetén frissítse a CommonExpressionRef szolgáltatást
    • [SPARK-48475][PYTHON] Optimalizálja _get_jvm_function a PySparkban.
    • [SPARK-48294][SQL] Kisbetű kezelése a nestedTypeMissingElementTypeError alkalmazásban
    • [SPARK-48286] A létező alapértelmezett kifejezéssel rendelkező oszlopelemzés javítása – Felhasználó által tapasztalt hiba hozzáadása
    • [SPARK-47309][SQL] XML: Sémakövető tesztek hozzáadása értékcímkékhez
    • [SPARK-47309][SQL][XML] Sémakövető egységtesztek hozzáadása
    • [SPARK-48273][SQL] A PlanWithUnresolvedIdentifier késői átírásának javítása
    • Az operációs rendszer biztonsági frissítései.
  • 2024. június 17.
    • applyInPandasWithState() megosztott fürtökön érhető el.
    • Kijavít egy hibát, amely miatt a rangsor-ablak optimalizálása a Photon TopK használatával helytelenül kezelt partíciókat és szerkezeteket tartalmaz.
    • [SPARK-48310][PYTHON][CONNECT] A gyorsítótárazott tulajdonságoknak másolatokat kell visszaadni
    • [SPARK-48276][PYTHON][CONNECT] Adja hozzá a hiányzó metódust a következőhöz __repr__ : SQLExpression
    • [SPARK-48277] ErrorClassesJsonReader.getErrorMessage hibaüzenetének javítása
    • [SPARK-47764][CORE][SQL] A ShuffleCleanupMode alapján történő törlési shuffle függőségek
    • Az operációs rendszer biztonsági frissítései.
  • 2024. május 21.
    • Kijavítottunk egy hibát a try_divide() függvényben, amelyben a tizedesjegyeket tartalmazó bemenetek váratlan kivételeket eredményeztek.
    • [SPARK-48173][SQL] A CheckAnalysisnek látnia kell a teljes lekérdezési tervet
    • [SPARK-48016][SQL] Hiba kijavítása try_divide függvényben decimális értékekkel
    • [SPARK-48105][SS] Az állapottároló kiürítése és a pillanatképek készítése közötti versenyállapot javítása
    • [SPARK-48197][SQL] Az érvénytelen lambda függvény helyességi hibájának elkerülése
    • [SPARK-48180][SQL] Javítsa a hibát, ha az UDTF-hívás a TABLE arg használatával elfelejti a zárójeleket több PARTITION/ORDER BY exprs körül
    • [SPARK-48014][SQL] A MakeFromJava hiba módosítása a EvaluatePythonban felhasználói hibára
    • [SPARK-48056][CONNECT][PYTHON] Terv újrafuttatása SESSION_NOT_FOUND hiba esetén, és nem érkezett részleges válasz
    • [SPARK-48146][SQL] Az aggregátumfüggvény javítása a Kifejezés gyermekalkalmazásban
    • [SPARK-47994][SQL] Hiba kijavítása a CASE WHEN oszlopszűrő leküldésével az SQLServerben
    • Az operációs rendszer biztonsági frissítései.
  • 2024. május 9.
    • [SPARK-47543][CONNECT][PYTHON] A diktálás MapType-ként való következtetése a Pandas DataFrame-ből a DataFrame létrehozásának engedélyezéséhez
    • [SPARK-47739][SQL] Logikai avro-típus regisztrálása
    • [SPARK-48044][PYTHON][CONNECT] Gyorsítótár DataFrame.isStreaming
    • [SPARK-47855][CONNECT] Hozzáadás spark.sql.execution.arrow.pyspark.fallback.enabled a nem támogatott listában
    • [SPARK-48010][SQL] A conf.resolver ismételt hívásának elkerülése a resolveExpressionban
    • [SPARK-47941] [SS] [Csatlakozás] ForeachBatch-feldolgozó inicializálási hibáinak propagálása a PySpark felhasználóinak
    • [SPARK-47819][CONNECT][Cherry-pick-15.0] Aszinkron visszahívás használata végrehajtás-törléshez
    • [SPARK-47956][SQL] A nem megoldott LCA-referencia sanity check for un olded LCA reference
    • [SPARK-47839][SQL] Összesített hiba javítása a RewriteWithExpression alkalmazásban
    • [SPARK-48018][SS] A kafkaException.couldNotReadOffsetRange dobásakor hiányzó paramhibát okozó null groupId kijavítása
    • [SPARK-47371] [SQL] XML: A CDATA-ban található sorcímkék figyelmen kívül hagyása
    • [SPARK-47907][SQL] A bang beállítása konfiguráció alá
    • [SPARK-47895]Az [SQL] csoportnak mindennek idempotensnek kell lennie
    • [SPARK-47973][CORE] Híváswebhely naplózása a SparkContext.stop() és újabb verzióiban a SparkContext.assertNotStopped() alkalmazásban
    • [SPARK-47986][CONNECT][PYTHON] Nem hozható létre új munkamenet, ha a kiszolgáló bezárja az alapértelmezett munkamenetet
    • Az operációs rendszer biztonsági frissítései.

Databricks Runtime 14.3

Lásd: Databricks Runtime 14.3 LTS.

  • 2024. október 22.
    • [SPARK-48843] Végtelen ciklus megakadályozása BindParameterekkel
    • [SPARK-49863][SQL] A NormalizeFloatingNumbers javítása a beágyazott szerkezetek null értékűségének megőrzése érdekében
    • [SPARK-49905] Dedikált ShuffleOrigin használata állapotalapú operátorhoz, hogy megakadályozza az AQE-ből való módosítást
    • [SPARK-46632][SQL] A szubexpresszió kizárásának javítása, ha az egyenértékű ternáris kifejezések eltérő gyermekekkel rendelkeznek
    • [SPARK-49782][SQL] A ResolveDataFrameDropColumns szabály feloldja az UnresolvedAttribute és a gyermek kimenetét
    • [BACKPORT][[SPARK-49326]]https://issues.apache.org/jira/browse/SPARK-49326)[SS] A Foreach fogadó felhasználói függvényének hibaosztályba sorolása
    • [SPARK-49829] A stream-stream illesztés állapottárolóba történő bemenetének hozzáadására vonatkozó optimalizálás módosítása (helyességi javítás)
    • Az operációs rendszer biztonsági frissítései.
  • 2024. október 10.
  • 2024. szeptember 25.
    • [SPARK-48810][CONNECT] A munkamenet-leállítás() API-nak idempotensnek kell lennie, és nem lehet sikertelen, ha a munkamenetet már bezárta a kiszolgáló
    • [SPARK-48719][SQL] Javítsa ki a "RegrS...
    • [SPARK-49000][SQL] A RewriteDistinctAggregates kibontásával kijavíthatja a "select count(distinct 1) from t" (select count(distinct 1) from t" (select count(distinct 1) from t) (select count(distinct 1) from t) (select count(distinct 1) from t) (t) elemet, ahol t üres tábla a RewriteDistinctAggregates kibontásával
    • [SPARK-49628][SQL] A ConstantFoldingnek ki kell másolnia az állapotalapú kifejezést a kiértékelés előtt
    • [SPARK-49492][CONNECT] Inaktív végrehajtásiőrzőn megkísérelt újraattachálás
    • Az operációs rendszer biztonsági frissítései.
  • 2024. szeptember 17.
    • [SPARK-49336][CONNECT] A beágyazási szint korlátozása protobuf-üzenet csonkolásakor
    • [SPARK-43242][CORE] A "Nem várt típusú BlockId" dobása kijavítása a shuffle-sérülés diagnosztizálásához
    • [SPARK-48463][ML] Make Binarizer, Bucketizer, Vector Assembler, FeatureHasher, QuantizeDiscretizer, OnehotEncoder, StopWordsRemover, Imputer, Interactor támogató beágyazott bemeneti oszlopok
    • [SPARK-49526][CONNECT] Windows-stílusú elérési utak támogatása az ArtifactManagerben
    • [SPARK-49409][CONNECT] A CONNECT_SESSION_PLAN_CACHE_SIZE alapértelmezett értékének módosítása
    • [SPARK-49366][CONNECT] Az union csomópont kezelése levélként az adatkeret oszlopfeloldásában
  • 2024. augusztus 29.
    • [SPARK-49146][SS] A hozzáfűző módú streamelési lekérdezésekben hiányzó vízjelekkel kapcsolatos helyességi hibák áthelyezése a hibakeretbe
    • [SPARK-48862][PYTHON][CONNECT] Ne hívjon _proto_to_string , ha az INFO-szint nincs engedélyezve
    • [SPARK-49263][CONNECT] Spark Connect Python-ügyfél: Logikai adatkeret-olvasó beállításainak következetes kezelése
  • 2024. augusztus 14.
    • [SPARK-48941][SPARK-48970] Backport ML-író/ olvasó javításai
    • [SPARK-48706][PYTHON] A Python UDF magasabb sorrendű függvényekben nem eredményezhet belső hibát
    • [SPARK-49056][SQL] A ErrorClassesJsonReader nem tudja megfelelően kezelni a null értéket
    • [SPARK-48597][SQL] Az isStreaming tulajdonság jelölőjének bevezetése a logikai terv szöveges ábrázolásában
    • [SPARK-49065][SQL] Az örökölt formázók/elemzők újraegyesítésének támogatnia kell a nem JVM alapértelmezett időzónáit
    • [SPARK-48934][SS] Az applyInPandasWithState időkorlátjának beállításához helytelenül konvertált Python-dátum/idő típusok
  • 2024. augusztus 1.
    • Ez a kiadás tartalmaz egy hibajavítást a ColumnVector Spark Java-felületen található osztályokhoz és ColumnarArray osztályokhoz. A javítást megelőző esetekben előfordulhat, hogy a rendszer hibás vagy hibás adatokat ad vissza, ArrayIndexOutOfBoundsException ha az egyik osztály egy példánya tartalmazott null értékeket.
    • A jegyzetfüzetek és feladatok kiszolgáló nélküli számítása esetén az ANSI SQL mód alapértelmezés szerint engedélyezve van. Lásd: Támogatott Spark-konfigurációs paraméterek.
    • A megosztott hozzáférési móddal konfigurált számítás esetében a Kafka-köteg olvasási és írási korlátozásai ugyanazok, mint a strukturált streamelés esetében dokumentáltak. Lásd a Streamelési korlátozásokat és a Unity Catalog megosztott hozzáférési módra vonatkozó követelményeit.
    • Az utasítás kimenete SHOW CREATE TABLE mostantól tartalmazza a materializált nézeten vagy streamelési táblán definiált sorszűrőket vagy oszlopmaszkokat. Lásd: CREATE TABLE MEGJELENÍTÉSE. A sorszűrőkről és az oszlopmaszkokról további információt a bizalmas táblázatadatok szűrése sorszűrők és oszlopmaszkok használatával című témakörben talál.
    • [SPARK-48896] [SPARK-48909] [SPARK-48883] A Backport Spark ML-író javításai
    • [SPARK-48889][SS] testStream az állapottárolók kiürítéséhez a befejezés előtt
    • [SPARK-48705][PYTHON] Explicit módon használja a worker_main, amikor a pysparkkal kezdődik
    • [SPARK-48047][SQL] Az üres TreeNode-címkék memóriaterhelésének csökkentése
    • [SPARK-48544][SQL] Az üres TreeNode BitSets memóriaterhelésének csökkentése
    • [SPARK-46957][CORE] A leszerelésbe migrált shuffle-fájloknak képesnek kell lenniük a végrehajtótól való törlésre
    • [SPARK-48463] Beágyazott bemeneti oszlopok támogatása a StringIndexerrel
    • [SPARK-47202][PYTHON] A tzinfo elírási dátumidejeinek javítása
    • [SPARK-47713][SQL][CONNECT] Öncsatlakozásos hiba kijavítása
    • Az operációs rendszer biztonsági frissítései.
  • 2024. július 11.
    • (Viselkedésváltozás) A Delta-táblaforrásokkal gyorsítótárazott adatkeretek érvénytelenítve lesznek, ha a forrástábla felülírva van. Ez a változás azt jelenti, hogy a Delta-táblák összes állapotváltozása érvényteleníti a gyorsítótárazott eredményeket. Táblaállapot .checkpoint() megőrzése a DataFrame teljes élettartama alatt.
    • A Snowflake JDBC-illesztőprogram a 3.16.1-es verzióra frissül.
    • Ez a kiadás tartalmaz egy hibát, amely megakadályozta, hogy a Spark felhasználói felületi környezet lapja megfelelően jelenjen meg a Databricks Container Servicesben való futtatáskor.
    • A jegyzetfüzetek és feladatok kiszolgáló nélküli számítása esetén az ANSI SQL mód alapértelmezés szerint engedélyezve van. Lásd: Támogatott Spark-konfigurációs paraméterek.
    • Ha az adatok olvasása során figyelmen kívül szeretné hagyni az érvénytelen partíciókat, a fájlalapú adatforrások( például Parquet, ORC, CSV vagy JSON) az IgnoreInvalidPartitionPaths adatforrásbeállítást igaz értékre állíthatják. Például: spark.read.format("parquet").option("ignoreInvalidPartitionPaths", "true").load(...). A spark.sql.files.ignoreInvalidPartitionPaths SQL-konfigurációt is használhatja. Az adatforrás-beállítás azonban elsőbbséget élvez az SQL-konfigurációval szemben. Ez a beállítás alapértelmezés szerint hamis.
    • [SPARK-48648][PYTHON][CONNECT] A SparkConnectClient.tags megfelelő threadlocalvá tétele
    • [SPARK-48445][SQL] Ne beágyazott UDF-ek drága gyerekekkel
    • [SPARK-48481][SQL][SS] Ne alkalmazza az OptimizeOneRowPlant a streamelési adatkészletre
    • [SPARK-48383][SS] Jobb hiba a kafkai StartOffset beállítás eltérő partícióinál
    • [SPARK-48503][SQL] Érvénytelen skaláris al lekérdezések javítása a helytelenül engedélyezett nem egyenértékű oszlopok csoportosításával
    • [SPARK-48100][SQL] A sémában nem kijelölt beágyazott struktúramezők kihagyásával kapcsolatos problémák elhárítása
    • [SPARK-48273][SQL] A PlanWithUnresolvedIdentifier késői átírásának javítása
    • [SPARK-48252][SQL] Szükség esetén frissítse a CommonExpressionRef szolgáltatást
    • [SPARK-48475][PYTHON] Optimalizálja _get_jvm_function a PySparkban.
    • [SPARK-48292][CORE] Visszaállítás [SPARK-39195][SQL] A Spark OutputCommitCoordinator leáll, ha a véglegesített fájl nem összhangban van a tevékenység állapotával
    • Az operációs rendszer biztonsági frissítései.
  • 2024. június 17.
    • applyInPandasWithState() megosztott fürtökön érhető el.
    • Kijavít egy hibát, amely miatt a rangsor-ablak optimalizálása a Photon TopK használatával helytelenül kezelt partíciókat és szerkezeteket tartalmaz.
    • [SPARK-48310][PYTHON][CONNECT] A gyorsítótárazott tulajdonságoknak másolatokat kell visszaadni
    • [SPARK-48276][PYTHON][CONNECT] Adja hozzá a hiányzó metódust a következőhöz __repr__ : SQLExpression
    • [SPARK-48294][SQL] Kisbetű kezelése a nestedTypeMissingElementTypeError alkalmazásban
    • Az operációs rendszer biztonsági frissítései.
  • 2024. május 21.
    • A (viselkedésváltozás) dbutils.widgets.getAll() mostantól támogatott a jegyzetfüzet összes widgetértékének lekéréséhez.
    • Kijavítottunk egy hibát a try_divide() függvényben, amelyben a tizedesjegyeket tartalmazó bemenetek váratlan kivételeket eredményeztek.
    • [SPARK-48056][CONNECT][PYTHON] Terv újrafuttatása SESSION_NOT_FOUND hiba esetén, és nem érkezett részleges válasz
    • [SPARK-48146][SQL] Az aggregátumfüggvény javítása a Kifejezés gyermekalkalmazásban
    • [SPARK-47986][CONNECT][PYTHON] Nem hozható létre új munkamenet, ha a kiszolgáló bezárja az alapértelmezett munkamenetet
    • [SPARK-48180][SQL] Javítsa a hibát, ha az UDTF-hívás a TABLE arg használatával elfelejti a zárójeleket több PARTITION/ORDER BY exprs körül
    • [SPARK-48016][SQL] Hiba kijavítása try_divide függvényben decimális értékekkel
    • [SPARK-48197][SQL] Az érvénytelen lambda függvény helyességi hibájának elkerülése
    • [SPARK-47994][SQL] Hiba kijavítása a CASE WHEN oszlopszűrő leküldésével az SQLServerben
    • [SPARK-48173][SQL] A CheckAnalysisnek látnia kell a teljes lekérdezési tervet
    • [SPARK-48105][SS] Az állapottároló kiürítése és a pillanatképek készítése közötti versenyállapot javítása
    • Az operációs rendszer biztonsági frissítései.
  • 2024. május 9.
    • A (viselkedésváltozás) applyInPandas és mapInPandas az UDF-típusok mostantól támogatottak a Databricks Runtime 14.3-as vagy újabb verzióját futtató megosztott hozzáférési módú számításban.
    • [SPARK-47739][SQL] Logikai avro-típus regisztrálása
    • [SPARK-47941] [SS] [Csatlakozás] ForeachBatch-feldolgozó inicializálási hibáinak propagálása a PySpark felhasználóinak
    • [SPARK-48010][SQL] A conf.resolver ismételt hívásának elkerülése a resolveExpressionban
    • [SPARK-48044][PYTHON][CONNECT] Gyorsítótár DataFrame.isStreaming
    • [SPARK-47956][SQL] A nem megoldott LCA-referencia sanity check for un olded LCA reference
    • [SPARK-47543][CONNECT][PYTHON] A Diktálás a Pandas DataFrame-ből Mapype-ként való következtetése a DataFrame létrehozásának engedélyezéséhez
    • [SPARK-47819][CONNECT][Cherry-pick-14.3] Aszinkron visszahívás használata a végrehajtás törléséhez
    • [SPARK-47764][CORE][SQL] A ShuffleCleanupMode alapján történő törlési shuffle függőségek
    • [SPARK-48018][SS] A kafkaException.couldNotReadOffsetRange dobásakor hiányzó paramhibát okozó null groupId kijavítása
    • [SPARK-47839][SQL] Összesített hiba javítása a RewriteWithExpression alkalmazásban
    • [SPARK-47371] [SQL] XML: A CDATA-ban található sorcímkék figyelmen kívül hagyása
    • [SPARK-47895]Az [SQL] csoportnak mindennek idempotensnek kell lennie
    • [SPARK-47973][CORE] Híváswebhely naplózása a SparkContext.stop() és újabb verzióiban a SparkContext.assertNotStopped() alkalmazásban
    • Az operációs rendszer biztonsági frissítései.
  • 2024. április 25.
    • [SPARK-47543][CONNECT][PYTHON] Következtetés a dict MapType Pandas DataFrame-ből a DataFrame létrehozásának engedélyezéséhez
    • [SPARK-47694][CONNECT] Az üzenet maximális méretének konfigurálása az ügyféloldalon
    • [SPARK-47664][PYTHON][CONNECT][Cherry-pick-14.3] Ellenőrizze az oszlop nevét gyorsítótárazott sémával
    • [SPARK-47862][PYTHON][CONNECT]Proto-fájlok létrehozásának javítása
    • "[SPARK-47543][CONNECT][PYTHON] Következtetés dict MapType a Pandas DataFrame-ből a DataFrame létrehozásának engedélyezéséhez"
    • [SPARK-47704][SQL] A JSON-elemzés a "java.lang.ClassCastException" hibával meghiúsul, ha a spark.sql.json.enablePartialResults engedélyezve van
    • [SPARK-47812][CONNECT] A SparkSession forEachBatch-feldolgozó támogatásának támogatása
    • [SPARK-47818][CONNECT][Cherry-pick-14.3] Tervgyorsítótár bevezetése a SparkConnectPlannerben az elemzési kérések teljesítményének javítása érdekében
    • [SPARK-47828][CONNECT][PYTHON] DataFrameWriterV2.overwrite érvénytelen csomaggal meghiúsul
    • Az operációs rendszer biztonsági frissítései.
  • 2024. április 11.
    • (Viselkedésváltozás) A számítási típusok konzisztens viselkedésének biztosítása érdekében a megosztott fürtökön lévő PySpark UDF-ek mostantól megfelelnek az elkülönítés nélküli és a hozzárendelt fürtök UDF-jeinek viselkedésének. Ez a frissítés a következő módosításokat tartalmazza, amelyek megszakíthatják a meglévő kódot:
      • A visszatérési típussal rendelkező string UDF-ek többé nem konvertálják implicit módon a nem-értékeketstring értékekké string . Korábban a visszatérési str típusú UDF-ek a visszaadott érték tényleges adattípusától függetlenül függvénysel str() burkolták a visszatérési értéket.
      • A visszatérési típusokkal rendelkező timestamp UDF-ek többé nem alkalmazzák implicit módon a konvertálást timestamp a .timezone
      • A Spark-fürtkonfigurációk már nem vonatkoznak spark.databricks.sql.externalUDF.* a megosztott fürtök PySpark UDF-jeire.
      • A Spark-fürt konfigurációja spark.databricks.safespark.externalUDF.plan.limit már nem érinti a PySpark UDF-eket, így a PySpark UDF-ekhez lekérdezésenként 5UDF nyilvános előzetes verziós korlátozását szünteti meg.
      • A Spark-fürtkonfiguráció spark.databricks.safespark.sandbox.size.default.mib már nem vonatkozik a megosztott fürtöken lévő PySpark UDF-ekre. Ehelyett a rendszer rendelkezésre álló memóriát használ. A PySpark UDF-k memóriájának korlátozásához használja spark.databricks.pyspark.udf.isolation.memoryLimit a minimális értéket 100m.
    • Az TimestampNTZ adattípus mostantól folyékony fürtözést tartalmazó fürtözési oszlopként is támogatott. Lásd: Folyékony fürtözés használata Delta-táblákhoz.
    • [SPARK-47511][SQL] Canonicalize with expressions by re-assigning azonosítók
    • [SPARK-47509][SQL] Részlekérdezés-kifejezések blokkolása a lambda és a magasabbrendű függvényekben
    • [SPARK-46990][SQL] Az event-hubs által kibocsátott üres Avro-fájlok betöltésének javítása
    • [SPARK-47638][PS][CONNECT] Oszlopnév-ellenőrzés kihagyása a PS-ben
    • Az operációs rendszer biztonsági frissítései.
  • 2024. március 14.
    • [SPARK-47135][SS] Hibaosztályok implementálása a Kafka adatvesztési kivételeihez
    • [SPARK-47176][SQL] ResolveAllExpressionsUpWithPruning segédfüggvény használata
    • [SPARK-47145][SQL] Adja át a táblaazonosítót a V2-stratégia soradatforrás-vizsgálatának exec eleméhez.
    • [SPARK-47044][SQL] Végrehajtott lekérdezés hozzáadása külső JDBC-adatforrásokhoz a kimenet magyarázatához
    • [SPARK-47167][SQL] Betonosztály hozzáadása A JDBC névtelen relációjához
    • [SPARK-47070] Érvénytelen aggregáció kijavítása az alregisztráció újraírása után
    • [SPARK-47121][CORE] A RejectedExecutionExceptions elkerülése a StandaloneSchedulerBackend leállítása során
    • Visszaállítás "[SPARK-46861][CORE] Kerülje a holtpontot a DAGSchedulerben"
    • [SPARK-47125][SQL] Null értéket ad vissza, ha az Univocity soha nem aktiválja az elemzést
    • [SPARK-46999][SQL] A ExpressionWithUnresolvedIdentifiernek más kifejezéseket is tartalmaznia kell a kifejezésfában
    • [SPARK-47129][CONNECT][SQL] Gyorsítótár csatlakoztatási tervének megfelelővé tétele ResolveRelations
    • [SPARK-47241][SQL] Az ExtractGenerator szabályrendeleti problémáinak megoldása
    • [SPARK-47035][SS][CONNECT] Ügyféloldali figyelő protokollja
    • Az operációs rendszer biztonsági frissítései.
  • 2024. február 29.
    • Kijavítottunk egy hibát, amely miatt a helyi gyűjtemény forrásként való használata a MERGE parancsban a műveletmetrika numSourceRows jelentésének duplájára növelte a sorok számát.
    • Egy meghatározott hellyel rendelkező séma létrehozásához a felhasználónak most már SELECT és MODIFY jogosultsággal kell rendelkeznie a BÁRMELY FÁJLban.
    • [SPARK-47071][SQL] Beágyazott kifejezés, ha speciális kifejezést tartalmaz
    • [SPARK-47059][SQL] Hibakörnyezet csatolása az ALTER COLUMN v1 parancshoz
    • [SPARK-46993][SQL] Munkamenet-változók állandó összecsukásának javítása
    • Az operációs rendszer biztonsági frissítései.
  • 2024. január 3.
    • [SPARK-46933] Adjon hozzá lekérdezés-végrehajtási időmetrikát a JDBCRDD-t használó összekötőkhöz.
    • [SPARK-46763] Kijavítottuk az ismétlődő attribútumok helyességi hibáját a ReplaceDeduplicateWithAggregate fájlban.
    • [SPARK-46954] XML: Wrap InputStreamReader with BufferedReader.
    • [SPARK-46655] A lekérdezési környezet metódusokban DataFrame való elfogásának kihagyása.
    • [SPARK-44815] Gyorsítótárazhatja a df.schema parancsot az extra RPC elkerülése érdekében.
    • [SPARK-46952] XML: Sérült rekord méretének korlátozása.
    • [SPARK-46794] Távolítsa el az al lekérdezéseket a LogicalRDD-megkötésekből.
    • [SPARK-46736] üres üzenetmező megőrzése a Protobuf-összekötőben.
    • [SPARK-45182] Az ellenőrzőösszeg által meghatározott szülő-határozatlan fázis ismételt megkísérlése után hagyja figyelmen kívül a feladat befejezését a régi fázisból.
    • [SPARK-46414] A prependBaseUri használatával renderelje a javascript-importálást.
    • [SPARK-46383] Az illesztőprogram halomhasználatának TaskInfo.accumulables()csökkentése a .
    • [SPARK-46861] Kerülje a holtpontot a DAGSchedulerben.
    • [SPARK-46954] XML: Sémaindex-keresés optimalizálása.
    • [SPARK-46676] A dropDuplicatesWithinWatermark nem hiúsíthatja meg a terv canonicalizálását.
    • [SPARK-46644] Módosítsa a hozzáadást és az egyesítést az SQLMetric-ben az isZero használatához.
    • [SPARK-46731] Állapottároló szolgáltatói példányának kezelése állapotadatforrás szerint – olvasó.
    • [SPARK-46677] Javítsa ki a dataframe["*"] felbontást.
    • [SPARK-46610] A tábla létrehozása kivételt eredményez, ha a beállításokban nincs érték egy kulcs számára.
    • [SPARK-46941] Nem szúrható be ablakcsoport-korlátcsomópont a top-k számításhoz, ha a SizeBasedWindowFunctiont tartalmazza.
    • [SPARK-45433] Javítsa ki a CSV/JSON-séma következtetését, ha az időbélyegek nem felelnek meg a megadott időbélyegformának.
    • [SPARK-46930] Az Avro union típusú mezőihez tartozó egyéni előtag támogatása.
    • [SPARK-46227] Visszalépés a 14.3-ra.
    • [SPARK-46822] Tartsa tiszteletben a spark.sql.legacy.charVarcharAsString parancsot, amikor jdbc-típust ad a jdbc katalizátortípusra.
    • Az operációs rendszer biztonsági frissítései.

Databricks Runtime 14.2

Lásd: Databricks Runtime 14.2.

  • 2024. október 22.
    • [SPARK-49782][SQL] A ResolveDataFrameDropColumns szabály feloldja az UnresolvedAttribute és a gyermek kimenetét
    • [SPARK-49905] Dedikált ShuffleOrigin használata állapotalapú operátorhoz, hogy megakadályozza az AQE-ből való módosítást
    • Az operációs rendszer biztonsági frissítései.
  • 2024. október 10.
  • 2024. szeptember 25.
    • [SPARK-48719][SQL] Javítsa ki a "RegrS...
    • [SPARK-49628][SQL] A ConstantFoldingnek ki kell másolnia az állapotalapú kifejezést a kiértékelés előtt
    • [SPARK-49000][SQL] A RewriteDistinctAggregates kibontásával kijavíthatja a "select count(distinct 1) from t" (select count(distinct 1) from t" (select count(distinct 1) from t) (select count(distinct 1) from t) (select count(distinct 1) from t) (t) elemet, ahol t üres tábla a RewriteDistinctAggregates kibontásával
    • [SPARK-43242][CORE] A "Nem várt típusú BlockId" dobása kijavítása a shuffle-sérülés diagnosztizálásához
    • [SPARK-46601] [CORE] Naplóhiba javítása a handleStatusMessage szolgáltatásban
    • Az operációs rendszer biztonsági frissítései.
  • 2024. szeptember 17.
    • [SPARK-49526][CONNECT] Windows-stílusú elérési utak támogatása az ArtifactManagerben
  • 2024. augusztus 29.
    • [SPARK-49263][CONNECT] Spark Connect Python-ügyfél: Logikai adatkeret-olvasó beállításainak következetes kezelése
    • [SPARK-49146][SS] A hozzáfűző módú streamelési lekérdezésekben hiányzó vízjelekkel kapcsolatos helyességi hibák áthelyezése a hibakeretbe
    • [SPARK-49056][SQL] A ErrorClassesJsonReader nem tudja megfelelően kezelni a null értéket
  • 2024. augusztus 14.
    • [SPARK-48050][SS] Logikai terv naplózása a lekérdezés indításakor
    • [SPARK-48597][SQL] Az isStreaming tulajdonság jelölőjének bevezetése a logikai terv szöveges ábrázolásában
    • [SPARK-49065][SQL] Az örökölt formázók/elemzők újraegyesítésének támogatnia kell a nem JVM alapértelmezett időzónáit
    • [SPARK-48706][PYTHON] A Python UDF magasabb sorrendű függvényekben nem eredményezhet belső hibát
  • 2024. augusztus 1.
    • Ez a kiadás tartalmaz egy hibajavítást a ColumnVector Spark Java-felületen található osztályokhoz és ColumnarArray osztályokhoz. A javítást megelőző esetekben előfordulhat, hogy a rendszer hibás vagy hibás adatokat ad vissza, ArrayIndexOutOfBoundsException ha az egyik osztály egy példánya tartalmazott null értékeket.
    • Az utasítás kimenete SHOW CREATE TABLE mostantól tartalmazza a materializált nézeten vagy streamelési táblán definiált sorszűrőket vagy oszlopmaszkokat. Lásd: CREATE TABLE MEGJELENÍTÉSE. A sorszűrőkről és az oszlopmaszkokról további információt a bizalmas táblázatadatok szűrése sorszűrők és oszlopmaszkok használatával című témakörben talál.
    • [SPARK-47202][PYTHON] A tzinfo elírási dátumidejeinek javítása
    • [SPARK-48705][PYTHON] Explicit módon használja a worker_main, amikor a pysparkkal kezdődik
    • Az operációs rendszer biztonsági frissítései.
  • 2024. július 11.
    • (Viselkedésváltozás) A Delta-táblaforrásokkal gyorsítótárazott adatkeretek érvénytelenítve lesznek, ha a forrástábla felülírva van. Ez a változás azt jelenti, hogy a Delta-táblák összes állapotváltozása érvényteleníti a gyorsítótárazott eredményeket. Táblaállapot .checkpoint() megőrzése a DataFrame teljes élettartama alatt.
    • A Snowflake JDBC-illesztőprogram a 3.16.1-es verzióra frissül
    • Ez a kiadás tartalmaz egy hibát, amely megakadályozta, hogy a Spark felhasználói felületi környezet lapja megfelelően jelenjen meg a Databricks Container Servicesben való futtatáskor.
    • [SPARK-48292][CORE] Visszaállítás [SPARK-39195][SQL] A Spark OutputCommitCoordinator leáll, ha a véglegesített fájl nem összhangban van a tevékenység állapotával
    • [SPARK-48273][SQL] A PlanWithUnresolvedIdentifier késői átírásának javítása
    • [SPARK-48503][SQL] Érvénytelen skaláris al lekérdezések javítása a helytelenül engedélyezett nem egyenértékű oszlopok csoportosításával
    • [SPARK-48481][SQL][SS] Ne alkalmazza az OptimizeOneRowPlant a streamelési adatkészletre
    • [SPARK-48475][PYTHON] Optimalizálja _get_jvm_function a PySparkban.
    • [SPARK-48100][SQL] A sémában nem kijelölt beágyazott struktúramezők kihagyásával kapcsolatos problémák elhárítása
    • [SPARK-48445][SQL] Ne beágyazott UDF-ek drága gyerekekkel
    • [SPARK-48383][SS] Jobb hiba a kafkai StartOffset beállítás eltérő partícióinál
    • Az operációs rendszer biztonsági frissítései.
  • 2024. június 17.
    • Kijavít egy hibát, amely miatt a rangsor-ablak optimalizálása a Photon TopK használatával helytelenül kezelt partíciókat és szerkezeteket tartalmaz.
    • [SPARK-48276][PYTHON][CONNECT] Adja hozzá a hiányzó metódust a következőhöz __repr__ : SQLExpression
    • [SPARK-48277] ErrorClassesJsonReader.getErrorMessage hibaüzenetének javítása
    • Az operációs rendszer biztonsági frissítései.
  • 2024. május 21.
    • A (viselkedésváltozás) dbutils.widgets.getAll() mostantól támogatott a jegyzetfüzet összes widgetértékének lekéréséhez.
    • [SPARK-48173][SQL] A CheckAnalysisnek látnia kell a teljes lekérdezési tervet
    • [SPARK-48197][SQL] Az érvénytelen lambda függvény helyességi hibájának elkerülése
    • [SPARK-47994][SQL] Hiba kijavítása a CASE WHEN oszlopszűrő leküldésével az SQLServerben
    • [SPARK-48105][SS] Az állapottároló kiürítése és a pillanatképek készítése közötti versenyállapot javítása
    • Az operációs rendszer biztonsági frissítései.
  • 2024. május 9.
    • [SPARK-48044][PYTHON][CONNECT] Gyorsítótár DataFrame.isStreaming
    • [SPARK-47956][SQL] A nem megoldott LCA-referencia sanity check for un olded LCA reference
    • [SPARK-47371] [SQL] XML: A CDATA-ban található sorcímkék figyelmen kívül hagyása
    • [SPARK-47812][CONNECT] A SparkSession forEachBatch-feldolgozó támogatásának támogatása
    • [SPARK-47895]Az [SQL] csoportnak mindennek idempotensnek kell lennie
    • [SPARK-47973][CORE] Híváswebhely naplózása a SparkContext.stop() és újabb verzióiban a SparkContext.assertNotStopped() alkalmazásban
    • Az operációs rendszer biztonsági frissítései.
  • 2024. április 25.
    • [SPARK-47704][SQL] A JSON-elemzés a "java.lang.ClassCastException" hibával meghiúsul, ha a spark.sql.json.enablePartialResults engedélyezve van
    • [SPARK-47828][CONNECT][PYTHON] DataFrameWriterV2.overwrite érvénytelen csomaggal meghiúsul
    • Az operációs rendszer biztonsági frissítései.
  • 2024. április 11.
    • [SPARK-47309][SQL][XML] Sémakövető egységtesztek hozzáadása
    • [SPARK-46990][SQL] Az event-hubs által kibocsátott üres Avro-fájlok betöltésének javítása
    • [SPARK-47638][PS][CONNECT] Oszlopnév-ellenőrzés kihagyása a PS-ben
    • [SPARK-47509][SQL] Részlekérdezés-kifejezések blokkolása a lambda és a magasabbrendű függvényekben
    • [SPARK-38708][SQL] A Hive Metastore-ügyfél frissítése a Hive 3.1 3.3-ra
    • Az operációs rendszer biztonsági frissítései.
  • 2024. április 1.
    • [SPARK-47322][PYTHON][CONNECT] Az oszlopnevek duplikálásának kezelése konzisztenssé tétele withColumnsRenamedwithColumnRenamed
    • [SPARK-47385] Javítsa ki a kódolókat option bemenetekkel.
    • [SPARK-47070] Érvénytelen aggregáció kijavítása az alregisztráció újraírása után
    • [SPARK-47218] [SQL] XML: A SchemaOfXml nem működik DROPMALFORMED módban
    • [SPARK-47305][SQL] A PruneFilters javítása a LocalRelation isStreaming jelzőjének helyes címkézéséhez, ha a csomag köteget és streamet is tartalmaz
    • [SPARK-47218][SQL] XML: Megjegyzésként megadott sorcímkék figyelmen kívül hagyása az XML-jogkivonat-jelölőben
    • Visszaállítás "[SPARK-46861][CORE] Kerülje a holtpontot a DAGSchedulerben"
    • [SPARK-47300][SQL] quoteIfNeeded idézőjel azonosítója számjegyekkel kezdődik
    • [SPARK-47368][SQL] InferTimestampNTZ konfigurációs ellenőrzés eltávolítása a ParquetRowConverterben
    • Az operációs rendszer biztonsági frissítései.
  • 2024. március 14.
    • [SPARK-47035][SS][CONNECT] Ügyféloldali figyelő protokollja
    • [SPARK-47121][CORE] A RejectedExecutionExceptions elkerülése a StandaloneSchedulerBackend leállítása során
    • [SPARK-47145][SQL] Adja át a táblaazonosítót a V2-stratégia soradatforrás-vizsgálatának exec eleméhez.
    • [SPARK-47176][SQL] ResolveAllExpressionsUpWithPruning segédfüggvény használata
    • [SPARK-47167][SQL] Betonosztály hozzáadása A JDBC névtelen relációjához
    • [SPARK-47129][CONNECT][SQL] Gyorsítótár csatlakoztatási tervének megfelelővé tétele ResolveRelations
    • [SPARK-47044][SQL] Végrehajtott lekérdezés hozzáadása külső JDBC-adatforrásokhoz a kimenet magyarázatához
    • Az operációs rendszer biztonsági frissítései.
  • 2024. február 29.
    • Kijavítottunk egy hibát, amely miatt a helyi gyűjtemény forrásként való használata a MERGE parancsban a műveletmetrika numSourceRows jelentésének duplájára növelte a sorok számát.
    • Egy meghatározott hellyel rendelkező séma létrehozásához a felhasználónak most már SELECT és MODIFY jogosultsággal kell rendelkeznie a BÁRMELY FÁJLban.
    • Most már betöltheti az XML-fájlokat az Autoloader, a read_files, a COPY INTO, a DLT és a DBSQL használatával. Az XML-fájlok támogatása automatikusan következtethet és fejleszthet sémákat, típuseltérésekkel mentheti az adatokat, XSD-vel ellenőrizheti az XML-t, támogathatja az OLYAN SQL-kifejezéseket, mint a from_xml, a schema_of_xml és a to_xml. További részletekért tekintse meg az XML-fájltámogatást . Ha korábban a külső Spark-XML-csomagot használta, a migrálási útmutatót itt találja.
    • [SPARK-46954][SQL] XML: Wrap InputStreamReader with BufferedReader
    • [SPARK-46630][SQL] XML: XML-elem nevének ellenőrzése íráskor
    • [SPARK-46248][SQL] XML: Az ignoreCorruptFiles és az ignoreMissingFiles beállításainak támogatása
    • [SPARK-46954][SQL] XML: Sémaindex-keresés optimalizálása
    • [SPARK-47059][SQL] Hibakörnyezet csatolása az ALTER COLUMN v1 parancshoz
    • [SPARK-46993][SQL] Munkamenet-változók állandó összecsukásának javítása
  • 2024. február 8.
    • A Unity Catalog materializált nézeteiben nem támogatott az adatcsatorna -lekérdezések módosítása (CDF), és ha egy CDF-lekérdezést egy Unity Catalog materializált nézettel próbál futtatni, hibaüzenetet ad vissza. A Unity Catalog streamelő táblái támogatják a CDF-lekérdezéseketAPPLY CHANGES a Databricks Runtime 14.1-ben és újabb verzióiban nem táblákon. A CDF-lekérdezések nem támogatottak a Unity Catalog streamelési tábláival a Databricks Runtime 14.0-s és korábbi verzióiban.
    • [SPARK-46930] Az Avro union típusú mezőihez tartozó egyéni előtag támogatása.
    • [SPARK-46822] Tartsa tiszteletben a spark.sql.legacy.charVarcharAsString parancsot, amikor jdbc-típust ad a jdbc katalizátortípusra.
    • [SPARK-46952] XML: Sérült rekord méretének korlátozása.
    • [SPARK-46644] Módosítsa a hozzáadást és az egyesítést az SQLMetric-ben az isZero használatához.
    • [SPARK-46861] Kerülje a holtpontot a DAGSchedulerben.
    • [SPARK-46794] Távolítsa el az al lekérdezéseket a LogicalRDD-megkötésekből.
    • [SPARK-46941] Nem szúrható be ablakcsoport-korlátcsomópont a top-k számításhoz, ha a SizeBasedWindowFunctiont tartalmazza.
    • [SPARK-46933] Adjon hozzá lekérdezés-végrehajtási időmetrikát a JDBCRDD-t használó összekötőkhöz.
    • Az operációs rendszer biztonsági frissítései.
  • 2024. január 31.
    • [SPARK-46382] XML: A dokumentum frissítése a következőhöz ignoreSurroundingSpaces: .
    • [SPARK-46382] XML: Elemek közötti értékek rögzítése.
    • [SPARK-46763] Kijavítottuk az ismétlődő attribútumok helyességi hibáját a ReplaceDeduplicateWithAggregate fájlban.
    • Visszaállítás [SPARK-46769] Az időbélyeggel kapcsolatos sémakövetkeztetés finomítása.
    • [SPARK-46677] Javítsa ki a dataframe["*"] felbontást.
    • [SPARK-46382] XML: Az alapértelmezett ignoreSurroundingSpaces értéke igaz.
    • [SPARK-46633] Az Avro-olvasó javítása a nulla hosszúságú blokkok kezeléséhez.
    • [SPARK-45964] Távolítsa el a privát SQL-tartozékot XML- és JSON-csomagban a katalizátorcsomag alatt.
    • [SPARK-46581] Update comment on isZero in AccumulatorV2.
    • [SPARK-45912] Az XSDToSchema API továbbfejlesztése: Váltás a HDFS API-ra a felhőalapú tárolás akadálymentességéhez.
    • [SPARK-45182] Az ellenőrzőösszeg által meghatározott szülő-határozatlan fázis ismételt megkísérlése után hagyja figyelmen kívül a feladat befejezését a régi fázisból.
    • [SPARK-46660] A ReattachExecute kérések frissítik a SessionHolder élőképességét.
    • [SPARK-46610] A tábla létrehozása kivételt eredményez, ha a beállításokban nincs érték egy kulcs számára.
    • [SPARK-46383] Az illesztőprogram halomhasználatának TaskInfo.accumulables()csökkentése a .
    • [SPARK-46769] Pontosítsa az időbélyeggel kapcsolatos sémakövetkeztetést.
    • [SPARK-46684] Az argumentumok megfelelő átadásához javítsa ki a CoGroup.applyInPandas/Arrow elemet.
    • [SPARK-46676] A dropDuplicatesWithinWatermark nem hiúsíthatja meg a terv canonicalizálását.
    • [SPARK-45962] Távolítsa el treatEmptyValuesAsNulls és használja nullValue a beállítást az XML-ben.
    • [SPARK-46541] Javítsa ki a nem egyértelmű oszlophivatkozást az önillesztés során.
    • [SPARK-46599] XML: Kompatibilitás-ellenőrzéshez használja a TypeCoercion.findTightestCommonType fájlt.
    • Az operációs rendszer biztonsági frissítései.
  • 2024. január 17.
    • A shuffle Photon-lekérdezés által visszaadott magyarázó terv csomópontja frissül, hogy hozzáadja a causedBroadcastJoinBuildOOM=true jelzőt, ha memóriakimaradási hiba lép fel egy közvetítési illesztés részét képező shuffle során.
    • A TLSv1.3-n keresztüli kommunikáció megnövekedett késésének elkerülése érdekében ez a karbantartási kiadás tartalmaz egy javítást a JDK 8 telepítésében a JDK-8293562 hiba kijavításához.
    • [SPARK-46261] DataFrame.withColumnsRenamed meg kell őriznie a diktálás/térképrendezést.
    • [SPARK-46538] Kijavítottuk a nem egyértelmű oszlophivatkozási hibát a következőben ALSModel.transform: .
    • [SPARK-46145] A spark.catalog.listTables nem okoz kivételt, ha a tábla vagy a nézet nem található.
    • [SPARK-46484] A resolveOperators segédfüggvények megtartják a terv azonosítóját.
    • [SPARK-46394] A spark.catalog.listDatabases() hibáinak kijavítása speciális karakterekkel rendelkező sémákon, ha spark.sql.legacy.keepCommandOutputSchema igaz értékre van állítva.
    • [SPARK-46609] Kerülje az exponenciális robbanást a PartitioningPreservingUnaryExecNode-ban.
    • [SPARK-46446] Tiltsa le az al lekérdezéseket a korrelált ELTOLÁS beállítással a helyességi hiba kijavításához.
    • [SPARK-46152] XML: DecimalType-támogatás hozzáadása AZ XML-séma következtetéséhez.
    • [SPARK-46602] allowExisting Propagálja a nézetlétrehozásban, ha a nézet/tábla nem létezik.
    • [SPARK-45814] A memóriaszivárgás elkerülése érdekében zárja be az ArrowConverters.createEmptyArrowBatch hívást.
    • [SPARK-46058] Adjon hozzá külön jelölőt a privateKeyPasswordhez.
    • [SPARK-46132] Az RPC SSL JKS-kulcsainak támogatási kulcsa.
    • [SPARK-46600] Megosztott kód áthelyezése az SqlConf és az SqlApiConf között az SqlApiConfHelperbe.
    • [SPARK-46478] Állítsa vissza a SPARK-43049-et az oracle varchar(255) sztringhez való használatához.
    • [SPARK-46417] Ne hiúsuljon meg a hive.getTable hívásakor, és a throwException értéke hamis.
    • [SPARK-46153] XML: TimestampNTZType támogatás hozzáadása.
    • [SPARK-46056][BACKPORT] Parquet vectorized read NPE javítása byteArrayDecimalType alapértelmezett értékkel.
    • [SPARK-46466] A vektoros parquet-olvasónak soha nem szabad újrabázist végeznie az időbélyeg ntz-hez.
    • [SPARK-46260] DataFrame.withColumnsRenamed tiszteletben kell tartania a diktálás sorrendjét.
    • [SPARK-46036] Hibaosztály eltávolítása raise_error függvényből.
    • [SPARK-46294] Az init és a nulla érték szemantikájának megtisztítása.
    • [SPARK-46173] A trimAll hívás kihagyása a dátum elemzése során.
    • [SPARK-46250] Deflake test_parity_listener.
    • [SPARK-46587] XML: XSD nagy egész szám konvertálásának javítása.
    • [SPARK-46396] Az időbélyeg-következtetés nem vethet ki kivételt.
    • [SPARK-46241] Javítsa ki a hibakezelési rutint, hogy az ne kerüljön végtelen rekurzióba.
    • [SPARK-46355] XML: Zárja be az InputStreamReadert az olvasás befejezésekor.
    • [SPARK-46370] Az oszlop alapértelmezett értékének módosítása után kijavítottuk a táblából való lekérdezéskor megjelenő hibát.
    • [SPARK-46265] Az AddArtifact RPC-ben található állítások miatt a kapcsolódási ügyfél nem kompatibilis a régebbi fürtökkel.
    • [SPARK-46308] Tiltsa meg a rekurzív hibakezelést.
    • [SPARK-46337] Őrizze meg CTESubstitution a PLAN_ID_TAG.
  • 2023. december 14.
    • [SPARK-46141] Módosítsa a spark.sql.legacy.ctePrecedencePolicy alapértelmezett értékét JAVÍTVA értékre.
    • [SPARK-45730] A ReloadingX509TrustManagerSuite kevésbé pelyhessé tétele.
    • [SPARK-45852] A naplózás során a rekurziós hiba kezelése kecsesen történik.
    • [SPARK-45808] Az SQL-kivételek jobb hibakezelése.
    • [SPARK-45920] a csoportosításnak sorszám szerint idempotensnek kell lennie.
    • "[SPARK-45649] A felkészülési keretrendszer egységesítése a következőhözOffsetWindowFunctionFrame: ".
    • [SPARK-45733] Több újrapróbálkozési szabályzat támogatása.
    • [SPARK-45509] A Spark Connect df oszlophivatkozási viselkedésének javítása.
    • [SPARK-45655] Nem determinisztikus kifejezések engedélyezése az AggregateFunctionsben a CollectMetricsben.
    • [SPARK-45905] A tizedesjegyek közötti legkevésbé gyakori típusnak először meg kell őriznie az integrál számjegyeket.
    • [SPARK-45136] A ClosureCleaner továbbfejlesztése Ammonite támogatással.
    • [SPARK-46255] Összetett típus támogatása –> sztringátalakítás.
    • [SPARK-45859] Az ml.functionsben lévő UDF-objektumok lustavá tétele.
    • [SPARK-46028] Fogadja el Column.__getitem__ a bemeneti oszlopot.
    • [SPARK-45798] Kiszolgálóoldali munkamenet-azonosító érvényesítése.
    • [SPARK-45892] Újrabontási optimalizálási terv érvényesítése a leválasztáshoz validateSchemaOutput és validateExprIdUniquenessa .
    • [SPARK-45844] Kis- és nagybetűk érzéketlensége az XML-hez.
    • [SPARK-45770] Bevezetés a következőhöz DataFrameDropColumns Dataframe.drop: .
    • [SPARK-44790] XML: to_xml python, connect és SQL implementációja és kötései.
    • [SPARK-45851] Több szabályzat támogatása a Scala-ügyfélben.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. november 29.
    • Telepített egy új csomagot a pyarrow-hotfix PyArrow RCE biztonsági rés elhárításához.
    • Kijavítottunk egy hibát, amely miatt a JDBC-ből vagy ODBC-ügyfelekből származó műveletekben a kimenekült aláhúzásmagok getColumns helytelenül helyettesítő karakterekként lettek értelmezve.
    • [SPARK-45730] Továbbfejlesztett időkorlátok a ReloadingX509TrustManagerSuite.
    • [SPARK-45852] A Spark Connect Python-ügyfele mostantól rekurziós hibákat észlel a szövegkonvertálás során.
    • [SPARK-45808] Továbbfejlesztett hibakezelés SQL-kivételek esetén.
    • [SPARK-45920] GROUP BY A sorszám nem helyettesíti a sorszámot.
    • Visszaállítás [SPARK-45649].
    • [SPARK-45733] Több újrapróbálkozési szabályzat támogatása is hozzáadva.
    • [SPARK-45509] Kijavítottuk df a Spark Connect oszlophivatkozási viselkedését.
    • [SPARK-45655] Nem determinisztikus kifejezések engedélyezése a AggregateFunctions fájlban CollectMetrics.
    • [SPARK-45905] A decimális típusok között a legkevésbé gyakori típus mostantól megőrzi az integrál számjegyeket.
    • [SPARK-45136] Továbbfejlesztése ClosureCleaner az Ammonite támogatásával.
    • [SPARK-45859] Az UDF-objektumok ml.functions lusták.
    • [SPARK-46028] Column.__getitem__ bemeneti oszlopokat fogad el.
    • [SPARK-45798] Kiszolgálóoldali munkamenet-azonosító érvényesítése.
    • [SPARK-45892] Újrabontási optimalizálási terv érvényesítése a leválasztáshoz validateSchemaOutput és validateExprIdUniquenessa .
    • [SPARK-45844] Kis- és nagybetűk érzéketlensége az XML-hez.
    • [SPARK-45770] Rögzített oszlopfelbontás a következővel DataFrameDropColumns Dataframe.drop: .
    • [SPARK-44790] Implementáció és kötések hozzáadva to_xml a Pythonhoz, a Spark Connecthez és az SQL-hez.
    • [SPARK-45851] A Scala-ügyfél több házirendjének támogatása is hozzáadva.
    • Az operációs rendszer biztonsági frissítései.

Databricks Runtime 14.1

Lásd: Databricks Runtime 14.1.

  • 2024. október 22.
    • [SPARK-49782][SQL] A ResolveDataFrameDropColumns szabály feloldja az UnresolvedAttribute és a gyermek kimenetét
    • [SPARK-49905] Dedikált ShuffleOrigin használata állapotalapú operátorhoz, hogy megakadályozza az AQE-ből való módosítást
  • 2024. október 10.
    • [BACKPORT][[SPARK-49474]]https://issues.apache.org/jira/browse/SPARK-49474)[SS] A FlatMapGroupsWithState felhasználói függvény hibaosztályának besorolása
    • [SPARK-49743][SQL] Az OptimizeCsvJsonExpr nem módosíthatja a sémamezőket a GetArrayStructFields metszésekor
    • Az operációs rendszer biztonsági frissítései.
  • 2024. szeptember 25.
    • [SPARK-49628][SQL] A ConstantFoldingnek ki kell másolnia az állapotalapú kifejezést a kiértékelés előtt
    • [SPARK-43242][CORE] A "Nem várt típusú BlockId" dobása kijavítása a shuffle-sérülés diagnosztizálásához
    • [SPARK-48719][SQL] Javítsa ki a "RegrS...
    • [SPARK-49000][SQL] A RewriteDistinctAggregates kibontásával kijavíthatja a "select count(distinct 1) from t" (select count(distinct 1) from t" (select count(distinct 1) from t) (select count(distinct 1) from t) (select count(distinct 1) from t) (t) elemet, ahol t üres tábla a RewriteDistinctAggregates kibontásával
    • [SPARK-46601] [CORE] Naplóhiba javítása a handleStatusMessage szolgáltatásban
    • Az operációs rendszer biztonsági frissítései.
  • 2024. szeptember 17.
    • [SPARK-49526][CONNECT] Windows-stílusú elérési utak támogatása az ArtifactManagerben
    • Az operációs rendszer biztonsági frissítései.
  • 2024. augusztus 29.
    • [SPARK-49263][CONNECT] Spark Connect Python-ügyfél: Logikai adatkeret-olvasó beállításainak következetes kezelése
    • [SPARK-49056][SQL] A ErrorClassesJsonReader nem tudja megfelelően kezelni a null értéket
  • 2024. augusztus 14.
    • [SPARK-48706][PYTHON] A Python UDF magasabb sorrendű függvényekben nem eredményezhet belső hibát
    • [SPARK-48597][SQL] Az isStreaming tulajdonság jelölőjének bevezetése a logikai terv szöveges ábrázolásában
    • [SPARK-49065][SQL] Az örökölt formázók/elemzők újraegyesítésének támogatnia kell a nem JVM alapértelmezett időzónáit
    • [SPARK-48050][SS] Logikai terv naplózása a lekérdezés indításakor
  • 2024. augusztus 1.
    • Ez a kiadás tartalmaz egy hibajavítást a ColumnVector Spark Java-felületen található osztályokhoz és ColumnarArray osztályokhoz. A javítást megelőző esetekben előfordulhat, hogy a rendszer hibás vagy hibás adatokat ad vissza, ArrayIndexOutOfBoundsException ha az egyik osztály egy példánya tartalmazott null értékeket.
    • Az utasítás kimenete SHOW CREATE TABLE mostantól tartalmazza a materializált nézeten vagy streamelési táblán definiált sorszűrőket vagy oszlopmaszkokat. Lásd: CREATE TABLE MEGJELENÍTÉSE. A sorszűrőkről és az oszlopmaszkokról további információt a bizalmas táblázatadatok szűrése sorszűrők és oszlopmaszkok használatával című témakörben talál.
    • [SPARK-48705][PYTHON] Explicit módon használja a worker_main, amikor a pysparkkal kezdődik
    • [SPARK-47202][PYTHON] A tzinfo elírási dátumidejeinek javítása
    • Az operációs rendszer biztonsági frissítései.
  • 2024. július 11.
    • (Viselkedésváltozás) A Delta-táblaforrásokkal gyorsítótárazott adatkeretek érvénytelenítve lesznek, ha a forrástábla felülírva van. Ez a változás azt jelenti, hogy a Delta-táblák összes állapotváltozása érvényteleníti a gyorsítótárazott eredményeket. Táblaállapot .checkpoint() megőrzése a DataFrame teljes élettartama alatt.
    • Ez a kiadás tartalmaz egy hibát, amely megakadályozta, hogy a Spark felhasználói felületi környezet lapja megfelelően jelenjen meg a Databricks Container Servicesben való futtatáskor.
    • [SPARK-48475][PYTHON] Optimalizálja _get_jvm_function a PySparkban.
    • [SPARK-48445][SQL] Ne beágyazott UDF-ek drága gyerekekkel
    • [SPARK-48481][SQL][SS] Ne alkalmazza az OptimizeOneRowPlant a streamelési adatkészletre
    • [SPARK-48292][CORE] Visszaállítás [SPARK-39195][SQL] A Spark OutputCommitCoordinator leáll, ha a véglegesített fájl nem összhangban van a tevékenység állapotával
    • [SPARK-48503][SQL] Érvénytelen skaláris al lekérdezések javítása a helytelenül engedélyezett nem egyenértékű oszlopok csoportosításával
    • [SPARK-48273][SQL] A PlanWithUnresolvedIdentifier késői átírásának javítása
    • [SPARK-48100][SQL] A sémában nem kijelölt beágyazott struktúramezők kihagyásával kapcsolatos problémák elhárítása
    • [SPARK-48383][SS] Jobb hiba a kafkai StartOffset beállítás eltérő partícióinál
    • Az operációs rendszer biztonsági frissítései.
  • 2024. június 17.
    • Kijavít egy hibát, amely miatt a rangsor-ablak optimalizálása a Photon TopK használatával helytelenül kezelt partíciókat és szerkezeteket tartalmaz.
    • [SPARK-48276][PYTHON][CONNECT] Adja hozzá a hiányzó metódust a következőhöz __repr__ : SQLExpression
    • [SPARK-48277] ErrorClassesJsonReader.getErrorMessage hibaüzenetének javítása
    • Az operációs rendszer biztonsági frissítései.
  • 2024. május 21.
    • A (viselkedésváltozás) dbutils.widgets.getAll() mostantól támogatott a jegyzetfüzet összes widgetértékének lekéréséhez.
    • [SPARK-47994][SQL] Hiba kijavítása a CASE WHEN oszlopszűrő leküldésével az SQLServerben
    • [SPARK-48105][SS] Az állapottároló kiürítése és a pillanatképek készítése közötti versenyállapot javítása
    • [SPARK-48173][SQL] A CheckAnalysisnek látnia kell a teljes lekérdezési tervet
    • Az operációs rendszer biztonsági frissítései.
  • 2024. május 9.
    • [SPARK-47371] [SQL] XML: A CDATA-ban található sorcímkék figyelmen kívül hagyása
    • [SPARK-47895]Az [SQL] csoportnak mindennek idempotensnek kell lennie
    • [SPARK-47956][SQL] A nem megoldott LCA-referencia sanity check for un olded LCA reference
    • [SPARK-48044][PYTHON][CONNECT] Gyorsítótár DataFrame.isStreaming
    • [SPARK-47973][CORE] Híváswebhely naplózása a SparkContext.stop() és újabb verzióiban a SparkContext.assertNotStopped() alkalmazásban
    • Az operációs rendszer biztonsági frissítései.
  • 2024. április 25.
    • [SPARK-47704][SQL] A JSON-elemzés a "java.lang.ClassCastException" hibával meghiúsul, ha a spark.sql.json.enablePartialResults engedélyezve van
    • [SPARK-47828][CONNECT][PYTHON] DataFrameWriterV2.overwrite érvénytelen csomaggal meghiúsul
    • Az operációs rendszer biztonsági frissítései.
  • 2024. április 11.
    • [SPARK-47638][PS][CONNECT] Oszlopnév-ellenőrzés kihagyása a PS-ben
    • [SPARK-38708][SQL] A Hive Metastore-ügyfél frissítése a Hive 3.1 3.3-ra
    • [SPARK-47309][SQL][XML] Sémakövető egységtesztek hozzáadása
    • [SPARK-47509][SQL] Részlekérdezés-kifejezések blokkolása a lambda és a magasabbrendű függvényekben
    • [SPARK-46990][SQL] Az event-hubs által kibocsátott üres Avro-fájlok betöltésének javítása
    • Az operációs rendszer biztonsági frissítései.
  • 2024. április 1.
    • [SPARK-47305][SQL] A PruneFilters javítása a LocalRelation isStreaming jelzőjének helyes címkézéséhez, ha a csomag köteget és streamet is tartalmaz
    • [SPARK-47218][SQL] XML: Megjegyzésként megadott sorcímkék figyelmen kívül hagyása az XML-jogkivonat-jelölőben
    • [SPARK-47300][SQL] quoteIfNeeded idézőjel azonosítója számjegyekkel kezdődik
    • [SPARK-47368][SQL] InferTimestampNTZ konfigurációs ellenőrzés eltávolítása a ParquetRowConverterben
    • [SPARK-47070] Érvénytelen aggregáció kijavítása az alregisztráció újraírása után
    • [SPARK-47322][PYTHON][CONNECT] Az oszlopnevek duplikálásának kezelése konzisztenssé tétele withColumnsRenamedwithColumnRenamed
    • [SPARK-47300] Javítás a DecomposerSuite-hoz
    • [SPARK-47218] [SQL] XML: A SchemaOfXml nem működik DROPMALFORMED módban
    • [SPARK-47385] Javítsa ki a kódolókat option bemenetekkel.
    • Az operációs rendszer biztonsági frissítései.
  • 2024. március 14.
    • [SPARK-47176][SQL] ResolveAllExpressionsUpWithPruning segédfüggvény használata
    • [SPARK-47145][SQL] Adja át a táblaazonosítót a V2-stratégia soradatforrás-vizsgálatának exec eleméhez.
    • [SPARK-47167][SQL] Betonosztály hozzáadása A JDBC névtelen relációjához
    • [SPARK-47129][CONNECT][SQL] Gyorsítótár csatlakoztatási tervének megfelelővé tétele ResolveRelations
    • Visszaállítás "[SPARK-46861][CORE] Kerülje a holtpontot a DAGSchedulerben"
    • [SPARK-47044][SQL] Végrehajtott lekérdezés hozzáadása külső JDBC-adatforrásokhoz a kimenet magyarázatához
    • Az operációs rendszer biztonsági frissítései.
  • 2024. február 29.
    • Kijavítottunk egy hibát, amely miatt a helyi gyűjtemény forrásként való használata a MERGE parancsban a műveletmetrika numSourceRows jelentésének duplájára növelte a sorok számát.
    • Egy meghatározott hellyel rendelkező séma létrehozásához a felhasználónak most már SELECT és MODIFY jogosultsággal kell rendelkeznie a BÁRMELY FÁJLban.
    • Most már betöltheti az XML-fájlokat az Autoloader, a read_files, a COPY INTO, a DLT és a DBSQL használatával. Az XML-fájlok támogatása automatikusan következtethet és fejleszthet sémákat, típuseltérésekkel mentheti az adatokat, XSD-vel ellenőrizheti az XML-t, támogathatja az OLYAN SQL-kifejezéseket, mint a from_xml, a schema_of_xml és a to_xml. További részletekért tekintse meg az XML-fájltámogatást . Ha korábban a külső Spark-XML-csomagot használta, a migrálási útmutatót itt találja.
    • [SPARK-46248][SQL] XML: Az ignoreCorruptFiles és az ignoreMissingFiles beállításainak támogatása
    • [SPARK-47059][SQL] Hibakörnyezet csatolása az ALTER COLUMN v1 parancshoz
    • [SPARK-46954][SQL] XML: Wrap InputStreamReader with BufferedReader
    • [SPARK-46954][SQL] XML: Sémaindex-keresés optimalizálása
    • [SPARK-46630][SQL] XML: XML-elem nevének ellenőrzése íráskor
    • Az operációs rendszer biztonsági frissítései.
  • 2024. február 8.
    • A Unity Catalog materializált nézeteiben nem támogatott az adatcsatorna -lekérdezések módosítása (CDF), és ha egy CDF-lekérdezést egy Unity Catalog materializált nézettel próbál futtatni, hibaüzenetet ad vissza. A Unity Catalog streamelő táblái támogatják a CDF-lekérdezéseketAPPLY CHANGES a Databricks Runtime 14.1-ben és újabb verzióiban nem táblákon. A CDF-lekérdezések nem támogatottak a Unity Catalog streamelési tábláival a Databricks Runtime 14.0-s és korábbi verzióiban.
    • [SPARK-46952] XML: Sérült rekord méretének korlátozása.
    • [SPARK-45182] Az ellenőrzőösszeg által meghatározott szülő-határozatlan fázis ismételt megkísérlése után hagyja figyelmen kívül a feladat befejezését a régi fázisból.
    • [SPARK-46794] Távolítsa el az al lekérdezéseket a LogicalRDD-megkötésekből.
    • [SPARK-46933] Adjon hozzá lekérdezés-végrehajtási időmetrikát a JDBCRDD-t használó összekötőkhöz.
    • [SPARK-46861] Kerülje a holtpontot a DAGSchedulerben.
    • [SPARK-45582] Győződjön meg arról, hogy a tárpéldány nem használható a véglegesítés kimeneti módú streamelési összesítésen belüli meghívása után.
    • [SPARK-46930] Az Avro union típusú mezőihez tartozó egyéni előtag támogatása.
    • [SPARK-46941] Nem szúrható be ablakcsoport-korlátcsomópont a top-k számításhoz, ha a SizeBasedWindowFunctiont tartalmazza.
    • [SPARK-46396] Az időbélyeg-következtetés nem vethet ki kivételt.
    • [SPARK-46822] Tartsa tiszteletben a spark.sql.legacy.charVarcharAsString parancsot, amikor jdbc-típust ad a jdbc katalizátortípusra.
    • [SPARK-45957] Ne generáljon végrehajtási tervet nem végrehajtható parancsokhoz.
    • Az operációs rendszer biztonsági frissítései.
  • 2024. január 31.
    • [SPARK-46684] Az argumentumok megfelelő átadásához javítsa ki a CoGroup.applyInPandas/Arrow elemet.
    • [SPARK-46763] Kijavítottuk az ismétlődő attribútumok helyességi hibáját a ReplaceDeduplicateWithAggregate fájlban.
    • [SPARK-45498] Követés: Figyelmen kívül hagyhatja a tevékenységek befejezését a régi fázisbeli kísérletekből.
    • [SPARK-46382] XML: A dokumentum frissítése a következőhöz ignoreSurroundingSpaces: .
    • [SPARK-46383] Az illesztőprogram halomhasználatának TaskInfo.accumulables()csökkentése a .
    • [SPARK-46382] XML: Az alapértelmezett ignoreSurroundingSpaces értéke igaz.
    • [SPARK-46677] Javítsa ki a dataframe["*"] felbontást.
    • [SPARK-46676] A dropDuplicatesWithinWatermark nem hiúsíthatja meg a terv canonicalizálását.
    • [SPARK-46633] Az Avro-olvasó javítása a nulla hosszúságú blokkok kezeléséhez.
    • [SPARK-45912] Az XSDToSchema API továbbfejlesztése: Váltás a HDFS API-ra a felhőalapú tárolás akadálymentességéhez.
    • [SPARK-46599] XML: Kompatibilitás-ellenőrzéshez használja a TypeCoercion.findTightestCommonType fájlt.
    • [SPARK-46382] XML: Elemek közötti értékek rögzítése.
    • [SPARK-46769] Pontosítsa az időbélyeggel kapcsolatos sémakövetkeztetést.
    • [SPARK-46610] A tábla létrehozása kivételt eredményez, ha a beállításokban nincs érték egy kulcs számára.
    • [SPARK-45964] Távolítsa el a privát SQL-tartozékot XML- és JSON-csomagban a katalizátorcsomag alatt.
    • Visszaállítás [SPARK-46769] Az időbélyeggel kapcsolatos sémakövetkeztetés finomítása.
    • [SPARK-45962] Távolítsa el treatEmptyValuesAsNulls és használja nullValue a beállítást az XML-ben.
    • [SPARK-46541] Javítsa ki a nem egyértelmű oszlophivatkozást az önillesztés során.
    • Az operációs rendszer biztonsági frissítései.
  • 2024. január 17.
    • A shuffle Photon-lekérdezés által visszaadott magyarázó terv csomópontja frissül, hogy hozzáadja a causedBroadcastJoinBuildOOM=true jelzőt, ha memóriakimaradási hiba lép fel egy közvetítési illesztés részét képező shuffle során.
    • A TLSv1.3-n keresztüli kommunikáció megnövekedett késésének elkerülése érdekében ez a karbantartási kiadás tartalmaz egy javítást a JDK 8 telepítésében a JDK-8293562 hiba kijavításához.
    • [SPARK-46538] Kijavítottuk a nem egyértelmű oszlophivatkozási hibát a következőben ALSModel.transform: .
    • [SPARK-46417] Ne hiúsuljon meg a hive.getTable hívásakor, és a throwException értéke hamis.
    • [SPARK-46484] A resolveOperators segédfüggvények megtartják a terv azonosítóját.
    • [SPARK-46153] XML: TimestampNTZType támogatás hozzáadása.
    • [SPARK-46152] XML: DecimalType-támogatás hozzáadása AZ XML-séma következtetéséhez.
    • [SPARK-46145] A spark.catalog.listTables nem okoz kivételt, ha a tábla vagy a nézet nem található.
    • [SPARK-46478] Állítsa vissza a SPARK-43049-et az oracle varchar(255) sztringhez való használatához.
    • [SPARK-46394] A spark.catalog.listDatabases() hibáinak kijavítása speciális karakterekkel rendelkező sémákon, ha spark.sql.legacy.keepCommandOutputSchema igaz értékre van állítva.
    • [SPARK-46337] Őrizze meg CTESubstitution a PLAN_ID_TAG.
    • [SPARK-46466] A vektoros parquet-olvasónak soha nem szabad újrabázist végeznie az időbélyeg ntz-hez.
    • [SPARK-46587] XML: XSD nagy egész szám konvertálásának javítása.
    • [SPARK-45814] A memóriaszivárgás elkerülése érdekében zárja be az ArrowConverters.createEmptyArrowBatch hívást.
    • [SPARK-46132] Az RPC SSL JKS-kulcsainak támogatási kulcsa.
    • [SPARK-46602] allowExisting Propagálja a nézetlétrehozásban, ha a nézet/tábla nem létezik.
    • [SPARK-46173] A trimAll hívás kihagyása a dátum elemzése során.
    • [SPARK-46355] XML: Zárja be az InputStreamReadert az olvasás befejezésekor.
    • [SPARK-46600] Megosztott kód áthelyezése az SqlConf és az SqlApiConf között az SqlApiConfHelperbe.
    • [SPARK-46261] DataFrame.withColumnsRenamed meg kell őriznie a diktálás/térképrendezést.
    • [SPARK-46056] Parquet vectorized read NPE javítása byteArrayDecimalType alapértelmezett értékkel.
    • [SPARK-46260] DataFrame.withColumnsRenamed tiszteletben kell tartania a diktálás sorrendjét.
    • [SPARK-46250] Deflake test_parity_listener.
    • [SPARK-46370] Az oszlop alapértelmezett értékének módosítása után kijavítottuk a táblából való lekérdezéskor megjelenő hibát.
    • [SPARK-46609] Kerülje az exponenciális robbanást a PartitioningPreservingUnaryExecNode-ban.
    • [SPARK-46058] Adjon hozzá külön jelölőt a privateKeyPasswordhez.
  • 2023. december 14.
    • Kijavítottunk egy hibát, amely miatt a JDBC-ből vagy ODBC-ügyfelekből származó getColumns-műveletekben a szökött aláhúzásjelek helytelenül lettek kezelve, és helyettesítő karakterekként lettek értelmezve.
    • [SPARK-45509] A Spark Connect df oszlophivatkozási viselkedésének javítása.
    • [SPARK-45844] Kis- és nagybetűk érzéketlensége az XML-hez.
    • [SPARK-46141] Módosítsa a spark.sql.legacy.ctePrecedencePolicy alapértelmezett értékét JAVÍTVA értékre.
    • [SPARK-46028] Fogadja el Column.__getitem__ a bemeneti oszlopot.
    • [SPARK-46255] Összetett típus támogatása –> sztringátalakítás.
    • [SPARK-45655] Nem determinisztikus kifejezések engedélyezése az AggregateFunctionsben a CollectMetricsben.
    • [SPARK-45433] Javítsa ki a CSV/JSON-séma következtetését, ha az időbélyegek nem felelnek meg a megadott időbélyegformának.
    • [SPARK-45316] Adjon hozzá új paramétereket ignoreCorruptFiles/ignoreMissingFiles a és NewHadoopRDDa .HadoopRDD
    • [SPARK-45852] A naplózás során a rekurziós hiba kezelése kecsesen történik.
    • [SPARK-45920] a csoportosításnak sorszám szerint idempotensnek kell lennie.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. november 29.
    • Telepített egy új csomagot a pyarrow-hotfix PyArrow RCE biztonsági rés elhárításához.
    • Kijavítottunk egy hibát, amely miatt a JDBC-ből vagy ODBC-ügyfelekből származó műveletekben a kimenekült aláhúzásmagok getColumns helytelenül helyettesítő karakterekként lettek értelmezve.
    • Ha CSV-adatokat tölt be automatikus betöltő vagy streamelő táblák használatával, a nagy CSV-fájlok mostantól feloszthatók, és párhuzamosan is feldolgozhatók a sémakövetkeztetés és az adatfeldolgozás során.
    • [SPARK-45892] Újrabontási optimalizálási terv érvényesítése a leválasztáshoz validateSchemaOutput és validateExprIdUniquenessa .
    • [SPARK-45620] A Python UDF-hez kapcsolódó API-k mostantól camelCaset használnak.
    • [SPARK-44790] Implementáció és kötések hozzáadva to_xml a Pythonhoz, a Spark Connecthez és az SQL-hez.
    • [SPARK-45770] Rögzített oszlopfelbontás a következővel DataFrameDropColumns Dataframe.drop: .
    • [SPARK-45859] Az UDF-objektumok ml.functions lusták.
    • [SPARK-45730] Továbbfejlesztett időkorlátok a ReloadingX509TrustManagerSuite.
    • [SPARK-44784] SBT-teszt hermetikus lett.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. november 10.
    • [SPARK-45545] SparkTransportConf SSLOptions a létrehozáskor örökli.
    • [SPARK-45250] A dinamikus lefoglalás kikapcsolásakor a yarnfürtök szakaszszintű tevékenységerőforrás-profiljának támogatása lett hozzáadva.
    • [SPARK-44753] Xml DataFrame-olvasó és -író hozzáadva a PySpark SQL-hez.
    • [SPARK-45396] Hozzáadtunk egy doc-bejegyzést a modulhoz PySpark.ml.connect .
    • [SPARK-45584] Kijavítottuk a subquery-futtatási hibát a következővel TakeOrderedAndProjectExec: .
    • [SPARK-45541] SslFactory hozzáadva.
    • [SPARK-45577] Kijavítva UserDefinedPythonTableFunctionAnalyzeRunner , hogy elnevezett argumentumokból származó összecsukott értékeket adjon át.
    • [SPARK-45562] Kötelezővé tette a "rowTag" beállítást.
    • [SPARK-45427] RPC SSL-beállításokat adtunk hozzá az és SparkTransportConfa SSLOptions .
    • [SPARK-43380] Kijavítottuk az Avro olvasási lassulását.
    • [SPARK-45430] FramelessOffsetWindowFunction már nem meghiúsul, amikor IGNORE NULLS és offset > rowCount.
    • [SPARK-45429] Segédosztályok hozzáadva az SSL RPC-kommunikációhoz.
    • [SPARK-45386] Kijavítottunk egy hibát, amely StorageLevel.NONE miatt a 0 helytelenül lett visszaadva.
    • [SPARK-44219] Szabályonkénti ellenőrzés hozzáadva az optimalizálási újraírások ellenőrzéséhez.
    • [SPARK-45543] Kijavítottunk egy hibát, amely InferWindowGroupLimit akkor okozott problémát, ha a többi ablakfüggvény nem ugyanazzal az ablakkerettel rendelkezik, mint a rangszerű függvények.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. szeptember 27.
    • [SPARK-44823] Frissítve black a 23.9.1-re, és kijavítottuk a hibás ellenőrzést.
    • [SPARK-45339] A PySpark most naplózza az újrapróbálkozások hibáit.
    • Visszaállítás [SPARK-42946] Változóhelyettesítések alá ágyazott bizalmas adatok újrakonvertálása.
    • [SPARK-44551] Szerkesztett megjegyzések az OSS-sel való szinkronizáláshoz.
    • [SPARK-45360] A Spark-munkamenet-szerkesztő támogatja az inicializálást a következőből SPARK_REMOTE: .
    • [SPARK-45279] Minden logikai tervhez csatolva plan_id .
    • [SPARK-45425] A következőhöz ShortType van megfeleltetve TINYINT MsSqlServerDialect: .
    • [SPARK-45419] A nagyobb verziók fájlverzió-leképezési bejegyzésének eltávolítása az sst fájlazonosítók újbóli újrafelhasználásának rocksdb elkerülése érdekében.
    • [SPARK-45488] Hozzáadott érték támogatása az elemben rowTag .
    • [SPARK-42205] Az eseménynaplókban Task/Stage eltávolítottuk a Accumulables kezdő események JsonProtocol naplózását.
    • [SPARK-45426] Támogatás hozzáadva a következőhöz ReloadingX509TrustManager: .
    • [SPARK-45256] DurationWriter sikertelen, ha a kezdeti kapacitásnál több értéket ír.
    • [SPARK-43380] Kijavítottuk Avro az adattípus-átalakítással kapcsolatos problémákat anélkül, hogy teljesítményregressziót eredményezett.
    • [SPARK-45182] A visszagördülő shuffle leképezési szakasz támogatása, így az összes szakaszfeladat újrapróbálható, ha a szakasz kimenete határozatlan.
    • [SPARK-45399] Xml-beállítások hozzáadása a következővel newOption: .
    • Az operációs rendszer biztonsági frissítései.

Databricks Runtime 13.3 LTS

Lásd: Databricks Runtime 13.3 LTS.

  • 2024. október 22.
    • [SPARK-48843] Végtelen ciklus megakadályozása BindParameterekkel
    • [BACKPORT][[SPARK-49326]]https://issues.apache.org/jira/browse/SPARK-49326)[SS] A Foreach fogadó felhasználói függvényének hibaosztályba sorolása
    • [SPARK-49905] Dedikált ShuffleOrigin használata állapotalapú operátorhoz, hogy megakadályozza az AQE-ből való módosítást
    • Az operációs rendszer biztonsági frissítései.
  • 2024. október 10.
    • [SPARK-49743][SQL] Az OptimizeCsvJsonExpr nem módosíthatja a sémamezőket a GetArrayStructFields metszésekor
  • 2024. szeptember 25.
    • [SPARK-46601] [CORE] Naplóhiba javítása a handleStatusMessage szolgáltatásban
    • [SPARK-48719][SQL] Javítsa ki a RegrSlope & RegrIntercept számítási hibáját, ha az első paraméter null
    • [SPARK-43242][CORE] A "Nem várt típusú BlockId" dobása kijavítása a shuffle-sérülés diagnosztizálásához
    • [SPARK-49000][SQL] A RewriteDistinctAggregates kibontásával kijavíthatja a "select count(distinct 1) from t" (select count(distinct 1) from t" (select count(distinct 1) from t) (select count(distinct 1) from t) (select count(distinct 1) from t) (t) elemet, ahol t üres tábla a RewriteDistinctAggregates kibontásával
    • Az operációs rendszer biztonsági frissítései.
  • 2024. szeptember 17.
    • [SPARK-49526][CONNECT] Windows-stílusú elérési utak támogatása az ArtifactManagerben
    • [SPARK-48463][ML] Make Binarizer, Bucketizer, Vector Assembler, FeatureHasher, QuantizeDiscretizer, OnehotEncoder, StopWordsRemover, Imputer, Interactor támogató beágyazott bemeneti oszlopok
    • Az operációs rendszer biztonsági frissítései.
  • 2024. augusztus 29.
  • 2024. augusztus 14.
    • [SPARK-49056][SQL] A ErrorClassesJsonReader nem tudja megfelelően kezelni a null értéket
    • [SPARK-49065][SQL] Az örökölt formázók/elemzők újraegyesítésének támogatnia kell a nem JVM alapértelmezett időzónáit
    • [SPARK-48597][SQL] Az isStreaming tulajdonság jelölőjének bevezetése a logikai terv szöveges ábrázolásában
  • 2024. augusztus 1.
    • Ez a kiadás tartalmaz egy hibajavítást a ColumnVector Spark Java-felületen található osztályokhoz és ColumnarArray osztályokhoz. A javítást megelőző esetekben előfordulhat, hogy a rendszer hibás vagy hibás adatokat ad vissza, ArrayIndexOutOfBoundsException ha az egyik osztály egy példánya tartalmazott null értékeket.
    • [SPARK-47202][PYTHON] A tzinfo elírási dátumidejeinek javítása
    • [SPARK-48896] [SPARK-48909] [SPARK-48883] A Backport Spark ML-író javításai
    • [SPARK-48463] Beágyazott bemeneti oszlopok támogatása a StringIndexerrel
    • Az operációs rendszer biztonsági frissítései.
  • 2024. július 11.
    • (Viselkedésváltozás) A Delta-táblaforrásokkal gyorsítótárazott adatkeretek érvénytelenítve lesznek, ha a forrástábla felülírva van. Ez a változás azt jelenti, hogy a Delta-táblák összes állapotváltozása érvényteleníti a gyorsítótárazott eredményeket. Táblaállapot .checkpoint() megőrzése a DataFrame teljes élettartama alatt.
    • Ez a kiadás tartalmaz egy hibát, amely megakadályozta, hogy a Spark felhasználói felületi környezet lapja megfelelően jelenjen meg a Databricks Container Servicesben való futtatáskor.
    • [SPARK-48383][SS] Jobb hiba a kafkai StartOffset beállítás eltérő partícióinál
    • [SPARK-48292][CORE] Visszaállítás [SPARK-39195][SQL] A Spark OutputCommitCoordinator leáll, ha a véglegesített fájl nem összhangban van a tevékenység állapotával
    • [SPARK-48503][SQL] Érvénytelen skaláris al lekérdezések javítása a helytelenül engedélyezett nem egyenértékű oszlopok csoportosításával
    • [SPARK-48481][SQL][SS] Ne alkalmazza az OptimizeOneRowPlant a streamelési adatkészletre
    • [SPARK-48475][PYTHON] Optimalizálja _get_jvm_function a PySparkban.
    • [SPARK-48273][SQL] A PlanWithUnresolvedIdentifier késői átírásának javítása
    • [SPARK-48445][SQL] Ne beágyazott UDF-ek drága gyerekekkel
    • Az operációs rendszer biztonsági frissítései.
  • 2024. június 17.
    • [SPARK-48277] ErrorClassesJsonReader.getErrorMessage hibaüzenetének javítása
    • Az operációs rendszer biztonsági frissítései.
  • 2024. május 21.
    • A (viselkedésváltozás) dbutils.widgets.getAll() mostantól támogatott a jegyzetfüzet összes widgetértékének lekéréséhez.
    • [SPARK-48105][SS] Az állapottároló kiürítése és a pillanatképek készítése közötti versenyállapot javítása
    • [SPARK-47994][SQL] Hiba kijavítása a CASE WHEN oszlopszűrő leküldésével az SQLServerben
    • Az operációs rendszer biztonsági frissítései.
  • 2024. május 9.
    • [SPARK-47956][SQL] A nem megoldott LCA-referencia sanity check for un olded LCA reference
    • [SPARK-46822][SQL] Tiszteletben spark.sql.legacy.charVarcharAsString, amikor jdbc-típust a katalizátor típusa jdbc
    • [SPARK-47895]Az [SQL] csoportnak mindennek idempotensnek kell lennie
    • [SPARK-48018][SS] A kafkaException.couldNotReadOffsetRange dobásakor hiányzó paramhibát okozó null groupId kijavítása
    • [SPARK-47973][CORE] Híváswebhely naplózása a SparkContext.stop() és újabb verzióiban a SparkContext.assertNotStopped() alkalmazásban
    • Az operációs rendszer biztonsági frissítései.
  • 2024. április 25.
    • [SPARK-44653][SQL] A nem triviális DataFrame-uniók nem szakítják meg a gyorsítótárazást
    • Egyéb hibajavítások.
  • 2024. április 11.
    • [SPARK-47509][SQL] Részlekérdezés-kifejezések blokkolása a lambda és a magasabbrendű függvényekben
    • Az operációs rendszer biztonsági frissítései.
  • 2024. április 1.
    • [SPARK-47385] Javítsa ki a kódolókat option bemenetekkel.
    • [SPARK-38708][SQL] A Hive Metastore-ügyfél frissítése a Hive 3.1 3.3-ra
    • [SPARK-47200][SS] Hibaosztály a Foreach batch sink felhasználói függvényének hibája esetén
    • [SPARK-47368][SQL] InferTimestampNTZ konfigurációs ellenőrzés eltávolítása a ParquetRowConverterben
    • [SPARK-44252][SS] Adjon meg egy új hibaosztályt, és alkalmazza azokra az esetekre, amikor az elosztott fájlrendszerből való betöltési állapot meghiúsul
    • [SPARK-47135][SS] Hibaosztályok implementálása a Kafka adatvesztési kivételeihez
    • [SPARK-47300][SQL] quoteIfNeeded idézőjel azonosítója számjegyekkel kezdődik
    • [SPARK-47305][SQL] A PruneFilters javítása a LocalRelation isStreaming jelzőjének helyes címkézéséhez, ha a csomag köteget és streamet is tartalmaz
    • [SPARK-47070] Érvénytelen aggregáció kijavítása az alregisztráció újraírása után
    • Az operációs rendszer biztonsági frissítései.
  • 2024. március 14.
    • [SPARK-47145][SQL] Adja át a táblaazonosítót a V2-stratégia soradatforrás-vizsgálatának exec eleméhez.
    • [SPARK-47167][SQL] Betonosztály hozzáadása A JDBC névtelen relációjához
    • [SPARK-47176][SQL] ResolveAllExpressionsUpWithPruning segédfüggvény használata
    • [SPARK-47044][SQL] Végrehajtott lekérdezés hozzáadása külső JDBC-adatforrásokhoz a kimenet magyarázatához
    • [SPARK-47125][SQL] Null értéket ad vissza, ha az Univocity soha nem aktiválja az elemzést
    • Az operációs rendszer biztonsági frissítései.
  • 2024. február 29.
    • Kijavítottunk egy hibát, amely miatt a helyi gyűjtemény forrásként való használata a MERGE parancsban a műveletmetrika numSourceRows jelentésének duplájára növelte a sorok számát.
    • Egy meghatározott hellyel rendelkező séma létrehozásához a felhasználónak most már SELECT és MODIFY jogosultsággal kell rendelkeznie a BÁRMELY FÁJLban.
    • Az operációs rendszer biztonsági frissítései.
  • 2024. február 8.
    • A Unity Catalog materializált nézeteiben nem támogatott az adatcsatorna -lekérdezések módosítása (CDF), és ha egy CDF-lekérdezést egy Unity Catalog materializált nézettel próbál futtatni, hibaüzenetet ad vissza. A Unity Catalog streamelő táblái támogatják a CDF-lekérdezéseketAPPLY CHANGES a Databricks Runtime 14.1-ben és újabb verzióiban nem táblákon. A CDF-lekérdezések nem támogatottak a Unity Catalog streamelési tábláival a Databricks Runtime 14.0-s és korábbi verzióiban.
    • [SPARK-46794] Távolítsa el az al lekérdezéseket a LogicalRDD-megkötésekből.
    • [SPARK-46933] Adjon hozzá lekérdezés-végrehajtási időmetrikát a JDBCRDD-t használó összekötőkhöz.
    • [SPARK-45582] Győződjön meg arról, hogy a tárpéldány nem használható a véglegesítés kimeneti módú streamelési összesítésen belüli meghívása után.
    • [SPARK-46396] Az időbélyeg-következtetés nem vethet ki kivételt.
    • [SPARK-46861] Kerülje a holtpontot a DAGSchedulerben.
    • [SPARK-46941] Nem szúrható be ablakcsoport-korlátcsomópont a top-k számításhoz, ha a SizeBasedWindowFunctiont tartalmazza.
    • Az operációs rendszer biztonsági frissítései.
  • 2024. január 31.
    • [SPARK-46610] A tábla létrehozása kivételt eredményez, ha a beállításokban nincs érték egy kulcs számára.
    • [SPARK-46383] Az illesztőprogram halomhasználatának csökkentése a TaskInfo.accumulables() élettartamának csökkentésével.
    • [SPARK-46600] Megosztott kód áthelyezése az SqlConf és az SqlApiConf között az SqlApiConfHelperbe.
    • [SPARK-46676] A dropDuplicatesWithinWatermark nem hiúsíthatja meg a terv canonicalizálását.
    • [SPARK-46763] Kijavítottuk az ismétlődő attribútumok helyességi hibáját a ReplaceDeduplicateWithAggregate fájlban.
    • Az operációs rendszer biztonsági frissítései.
  • 2024. január 17.
    • A shuffle Photon-lekérdezés által visszaadott magyarázó terv csomópontja frissül, hogy hozzáadja a causedBroadcastJoinBuildOOM=true jelzőt, ha memóriakimaradási hiba lép fel egy közvetítési illesztés részét képező shuffle során.
    • A TLSv1.3-n keresztüli kommunikáció megnövekedett késésének elkerülése érdekében ez a karbantartási kiadás tartalmaz egy javítást a JDK 8 telepítésében a JDK-8293562 hiba kijavításához.
    • [SPARK-46058] Adjon hozzá külön jelölőt a privateKeyPasswordhez.
    • [SPARK-46173] A trimAll hívás kihagyása a dátum elemzése során.
    • [SPARK-46370] Az oszlop alapértelmezett értékének módosítása után kijavítottuk a táblából való lekérdezéskor megjelenő hibát.
    • [SPARK-46370] Az oszlop alapértelmezett értékének módosítása után kijavítottuk a táblából való lekérdezéskor megjelenő hibát.
    • [SPARK-46370] Az oszlop alapértelmezett értékének módosítása után kijavítottuk a táblából való lekérdezéskor megjelenő hibát.
    • [SPARK-46609] Kerülje az exponenciális robbanást a PartitioningPreservingUnaryExecNode-ban.
    • [SPARK-46132] Az RPC SSL JKS-kulcsainak támogatási kulcsa.
    • [SPARK-46602] allowExisting Propagálja a nézetlétrehozásban, ha a nézet/tábla nem létezik.
    • [SPARK-46249] Példányzárolás megkövetelése a RocksDB-metrikák beszerzéséhez a háttérben futó verseny megakadályozása érdekében.
    • [SPARK-46417] Ne hiúsuljon meg a hive.getTable hívásakor, és a throwException értéke hamis.
    • [SPARK-46538] Kijavítottuk a nem egyértelmű oszlophivatkozási hibát a következőben ALSModel.transform: .
    • [SPARK-46478] Állítsa vissza a SPARK-43049-et az oracle varchar(255) sztringhez való használatához.
    • [SPARK-46250] Deflake test_parity_listener.
    • [SPARK-46394] A spark.catalog.listDatabases() hibáinak kijavítása speciális karakterekkel rendelkező sémákon, ha spark.sql.legacy.keepCommandOutputSchema igaz értékre van állítva.
    • [SPARK-46056] Parquet vectorized read NPE javítása byteArrayDecimalType alapértelmezett értékkel.
    • [SPARK-46145] A spark.catalog.listTables nem okoz kivételt, ha a tábla vagy a nézet nem található.
    • [SPARK-46466] A vektoros parquet-olvasónak soha nem szabad újrabázist végeznie az időbélyeg ntz-hez.
  • 2023. december 14.
    • Kijavítottunk egy hibát, amely miatt a JDBC-ből vagy ODBC-ügyfelekből származó getColumns-műveletekben a szökött aláhúzásjelek helytelenül lettek kezelve, és helyettesítő karakterekként lettek értelmezve.
    • [SPARK-45920] a csoportosításnak sorszám szerint idempotensnek kell lennie.
    • [SPARK-44582] Ha megtisztították, hagyja ki az iterátort az SMJ-n.
    • [SPARK-45433] Javítsa ki a CSV/JSON-séma következtetését, ha az időbélyegek nem felelnek meg a megadott időbélyegformának.
    • [SPARK-45655] Nem determinisztikus kifejezések engedélyezése az AggregateFunctionsben a CollectMetricsben.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. november 29.
    • Telepített egy új csomagot a pyarrow-hotfix PyArrow RCE biztonsági rés elhárításához.
    • A Spark-snowflake összekötő 2.12.0-ra frissül.
    • [SPARK-44846] Az összetett csoportosítási kifejezések el lettek távolítva a program után RemoveRedundantAggregates.
    • [SPARK-45544] Integrált SSL-támogatás a TransportContext.
    • [SPARK-45892] Újrabontási optimalizálási terv érvényesítése a leválasztáshoz validateSchemaOutput és validateExprIdUniquenessa .
    • [SPARK-45730] Továbbfejlesztett időkorlátok a ReloadingX509TrustManagerSuite.
    • [SPARK-45859] Az UDF-objektumok ml.functions lusták.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. november 10.
    • A Delta Lake streamelési lekérdezések partíciószűrői le lesznek küldve a sebességkorlátozás előtt a jobb kihasználtság érdekében.
    • Módosított adatcsatorna-lekérdezések a Unity Catalog streamelési tábláiban és materializált nézeteiben a hibaüzenetek megjelenítéséhez.
    • [SPARK-45545] SparkTransportConf SSLOptions a létrehozáskor örökli.
    • [SPARK-45584] Kijavítottuk a subquery-futtatási hibát a következővel TakeOrderedAndProjectExec: .
    • [SPARK-45427] RPC SSL-beállításokat adtunk hozzá az és SparkTransportConfa SSLOptions .
    • [SPARK-45541] Hozzáadva SSLFactory.
    • [SPARK-45430] FramelessOffsetWindowFunction már nem meghiúsul, amikor IGNORE NULLS és offset > rowCount.
    • [SPARK-45429] Segédosztályok hozzáadva az SSL RPC-kommunikációhoz.
    • [SPARK-44219] További szabályonkénti érvényesítések hozzáadva az optimalizálási újraírásokhoz.
    • [SPARK-45543] Kijavítottunk egy hibát, amely InferWindowGroupLimit akkor okozott problémát, ha a többi ablakfüggvény nem ugyanazzal az ablakkerettel rendelkezik, mint a rangszerű függvények.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. október 23.
    • [SPARK-45256] Kijavítottunk egy hibát, amely DurationWriter miatt nem sikerült több értéket írni, mint a kezdeti kapacitás.
    • [SPARK-45419] A nagyobb verziók fájlverzió-megfeleltetési bejegyzéseinek eltávolításával ne használja rocksdb sst újra a fájlokat egy másik rocksdb példányban.
    • [SPARK-45426] Támogatás hozzáadva a következőhöz ReloadingX509TrustManager: .
    • Egyéb javítások.
  • 2023. október 13.
    • A Snowflake-jdbc függőség 3.13.29-ről 3.13.33-ra frissült.
    • A array_insert függvény 1-alapú a pozitív és negatív indexekhez, míg korábban a negatív indexek esetében 0-alapú volt. Most egy új elemet szúr be a -1 index bemeneti tömbjeinek végére. Az előző viselkedés visszaállításához állítsa be a következőt spark.sql.legacy.negativeIndexInArrayInsert true: .
    • Kijavítottunk egy hibát, amely miatt nem figyelmen kívül hagyta a sérült fájlokat, amikor ignoreCorruptFiles engedélyezve van a CSV-séma automatikus betöltővel való következtetése során.
    • Visszaállítás [SPARK-42946].
    • [SPARK-42205] Frissítette a JSON protokollt, hogy eltávolítsa az Accumulables naplózását egy tevékenységben vagy szakaszindítási eseményben.
    • [SPARK-45178] Ne használja a burkolót, hanem egyetlen köteget Trigger.AvailableNow futtasson nem támogatott forrásokkal.
    • [SPARK-45316] Adjon hozzá új paramétereket ignoreCorruptFiles , és ignoreMissingFiles adja hozzá HadoopRDD és NewHadoopRDD.
    • [SPARK-44740] Kijavítottuk az összetevők metaadat-értékeit.
    • [SPARK-45360] Inicializált Spark-munkamenet-szerkesztő konfigurációja innen SPARK_REMOTE: .
    • [SPARK-44551] Szerkesztett megjegyzések az OSS-sel való szinkronizáláshoz.
    • [SPARK-45346] A parquet-séma következtetése mostantól tiszteletben tartja a kis- és nagybetűket megkülönböztető jelzőket a séma egyesítésekor.
    • [SPARK-44658] ShuffleStatus.getMapStatus most a következő helyett None Some(null)ad vissza.
    • [SPARK-44840] Negatív array_insert() indexekhez készült 1-alapú.
  • 2023. szeptember 14.
    • [SPARK-44873] A Hive-ügyfél beágyazott oszlopainak támogatása alter view hozzáadva.
    • [SPARK-44878] Kikapcsolta az íráskezelő szigorú RocksDB korlátját, hogy elkerülje a beszúrási kivételt a gyorsítótárban.
  • 2023. augusztus 30.
    • A dbutils cp parancs (dbutils.fs.cp) a gyorsabb másoláshoz lett optimalizálva. Ezzel a fejlesztéssel a másolási műveletek akár 100-zal kevesebb időt is igénybe vehetnek a fájl méretétől függően. A funkció a Databricksben elérhető összes felhőben és fájlrendszerben elérhető, beleértve a Unity Catalog-köteteket és a DBFS-csatlakoztatásokat is.
    • [SPARK-44455] Idézőjel-azonosítók az eredményben SHOW CREATE TABLE háttérjelekkel.
    • [SPARK-44763] Kijavítottunk egy hibát, amely egy karakterláncot dupla értékként mutatott bináris aritmetikai intervallummal.
    • [SPARK-44871] Rögzített percentile_disc viselkedés.
    • [SPARK-44714] Az LCA-feloldás egyszerű korlátozása a lekérdezésekkel kapcsolatban.
    • [SPARK-44818] Kijavítottuk az inicializálás előtt taskThread kiadott függőben lévő tevékenység megszakításának versenyét.
    • [SPARK-44505] Felülbírálás hozzáadva az oszlopos támogatáshoz a DSv2-keresésben.
    • [SPARK-44479] Kijavítottuk a protobuf átalakítást egy üres szerkezettípusból.
    • [SPARK-44718] A ColumnVector memóriamód alapértelmezett konfigurációjának egyeztetése a konfiguráció értékével OffHeapMemoryMode .
    • [SPARK-42941] A Python támogatása StreamingQueryListener hozzáadva.
    • [SPARK-44558] Exportálja a PySpark Spark Connect-naplószintjét.
    • [SPARK-44464] Olyan kimeneti sorokhoz lett javítva applyInPandasWithStatePythonRunner , amelyek első oszlopértéke Null.
    • [SPARK-44643] Ki lett javítva Row.__repr__ , ha a mező üres sor.
    • Az operációs rendszer biztonsági frissítései.

Databricks Runtime 12.2 LTS

Lásd: Databricks Runtime 12.2 LTS.

  • 2024. október 10.
    • [SPARK-49743][SQL] Az OptimizeCsvJsonExpr nem módosíthatja a sémamezőket a GetArrayStructFields metszésekor
  • 2024. szeptember 25.
    • [SPARK-49000][SQL] A RewriteDistinctAggregates kibontásával kijavíthatja a "select count(distinct 1) from t" (select count(distinct 1) from t" (select count(distinct 1) from t) (select count(distinct 1) from t) (select count(distinct 1) from t) (t) elemet, ahol t üres tábla a RewriteDistinctAggregates kibontásával
    • [SPARK-46601] [CORE] Naplóhiba javítása a handleStatusMessage szolgáltatásban
    • Egyéb hibajavítások.
  • 2024. szeptember 17.
    • Az operációs rendszer biztonsági frissítései.
  • 2024. augusztus 29.
    • Egyéb hibajavítások.
  • 2024. augusztus 14.
    • [SPARK-48941][SPARK-48970] Backport ML-író/ olvasó javításai
    • [SPARK-49065][SQL] Az örökölt formázók/elemzők újraegyesítésének támogatnia kell a nem JVM alapértelmezett időzónáit
    • [SPARK-49056][SQL] A ErrorClassesJsonReader nem tudja megfelelően kezelni a null értéket
    • [SPARK-48597][SQL] Az isStreaming tulajdonság jelölőjének bevezetése a logikai terv szöveges ábrázolásában
    • [SPARK-48463][ML] Beágyazott bemeneti oszlopok támogatása a StringIndexerrel
    • Az operációs rendszer biztonsági frissítései.
  • 2024. augusztus 1.
  • 2024. augusztus 1.
    • A szükséges biztonsági javítások alkalmazásához a Databricks Runtime 12.2 LTS Python-verziója 3.9.5-ről 3.9.19-re frissül.
  • 2024. július 11.
    • (Viselkedésváltozás) A Delta-táblaforrásokkal gyorsítótárazott adatkeretek érvénytelenítve lesznek, ha a forrástábla felülírva van. Ez a változás azt jelenti, hogy a Delta-táblák összes állapotváltozása érvényteleníti a gyorsítótárazott eredményeket. Táblaállapot .checkpoint() megőrzése a DataFrame teljes élettartama alatt.
    • [SPARK-48481][SQL][SS] Ne alkalmazza az OptimizeOneRowPlant a streamelési adatkészletre
    • [SPARK-47070] Érvénytelen aggregáció kijavítása az alregisztráció újraírása után
    • [SPARK-42741][SQL] A bináris összehasonlításban ne bontsa ki a leadott elemeket, ha a literál értéke null
    • [SPARK-48445][SQL] Ne beágyazott UDF-ek drága gyerekekkel
    • [SPARK-48503][SQL] Érvénytelen skaláris al lekérdezések javítása a helytelenül engedélyezett nem egyenértékű oszlopok csoportosításával
    • [SPARK-48383][SS] Jobb hiba a kafkai StartOffset beállítás eltérő partícióinál
    • Az operációs rendszer biztonsági frissítései.
  • 2024. június 17.
    • [SPARK-48277] ErrorClassesJsonReader.getErrorMessage hibaüzenetének javítása
    • Egyéb hibajavítások.
  • 2024. május 21.
    • [SPARK-48105][SS] Az állapottároló kiürítése és a pillanatképek készítése közötti versenyállapot javítása
    • Az operációs rendszer biztonsági frissítései.
  • 2024. május 9.
    • [SPARK-44251][SQL] Null értékű helyes beállítása a teljes külső USING illesztésben a szénerősített illesztési kulcson
    • [SPARK-47973][CORE] Híváswebhely naplózása a SparkContext.stop() és újabb verzióiban a SparkContext.assertNotStopped() alkalmazásban
    • [SPARK-47956][SQL] A nem megoldott LCA-referencia sanity check for un olded LCA reference
    • [SPARK-48018][SS] A kafkaException.couldNotReadOffsetRange dobásakor hiányzó paramhibát okozó null groupId kijavítása
    • Az operációs rendszer biztonsági frissítései.
  • 2024. április 25.
    • Az operációs rendszer biztonsági frissítései.
  • 2024. április 11.
    • Az operációs rendszer biztonsági frissítései.
  • 2024. április 1.
    • [SPARK-47305][SQL] A PruneFilters javítása a LocalRelation isStreaming jelzőjének helyes címkézéséhez, ha a csomag köteget és streamet is tartalmaz
    • [SPARK-44252][SS] Adjon meg egy új hibaosztályt, és alkalmazza azokra az esetekre, amikor az elosztott fájlrendszerből való betöltési állapot meghiúsul
    • [SPARK-47135][SS] Hibaosztályok implementálása a Kafka adatvesztési kivételeihez
    • [SPARK-47200][SS] Hibaosztály a Foreach batch sink felhasználói függvényének hibája esetén
    • Az operációs rendszer biztonsági frissítései.
  • 2024. március 14.
    • [SPARK-47176][SQL] ResolveAllExpressionsUpWithPruning segédfüggvény használata
    • Visszaállítás "[SPARK-46861][CORE] Kerülje a holtpontot a DAGSchedulerben"
    • [SPARK-47125][SQL] Null értéket ad vissza, ha az Univocity soha nem aktiválja az elemzést
    • [SPARK-47167][SQL] Betonosztály hozzáadása A JDBC névtelen relációjához
    • Az operációs rendszer biztonsági frissítései.
  • 2024. február 29.
    • Kijavítottunk egy hibát, amely miatt a helyi gyűjtemény forrásként való használata a MERGE parancsban a műveletmetrika numSourceRows jelentésének duplájára növelte a sorok számát.
    • Egy meghatározott hellyel rendelkező séma létrehozásához a felhasználónak most már SELECT és MODIFY jogosultsággal kell rendelkeznie a BÁRMELY FÁJLban.
    • [SPARK-45582][SS] Győződjön meg arról, hogy a tárpéldány nincs használatban a véglegesítés kimeneti módú streamelési összesítésen belüli meghívása után
    • Az operációs rendszer biztonsági frissítései.
  • 2024. február 13.
    • [SPARK-46861] Kerülje a holtpontot a DAGSchedulerben.
    • [SPARK-46794] Távolítsa el az al lekérdezéseket a LogicalRDD-megkötésekből.
    • Az operációs rendszer biztonsági frissítései.
  • 2024. január 31.
    • [SPARK-46763] Kijavítottuk az ismétlődő attribútumok helyességi hibáját a ReplaceDeduplicateWithAggregate fájlban.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. december 25.
    • A TLSv1.3-n keresztüli kommunikáció megnövekedett késésének elkerülése érdekében ez a karbantartási kiadás tartalmaz egy javítást a JDK 8 telepítésében a JDK-8293562 hiba kijavításához.
    • [SPARK-39440] Adjon hozzá egy konfigurációt az esemény ütemtervének letiltásához.
    • [SPARK-46132] Az RPC SSL JKS-kulcsainak támogatási kulcsa.
    • [SPARK-46394] A spark.catalog.listDatabases() hibáinak kijavítása speciális karakterekkel rendelkező sémákon, ha spark.sql.legacy.keepCommandOutputSchema igaz értékre van állítva.
    • [SPARK-46417] Ne hiúsuljon meg a hive.getTable hívásakor, és a throwException értéke hamis.
    • [SPARK-43067] Javítsa ki a hibaosztály erőforrásfájljának helyét a Kafka-összekötőben.
    • [SPARK-46249] Példányzárolás megkövetelése a RocksDB-metrikák beszerzéséhez a háttérben futó verseny megakadályozása érdekében.
    • [SPARK-46602] allowExisting Propagálja a nézetlétrehozásban, ha a nézet/tábla nem létezik.
    • [SPARK-46058] Adjon hozzá külön jelölőt a privateKeyPasswordhez.
    • [SPARK-46145] A spark.catalog.listTables nem okoz kivételt, ha a tábla vagy a nézet nem található.
    • [SPARK-46538] Kijavítottuk a nem egyértelmű oszlophivatkozási hibát a következőben ALSModel.transform: .
    • [SPARK-42852] Állítsa vissza a NamedLambdaVariable kapcsolódó módosításokat a EquivalentExpressionsből.
  • 2023. december 14.
    • Kijavítottunk egy hibát, amely miatt a JDBC-ből vagy ODBC-ügyfelekből származó getColumns-műveletekben a szökött aláhúzásjelek helytelenül lettek kezelve, és helyettesítő karakterekként lettek értelmezve.
    • [SPARK-44582] Ha megtisztították, hagyja ki az iterátort az SMJ-n.
    • [SPARK-45920] a csoportosításnak sorszám szerint idempotensnek kell lennie.
    • [SPARK-45655] Nem determinisztikus kifejezések engedélyezése az AggregateFunctionsben a CollectMetricsben.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. november 29.
    • Telepített egy új csomagot a pyarrow-hotfix PyArrow RCE biztonsági rés elhárításához.
    • Kijavítottunk egy hibát, amely miatt a JDBC-ből vagy ODBC-ügyfelekből származó műveletekben a kimenekült aláhúzásmagok getColumns helytelenül helyettesítő karakterekként lettek értelmezve.
    • [SPARK-42205] Eltávolítottuk a naplózási elemeket, Stage és Task eseményeket indítunk el.
    • [SPARK-44846] Az összetett csoportosítási kifejezések el lettek távolítva a program után RemoveRedundantAggregates.
    • [SPARK-43718] Kijavítottuk az illesztések kulcsainak nullhipotitását USING .
    • [SPARK-45544] Integrált SSL-támogatás a TransportContext.
    • [SPARK-43973] A strukturált streamelési felhasználói felület mostantól helyesen jeleníti meg a sikertelen lekérdezéseket.
    • [SPARK-45730] Továbbfejlesztett időkorlátok a ReloadingX509TrustManagerSuite.
    • [SPARK-45859] Az UDF-objektumok ml.functions lusták.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. november 14.
    • A Delta Lake streamelési lekérdezések partíciószűrői le lesznek küldve a sebességkorlátozás előtt a jobb kihasználtság érdekében.
    • [SPARK-45545] SparkTransportConf SSLOptions a létrehozáskor örökli.
    • [SPARK-45427] RPC SSL-beállításokat adtunk hozzá az és SparkTransportConfa SSLOptions .
    • [SPARK-45584] Kijavítottuk a subquery-futtatási hibát a következővel TakeOrderedAndProjectExec: .
    • [SPARK-45541] Hozzáadva SSLFactory.
    • [SPARK-45430] FramelessOffsetWindowFunction már nem meghiúsul, amikor IGNORE NULLS és offset > rowCount.
    • [SPARK-45429] Segédosztályok hozzáadva az SSL RPC-kommunikációhoz.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. október 24.
    • [SPARK-45426] Támogatás hozzáadva a következőhöz ReloadingX509TrustManager: .
    • Egyéb javítások.
  • 2023. október 13.
    • A Snowflake-jdbc függőség 3.13.29-ről 3.13.33-ra frissült.
    • [SPARK-42553] Győződjön meg róla, hogy intervallum után legalább egy időegységet kell használnia.
    • [SPARK-45346] A parquet-séma következtetése tiszteletben tartja a kis- és nagybetűket megkülönböztető jelzőt a séma egyesítésekor.
    • [SPARK-45178] Ne használja a burkolót, hanem egyetlen köteget Trigger.AvailableNow futtasson nem támogatott forrásokkal.
    • [SPARK-45084] StateOperatorProgress a pontos, megfelelő shuffle partíciószám használatához.
  • 2023. szeptember 12.
    • [SPARK-44873] A Hive-ügyfél beágyazott oszlopainak támogatása alter view hozzáadva.
    • [SPARK-44718] A ColumnVector memóriamód alapértelmezett konfigurációjának egyeztetése a konfiguráció értékével OffHeapMemoryMode .
    • [SPARK-43799] Leíró bináris beállítás hozzáadva a PySpark Protobuf API-hoz.
    • Egyéb javítások.
  • 2023. augusztus 30.
    • [SPARK-44485] Optimalizált TreeNode.generateTreeString.
    • [SPARK-44818] Kijavítottuk az inicializálás előtt taskThread kiadott függőben lévő tevékenység megszakításának versenyét.
    • [SPARK-44871][11.3-13.0] Rögzített percentile_disc viselkedés.
    • [SPARK-44714] Enyhített az LCA-feloldás korlátozása a lekérdezésekkel kapcsolatban.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. augusztus 15.
    • [SPARK-44504] A karbantartási feladat leállási hiba miatt törli a betöltött szolgáltatókat.
    • [SPARK-44464] Az első oszlopértékként megadott Null kimeneti sorokhoz van javítvaapplyInPandasWithStatePythonRunner.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. július 29.
    • Kijavítottunk egy hibát, amely dbutils.fs.ls() akkor lett visszaadva INVALID_PARAMETER_VALUE.LOCATION_OVERLAP , amikor olyan tárolási hely elérési útját kérték, amely ütközött más külső vagy felügyelt tárhellyel.
    • [SPARK-44199] CacheManager a továbbiakban nem frissíti feleslegesen.fileIndex
    • Az operációs rendszer biztonsági frissítései.
  • 2023. július 24.
    • [SPARK-44337] Kijavítottunk egy hibát, amely miatt bármely mező Any.getDefaultInstance elemzési hibákat okozott.
    • [SPARK-44136] Kijavítottunk egy hibát, amely StateManager miatt a rendszer a végrehajtóban materializálta a fájlt az illesztő FlatMapGroupsWithStateExechelyett.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. június 23.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. június 15.
    • Fotonizált approx_count_distinct.
    • A Snowflake-jdbc kódtár 3.13.29-re frissül egy biztonsági probléma megoldásához.
    • [SPARK-43779] ParseToDate most betöltődik EvalMode a főszálban.
    • [SPARK-43156][SPARK-43098] Kiterjesztett skaláris subquery count hibateszt decorrelateInnerQuery kikapcsolva.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. június 2.
    • A JSON-elemző failOnUnknownFields módban elvet egy rekordot DROPMALFORMED módban, és közvetlenül FAILFAST módban meghiúsul.
    • Növelje a növekményes frissítések teljesítményét az Iceberg és a Parquet használatával SHALLOW CLONE .
    • Kijavítottunk egy hibát az Automatikus betöltőben, amelyben a különböző forrásfájlformátumok inkonzisztensek voltak, amikor a megadott séma nem tartalmazott következtetéses partíciókat. Ez a probléma váratlan hibákat okozhat a hiányzó oszlopokat tartalmazó fájlok olvasása során a késleltetett partíciós sémában.
    • [SPARK-43404] Az azonosítóeltérési hiba elkerülése érdekében hagyja ki a RocksDB-állapottároló ugyanazon verziójához tartozó sst-fájl újbóli újrafelhasználását.
    • [SPARK-43413][11.3-13.0] Kijavítottuk IN a subquery ListQuery nullability-t.
    • [SPARK-43522] Kijavítottuk a tömboszlop nevének tömbindexel való létrehozását.
    • [SPARK-43541] Propagálja az összes Project címkét a kifejezések és a hiányzó oszlopok feloldása során.
    • [SPARK-43527] Javítva catalog.listCatalogs a PySparkban.
    • [SPARK-43123] A belső mező metaadatai már nem szivárognak ki a katalógusokbe.
    • [SPARK-43340] Kijavítottuk a hiányzó verem nyomkövetési mezőjét az eseménynaplókban.
    • [SPARK-42444] DataFrame.drop mostantól megfelelően kezeli a duplikált oszlopokat.
    • [SPARK-42937] PlanSubqueries mostantól igaz értékre van állítódva InSubqueryExec#shouldBroadcast .
    • [SPARK-43286] Frissített aes_encrypt CBC mód véletlenszerű IV-k létrehozásához.
    • [SPARK-43378] A streamobjektumok megfelelő bezárása a következőben: deserializeFromChunkedBuffer.
  • 2023. május 17.
    • A parquet-vizsgálatok mostantól hatékonyak az OOM-ekkel szemben, amikor a köteg méretének dinamikus módosításával kivételesen strukturált fájlokat vizsgálnak. A fájl metaadatait a rendszer a köteg méretének előzetes csökkentése érdekében elemzi, és a feladat újrapróbálkozásakor ismét csökkenti végleges biztonsági hálóként.
    • Ha egy Avro-fájlt csak a beállítással vagy az Automatikus betöltővel failOnNewColumns olvastak a failOnUnknownFields sémafejlődési módban, a különböző adattípusokkal rendelkező oszlopok ahelyett, hogy hibaüzenetet adnánaknull, amely szerint a fájl nem olvasható. Ezek az olvasások most sikertelenek, és azt javasolják a felhasználóknak, hogy használják a rescuedDataColumn lehetőséget.
    • Az Automatikus betöltő mostantól a következőket végzi el.
      • Helyesen olvas, és már nem menti Integerazokat, Shortés Byte ha az egyik ilyen adattípus meg van adva, az Avro-fájl a másik két típus egyikét javasolja.
      • Megakadályozza az intervallumtípusok dátum- vagy időbélyeg-típusokként való olvasását, hogy elkerülje a sérült dátumok beolvasását.
      • Megakadályozza a kisebb pontosságú olvasási Decimal típusokat.
    • [SPARK-43172] A Spark Connect-ügyfél gazdagépét és jogkivonatát teszi elérhetővé.
    • [SPARK-43293] __qualified_access_only a rendszer a normál oszlopokban figyelmen kívül hagyja.
    • [SPARK-43098] Kijavítottuk a helyességi COUNT hibát, ha a skaláris alkérdezés záradék szerint van csoportosítva.
    • [SPARK-43085] Többrészes táblanevek oszlop-hozzárendelésének DEFAULT támogatása.
    • [SPARK-43190] ListQuery.childOutput most már konzisztens a másodlagos kimenettel.
    • [SPARK-43192] Eltávolítva a felhasználói ügynök karakterkészletének ellenőrzése.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. április 25.
    • Ha egy Parquet-fájlt csak a beállítással vagy az Automatikus betöltővel failOnNewColumns olvastak a failOnUnknownFields sémafejlődési módban, a rendszer a különböző adattípusokkal rendelkező oszlopokat úgy olvassa fel, mint null ahelyett, hogy hibaüzenetet adna arról, hogy a fájl nem olvasható. Ezek az olvasások most sikertelenek, és azt javasolják a felhasználóknak, hogy használják a rescuedDataColumn lehetőséget.
    • Az Automatikus betöltő mostantól helyesen olvassa be az adatokat, és már nem menti Integerazokat, Shortés Byte ha ezek közül az adattípusok egyike meg van adva. A Parquet-fájl a másik két típus egyikét javasolja. Ha a mentett adatoszlop korábban engedélyezve lett, az adattípus eltérése az oszlopok mentését okozhatja annak ellenére, hogy olvashatók voltak.
    • [SPARK-43009] Állandókkal Any paraméterezve sql()
    • [SPARK-42406] A Protobuf rekurzív mezőinek leállása a mező elvetésével
    • [SPARK-43038] A CBC mód támogatása a következővel: aes_encrypt()/aes_decrypt()
    • [SPARK-42971] Módosítsa a nyomtatásra workdir , ha appDirs null értékű a feldolgozói kezelő WorkDirCleanup eseménye
    • [SPARK-43018] Az INSERT-parancsok időbélyeg-literálokkal kapcsolatos hibájának javítása
    • Az operációs rendszer biztonsági frissítései.
  • 2023. április 11.
    • Támogatja a régi adatforrásformátumokat a SYNC parancsban.
    • Kijavítottuk a tárházban kívüli jegyzetfüzetek %automatikus betöltési viselkedésével kapcsolatos hibát.
    • Kijavítottunk egy hibát, amely miatt az automatikus betöltő séma fejlődése végtelen feladathurkba léphet, amikor egy új oszlopot észlel egy beágyazott JSON-objektum sémájában.
    • [SPARK-42928] Szinkronizálva lesz resolvePersistentFunction .
    • [SPARK-42936] Kijavítja az LCan-hibát, ha a záradék közvetlenül a gyermekösszesítéssel oldható meg.
    • [SPARK-42967] Javítások SparkListenerTaskStart.stageAttemptId , amikor egy tevékenység a szakasz megszakítása után indul el.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. március 29.

    • A Databricks SQL mostantól támogatja a Delta Lake-táblák oszlopainak alapértelmezett értékeinek megadását akár a tábla létrehozásakor, akár utána. Az ezt követő INSERT, UPDATEés MERGE DELETEparancsok bármely oszlop alapértelmezett értékére hivatkozhatnak az explicit DEFAULT kulcsszó használatával. Ezenkívül ha egy INSERT hozzárendelésnek a céltáblánál kevesebb oszlopból álló explicit listája van, a megfelelő oszlop alapértelmezett értékeit a rendszer a fennmaradó oszlopokra cseréli (vagy NULL értéket, ha nincs megadva alapértelmezett érték).

      Példa:

      CREATE TABLE t (first INT, second DATE DEFAULT CURRENT_DATE());
INSERT INTO t VALUES (0, DEFAULT);
INSERT INTO t VALUES (1, DEFAULT);
SELECT first, second FROM t;
> 0, 2023-03-28
1, 2023-03-28z

    • Az Automatikus betöltő mostantól legalább egy szinkron RocksDB-naplókarbantartást Trigger.AvailableNow kezdeményez a streamekhez, hogy ellenőrizze, hogy az ellenőrzőpont rendszeresen megtisztítható-e a gyorsan futó automatikus betöltő streamekhez. Ez bizonyos streameket hosszabb ideig is igénybe vehet, mielőtt leállnának, de ezzel tárolási költségeket takaríthat meg, és javíthatja az automatikus betöltő felületét a későbbi futtatások során.

    • Most már módosíthatja a Delta-táblázatot, hogy támogatást adjon a táblafunkciókhoz a következő használatával DeltaTable.addFeatureSupport(feature_name): .

    • [SPARK-42794] Növelje a lockAcquireTimeoutM-eket 2 percre a RocksDB állapottárolójának a Structure Streamingben való beszerzéséhez

    • [SPARK-42521] NULL-ek hozzáadása INSERT-ekhez a céltáblánál kevesebb oszlopot tartalmazó, felhasználó által megadott listákkal

    • [SPARK-42702][SPARK-42623] Paraméteres lekérdezés támogatása az alkérésben és a CTE-ben

    • [SPARK-42668] Kivétel észlelése a tömörített stream HDFSStateStoreProvider leállítása közben

    • [SPARK-42403] A JsonProtocolnak null JSON-sztringeket kell kezelnie

  • 2023. március 8.
    • A "Konfiguráció inicializálásának sikertelensége" hibaüzenetet javítottuk, hogy több kontextust biztosítsunk az ügyfél számára.
    • Terminológiamódosítás történik a funkciók Delta-táblához való hozzáadásához a táblatulajdonság használatával. Az előnyben részesített szintaxis most már 'delta.feature.featureName'='supported' 'delta.feature.featureName'='enabled'nem a . A visszamenőleges kompatibilitás érdekében a használat 'delta.feature.featureName'='enabled' továbbra is működik, és továbbra is működni fog.
    • Ettől a kiadástól kezdve létrehozhat/lecserélhet egy táblát egy további táblatulajdonságra delta.ignoreProtocolDefaults , hogy figyelmen kívül hagyja a protokollhoz kapcsolódó Spark-konfigurációkat, beleértve az alapértelmezett olvasó- és íróverziókat, valamint az alapértelmezés szerint támogatott táblázatfunkciókat.
    • [SPARK-42070] A Maszk függvény argumentumának alapértelmezett értékének módosítása -1 értékről NULL értékre
    • [SPARK-41793] Nem megfelelő eredmény a jelentős tizedesjegyek tartomány-záradéka által definiált ablakkeretekhez
    • [SPARK-42484] A UnsafeRowUtils jobb hibaüzenete
    • [SPARK-42516] A munkamenet időzóna-konfigurációjának rögzítése a nézetek létrehozásakor
    • [SPARK-42635] Javítsa ki a TimestampAdd kifejezést.
    • [SPARK-42622] Az értékek helyettesítésének kikapcsolása
    • [SPARK-42534] Db2Dialect Limit záradék javítása
    • [SPARK-42121] Beépített táblaértékű posexplode, posexplode_outer, json_tuple és stack függvények hozzáadása
    • [SPARK-42045] ANSI SQL mód: A Kerek/Bround hibát ad vissza apró/kis/jelentős egész szám túlcsordulás esetén
    • Az operációs rendszer biztonsági frissítései.

Databricks Runtime 11.3 LTS

Lásd: Databricks Runtime 11.3 LTS.

  • 2024. október 10.
    • Egyéb hibajavítások.
  • 2024. szeptember 25.
    • [SPARK-46601] [CORE] Naplóhiba javítása a handleStatusMessage szolgáltatásban
    • [SPARK-49000][SQL] A RewriteDistinctAggregates kibontásával kijavíthatja a "select count(distinct 1) from t" (select count(distinct 1) from t" (select count(distinct 1) from t) (select count(distinct 1) from t) (select count(distinct 1) from t) (t) elemet, ahol t üres tábla a RewriteDistinctAggregates kibontásával
    • Egyéb hibajavítások.
  • 2024. szeptember 17.
    • Az operációs rendszer biztonsági frissítései.
  • 2024. augusztus 29.
  • 2024. augusztus 14.
    • [SPARK-48941][SPARK-48970] Backport ML-író/ olvasó javításai
    • [SPARK-49065][SQL] Az örökölt formázók/elemzők újraegyesítésének támogatnia kell a nem JVM alapértelmezett időzónáit
    • [SPARK-48597][SQL] Az isStreaming tulajdonság jelölőjének bevezetése a logikai terv szöveges ábrázolásában
    • [SPARK-48463][ML] Beágyazott bemeneti oszlopok támogatása a StringIndexerrel
    • Az operációs rendszer biztonsági frissítései.
  • 2024. augusztus 1.
  • 2024. augusztus 1.
    • A szükséges biztonsági javítások alkalmazásához a Databricks Runtime 11.3 LTS Python-verziója 3.9.5-ről 3.9.19-re frissül.
  • 2024. július 11.
    • [SPARK-48383][SS] Jobb hiba a kafkai StartOffset beállítás eltérő partícióinál
    • [SPARK-47070] Érvénytelen aggregáció kijavítása az alregisztráció újraírása után
    • Az operációs rendszer biztonsági frissítései.
  • 2024. június 17.
    • Az operációs rendszer biztonsági frissítései.
  • 2024. május 21.
    • [SPARK-48105][SS] Az állapottároló kiürítése és a pillanatképek készítése közötti versenyállapot javítása
    • Az operációs rendszer biztonsági frissítései.
  • 2024. május 9.
    • [SPARK-48018][SS] A kafkaException.couldNotReadOffsetRange dobásakor hiányzó paramhibát okozó null groupId kijavítása
    • [SPARK-47973][CORE] Híváswebhely naplózása a SparkContext.stop() és újabb verzióiban a SparkContext.assertNotStopped() alkalmazásban
    • [SPARK-44251][SQL] Null értékű helyes beállítása a teljes külső USING illesztésben a szénerősített illesztési kulcson
    • Az operációs rendszer biztonsági frissítései.
  • 2024. április 25.
    • Az operációs rendszer biztonsági frissítései.
  • 2024. április 11.
    • Az operációs rendszer biztonsági frissítései.
  • 2024. április 1.
    • [SPARK-44252][SS] Adjon meg egy új hibaosztályt, és alkalmazza azokra az esetekre, amikor az elosztott fájlrendszerből való betöltési állapot meghiúsul
    • [SPARK-47135][SS] Hibaosztályok implementálása a Kafka adatvesztési kivételeihez
    • Visszaállítás "[SPARK-46861][CORE] Kerülje a holtpontot a DAGSchedulerben"
    • [SPARK-47200][SS] Hibaosztály a Foreach batch sink felhasználói függvényének hibája esetén
    • Az operációs rendszer biztonsági frissítései.
  • 2024. március 14.
    • [SPARK-47167][SQL] Betonosztály hozzáadása A JDBC névtelen relációjához
    • [SPARK-47125][SQL] Null értéket ad vissza, ha az Univocity soha nem aktiválja az elemzést
    • Az operációs rendszer biztonsági frissítései.
  • 2024. február 29.
    • Kijavítottunk egy hibát, amely miatt a helyi gyűjtemény forrásként való használata a MERGE parancsban a műveletmetrika numSourceRows jelentésének duplájára növelte a sorok számát.
    • [SPARK-45582][SS] Győződjön meg arról, hogy a tárpéldány nincs használatban a véglegesítés kimeneti módú streamelési összesítésen belüli meghívása után
  • 2024. február 13.
    • [SPARK-46794] Távolítsa el az al lekérdezéseket a LogicalRDD-megkötésekből.
    • [SPARK-46861] Kerülje a holtpontot a DAGSchedulerben.
    • Az operációs rendszer biztonsági frissítései.
  • 2024. január 31.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. december 25.
    • A TLSv1.3-n keresztüli kommunikáció megnövekedett késésének elkerülése érdekében ez a karbantartási kiadás tartalmaz egy javítást a JDK 8 telepítésében a JDK-8293562 hiba kijavításához.
    • [SPARK-46058] Adjon hozzá külön jelölőt a privateKeyPasswordhez.
    • [SPARK-46602] allowExisting Propagálja a nézetlétrehozásban, ha a nézet/tábla nem létezik.
    • [SPARK-46394] A spark.catalog.listDatabases() hibáinak kijavítása speciális karakterekkel rendelkező sémákon, ha spark.sql.legacy.keepCommandOutputSchema igaz értékre van állítva.
    • [SPARK-46538] Kijavítottuk a nem egyértelmű oszlophivatkozási hibát a következőben ALSModel.transform: .
    • [SPARK-39440] Adjon hozzá egy konfigurációt az esemény ütemtervének letiltásához.
    • [SPARK-46249] Példányzárolás megkövetelése a RocksDB-metrikák beszerzéséhez a háttérben futó verseny megakadályozása érdekében.
    • [SPARK-46132] Az RPC SSL JKS-kulcsainak támogatási kulcsa.
  • 2023. december 14.
    • Kijavítottunk egy hibát, amely miatt a JDBC-ből vagy ODBC-ügyfelekből származó getColumns-műveletekben a szökött aláhúzásjelek helytelenül lettek kezelve, és helyettesítő karakterekként lettek értelmezve.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. november 29.
    • Telepített egy új csomagot a pyarrow-hotfix PyArrow RCE biztonsági rés elhárításához.
    • Kijavítottunk egy hibát, amely miatt a JDBC-ből vagy ODBC-ügyfelekből származó műveletekben a kimenekült aláhúzásmagok getColumns helytelenül helyettesítő karakterekként lettek értelmezve.
    • [SPARK-43973] A strukturált streamelési felhasználói felület mostantól helyesen jeleníti meg a sikertelen lekérdezéseket.
    • [SPARK-45730] Továbbfejlesztett időkorlátok a ReloadingX509TrustManagerSuite.
    • [SPARK-45544] Integrált SSL-támogatás a TransportContext.
    • [SPARK-45859] Az UDF-objektumok ml.functions lusták.
    • [SPARK-43718] Kijavítottuk az illesztések kulcsainak nullhipotitását USING .
    • [SPARK-44846] Az összetett csoportosítási kifejezések el lettek távolítva a program után RemoveRedundantAggregates.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. november 14.
    • A Delta Lake streamelési lekérdezések partíciószűrői le lesznek küldve a sebességkorlátozás előtt a jobb kihasználtság érdekében.
    • [SPARK-42205] A szakasz- és tevékenységindítási eseményekben eltávolított naplózási elemek.
    • [SPARK-45545] SparkTransportConf SSLOptions a létrehozáskor örökli.
    • Visszaállítás [SPARK-33861].
    • [SPARK-45541] Hozzáadva SSLFactory.
    • [SPARK-45429] Segédosztályok hozzáadva az SSL RPC-kommunikációhoz.
    • [SPARK-45584] Kijavítottuk a subquery-futtatási hibát a következővel TakeOrderedAndProjectExec: .
    • [SPARK-45430] FramelessOffsetWindowFunction már nem meghiúsul, amikor IGNORE NULLS és offset > rowCount.
    • [SPARK-45427] RPC SSL-beállításokat adtunk hozzá az és SparkTransportConfa SSLOptions .
    • Az operációs rendszer biztonsági frissítései.
  • 2023. október 24.
    • [SPARK-45426] Támogatás hozzáadva a következőhöz ReloadingX509TrustManager: .
    • Egyéb javítások.
  • 2023. október 13.
    • A Snowflake-jdbc függőség 3.13.29-ről 3.13.33-ra frissült.
    • [SPARK-45178] Ne használja a burkolót, hanem egyetlen köteget Trigger.AvailableNow futtasson nem támogatott forrásokkal.
    • [SPARK-45084] StateOperatorProgress a pontos, megfelelő shuffle partíciószám használatához.
    • [SPARK-45346] A parquet-séma következtetése mostantól tiszteletben tartja a kis- és nagybetűket megkülönböztető jelzőt egy séma egyesítésekor.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. szeptember 10.
    • Egyéb javítások.
  • 2023. augusztus 30.
    • [SPARK-44818] Kijavítottuk az inicializálás előtt taskThread kiadott függőben lévő tevékenység megszakításának versenyét.
    • [SPARK-44871][11.3-13.0] Rögzített percentile_disc viselkedés.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. augusztus 15.
    • [SPARK-44485] Optimalizált TreeNode.generateTreeString.
    • [SPARK-44504] A karbantartási feladat leállási hiba miatt törli a betöltött szolgáltatókat.
    • [SPARK-44464] Az első oszlopértékként megadott Null kimeneti sorokhoz van javítvaapplyInPandasWithStatePythonRunner.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. július 27.
    • Kijavítottunk egy hibát, amely dbutils.fs.ls() akkor lett visszaadva INVALID_PARAMETER_VALUE.LOCATION_OVERLAP , amikor olyan tárolási hely elérési útját kérték, amely ütközött más külső vagy felügyelt tárhellyel.
    • [SPARK-44199] CacheManager a továbbiakban nem frissíti feleslegesen.fileIndex
    • Az operációs rendszer biztonsági frissítései.
  • 2023. július 24.
    • [SPARK-44136] Kijavítottunk egy hibát, amely miatt a StateManager a FlatMapGroupsWithStateExec illesztőprogram helyett a végrehajtóban materializálható.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. június 23.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. június 15.
    • Fotonizált approx_count_distinct.
    • A Snowflake-jdbc kódtár 3.13.29-re frissül egy biztonsági probléma megoldásához.
    • [SPARK-43779] ParseToDate most betöltődik EvalMode a főszálban.
    • [SPARK-40862] Nem aggregált albejegyzések támogatása a RewriteCorrelatedScalarSubquery szolgáltatásban
    • [SPARK-43156][SPARK-43098] Kiterjesztett skaláris subquery count bug test with decorrelateInnerQuery off.
    • [SPARK-43098] Kijavítottuk a helyességi DARAB hibát, ha a skaláris alkérdezés tartalmaz egy csoportosítási záradékot
    • Az operációs rendszer biztonsági frissítései.
  • 2023. június 2.
    • A JSON-elemző failOnUnknownFields módban elvet egy rekordot DROPMALFORMED módban, és közvetlenül FAILFAST módban meghiúsul.
    • Növelje a növekményes frissítések teljesítményét az Iceberg és a Parquet használatával SHALLOW CLONE .
    • Kijavítottunk egy hibát az Automatikus betöltőben, amelyben a különböző forrásfájlformátumok inkonzisztensek voltak, amikor a megadott séma nem tartalmazott következtetéses partíciókat. Ez a probléma váratlan hibákat okozhat a hiányzó oszlopokat tartalmazó fájlok olvasása során a késleltetett partíciós sémában.
    • [SPARK-43404]Az azonosítóeltérési hiba elkerülése érdekében hagyja ki a RocksDB-állapottároló ugyanazon verziójához tartozó sst-fájl újbóli újrafelhasználását.
    • [SPARK-43527] Javítva catalog.listCatalogs a PySparkban.
    • [SPARK-43413][11.3-13.0] Kijavítottuk IN a subquery ListQuery nullability-t.
    • [SPARK-43340] Kijavítottuk a hiányzó verem nyomkövetési mezőjét az eseménynaplókban.

Databricks Runtime 10.4 LTS

Lásd: Databricks Runtime 10.4 LTS.

  • 2024. október 22.
    • Az operációs rendszer biztonsági frissítései.
  • 2024. október 10.
    • Az operációs rendszer biztonsági frissítései.
  • 2024. szeptember 25.
    • [SPARK-46601] [CORE] Naplóhiba javítása a handleStatusMessage szolgáltatásban
    • [SPARK-49000][SQL] A RewriteDistinctAggregates kibontásával kijavíthatja a "select count(distinct 1) from t" (select count(distinct 1) from t" (select count(distinct 1) from t) (select count(distinct 1) from t) (select count(distinct 1) from t) (t) elemet, ahol t üres tábla a RewriteDistinctAggregates kibontásával
    • Az operációs rendszer biztonsági frissítései.
  • 2024. szeptember 17.
    • Az operációs rendszer biztonsági frissítései.
  • 2024. augusztus 29.
    • [SPARK-49065][SQL] Az örökölt formázók/elemzők újraegyesítésének támogatnia kell a nem JVM alapértelmezett időzónáit
  • 2024. augusztus 14.
    • [SPARK-48597][SQL] Az isStreaming tulajdonság jelölőjének bevezetése a logikai terv szöveges ábrázolásában
    • [SPARK-48941][SPARK-48970] Backport ML-író/ olvasó javításai
    • [SPARK-48463][ML] Beágyazott bemeneti oszlopok támogatása a StringIndexerrel
  • 2024. augusztus 1.
  • 2024. július 11.
    • [SPARK-48383][SS] Jobb hiba a kafkai StartOffset beállítás eltérő partícióinál
    • Az operációs rendszer biztonsági frissítései.
  • 2024. június 17.
    • Az operációs rendszer biztonsági frissítései.
  • 2024. május 21.
    • [SPARK-48105][SS] Az állapottároló kiürítése és a pillanatképek készítése közötti versenyállapot javítása
    • Az operációs rendszer biztonsági frissítései.
  • 2024. május 9.
    • [SPARK-48018][SS] A kafkaException.couldNotReadOffsetRange dobásakor hiányzó paramhibát okozó null groupId kijavítása
    • [SPARK-47973][CORE] Híváswebhely naplózása a SparkContext.stop() és újabb verzióiban a SparkContext.assertNotStopped() alkalmazásban
    • [SPARK-44251][SQL] Null értékű helyes beállítása a teljes külső USING illesztésben a szénerősített illesztési kulcson
    • Az operációs rendszer biztonsági frissítései.
  • 2024. április 25.
    • Az operációs rendszer biztonsági frissítései.
  • 2024. április 11.
    • Az operációs rendszer biztonsági frissítései.
  • 2024. április 1.
    • [SPARK-47135][SS] Hibaosztályok implementálása a Kafka adatvesztési kivételeihez
    • [SPARK-44252][SS] Adjon meg egy új hibaosztályt, és alkalmazza azokra az esetekre, amikor az elosztott fájlrendszerből való betöltési állapot meghiúsul
    • [SPARK-47200][SS] Hibaosztály a Foreach batch sink felhasználói függvényének hibája esetén
    • Visszaállítás "[SPARK-46861][CORE] Kerülje a holtpontot a DAGSchedulerben"
    • Az operációs rendszer biztonsági frissítései.
  • 2024. március 14.
    • [SPARK-47125][SQL] Null értéket ad vissza, ha az Univocity soha nem aktiválja az elemzést
    • Az operációs rendszer biztonsági frissítései.
  • 2024. február 29.
    • Kijavítottunk egy hibát, amely miatt a helyi gyűjtemény forrásként való használata a MERGE parancsban a műveletmetrika numSourceRows jelentésének duplájára növelte a sorok számát.
    • [SPARK-45582][SS] Győződjön meg arról, hogy a tárpéldány nincs használatban a véglegesítés kimeneti módú streamelési összesítésen belüli meghívása után
    • Az operációs rendszer biztonsági frissítései.
  • 2024. február 13.
    • [SPARK-46861] Kerülje a holtpontot a DAGSchedulerben.
    • Az operációs rendszer biztonsági frissítései.
  • 2024. január 31.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. december 25.
    • A TLSv1.3-n keresztüli kommunikáció megnövekedett késésének elkerülése érdekében ez a karbantartási kiadás tartalmaz egy javítást a JDK 8 telepítésében a JDK-8293562 hiba kijavításához.
    • [SPARK-46058] Adjon hozzá külön jelölőt a privateKeyPasswordhez.
    • [SPARK-46538] Kijavítottuk a nem egyértelmű oszlophivatkozási hibát a következőben ALSModel.transform: .
    • [SPARK-39440] Adjon hozzá egy konfigurációt az esemény ütemtervének letiltásához.
    • [SPARK-46132] Az RPC SSL JKS-kulcsainak támogatási kulcsa.
  • 2023. december 14.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. november 29.
    • Telepített egy új csomagot a pyarrow-hotfix PyArrow RCE biztonsági rés elhárításához.
    • [SPARK-45544] Integrált SSL-támogatás a TransportContext.
    • [SPARK-45859] Az UDF-objektumok ml.functions lusták.
    • [SPARK-43718] Kijavítottuk az illesztések kulcsainak nullhipotitását USING .
    • [SPARK-45730] Továbbfejlesztett időkorlátok a ReloadingX509TrustManagerSuite.
    • [SPARK-42205] A szakasz- és tevékenységindítási eseményekben eltávolított naplózási elemek.
    • [SPARK-44846] Az összetett csoportosítási kifejezések el lettek távolítva a program után RemoveRedundantAggregates.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. november 14.
    • [SPARK-45541] Hozzáadva SSLFactory.
    • [SPARK-45545] SparkTransportConf SSLOptions a létrehozáskor örökli.
    • [SPARK-45427] RPC SSL-beállításokat adtunk hozzá az és SparkTransportConfa SSLOptions .
    • [SPARK-45429] Segédosztályok hozzáadva az SSL RPC-kommunikációhoz.
    • [SPARK-45584] Kijavítottuk a subquery-futtatási hibát a következővel TakeOrderedAndProjectExec: .
    • Visszaállítás [SPARK-33861].
    • Az operációs rendszer biztonsági frissítései.
  • 2023. október 24.
    • [SPARK-45426] Támogatás hozzáadva a következőhöz ReloadingX509TrustManager: .
    • Az operációs rendszer biztonsági frissítései.
  • 2023. október 13.
    • [SPARK-45084] StateOperatorProgress a pontos, megfelelő shuffle partíciószám használatához.
    • [SPARK-45178] Ne használja a burkolót, hanem egyetlen köteget Trigger.AvailableNow futtasson nem támogatott forrásokkal.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. szeptember 10.
    • Egyéb javítások.
  • 2023. augusztus 30.
    • [SPARK-44818] Kijavítottuk az inicializálás előtt taskThread kiadott függőben lévő tevékenység megszakításának versenyét.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. augusztus 15.
    • [SPARK-44504] A karbantartási feladat leállási hiba miatt törli a betöltött szolgáltatókat.
    • [SPARK-43973] A strukturált streamelési felhasználói felület most már helyesen jelenik meg a sikertelen lekérdezésekben.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. június 23.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. június 15.
    • A Snowflake-jdbc kódtár 3.13.29-re frissül egy biztonsági probléma megoldásához.
    • [SPARK-43098] Kijavítottuk a helyességi DARAB hibát, ha a skaláris alkérdezés tartalmaz egy csoportosítási záradékot
    • [SPARK-40862] Nem aggregált albejegyzések támogatása a RewriteCorrelatedScalarSubquery szolgáltatásban
    • [SPARK-43156][SPARK-43098] Kiterjesztett skaláris subquery count test with decorrelateInnerQuery off.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. június 2.
    • A JSON-elemző failOnUnknownFields módban elvet egy rekordot DROPMALFORMED módban, és közvetlenül FAILFAST módban meghiúsul.
    • Kijavítottunk egy hibát a JSON által mentett adatelemzés során a megelőzés UnknownFieldExceptionérdekében.
    • Kijavítottunk egy hibát az Automatikus betöltőben, amelyben a különböző forrásfájlformátumok inkonzisztensek voltak, amikor a megadott séma nem tartalmazott következtetéses partíciókat. Ez a probléma váratlan hibákat okozhat a hiányzó oszlopokat tartalmazó fájlok olvasása során a késleltetett partíciós sémában.
    • [SPARK-43404] Az azonosítóeltérési hiba elkerülése érdekében hagyja ki a RocksDB-állapottároló ugyanazon verziójához tartozó sst-fájl újbóli újrafelhasználását.
    • [SPARK-43413] Kijavítottuk IN az alkérdezés ListQuery nullképességét.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. május 17.
    • A parquet-vizsgálatok mostantól hatékonyak az OOM-ekkel szemben, amikor a köteg méretének dinamikus módosításával kivételesen strukturált fájlokat vizsgálnak. A fájl metaadatait a rendszer a köteg méretének előzetes csökkentése érdekében elemzi, és a feladat újrapróbálkozásakor ismét csökkenti végleges biztonsági hálóként.
    • [SPARK-41520] Faminta felosztása AND_OR a szétválasztandó AND és ORa .
    • [SPARK-43190] ListQuery.childOutput most már konzisztens a másodlagos kimenettel.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. április 25.
    • [SPARK-42928] Szinkronizálás.resolvePersistentFunction
    • Az operációs rendszer biztonsági frissítései.
  • 2023. április 11.
    • Kijavítottunk egy hibát, amely miatt az automatikus betöltő séma fejlődése végtelen feladathurkba léphet, amikor egy új oszlopot észlel egy beágyazott JSON-objektum sémájában.
    • [SPARK-42937] PlanSubqueries mostantól igaz értékre van állítódva InSubqueryExec#shouldBroadcast .
    • [SPARK-42967] A SparkListenerTaskStart.stageAttemptId kijavítása, ha egy tevékenység a szakasz megszakítása után indul el.
  • 2023. március 29.
    • [SPARK-42668] Kivétel észlelése a tömörített stream HDFSStateStoreProvider leállítása közben
    • [SPARK-42635] Javítsa ki a ...
    • Az operációs rendszer biztonsági frissítései.
  • 2023. március 14.
    • [SPARK-41162] Anti- és semi-join javítása az összesítésekkel való önbeillesztéshez
    • [SPARK-33206] Az indexgyorsítótár súlyának kiszámítása kis indexfájlok esetében
    • [SPARK-42484] Javítottuk a UnsafeRowUtils hibaüzenetet
    • Egyéb javítások.
  • 2023. február 28.
    • Támogatja a yyyy-MM-dd date_format által létrehozott oszlopot. Ez a módosítás támogatja a yyyy-MM-dd partíciómetszetét date_format generált oszlopokban.
    • A felhasználók mostantól a Databricks Runtime 9.1 LTS-es vagy újabb verziójával olvashatnak és írhatnak bizonyos Delta-táblákat, amelyekhez az Olvasó 3. és a 7. íróverzió szükséges. A sikeresség érdekében a táblák protokolljában felsorolt táblafunkciókat a Databricks Runtime jelenlegi verziójának kell támogatnia.
    • Támogatja a yyyy-MM-dd date_format által létrehozott oszlopot. Ez a módosítás támogatja a yyyy-MM-dd partíciómetszetét date_format generált oszlopokban.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. február 16.
    • [SPARK-30220] A Szűrőcsomóponton kívüli Létező/In al lekérdezések használatának engedélyezése
    • Az operációs rendszer biztonsági frissítései.
  • 2023. január 31.
    • A JDBC-táblák táblázattípusai alapértelmezés szerint KÜLSŐek.
  • 2023. január 18.
    • Az Azure Synapse-összekötő leíróbb hibaüzenetet ad vissza, ha egy oszlopnév érvénytelen karaktereket, például szóközöket vagy pontosvesszőket tartalmaz. Ilyen esetekben a következő üzenet jelenik meg: Azure Synapse Analytics failed to run the JDBC query produced by the connector. Check column names do not include not valid characters such as ';' or white space.
    • [SPARK-38277] Írási köteg törlése a RocksDB állapottároló véglegesítése után
    • [SPARK-41199] Metrikaproblémák kijavítása A DSv1 streamforrás és a DSv2 streamforrás együttes használata esetén
    • [SPARK-41198] A CTE- és DSv1-alapú streamelési forrással rendelkező streamlekérdezések metrikáinak javítása.
    • [SPARK-41339] Zárja be és hozza létre újra a RocksDB írási köteget a törlés helyett.
    • [SPARK-41732] Famintás alapú metszés alkalmazása a SessionWindowing szabályhoz.
    • Az operációs rendszer biztonsági frissítései.
  • 2022. november 29.
    • A felhasználók konfigurálhatják a kezdő és záró szóközök viselkedését, amikor adatokat írnak a Redshift-összekötővel. A szabad terület kezelésének szabályozásához a következő lehetőségek lettek hozzáadva:
      • csvignoreleadingwhitespace, ha be truevan állítva, eltávolítja a kezdő szóközt az értékekből az írások során, amikor tempformat a be van állítva CSV vagy CSV GZIP. A szóközök megmaradnak, ha a konfiguráció értéke false. Alapértelmezés szerint az érték az true.
      • csvignoretrailingwhitespacebeállítás esetén eltávolítja a truezáró szóközt az értékekből az írások során, ha tempformat a beállítás CSV értéke vagy CSV GZIPértéke . A szóközök megmaradnak, ha a konfiguráció értéke false. Alapértelmezés szerint az érték az true.
    • Kijavítottunk egy hibát az automatikus betöltő JSON-elemzésével kapcsolatban, amikor az összes oszlop sztringként maradt (cloudFiles.inferColumnTypes nincs beállítva vagy beállítva false) és a JSON beágyazott objektumokat tartalmazott.
    • Az operációs rendszer biztonsági frissítései.
  • 2022. november 15.
    • Az Apache commons-text frissítése 1.10.0-ra.
    • [SPARK-40646] A szerkezetek, térképek és tömbök JSON-elemzése kijavítva, így ha egy rekord egy része nem egyezik a sémával, a rekord többi része továbbra is helyesen elemezhető a null értékek visszaadása helyett. A továbbfejlesztett viselkedésre való bejelentkezéshez állítsa be spark.sql.json.enablePartialResults a következőt true: . A jelölő alapértelmezés szerint ki van kapcsolva az eredeti viselkedés megőrzése érdekében.
    • [SPARK-40292] Oszlopnevek javítása a függvényben arrays_zip , ha a tömbök beágyazott szerkezetekből vannak hivatkozva
    • Az operációs rendszer biztonsági frissítései.
  • 2022. november 1.
    • Kijavítottunk egy hibát, amely miatt ha egy Delta-tábla felhasználó által definiált oszlopot tartalmazott _change_type, de az adatcsatorna módosítása ki lett kapcsolva a táblán, akkor az oszlopban lévő adatok futáskor MERGEhelytelenül töltődnek ki NULL értékekkel.
    • Kijavítottunk egy hibát az automatikus betöltővel kapcsolatban, amely miatt egy fájl duplikálható ugyanabban a mikrokötegben, ha allowOverwrites engedélyezve van
    • [SPARK-40697] Írásvédett karakterpárna hozzáadása külső adatfájlok lefedéséhez
    • [SPARK-40596] A ExecutorDecommission feltöltése üzenetekkel a ExecutorDecommissionInfo alkalmazásban
    • Az operációs rendszer biztonsági frissítései.
  • 2022. október 18.
    • Az operációs rendszer biztonsági frissítései.
  • 2022. október 5.
    • [SPARK-40468] Az oszlopmetszet kijavítása a CSV-ben, ha _corrupt_record ki van választva.
    • Az operációs rendszer biztonsági frissítései.
  • 2022. szeptember 22.
    • A felhasználók a spark.conf.set(spark.databricks.io.listKeysWithPrefix.azure.enabled, true) beállításával újra engedélyezhetik az Automatikus betöltő beépített listáját az ADLS Gen2-en. A beépített lista korábban teljesítményproblémák miatt ki lett kapcsolva, de az ügyfelek számára megnövekedett tárolási költségekhez vezethetett.
    • [SPARK-40315] HashCode() hozzáadása a ArrayBasedMapData literálhoz
    • [SPARK-40213] AsCII-értékek konvertálásának támogatása latin-1 karakter esetén
    • [SPARK-40380] Az InvokeLike konstans összecsukásának javítása a tervbe beágyazott nem szerializálható literálok elkerülése érdekében
    • [SPARK-38404] A CTE felbontásának javítása, ha egy beágyazott CTE külső CTE-ra hivatkozik
    • [SPARK-40089] Néhány decimális típus rendezésének javítása
    • [SPARK-39887] A RemoveRedundantAliases-nek meg kell őriznie azokat az aliasokat, amelyek egyedivé teszik a vetítési csomópontok kimenetét
  • 2022. szeptember 6.
    • [SPARK-40235] Az Executor.updateDependencies() alkalmazásban szinkronizált helyett használjon megszakítható zárolást.
    • [SPARK-40218] A CSOPORTOSÍTÁSI CSOPORTOKnak meg kell őriznie a csoportosítási oszlopokat.
    • [SPARK-39976] A ArrayIntersectnek helyesen kell kezelnie a null értéket a bal oldali kifejezésben.
    • [SPARK-40053] Adja hozzá assume a Python futtatókörnyezetet igénylő dinamikus megszakítási eseteket.
    • [SPARK-35542] Javítás: A splitsArray, inputCols és outputCols paraméterekkel rendelkező több oszlophoz létrehozott gyűjtő nem tölthető be a mentés után.
    • [SPARK-40079] Imputer inputCols-ellenőrzés hozzáadása üres bemeneti esethez.
  • 2022. augusztus 24.
    • [SPARK-39983] Ne gyorsítótárazza a nemializált szórási kapcsolatokat az illesztőprogramon.
    • [SPARK-39775] Az Avro-sémák elemzésekor tiltsa le az alapértelmezett értékek érvényesítését.
    • [SPARK-39962] Vetítés alkalmazása üres csoportattribútumok esetén
    • [SPARK-37643] ha a charVarcharAsString értéke igaz, a karakter adattípus-predikátum-lekérdezés esetében kihagyja az rpadding szabályt.
    • Az operációs rendszer biztonsági frissítései.
  • 2022. augusztus 9.
    • [SPARK-39847] A RocksDBLoader.loadLibrary() versenyállapotának javítása, ha a hívó szál megszakad
    • [SPARK-39731] Kijavítottuk a CSV- és JSON-adatforrásokban a dátumok "yyyyyMMdd" formátumban történő elemzésekor a JAVÍTOTT időelemző házirenddel kapcsolatos problémát
    • Az operációs rendszer biztonsági frissítései.
  • 2022. július 27.
    • [SPARK-39625] Dataset.as(StructType) hozzáadása.
    • [SPARK-39689]Támogatja a 2 karaktert lineSep a CSV-adatforrásban.
    • [SPARK-39104] Az InMemoryRelation#isCachedColumnBuffersLoaded fájlnak szálbiztosnak kell lennie.
    • [SPARK-39570] A beágyazott táblázatnak engedélyeznie kell az aliassal rendelkező kifejezéseket.
    • [SPARK-39702] Csökkentse a TransportCipher$EncryptedMessage memóriaterhelését egy megosztott byteRawChannel használatával.
    • [SPARK-39575] Add ByteBuffer#rewind after ByteBuffer#get in AvroDeserializer.
    • [SPARK-39476] Tiltsa le a unwrap cast optimalizálást, ha hosszúról lebegőpontosra/ dupla értékre vagy egész számról float-ra öntött.
    • [SPARK-38868] A külső illesztések optimalizálása során ne propagálja a szűrők predikátumából származó kivételeket.
    • Az operációs rendszer biztonsági frissítései.
  • 2022. július 20.
    • A Delta MERGE művelet eredményeinek konzisztenssé tétele, ha a forrás nem determinisztikus.
    • [SPARK-39355] Az egyetlen oszlop idézve hozza létre az UnresolvedAttribute parancsot.
    • [SPARK-39548] A CreateView parancs ablak-záradék lekérdezéssel nem található ablakdefinícióval kapcsolatos probléma.
    • [SPARK-39419] A ArraySort javítása kivételt eredményez, ha az összehasonlító null értéket ad vissza.
    • Kikapcsolta az Automatikus betöltő beépített felhőalapú API-k használatát az Azure címtárlistáihoz.
    • Az operációs rendszer biztonsági frissítései.
  • 2022. július 5.
    • [SPARK-39376] Duplikált oszlopok elrejtése az alquery alias csillagbővítésében a NATURAL/USING JOIN elemből
    • Az operációs rendszer biztonsági frissítései.
  • 2022. június 15.
    • [SPARK-39283] Javítsa ki a TaskMemoryManager és a UnsafeExternalSorter.SpillableIterator közötti holtpontot.
    • [SPARK-39285] A Spark nem ellenőrizheti a mezőneveket a fájlok olvasása során.
    • [SPARK-34096] Javítja a teljesítményt nth_value null értékek figyelmen kívül hagyása az eltolásos ablakban.
    • [SPARK-36718] Javítsa ki a isExtractOnly CollapseProject jelölőnégyzetet.
  • 2022. június 2.
    • [SPARK-39093] Kerülje a kódösszeállítási hibát, ha az év-hónap intervallumokat vagy a nap-idő intervallumokat elválasztja egy integráltól.
    • [SPARK-38990] Kerülje a NullPointerExceptiont a date_trunc/trunc formátum kötött hivatkozásként való kiértékelésekor.
    • Az operációs rendszer biztonsági frissítései.
  • 2022. május 18.
    • Kijavít egy lehetséges beépített memóriaszivárgást az Automatikus betöltőben.
    • [SPARK-38918] A beágyazott oszlopmetszetnek kiszűrnie kell azokat az attribútumokat, amelyek nem tartoznak az aktuális relációhoz.
    • [SPARK-37593] Ha G1GC-t és ON_HEAP használ, csökkentse az alapértelmezett oldalméretet LONG_ARRAY_OFFSET.
    • [SPARK-39084] Javítsa ki a df.rdd.isEmpty() elemet a TaskContext használatával az iterátor leállításához a tevékenység befejezésekor.
    • [SPARK-32268] ColumnPruning hozzáadása az injektáltBloomFilterhez.
    • [SPARK-38974] Szűrje a regisztrált függvényeket egy adott adatbázisnévvel a listafüggvényekben.
    • [SPARK-38931] Hozzon létre gyökér dfs könyvtárat a RocksDBFileManagerhez ismeretlen számú kulccsal az 1. ellenőrzőponton.
    • Az operációs rendszer biztonsági frissítései.
  • 2022. április 19.
    • A Java AWS SDK az 1.11.655-ös verzióról 1.12.1899-re frissült.
    • Kijavítottunk egy hibát, amely miatt a jegyzetfüzet-hatókörű kódtárak nem működnek kötegelt streamelési feladatokban.
    • [SPARK-38616] SQL-lekérdezés szövegének nyomon követése a Catalyst TreeNode-ban
    • Az operációs rendszer biztonsági frissítései.
  • 2022. április 6.
    • Ezzel a kiadással a következő Spark SQL-függvények érhetők el:
      • timestampadd() és dateadd(): Adjon hozzá egy időtartamot egy adott egységben egy időbélyeg-kifejezéshez.
      • timestampdiff() és datediff(): Kiszámítja a két időbélyeg-kifejezés közötti időkülönbséget egy adott egységben.
    • A Parquet-MR 1.12.2-re lett frissítve
    • Továbbfejlesztett támogatás a parquet-fájlok átfogó sémáihoz
    • [SPARK-38631] Java-alapú implementációt használ az Utils.unpack kicsomagolásának feloldásához.
    • [SPARK-38509][SPARK-38481] Cherry-pick három timestmapadd/diff változás.
    • [SPARK-38523] A CSV sérült rekordoszlopára hivatkozó javítás.
    • [SPARK-38237] Teljes ClusteredDistribution fürtözési kulcsok megkövetelése.
    • [SPARK-38437] Az adatforrásból származó dátumidő megengedő szerializálása.
    • [SPARK-38180] Biztonságos felfelé öntött kifejezések engedélyezése korrelált egyenlőségi predikátumokban.
    • [SPARK-38155] Nem támogatott predikátumok esetén tiltsa le a különböző aggregátumokat az oldalirányú al lekérdezésekben.
    • Az operációs rendszer biztonsági frissítései.

Databricks Runtime 9.1 LTS

Lásd: Databricks Runtime 9.1 LTS.

  • 2024. október 22.
    • Az operációs rendszer biztonsági frissítései.
  • 2024. október 10.
    • Az operációs rendszer biztonsági frissítései.
  • 2024. szeptember 25.
    • [SPARK-49000][SQL] A RewriteDistinctAggregates kibontásával kijavíthatja a "select count(distinct 1) from t" (select count(distinct 1) from t" (select count(distinct 1) from t) (select count(distinct 1) from t) (select count(distinct 1) from t) (t) elemet, ahol t üres tábla a RewriteDistinctAggregates kibontásával
    • Az operációs rendszer biztonsági frissítései.
  • 2024. szeptember 6.
    • Az operációs rendszer biztonsági frissítései.
  • 2024. augusztus 29.
    • [SPARK-49065][SQL] Az örökölt formázók/elemzők újraegyesítésének támogatnia kell a nem JVM alapértelmezett időzónáit
  • 2024. augusztus 14.
  • 2024. augusztus 1.
    • Az operációs rendszer biztonsági frissítései.
  • 2024. július 11.
    • Az operációs rendszer biztonsági frissítései.
  • 2024. június 17.
    • Az operációs rendszer biztonsági frissítései.
  • 2024. május 21.
    • [SPARK-48105][SS] Az állapottároló kiürítése és a pillanatképek készítése közötti versenyállapot javítása
    • Az operációs rendszer biztonsági frissítései.
  • 2024. május 9.
    • [SPARK-47973][CORE] Híváswebhely naplózása a SparkContext.stop() és újabb verzióiban a SparkContext.assertNotStopped() alkalmazásban
    • [SPARK-44251][SQL] Null értékű helyes beállítása a teljes külső USING illesztésben a szénerősített illesztési kulcson
    • Az operációs rendszer biztonsági frissítései.
  • 2024. április 25.
    • Egyéb hibajavítások.
  • 2024. április 11.
    • Az operációs rendszer biztonsági frissítései.
  • 2024. április 1.
    • Visszaállítás "[SPARK-46861][CORE] Kerülje a holtpontot a DAGSchedulerben"
    • Az operációs rendszer biztonsági frissítései.
  • 2024. március 14.
    • Az operációs rendszer biztonsági frissítései.
  • 2024. február 29.
    • Kijavítottunk egy hibát, amely miatt a helyi gyűjtemény forrásként való használata a MERGE parancsban a műveletmetrika numSourceRows jelentésének duplájára növelte a sorok számát.
    • Az operációs rendszer biztonsági frissítései.
  • 2024. február 13.
    • [SPARK-46861] Kerülje a holtpontot a DAGSchedulerben.
    • Az operációs rendszer biztonsági frissítései.
  • 2024. január 31.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. december 25.
    • A TLSv1.3-n keresztüli kommunikáció megnövekedett késésének elkerülése érdekében ez a karbantartási kiadás tartalmaz egy javítást a JDK 8 telepítésében a JDK-8293562 hiba kijavításához.
    • [SPARK-46058] Adjon hozzá külön jelölőt a privateKeyPasswordhez.
    • [SPARK-39440] Adjon hozzá egy konfigurációt az esemény ütemtervének letiltásához.
    • [SPARK-46132] Az RPC SSL JKS-kulcsainak támogatási kulcsa.
  • 2023. december 14.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. november 29.
    • Telepített egy új csomagot a pyarrow-hotfix PyArrow RCE biztonsági rés elhárításához.
    • [SPARK-45859] Az UDF-objektumok ml.functions lusták.
    • [SPARK-45544] Integrált SSL-támogatás a TransportContext.
    • [SPARK-45730] Továbbfejlesztett időkorlátok a ReloadingX509TrustManagerSuite.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. november 14.
    • [SPARK-45545] SparkTransportConf SSLOptions a létrehozáskor örökli.
    • [SPARK-45429] Segédosztályok hozzáadva az SSL RPC-kommunikációhoz.
    • [SPARK-45427] RPC SSL-beállításokat adtunk hozzá az és SparkTransportConfa SSLOptions .
    • [SPARK-45584] Kijavítottuk a subquery-futtatási hibát a következővel TakeOrderedAndProjectExec: .
    • [SPARK-45541] Hozzáadva SSLFactory.
    • [SPARK-42205] A szakasz- és tevékenységindítási eseményekben eltávolított naplózási elemek.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. október 24.
    • [SPARK-45426] Támogatás hozzáadva a következőhöz ReloadingX509TrustManager: .
    • Az operációs rendszer biztonsági frissítései.
  • 2023. október 13.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. szeptember 10.
    • Egyéb javítások.
  • 2023. augusztus 30.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. augusztus 15.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. június 23.
    • A Snowflake-jdbc kódtár 3.13.29-re frissül egy biztonsági probléma megoldásához.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. június 15.
    • [SPARK-43098] Javítsa ki a helyességi DARAB hibát, ha a skaláris alquery tartalmaz egy csoportosítási záradékot.
    • [SPARK-43156][SPARK-43098] A skaláris részqueryk számának tesztelésének decorrelateInnerQuery kiterjesztése kikapcsolva.
    • [SPARK-40862] A RewriteCorrelatedScalarSubquery nem aggregált albejegyzéseinek támogatása.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. június 2.
    • A JSON-elemző failOnUnknownFields módban elvet egy rekordot DROPMALFORMED módban, és közvetlenül FAILFAST módban meghiúsul.
    • Kijavítottunk egy hibát a JSON által mentett adatelemzés során a megelőzés UnknownFieldExceptionérdekében.
    • Kijavítottunk egy hibát az Automatikus betöltőben, amelyben a különböző forrásfájlformátumok inkonzisztensek voltak, amikor a megadott séma nem tartalmazott következtetéses partíciókat. Ez a probléma váratlan hibákat okozhat a hiányzó oszlopokat tartalmazó fájlok olvasása során a késleltetett partíciós sémában.
    • [SPARK-37520] A és endswith() a sztringfüggvények startswith() hozzáadása
    • [SPARK-43413] Kijavítottuk IN az alkérdezés ListQuery nullképességét.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. május 17.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. április 25.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. április 11.
    • Kijavítottunk egy hibát, amely miatt az automatikus betöltő séma fejlődése végtelen feladathurkba léphet, amikor egy új oszlopot észlel egy beágyazott JSON-objektum sémájában.
    • [SPARK-42967] A SparkListenerTaskStart.stageAttemptId kijavítása, ha egy tevékenység a szakasz megszakítása után indul el.
  • 2023. március 29.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. március 14.
    • [SPARK-42484] Továbbfejlesztett hibaüzenet a következőhöz UnsafeRowUtils: .
    • Egyéb javítások.
  • 2023. február 28.
    • A felhasználók mostantól a Databricks Runtime 9.1 LTS-es vagy újabb verziójával olvashatnak és írhatnak bizonyos Delta-táblákat, amelyekhez az Olvasó 3. és a 7. íróverzió szükséges. A sikeresség érdekében a táblák protokolljában felsorolt táblafunkciókat a Databricks Runtime jelenlegi verziójának kell támogatnia.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. február 16.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. január 31.
    • A JDBC-táblák táblázattípusai alapértelmezés szerint KÜLSŐek.
  • 2023. január 18.
    • Az operációs rendszer biztonsági frissítései.
  • 2022. november 29.
    • Kijavítottunk egy hibát az automatikus betöltő JSON-elemzésével kapcsolatban, amikor az összes oszlop sztringként maradt (cloudFiles.inferColumnTypes nincs beállítva vagy beállítva false) és a JSON beágyazott objektumokat tartalmazott.
    • Az operációs rendszer biztonsági frissítései.
  • 2022. november 15.
    • Az Apache commons-text frissítése 1.10.0-ra.
    • Az operációs rendszer biztonsági frissítései.
    • Egyéb javítások.
  • 2022. november 1.
    • Kijavítottunk egy hibát, amely miatt ha egy Delta-tábla felhasználó által definiált oszlopot tartalmazott _change_type, de az adatcsatorna módosítása ki lett kapcsolva a táblán, akkor az oszlopban lévő adatok futáskor MERGEhelytelenül töltődnek ki NULL értékekkel.
    • Kijavítottunk egy hibát az automatikus betöltővel kapcsolatban, amely miatt egy fájl duplikálható ugyanabban a mikrokötegben, ha allowOverwrites engedélyezve van
    • [SPARK-40596] A ExecutorDecommission feltöltése üzenetekkel a ExecutorDecommissionInfo alkalmazásban
    • Az operációs rendszer biztonsági frissítései.
  • 2022. október 18.
    • Az operációs rendszer biztonsági frissítései.
  • 2022. október 5.
    • Egyéb javítások.
    • Az operációs rendszer biztonsági frissítései.
  • 2022. szeptember 22.
    • A felhasználók a spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") beállítással újra engedélyezhetik az ADLS Gen2 automatikus betöltőjének beépített listáját. A beépített lista korábban teljesítményproblémák miatt ki lett kapcsolva, de az ügyfelek számára megnövekedett tárolási költségekhez vezethetett.
    • [SPARK-40315] HashCode() hozzáadása a ArrayBasedMapData literálhoz
    • [SPARK-40089] Néhány decimális típus rendezésének javítása
    • [SPARK-39887] A RemoveRedundantAliases-nek meg kell őriznie azokat az aliasokat, amelyek egyedivé teszik a vetítési csomópontok kimenetét
  • 2022. szeptember 6.
    • [SPARK-40235] Megszakítható zárolás használata szinkronizált helyett a Executor.updateDependencies() alkalmazásban
    • [SPARK-35542] Javítás: A splitsArray, inputCols és outputCols paraméterekkel rendelkező több oszlophoz létrehozott gyűjtő nem tölthető be a mentés után
    • [SPARK-40079] Imputer inputCols-ellenőrzés hozzáadása üres bemeneti esethez
  • 2022. augusztus 24.
    • [SPARK-39666] A UnsafeProjection.create használata a ExpressionEncoderben való tisztelethez spark.sql.codegen.factoryMode
    • [SPARK-39962] Vetítés alkalmazása üres csoportattribútumok esetén
    • Az operációs rendszer biztonsági frissítései.
  • 2022. augusztus 9.
    • Az operációs rendszer biztonsági frissítései.
  • 2022. július 27.
    • A Delta MERGE művelet eredményeinek konzisztenssé tétele, ha a forrás nem determinisztikus.
    • [SPARK-39689] Két karakter lineSep támogatása a CSV-adatforrásban
    • [SPARK-39575] ByteBuffer#get Utána hozzáadva ByteBuffer#rewind a következőbeAvroDeserializer: .
    • [SPARK-37392] Kijavítottuk a katalizátor-optimalizáló teljesítményhibát.
    • Az operációs rendszer biztonsági frissítései.
  • 2022. július 13.
    • [SPARK-39419] ArraySort kivételt eredményez, ha az összehasonlító null értéket ad vissza.
    • Kikapcsolta az Automatikus betöltő beépített felhőalapú API-k használatát az Azure címtárlistáihoz.
    • Az operációs rendszer biztonsági frissítései.
  • 2022. július 5.
    • Az operációs rendszer biztonsági frissítései.
    • Egyéb javítások.
  • 2022. június 15.
    • [SPARK-39283] Javítsa ki a holtpontot a kettő között és UnsafeExternalSorter.SpillableIteratorközöttTaskMemoryManager.
  • 2022. június 2.
    • [SPARK-34554] Implementálja a metódust a copy() következőben ColumnarMap: .
    • Az operációs rendszer biztonsági frissítései.
  • 2022. május 18.
    • Kijavítottunk egy lehetséges beépített memóriaszivárgást az Automatikus betöltőben.
    • Frissítse az AWS SDK 1.11.655-ös verzióját 1.11.678-ra.
    • [SPARK-38918] A beágyazott oszlopmetszetnek kiszűrnie kell azokat az attribútumokat, amelyek nem tartoznak az aktuális relációhoz
    • [SPARK-39084] Javítás df.rdd.isEmpty() az iterátor feladatvégzésére való TaskContext leállításával
    • Az operációs rendszer biztonsági frissítései.
  • 2022. április 19.
    • Az operációs rendszer biztonsági frissítései.
    • Egyéb javítások.
  • 2022. április 6.
    • [SPARK-38631] Java-alapú implementációt használ az Utils.unpack kicsomagolásának feloldásához.
    • Az operációs rendszer biztonsági frissítései.
  • 2022. március 22.
    • Módosította a jegyzetfüzetek aktuális munkakönyvtárát a magas egyidejűségi fürtökön, és a táblahozzáférés-vezérlés vagy a hitelesítő adatok átengedése engedélyezve van a felhasználó kezdőlapján. Korábban az active directory volt /databricks/driver.
    • [SPARK-38437] A datetime elenyenes szerializálása az adatforrásból
    • [SPARK-38180] Biztonságos felfelé öntött kifejezések engedélyezése korrelált egyenlőségi predikátumokban
    • [SPARK-38155] Eltérő aggregátumok kizárása oldalirányú al lekérdezésekben nem támogatott predikátumokkal
    • [SPARK-27442] Eltávolított egy jelölőnégyzetet, amikor adatokat olvas vagy ír egy parkettán.
  • 2022. március 14.
    • [SPARK-38236] A create/alter táblában megadott abszolút fájlelérési útvonalak relatívként lesznek kezelve
    • [SPARK-34069] Megszakíthatja a tevékenységszálat, ha a helyi tulajdonság SPARK_JOB_INTERRUPT_ON_CANCEL értéke igaz.
  • 2022. február 23.
    • [SPARK-37859] A Spark 3.2-vel JDBC-vel létrehozott SQL-táblák nem olvashatók.
  • 2022. február 8.
    • [SPARK-27442] Eltávolított egy jelölőnégyzetet, amikor adatokat olvas vagy ír egy parkettán.
    • Az operációs rendszer biztonsági frissítései.
  • 2022. február 1.
    • Az operációs rendszer biztonsági frissítései.
  • 2022. január 26.
    • Kijavítottunk egy hibát, amely miatt a Delta-táblák egyidejű tranzakciói bizonyos ritka feltételek mellett nem szerializálható sorrendben véglegesíthetők.
    • Kijavítottunk egy hibát, amely miatt a OPTIMIZE parancs meghiúsulhatott, amikor az ANSI SQL-dialektus engedélyezve lett.
  • 2022. január 19.
    • Kisebb javítások és biztonsági fejlesztések.
    • Az operációs rendszer biztonsági frissítései.
  • 2021. november 4.
    • Kijavítottunk egy hibát, amely miatt a strukturált streamek meghiúsulhattak egy ArrayIndexOutOfBoundsException.
    • Kijavítottunk egy olyan versenyfeltételt, amely egy IOException-hez hasonló java.io.IOException: No FileSystem for scheme lekérdezési hibát okozhat, vagy amely miatt a módosítások sparkContext.hadoopConfiguration nem lépnek érvénybe a lekérdezésekben.
    • Az Apache Spark Connector for Delta Sharing 0.2.0-ra lett frissítve.
  • 2021. október 20.
    • A BigQuery-összekötő 0.18.1-ről 0.22.2-re frissült. Ez támogatja a BigNumeric típust.