Databricks Runtime karbantartási frissítések

Ez a lap a Támogatott Databricks Runtime-verziók karbantartási frissítéseit sorolja fel. Ha karbantartási frissítést szeretne hozzáadni egy meglévő fürthöz, indítsa újra a klasztert. A nem támogatott Databricks Runtime-verziók karbantartási frissítéseit a Databricks Runtime karbantartási frissítései (archiválva) című témakörben találja.

A kiadások szakaszosak. Előfordulhat, hogy Azure Databricks fiókja a kezdeti kiadási dátum után néhány napig nem frissül.

Note

A Databricks Runtime 19-től kezdve a karbantartási frissítések közvetlenül az egyes verziók egységes kiadási jegyzetoldalán jelennek meg. Ez a lap csak a Databricks Runtime 18-at és korábbi verzióit ismerteti. Lásd : Databricks Runtime támogatási életciklusok.

Databricks Runtime-kiadások

Karbantartási frissítések kiadás szerint:

Databricks Runtime 18 LTS

Lásd : Databricks Runtime 18 LTS.

  • 2026. augusztus 18.

    • [SPARK-58292][CORE] A Netty worker EventLoopGroup újralétrehozása, ha egy worker event loop szál leáll
    • Az operációs rendszer biztonsági frissítései.

  • 2026. augusztus 4.

    • Frissített Java kódtárak:
      • io.delta.delta-sharing-client_2.13 1.4.0-tól 1.4.1-ig
    • Visszaállítani a "[SPARK-57778][CSAK TESZT] HiFi lefedettség hozzáadása nem választható Oracle JDBC objektumokhoz"
    • [SPARK-58107] A local-checkpoint dedup-and-seal visszaportolása + a MERGE materializált forrás ellenőrzőösszegének ellenőrzése
    • [SPARK-57547][SQL] Az InMemoryRelation egyidejű materializálási javításának újbóli alkalmazása
    • Az operációs rendszer biztonsági frissítései.

  • 2026. július 24.

    • (Viselkedésváltozás) Azoknak a felhasználóknak, akik egyéni vagy harmadik féltől származó típusokra támaszkodnak a DStream-lezárásokon belül, az ellenőrzőpont-helyreállítás előtt be kell állítaniuk spark.streaming.checkpoint.allowedClasses ezeket a típusokat.
    • Kijavítottunk egy helyességi hibát, amely miatt egy min oszlop fölötti, csúszó kerettel rendelkező ablakolt /maxBinaryType (bármely RANGE keret, illetve 10 vagy annál nagyobb méretű ROWS keret esetén) a keretenkénti érték helyett a futó globális min/max értéket adta vissza.
    • [SPARK-53454][SQL][backport] AlwaysTrue/AlwaysFalse kezelése a JDBCSQLBuilderben
    • [SPARK-57778][SQL] Táblákként nem választható Oracle JDBC-objektumok kezelése
    • Az operációs rendszer biztonsági frissítései.

  • 2026. július 10.

    • [SPARK-57195][SQL] A CSV-séma következtetése során az ArrayIndexOutOfBoundsException helyett a MALFORMED_CSV_RECORD jelenjen meg
    • [SPARK-57593][SQL][PYTHON] A pickle Python UDF bemeneti kötegének bájtalapú korlátozása és instrumentálása
    • [SPARK-57243][18.3.2][SQL] Az IsNull és az IsNotNull kifejezést tegye zárójelek közé a V2 SQL-lekérdezéskészítőben
    • Egyéb hibajavítások.
  • 2026. június 29.
    • (Viselkedésváltozás) A metrikanézetek mostantól elutasítják a többi ablakmértékre hivatkozó ablakmértékeket. Korábban ez a minta sikeres volt CREATE , de csendesen meghiúsult, vagy helytelen eredményeket eredményezett a lekérdezési időpontban. Mostantól az Azure Databricks egyértelmű hibaüzenetet ad a(z) CREATE vagy ALTER időpontban (METRIC_VIEW_WINDOW_MEASURE_REFERENCES_WINDOW_MEASURE). Az ellenőrzés letiltásához állítsa be a következőt spark.databricks.sql.metricView.rejectWindowOnWindowMeasure.enabledfalse: .
    • [SPARK-57088][SQL] Nem determinisztikus rangsorolási kifejezés engedélyezése a EXACT NEAREST BY függvényhez
    • [SPARK-56652][SQL] Mindig jelenítse meg a RELY/NORELY értéket a DESCRIBE EXTENDED kényszerkimenetében
    • [SPARK-57355][PYTHON] A module ellenőrzés javítása az udf profilerben
    • [SPARK-56720][SS] Sikertelen későbbi aszinkron naplóírások az aszinkron állapotkövetés korábbi hibája után
    • [SPARK-56977][SQL] A RewriteNearestByJoinnak tiszteletben kell tartania a joinType értéket a szintetikus illesztésben
    • [SPARK-57371][Connect] Adatverseny javítása az ArrowDeserializersben
    • Az operációs rendszer biztonsági frissítései.

Databricks Runtime 18.2

Lásd : Databricks Runtime 18.2.

  • 2026. augusztus 18.

    • Az operációs rendszer biztonsági frissítései.

  • 2026. augusztus 4.

    • Frissített Java kódtárak:
      • io.delta.delta-sharing-client_2.13 1.4.0-tól 1.4.1-ig
    • Visszaállítani a "[SPARK-57778][CSAK TESZT] HiFi lefedettség hozzáadása nem választható Oracle JDBC objektumokhoz"
    • [SPARK-58107] A local-checkpoint dedup-and-seal visszaportolása + a MERGE materializáltforrás-ellenőrzőösszegének ellenőrzése
    • [SPARK-57547][SQL] Az InMemoryRelation egyidejű materializálási hibajavításának visszaportolása 18.2-re („kill switch”-csel)
    • Az operációs rendszer biztonsági frissítései.

  • 2026. július 24.

    • (Viselkedésváltozás) Azoknak a felhasználóknak, akik egyéni vagy harmadik féltől származó típusokra támaszkodnak a DStream-lezárásokon belül, az ellenőrzőpont-helyreállítás előtt be kell állítaniuk spark.streaming.checkpoint.allowedClasses ezeket a típusokat.
    • Kijavítottunk egy helyességi hibát, amely miatt egy min oszlop fölötti, csúszó kerettel rendelkező ablakolt /maxBinaryType (bármely RANGE keret, illetve 10 vagy annál nagyobb méretű ROWS keret esetén) a keretenkénti érték helyett a futó globális min/max értéket adta vissza.
    • [SPARK-53454][SQL][backport] AlwaysTrue/AlwaysFalse kezelése a JDBCSQLBuilderben
    • [SPARK-57778][SQL] Táblákként nem választható Oracle JDBC-objektumok kezelése
    • [SPARK-57758][SQL] Az O(1) beépített függvényfeloldás visszaállítása
    • Az operációs rendszer biztonsági frissítései.

  • 2026. július 10.

    • [SPARK-57593][SQL][PYTHON] A pickle Python UDF bemeneti kötegének bájtalapú korlátozása és instrumentálása
    • [SPARK-57243][SQL] Tegye zárójelek közé az IsNull és az IsNotNull elemeket a V2-es SQL-lekérdezésépítőben
    • Egyéb hibajavítások.
  • 2026. június 29.
    • (Viselkedésváltozás) A metrikanézetek mostantól elutasítják a többi ablakmértékre hivatkozó ablakmértékeket. Korábban ez a minta sikeres volt CREATE , de csendesen meghiúsult, vagy helytelen eredményeket eredményezett a lekérdezési időpontban. Mostantól az Azure Databricks egyértelmű hibaüzenetet ad a(z) CREATE vagy ALTER időpontban (METRIC_VIEW_WINDOW_MEASURE_REFERENCES_WINDOW_MEASURE). Az ellenőrzés letiltásához állítsa be a következőt spark.databricks.sql.metricView.rejectWindowOnWindowMeasure.enabledfalse: .
    • [SPARK-57355][PYTHON] A module ellenőrzés javítása az udf profilerben
    • [SPARK-57371][Connect] Adatverseny javítása az ArrowDeserializersben
    • Az operációs rendszer biztonsági frissítései.

  • 2026. június 18.

    • (Viselkedésváltozás) A Spark felhasználói felületén található SQL/Dataframe Properties szakasz el lett távolítva a DBSQL Kiszolgáló nélküli szolgáltatáshoz.

  • 2026. június 9.

    • [SPARK-56410][SQL][CORE] Korlátos k-utas összefésülési támogatás hozzáadása az UnsafeExternalSorterben az OOM-kockázat csökkentése érdekében
    • (Viselkedésváltozás) A Microsoft Fabric (OneLake) külső katalógus létrehozásához most már szükséges a item_type lehetőség (LAKEHOUSE vagy WAREHOUSE) SQL CREATE FOREIGN CATALOG vagy a REST API használatakor. A Databricks felhasználói felülete automatikusan beállítja ezt a beállítást. A meglévő külföldi katalógusokra nincs hatással.
    • (Viselkedésváltozás) SET TAG immár idempotens. Ha egy olyan erőforráson megismétel egy SET TAG műveletet, amely már rendelkezik a címkével, az már nem okoz hibát.
    • Az operációs rendszer biztonsági frissítései.
  • 2026. május 26.
    • Frissített Java kódtárak:
      • io.delta.delta-sharing-client_2.13 1.3.11-től 1.4.0-ra
    • Az operációs rendszer biztonsági frissítései.
  • 2026. május 13.
    • Frissített Java kódtárak:
      • io.delta.delta-sharing-client_2.13 1.3.10-ről 1.3.11-re
    • [SPARK-56511][CORE] Az NPE javítása a ShuffleInMemorySorter.getMemoryUsage fájlban a sikertelen visszaállítás után
    • [SPARK-56554][SQL] Az XML változatként való betöltésekor az inferSchema lehetőség tiszteletben tartása
    • [SPARK-56302][CORE] A feladateredmény memóriájának azonnali felszabadítása a szerializálás során a végrehajtón
    • Visszaállítás: "[SPARK-55356][SQL] A PIVOT záradék aliasának támogatása"
    • [SPARK-56502][CORE] Az egész szám túlcsordulásának javítása a DirectByteBufferOutputStream kapacitásellenőrzésében
    • [SPARK-56043][SQL] Az Avro 1.12.x ParseContext.resolve() metódusából származó NullPointerException beágyazása a SchemaParseException kivételbe
    • [SPARK-56652][SQL] Mindig jelenítse meg a RELY/NORELY értéket a DESCRIBE EXTENDED kényszerkimenetében
    • [SPARK-56328][SQL] Az inline tábla sorrendbeállítás-kezelésének javítása a INSERTVALUES és a DEFAULT COLLATION esetén
    • Egyéb hibajavítások.

Databricks Runtime 18.1

Lásd : Databricks Runtime 18.1.

  • 2026. augusztus 18.

    • Az operációs rendszer biztonsági frissítései.

  • 2026. augusztus 4.

    • Frissített Java kódtárak:
      • io.delta.delta-sharing-client_2.13 1.4.0-tól 1.4.1-ig
    • [SPARK-58107] local-checkpoint dedup-and-seal visszaportolása + MERGE materializált forrás ellenőrzőösszeg-ellenőrzése
    • [SPARK-57547][SQL] Az InMemoryRelation egyidejű materializációjának javításának visszaportolása a 18.1-es verzióba (letiltási kapcsolóval)
    • [SPARK-57371][Csatlakozás] Javítsd meg az adatversenyt az ArrowDeserializers-ben (visszaportolja a 18.1-re)
    • [SPARK-57778][CSAK TESZT] Az instabil Oracle nem kiválasztható HiFi teszt javítása (dedikált séma)
    • Az operációs rendszer biztonsági frissítései.

  • 2026. július 24.

    • (Viselkedésváltozás) Azoknak a felhasználóknak, akik egyéni vagy harmadik féltől származó típusokra támaszkodnak a DStream-lezárásokon belül, az ellenőrzőpont-helyreállítás előtt be kell állítaniuk spark.streaming.checkpoint.allowedClasses ezeket a típusokat.
    • Kijavítottunk egy helyességi hibát, amely miatt egy min oszlop fölötti, csúszó kerettel rendelkező ablakolt /maxBinaryType (bármely RANGE keret, illetve 10 vagy annál nagyobb méretű ROWS keret esetén) a keretenkénti érték helyett a futó globális min/max értéket adta vissza.
    • [SPARK-57778][SQL] Táblákként nem választható Oracle JDBC-objektumok kezelése
    • Az operációs rendszer biztonsági frissítései.

  • 2026. július 10.

    • Egyéb hibajavítások.
  • 2026. június 29.
    • (Viselkedésváltozás) A metrikanézetek mostantól elutasítják a többi ablakmértékre hivatkozó ablakmértékeket. Korábban ez a minta sikeres volt CREATE , de csendesen meghiúsult, vagy helytelen eredményeket eredményezett a lekérdezési időpontban. Mostantól az Azure Databricks egyértelmű hibaüzenetet ad a(z) CREATE vagy ALTER időpontban (METRIC_VIEW_WINDOW_MEASURE_REFERENCES_WINDOW_MEASURE). Az ellenőrzés letiltásához állítsa be a következőt spark.databricks.sql.metricView.rejectWindowOnWindowMeasure.enabledfalse: .
    • Az operációs rendszer biztonsági frissítései.
  • 2026. június 9.
    • (Viselkedésváltozás) A Microsoft Fabric (OneLake) külső katalógus létrehozásához most már szükséges a item_type lehetőség (LAKEHOUSE vagy WAREHOUSE) SQL CREATE FOREIGN CATALOG vagy a REST API használatakor. A Databricks felhasználói felülete automatikusan beállítja ezt a beállítást. A meglévő külföldi katalógusokra nincs hatással.
    • Az operációs rendszer biztonsági frissítései.
  • 2026. május 26.
    • Frissített Java kódtárak:
      • io.delta.delta-sharing-client_2.13 1.3.11-től 1.4.0-ra
    • Az operációs rendszer biztonsági frissítései.
  • 2026. május 13.
    • (Behavior változás) A sémamintát használó táblák listázása már nem frissíti a Unity Catalog metaadatait az idegen táblákhoz (például SQL Server, PostgreSQL vagy AWS Glue). Ez a változás hatással van SHOW TABLES IN SCHEMA LIKE ...getMetaData.getTables a JDBC-illesztőprogramban a sémaminta átadásakor érkező hívásokra és a Thrift API-raSparkGetTablesOperation. Ha a számítási feladat a metaadatok sémamintával való frissítésétől függ, forduljon a Databricks ügyfélszolgálatához.
    • Frissített Java kódtárak:
      • io.delta.delta-sharing-client_2.13 1.3.10-ről 1.3.11-re
    • [SPARK-56361][SS] Jobb hibaüzenet biztosítása a stream-stream összekapcsolás során naplózás közben fellépő NPE esetén
    • Az operációs rendszer biztonsági frissítései.
  • 2026. április 20.
    • Kijavítottuk a CRS hatóságot a GEOMETRY(102100) típushoz. A hatóságot most ESRI:102100 helyett EPSG:102100-ként jelentik.
    • [SPARK-55646][SQL] Az SQLExecution.withThreadLocalCaptured átalakítva, hogy a szál-lokális rögzítést elkülönítse a végrehajtástól
    • "[SPARK-55252][CORE] HttpSecurityFilter javítása a Content-Security-Policy fejlécek hozzáadásához"
    • "[SPARK-54285][PYTHON] Az időzóna adatok gyorsítótárából való visszaállítás a költséges időbélyeg-átalakítás elkerülése érdekében"
    • Az operációs rendszer biztonsági frissítései.
  • 2026. április 2.
    • Frissített Java kódtárak:
      • io.delta.delta-sharing-client_2.13 1.3.9 és 1.3.10 között
    • Továbbfejlesztett hibakezelés olyan lekérdezések esetében, amelyek adatokat írnak a Delta-táblákba, amelyek egy (VOID) oszlopot NullType tartalmaznak egy felhasználó által definiált típuson (UDT) belül.
    • Alapértelmezett 30 másodperces hálózati csatlakozási időtúllépést adtunk a JDBC folyamatos adatátviteli fogadó kapcsolatokhoz, hogy elkerüljük a nem válaszoló adatbázisok határozatlan ideig tartó elakadását.
    • Újrapróbálkozási logika hozzáadva exponenciális visszalépéssel az átmeneti JDBC-hibákhoz (csatlakozási hibák, holtpontok, sebességkorlátozás) a kapcsolat létrehozásakor és a köteg végrehajtásánál
    • A safeRollback hozzáadása a hibás kapcsolatok visszaállítási hibáinak zökkenőmentes kezelésére
    • Címsor: Az automatikus betöltő alapértelmezés szerint fájleseményeket használ, ha elérhető. A DBR 18.1-től kezdődően az Automatikus betöltő fájleseményeket fog használni, amikor egy külső helyről tölt be fájleseményeket engedélyezve. A fájlesemények jobb teljesítményt és költséget biztosítanak a címtárak listájához képest. Tekintse meg az automatikus betöltőt a fájlesemények áttekintésével. A fájlesemények nem lesznek használva, ha a meglévő streamkód-készletek be vannak állítva: useIncrementalListing vagy useNotifications. Ha meg szeretné tartani a könyvtárlista előző alapértelmezett beállítását, állítsa be a useManagedFileEvents értékét false-re az Auto Loader adatfolyam kódjában.
    • [SPARK-55701]ES-1694761[SS] Versenyállapot javítása a CompactibleFileStreamLog.allFiles alkalmazásban
    • [SPARK-55505][SQL] NPE kijavítása EXECUTION_ROOT_ID_KEY párhuzamos forgatókönyvekben való olvasásakor
    • [SPARK-55372][SQL] Az alapértelmezett rendezéssel rendelkező táblák/ nézetek javítása SHOW CREATE TABLE
    • [SPARK-55510][SS] A ChangelogWriter meghívásához javítsa ki a Rocksdb állapottárolójának deleteRange-jét
    • [Backports][OSS Cherrypick] [SPARK-55945][SDP] A folyamatok strukturált azonosítóinak támogatása az SDP lelkes elemzési protosaiban
    • [SPARK-55111][SS] Újraellenőrizni a befejezetlen újraparticionálás észlelését a lekérdezés újraindításakor
    • [SPARK-55892][SS] Kijavítottuk, hogy nem sikerült betölteni az állapottárolót, mert a karbantartás törölte az újrahasznált SST-fájlt
    • [SPARK-55811] [SQL] NonFatal hívásakor UnresolvedException helyett nodeWithOutputColumnsString elkapása
    • [SPARK-55991] Unicode-tal kapcsolatos SQL-szöveg sérülésének javítása paraméterekkel
    • [SPARK-55493] [SS] Ne használja a streamelési ellenőrzőpont állapotkönyvtárát a StateDataSource-ban
    • [SPARK-55584] Továbbfejlesztett hibaüzenet a skaláris részlekérdezésben az EXEC IMMEDIATE parancshoz
    • Az operációs rendszer biztonsági frissítései.

Databricks Runtime 17.3 LTS

Lásd : Databricks Runtime 17.3 LTS.

  • 2026. augusztus 18.

    • Az operációs rendszer biztonsági frissítései.

  • 2026. augusztus 4.

    • [SPARK-57778][CSAK TESZT] Az instabil Oracle nem kiválasztható HiFi teszt javítása (dedikált séma)
    • [SPARK-58107] A local-checkpoint dedup-and-seal visszaportolása + a materializált forrás ellenőrzőösszegének MERGE-ellenőrzése
    • Az operációs rendszer biztonsági frissítései.

  • 2026. július 24.

    • Kijavítottunk egy helyességi hibát, amely miatt egy min oszlop fölötti, csúszó kerettel rendelkező ablakolt /maxBinaryType (bármely RANGE keret, illetve 10 vagy annál nagyobb méretű ROWS keret esetén) a keretenkénti érték helyett a futó globális min/max értéket adta vissza.
    • [SPARK-57778][SQL] Táblákként nem választható Oracle JDBC-objektumok kezelése
    • [SPARK-57371][Connect] Adatverseny javítása az ArrowDeserializersben
    • Az operációs rendszer biztonsági frissítései.

  • 2026. július 10.

    • [SPARK-57547][SQL] Az InMemoryRelation egyidejű materializálási javításának visszaportolása a 17.3-ba (letiltó kapcsolóval)
    • Egyéb hibajavítások.
  • 2026. június 29.
    • (Viselkedésváltozás) A metrikanézetek mostantól elutasítják a többi ablakmértékre hivatkozó ablakmértékeket. Korábban ez a minta sikeres volt CREATE , de csendesen meghiúsult, vagy helytelen eredményeket eredményezett a lekérdezési időpontban. Mostantól az Azure Databricks egyértelmű hibaüzenetet ad a(z) CREATE vagy ALTER időpontban (METRIC_VIEW_WINDOW_MEASURE_REFERENCES_WINDOW_MEASURE). Az ellenőrzés letiltásához állítsa be a következőt spark.databricks.sql.metricView.rejectWindowOnWindowMeasure.enabledfalse: .
    • Az operációs rendszer biztonsági frissítései.
  • 2026. június 9.
    • (Viselkedésváltozás) SET TAG immár idempotens. Ha egy olyan erőforráson megismétel egy SET TAG műveletet, amely már rendelkezik a címkével, az már nem okoz hibát.
    • Az operációs rendszer biztonsági frissítései.
  • 2026. május 26.
    • [SPARK-34591][ML] Döntési fa metszésének hozzáadása paraméterként
    • Az operációs rendszer biztonsági frissítései.
  • 2026. május 13.
    • (Behavior változás) A sémamintát használó táblák listázása már nem frissíti a Unity Catalog metaadatait az idegen táblákhoz (például SQL Server, PostgreSQL vagy AWS Glue). Ez a változás hatással van SHOW TABLES IN SCHEMA LIKE ...getMetaData.getTables a JDBC-illesztőprogramban a sémaminta átadásakor érkező hívásokra és a Thrift API-raSparkGetTablesOperation. Ha a számítási feladat a metaadatok sémamintával való frissítésétől függ, forduljon a Databricks ügyfélszolgálatához.
    • Frissített Java kódtárak:
      • io.delta.delta-sharing-client_2.13 1.3.10-ről 1.3.11-re
    • [SPARK-56361][SS] Jobb hibaüzenet biztosítása a stream-stream összekapcsolás során naplózás közben fellépő NPE esetén
    • Egyéb hibajavítások.

  • 2026. április 20.

    • Kijavítottuk a CRS hatóságot a GEOMETRY(102100) típushoz. A hatóságot most ESRI:102100 helyett EPSG:102100-ként jelentik.
    • Kijavítottunk egy adat-helyességi hibát azokban a MERGE, UPDATE és streamelési írási lekérdezésekben, ahol a forrásban lévő NULL struktúrák olyan nem-NULL struktúrákká lettek kibontva, amelyek tartalmaznak NULL mezőket a célban. A forrásBAN lévő NULL-szerkezetek mostantól NULL értékként maradnak meg a célban. A javítás a következő műveletekre vonatkozik:
      • MERGE strukturtípus-öntötteket használó műveletekkel UPDATE SET t.structCol = s.structCol .
      • MERGE ha UPDATE SET * a sémafejlődés engedélyezve van, és a célstruktúra nem tartalmaz további mezőket, vagy eredetileg NULL értékű volt.
      • MERGE akkor, UPDATE SET * EXCEPT ha a struktúra nem tartalmaz mezőket a EXCEPT listában.
      • MERGE strukturtípus-öntötteket használó műveletekkel INSERT (structCol) VALUES (s.structCol) .
      • MERGE strukturtípus-öntötteket használó műveletekkel INSERT * [EXCEPT] .
      • UPDATE strukturtípus-leadással rendelkező lekérdezések.
      • Adatfolyam írások strukturált típuskonverzióval.

  • 2026. április 2.

    • Frissített Java kódtárak:
      • io.delta.delta-sharing-client_2.13 1.3.9 és 1.3.10 között
    • [SPARK-55811] [SQL] A NonFatal elkapása az UnresolvedException helyett a nodeWithOutputColumnsString hívásakor
    • [SPARK-55892][SS] Kijavítottuk, hogy nem sikerült betölteni az állapottárolót, mert a karbantartás törölte az újrahasznált SST-fájlt
    • [Backports][OSS Cherrypick] [SPARK-55945][SDP] A folyamatok strukturált azonosítóinak támogatása az SDP lelkes elemzési protosaiban
    • Az operációs rendszer biztonsági frissítései.

  • 2026. március 10.

    • [SPARK-55493] [SS] Ne használja a streamelési ellenőrzőpont állapotkönyvtárát a StateDataSource-ban
    • [SPARK-55111][SS] Újraellenőrizni a befejezetlen újraparticionálás észlelését a lekérdezés újraindításakor
    • [SPARK-55701]ES-1694761[SS] Versenyállapot javítása a CompactibleFileStreamLog.allFiles alkalmazásban
    • Az operációs rendszer biztonsági frissítései.

  • 2026. február 26.

    • Frissített Java kódtárak:
      • org.mlflow.mlflow-spark_2.13 2.9.1-től 2.20.4-esig
    • Az operációs rendszer biztonsági frissítései.

  • 2026. február 19.

    • Az Excel fájlok sémájának következtetésekor a szöveges cellákat mostantól Spark StringType típusúként következtetik. Ez tiszteletben tartja a Excel megadott cellatípust. Korábban a számértékeket tartalmazó karakterláncok automatikusan szűkebb típusokra lettek átalakítva, például Long vagy Decimal.
    • [SPARK-54887][CONNECT] Mindig állítson be sql-állapotot a Spark Connect-ügyfélben
    • [SPARK-54887][CONNECT] Opcionális sqlstate hozzáadása a sparkthrowableshez
    • [SPARK-55097][SQL] A gyorsítótárazott összetevők ismételt hozzáadásakor a blokkok csendes elhagyásának problémájának javítása.
    • [SPARK-55282][PYTHON][CONNECT] Kerülje a worker_util használatát a kliensoldalon
    • [SPARK-49110][SQL] A SubqueryAlias.metadataOutput egyszerűsítése, hogy mindig propagálja a metaadat oszlopokat.
    • [SPARK-55243][CONNECT] Bináris fejlécek beállításának engedélyezése a Scala Connect-ügyfél -bin utótagján keresztül
    • Az operációs rendszer biztonsági frissítései.

  • 2026. január 27.

    • Frissített Java kódtárak:
      • io.delta.delta-sharing-client_2.13 1.3.8 és 1.3.9 között
    • Lásd fentebb
    • [SPARK-54768][SS]Python Stream-adatforrásnak osztályoznia kell a hibát, ha a visszaadott adatok nem felelnek meg a konfigurált sémának
    • [SPARK-54803] Támogatás NÉV SZERINT a következővel INSERT : ... HELYETTESÍT WHERE
    • [SPARK-53564][CORE] Kerülje a DAGScheduler kilépését a blockManager RPC időtúllépése miatt a DAGSchedulerEventProcessLoopban
    • [SPARK-55015][SS][SQL] A DecodeRemainingKey numFields számítás javítása a PrefixKeyScanStateEncoderben
    • Az operációs rendszer biztonsági frissítései.
  • 2026. január 9.
    • Frissített Python kódtárak:
      • pmdarima 2.0.4-től 2.1.1-ig
    • Frissített Java kódtárak:
      • io.delta.delta-sharing-client_2.13 1.3.6 és 1.3.8 között
    • Mostantól skaláris függvényként használhatja az SQL-ablakfüggvényeket a metrikanézet dimenzióiban és mértékkifejezéseiben.
    • [SPARK-54562][SDP][17.3 backport] A flow függvényen belül blokkolja a szerveroldali azonnali elemzést/végrehajtást
    • [SPARK-54679][SQL] Nevezze át spark.sql. (xml.legacyXMLParser.enabled -> legacy.useLegacyXMLParser)
    • [SPARK-54711][PYTHON] Időtúllépést adjon hozzá a démon által létrehozott feldolgozói kapcsolathoz
    • [SPARK-53127][SQL] Az ALL javítása LIMIT a CTE normalizálásával történő nem tagolt rekurzióhoz
    • [SPARK-54708] Az ML gyorsítótár törlésének optimalizálása késleltetett könyvtár létrehozásával
    • [SPARK-54581][SQL] A fetchsize opció kis- és nagybetűérzéketlenítése a Postgres-összekötőhöz
    • [SPARK-41916] [ML] Fáklya forgalmazó: több fáklyafutási folyamat támogatása tevékenységenként, ha task.gpu.amount > 1
    • [SPARK-54564] [SQL] QueryPlanningTracker létrehozása HybridAnalyzer mezőként
    • [SPARK-54620][SQL] Biztonsági ellenőrzés hozzáadása a ObservationManagerben a megfigyelés blokkolásának elkerülése érdekében
    • Az operációs rendszer biztonsági frissítései.
  • 2025. december 9.
    • Frissített Java kódtárak:
      • io.delta.delta-sharing-client_2.13 1.3.5-től 1.3.6-osig
    • [SPARK-50906][SQL] Az Avro null ellenőrzési hibájának javítása átrendezett struktúra mezők esetén
    • [SPARK-54180][SQL] A BinaryFileFormat toString parancsának felülbírálása
    • [SPARK-54427][SQL] A ColumnarRow meghívásának copy engedélyezése variánstípusokkal
    • Az operációs rendszer biztonsági frissítései.
  • 2025. november 18.
    • [SPARK-54047][PYTHON] Használjon különbségi hibát a leállítás üresjárati időkorlát esetén
    • [SPARK-52762][SDP] PipelineAnalysisContext üzenet hozzáadása a folyamatelemzés támogatásához a Spark Connect-lekérdezés végrehajtása során
    • [SPARK-54156][PROTOBUF] A ProtobufOptions öntési hibájának osztályozása
    • [SPARK-54078][SS] Új teszt a StateStoreSuite SPARK-40492: maintenance before unload-hez és az infra eltávolítása a régi tesztből
    • [SPARK-54015][PYTHON] Lazítsa a Py4J követelményt a következőre: py4j>=0.10.9.7,<0.10.9.10
    • [SPARK-54099][SQL] Az XML variáns elemzőnek a decimális elemzési hibák esetén vissza kell esnie sztring típusra
    • [SPARK-54191][17.3-as visszaportolás][SDP] once hozzáadása a Defineflow Proto-hoz
    • Az operációs rendszer biztonsági frissítései.
  • 2025. november 4.
    • [SPARK-53729][PYTHON][CONNECT] A pyspark.sql.connect.window.WindowSpec szerializálásának javítása
    • [SPARK-46679][SQL] A SparkUnsupportedOperationException javítása Nem található T típusú kódoló a paraméteres osztály használatakor
    • [SPARK-53973][Avro] Az AvroOptions logikai típuskonvertálási hibáinak osztályozása
    • [SPARK-53794][SS] Lehetőség hozzáadása a rocksdb állapotszolgáltatóhoz társított karbantartási műveletenkénti törlések korlátozására
    • [SPARK-53908][CONNECT] Javítás a Spark Connect megfigyelésein a tervkészlet gyorsítótárral
    • [SPARK-53972][SS] Javítás a streaming lekérdezés recentProgress nyomon követésének regressziójához a klasszikus pyspark környezetben
    • Az operációs rendszer biztonsági frissítései.

Databricks Runtime 16.4 LTS

Lásd : Databricks Runtime 16.4 LTS.

  • 2026. augusztus 18.

    • Az operációs rendszer biztonsági frissítései.

  • 2026. augusztus 4.

    • [SPARK-57547][SQL] Az InMemoryRelation párhuzamos materializációja javításának visszaportolása a 16.4-be (kill switch-csel)
    • [SPARK-58107] local-checkpoint dedup-and-seal visszaportolás + MERGE materializált forrás ellenőrzőösszeg-ellenőrzése
    • Az operációs rendszer biztonsági frissítései.

  • 2026. július 24.

    • Kijavítottunk egy helyességi hibát, amely miatt egy min oszlop fölötti, csúszó kerettel rendelkező ablakolt /maxBinaryType (bármely RANGE keret, illetve 10 vagy annál nagyobb méretű ROWS keret esetén) a keretenkénti érték helyett a futó globális min/max értéket adta vissza.
    • Az operációs rendszer biztonsági frissítései.

  • 2026. július 10.

    • Egyéb hibajavítások.

  • 2026. június 29.

    • (Viselkedésváltozás) A metrikanézetek mostantól elutasítják a többi ablakmértékre hivatkozó ablakmértékeket. Korábban ez a minta sikeres volt CREATE , de csendesen meghiúsult, vagy helytelen eredményeket eredményezett a lekérdezési időpontban. Mostantól az Azure Databricks egyértelmű hibaüzenetet ad a(z) CREATE vagy ALTER időpontban (METRIC_VIEW_WINDOW_MEASURE_REFERENCES_WINDOW_MEASURE). Az ellenőrzés letiltásához állítsa be a következőt spark.databricks.sql.metricView.rejectWindowOnWindowMeasure.enabledfalse: .

    • Kijavítottunk egy adathelyességi problémát, amely miatt a forrásban lévő NULL struktúraértékek a(z) MERGE, UPDATE és streaming írási lekérdezésekben helytelenül nem NULL struktúrákká bővültek a célban, NULL mezőkkel. A módosítás után a forrásBAN lévő NULL-szerkezetek helyesen megmaradnak NULL értékként a célban.

      Érintett műveletek:

      • MERGE lekérdezések UPDATE SET t.structCol = s.structCol struktúratípus-konverzióval rendelkező műveletekkel
      • MERGE lekérdezések UPDATE SET * a sémafejlődés engedélyezésekor (ha a forrásstruktúra NULL értékű, írja felül a célértéket NULL értékkel, ha a célstruktúra nem tartalmaz további mezőket, vagy eredetileg NULL értékű volt)
      • MERGE lekérdezések a következővel UPDATE SET * EXCEPT : (Ha a forrásstruktúra NULL értékű, írja felül a célértéket NULL értékkel, ha az nem tartalmaz mezőket a KIVÉVE listában)
      • MERGE lekérdezések INSERT (structCol) VALUES (s.structCol) struktúratípus-konverzióval rendelkező műveletekkel
      • MERGE lekérdezések INSERT * [EXCEPT] struktúratípus-konverzióval rendelkező műveletekkel
      • UPDATE lekérdezések struktúra típuskonverziókkal
      • Adatfolyamírás struct típusra történő típusátalakítással

    • Az operációs rendszer biztonsági frissítései.

  • 2026. június 9.

    • (Viselkedésváltozás) SET TAG immár idempotens. Ha egy olyan erőforráson megismétel egy SET TAG műveletet, amely már rendelkezik a címkével, az már nem okoz hibát.
    • Az operációs rendszer biztonsági frissítései.
  • 2026. május 26.
    • [SPARK-34591][ML] Döntési fa metszésének hozzáadása paraméterként
    • Az operációs rendszer biztonsági frissítései.
  • 2026. május 13.
    • (Behavior változás) A sémamintát használó táblák listázása már nem frissíti a Unity Catalog metaadatait az idegen táblákhoz (például SQL Server, PostgreSQL vagy AWS Glue). Ez a változás hatással van SHOW TABLES IN SCHEMA LIKE ...getMetaData.getTables a JDBC-illesztőprogramban a sémaminta átadásakor érkező hívásokra és a Thrift API-raSparkGetTablesOperation. Ha a számítási feladat a metaadatok sémamintával való frissítésétől függ, forduljon a Databricks ügyfélszolgálatához.
    • Frissített Java kódtárak:
      • (csak a Scala 2.12 esetén) io.delta.delta-sharing-client_2.12 1.2.11-ről 1.2.12-re
      • (csak a Scala 2.13 esetén) io.delta.delta-sharing-client_2.13 1.2.11-ről 1.2.12-re
    • [SPARK-56361][SS] Jobb hibaüzenet biztosítása a stream-stream összekapcsolás során naplózás közben fellépő NPE esetén
    • Egyéb hibajavítások.
  • 2026. április 29.
    • Egyéb hibajavítások.
  • 2026. április 20.
    • Egyéb hibajavítások.

  • 2026. április 2.

    • Frissített Java kódtárak:
      • (csak Scala 2.12) io.delta.delta-sharing-client_2.12 1.2.10-ről 1.2.11-re
      • (csak Scala 2.13) io.delta.delta-sharing-client_2.13 1.2.10 és 1.2.11 között
    • [SPARK-55701]ES-1694761[SS] Versenyállapot javítása a CompactibleFileStreamLog.allFiles alkalmazásban
    • [Backports][OSS Cherrypick] [SPARK-55945][SDP] A folyamatok strukturált azonosítóinak támogatása az SDP lelkes elemzési protosaiban
    • Az operációs rendszer biztonsági frissítései.

  • 2026. március 10.

    • [SPARK-55111][SS] Újraellenőrizni a befejezetlen újraparticionálás észlelését a lekérdezés újraindításakor
    • [SPARK-55493] [SS] Ne használja a streamelési ellenőrzőpont állapotkönyvtárát a StateDataSource-ban
    • Az operációs rendszer biztonsági frissítései.

  • 2026. február 26.

    • Az operációs rendszer biztonsági frissítései.

  • 2026. február 19.

    • [SPARK-55282][PYTHON][CONNECT] Kerülje a worker_util használatát a kliensoldalon
    • [SPARK-55243][CONNECT] Bináris fejlécek beállításának engedélyezése a Scala Connect-ügyfél -bin utótagján keresztül
    • Az operációs rendszer biztonsági frissítései.
  • 2026. január 27.
    • Frissített Java kódtárak:
      • (csak Scala 2.12) io.delta.delta-sharing-client_2.12 1.2.9 és 1.2.10 között
      • (csak Scala 2.12) org.mlflow.mlflow-spark_2.12 2.9.1 és 2.19.0 között
      • (csak Scala 2.13) io.delta.delta-sharing-client_2.13 1.2.9 és 1.2.10 között
      • (csak Scala 2.13) org.mlflow.mlflow-spark_2.13 2.9.1 és 2.19.0 között
    • [SPARK-55015][SS][SQL] A DecodeRemainingKey numFields számítás javítása a PrefixKeyScanStateEncoderben
    • Az operációs rendszer biztonsági frissítései.
  • 2026. január 9.
    • Frissített Java kódtárak:
      • (csak Scala 2.12) io.delta.delta-sharing-client_2.12 1.2.8 és 1.2.9 között
      • (csak Scala 2.13) io.delta.delta-sharing-client_2.13 1.2.8 és 1.2.9 között
    • [SPARK-54620][SQL] Biztonsági ellenőrzés hozzáadása a ObservationManagerben a megfigyelés blokkolásának elkerülése érdekében
    • [SPARK-54711][PYTHON] Időtúllépést adjon hozzá a démon által létrehozott feldolgozói kapcsolathoz
    • [SPARK-41916] [ML] Fáklya forgalmazó: több fáklyafutási folyamat támogatása tevékenységenként, ha task.gpu.amount > 1
    • Az operációs rendszer biztonsági frissítései.
  • 2025. december 9.
    • A particionált Delta-táblák partícióoszlopai az adatparquet fájlokban lesznek materializálva. Ez jobb együttműködést tesz lehetővé az Iceberg- és UniForm-táblák kezelésével, és növeli a külső, nem Delta olvasókkal való kompatibilitást.
    • Mind a Snowflake összekötő, mind a Snowflake Lakehouse Federation esetében a TIMESTAMP_NTZ (időzóna nélküli timestamp) literálok már nem kerülnek át a Snowflake-be. Ez a módosítás megakadályozza a nem kompatibilis időbélyeg-kezelés által okozott lekérdezési hibákat, és javítja az érintett lekérdezések megbízhatóságát.
    • [SPARK-54427][SQL] A ColumnarRow meghívásának copy engedélyezése variánstípusokkal
    • [SPARK-54180][SQL] A BinaryFileFormat toString parancsának felülbírálása
    • Az operációs rendszer biztonsági frissítései.
  • 2025. november 18.
    • [SPARK-54099][SQL] Az XML variáns elemzőnek a decimális elemzési hibák esetén vissza kell esnie sztring típusra
    • [SPARK-54015][PYTHON] Lazítsa a Py4J követelményt a következőre: py4j>=0.10.9.7,<0.10.9.10
    • [SPARK-54078][SS] Új teszt a StateStoreSuite SPARK-40492: maintenance before unload-hez és az infra eltávolítása a régi tesztből
    • [SPARK-54156][PROTOBUF] A ProtobufOptions öntési hibájának osztályozása
    • [SPARK-54047][PYTHON] Használjon különbségi hibát a leállítás üresjárati időkorlát esetén
    • Az operációs rendszer biztonsági frissítései.
  • 2025. november 4.
    • Frissített R-kódtárak:
      • 16.1.0 és 21.0.0 közötti nyíl
    • [SPARK-53973][Avro] Az AvroOptions logikai típuskonvertálási hibáinak osztályozása
    • Az operációs rendszer biztonsági frissítései.
  • 2025. október 21.
    • Az operációs rendszer biztonsági frissítései.
  • 2025. október 7.
    • [SPARK-53568][CONNECT][PYTHON] A Spark Connect Python-ügyfél hibakezelési logikájában számos kisebb hiba kijavítása
    • [SPARK-53574] Az AnalysisContext törlése a beágyazott tervfeloldás során
    • [SPARK-53623][SQL] javítja a nagy méretű táblák tulajdonságainak kezelését...
    • [SPARK-53598][SQL] Ellenőrizze a numParts meglétét a nagyméretű táblatulajdonságok olvasása előtt
    • [SPARK-53549][SS] A listaállapot-kérelem folyamatának befejezésekor mindig zárja be a nyílelosztót
    • Az operációs rendszer biztonsági frissítései.
  • 2025. szeptember 16.
    • A Snowflake-összekötő mostantól a INFORMATION_SCHEMA táblázatot használja a parancs helyett a SHOW SCHEMAS sémák listázásához. Ez a módosítás eltávolítja az előző megközelítés 10 000 sémakorlátját, és javítja a nagy számú sémával rendelkező adatbázisok támogatását.
    • Az operációs rendszer biztonsági frissítései.
  • 2025. szeptember 9.
    • Kijavítottunk egy hibát, amely miatt az automatikus betöltő határozatlan ideig lefagyhatott.
    • Kijavít egy átmeneti hibát az Automatikus betöltőben, amely a feladatok meghiúsulását okozhatja
    • [SPARK-49872][CORE] Jackson JSON-sztringhossz korlátozásának eltávolítása
    • [SPARK-51821][CORE] Megszakítás() hívása szünetmentes zárolás nélkül a lehetséges holtpont elkerülése érdekében
    • Az operációs rendszer biztonsági frissítései.
  • 2025. augusztus 26.
    • Frissített Java kódtárak:
      • (csak Scala 2.12) io.delta.delta-sharing-client_2.12 1.2.7-től 1.2.8-ra
      • (csak Scala 2.13) io.delta.delta-sharing-client_2.13 verzióváltás 1.2.7-ről 1.2.8-ra
    • [SPARK-52482][SQL][CORE] Egyes sérült zstd-fájlok olvasásának kivételkezelésének javítása
    • [SPARK-53192][CONNECT] Mindig gyorsítótárazzon egy adatforrást a Spark Connect-csomag gyorsítótárában
    • Az operációs rendszer biztonsági frissítései.
  • 2025. augusztus 14.
    • [SPARK-51011][CORE] Naplózás hozzáadása annak megállapításához, hogy egy tevékenység megszakad-e a leöléskor
    • [SPARK-52833][SQL] Javítás VariantBuilder.appendFloat
    • [SPARK-51505][SQL] Mindig üres partíciószámmetrikákat jelenít meg az AQEShuffleReadExecben
    • Az operációs rendszer biztonsági frissítései.
  • 2025. július 29.
    • [SPARK-52753][SQL] A parseDataType bináris fájl kompatibilissé tétele a korábbi verziókkal
    • Az operációs rendszer biztonsági frissítései.
  • 2025. július 15.
    • Kijavítottunk egy nem determinisztikus adatvesztési hibát, amely a Spark Strukturált Adatfolyam használatakor, amikor adatokat streamelünk a Pulsarból.
    • [SPARK-52579][PYTHON] Rendszeres nyomkövetési memóriakép beállítása Python feldolgozók számára
    • [SPARK-52553][SS] A NumberFormatException javítása az 1- es verzió változásnaplójának olvasásakor
    • [SPARK-52450] A séma mélytükrözés teljesítményének javítása
    • [SPARK-52503][SQL][CONNECT] Javítás drop , ha a bemeneti oszlop nem létezik
    • [SPARK-52599][PYTHON] A vezérlőoldali dolgozók rendszeres nyomkövetési memóriaképének támogatása
    • Az operációs rendszer biztonsági frissítései.
  • 2025. július 1.
    • A ZStandard kitömörítés támogatása a fájladatos forrásolvasókhoz (JSON, CSV, XML és szöveg).
    • [15.4-16.4][spark-52521]](https://issues.apache.org/jira/browse/SPARK-52521)[SQL] Right#replacement nem érheti el dinamikusan az SQLConf-et
    • [SPARK-52482][SQL][CORE] ZStandard-támogatás fájladatforrás-olvasóhoz
    • [SPARK-52312][SQL] A V2WriteCommand figyelmen kívül hagyása a DataFrame gyorsítótárazásakor
    • Az operációs rendszer biztonsági frissítései.
  • 2025. június 17.
    • Kijavítottuk azt a korlátozást, hogy a cloud_files_state táblaértékű függvény (TVF) nem használható a streamelési táblák fájlszintű állapotának olvasására a folyamatok között.
    • Kijavítottuk a Unity Catalog engedélyezési problémáit az ideiglenes nézetekben lévő lekérdezésekhez.
    • [SPARK-52040][PYTHON][SQL][CONNECT] A ResolveLateralColumnAliasReference-nek meg kell őriznie a terv azonosítóját
    • Az operációs rendszer biztonsági frissítései.
  • 2025. június 3.
    • [SPARK-52195][PYTHON][SS] Az Python TWS kezdeti állapotoszlop-elvetési problémájának javítása
    • [SPARK-52159][SQL] A jdbc-dialektusok táblalétezés-ellenőrzésének megfelelő kezelése
    • Egyéb hibajavítások.
  • 2025. május 7.
    • Frissített Java kódtárak:
      • io.delta.delta-sharing-client_2.13 verziója 1.2.3-tól 1.2.7-ig
      • org.apache.avro.avro 1.11.3 és 1.11.4 között
      • org.apache.avro.avro-ipc 1.11.3 és 1.11.4 között
      • org.apache.avro.avro-mapred 1.11.3-tól 1.11.4-re
    • A streamelt klónozott munkamenetet a foreachBatch felhasználói függvényen belül fogják használni a megosztott fürtök/serverless környezetekben. Ez igazodik a klasszikus "Assigned Clusters" viselkedéséhez.
    • A streamelt klónozott munkamenetet a foreachBatch felhasználói függvényen belül fogják használni a megosztott fürtök/serverless környezetekben. Ez igazodik a klasszikus "Assigned Clusters" viselkedéséhez.
    • A változtatás előtt az elérési utak kifejezéseiben lévő kezdeti szóközöket és tabulátorokat figyelmen kívül hagyta, amikor a Photon le van tiltva. Például select variant_get(parse_json('{"key": "value"}'), '$['key']') nem lenne hatékony az érték kinyerésében "key". A felhasználók azonban most már kinyerhetik az ilyen kulcsokat.
    • [SPARK-51935][SQL] Az iterátorok lusta viselkedésének javítása az értelmezett df.collect()
    • [SPARK-51921][SS][PYTHON] TTL-időtartamú hosszú típus használata ezredmásodpercben az transformWithState-ben
    • [SPARK-51940][SS] Interfész hozzáadása a streamelési ellenőrzőpont metaadatainak kezeléséhez
    • [SPARK-52049] Kijavítottuk azt a hibát, amely miatt az XML-attribútumok nem elemezhetők Variantként
    • [SPARK-51904][SS] A StateSchemaV3 aszinkron metaadatainak törlése és a nem kötegelt fájlok figyelmen kívül hagyása az OperátorMetadata-fájlok listázásakor
    • [SPARK-51869][SS] Felhasználói hibák besorolásának létrehozása a Scala TransformWithState UDF-jeiben
    • [SPARK-51889][PYTHON][SS] A MapState clear() hiba kijavítása Python TWS-ben
    • [SPARK-51922] [SS] A StateStoreChangelogReaderFactory által kiváltott UTFDataFormatException javítása az 1-es verzióhoz
    • [SPARK-51848][SQL] Az XML-rekordok elemzésének javítása a Variant tömb/szerkezetek/leképezések meghatározott sémájával
    • Az operációs rendszer biztonsági frissítései.

Databricks Runtime 15.4 LTS

Lásd: Databricks Runtime 15.4 LTS.

  • 2026. augusztus 18.

    • Frissített Java kódtárak:
      • com.microsoft.sqlserver.mssql-jdbc erről: 11.2.2.jre8, 11.2.3.jre8 erre: 11.2.3.jre8, 11.2.3.jre8
    • Az operációs rendszer biztonsági frissítései.

  • 2026. augusztus 4.

    • [SPARK-58107] A helyi ellenőrzőpont deduplikálásának és lezárásának visszaportolása + a MERGE materializált forrás ellenőrzőösszegének ellenőrzése
    • [SPARK-57547][SQL] Az InMemoryRelation párhuzamos materializálási javításának visszaportolása a 15.4-es verzióba (kill switch-csel)
    • Az operációs rendszer biztonsági frissítései.

  • 2026. július 24.

    • Az operációs rendszer biztonsági frissítései.

  • 2026. július 10.

    • Az operációs rendszer biztonsági frissítései.

  • 2026. június 29.

    • (Viselkedésváltozás) A metrikanézetek mostantól elutasítják a többi ablakmértékre hivatkozó ablakmértékeket. Korábban ez a minta sikeres volt CREATE , de csendesen meghiúsult, vagy helytelen eredményeket eredményezett a lekérdezési időpontban. Mostantól az Azure Databricks egyértelmű hibaüzenetet ad a(z) CREATE vagy ALTER időpontban (METRIC_VIEW_WINDOW_MEASURE_REFERENCES_WINDOW_MEASURE). Az ellenőrzés letiltásához állítsa be a következőt spark.databricks.sql.metricView.rejectWindowOnWindowMeasure.enabledfalse: .

    • Kijavítottunk egy adathelyességi problémát, amely miatt a forrásban lévő NULL struktúraértékek a(z) MERGE, UPDATE és streaming írási lekérdezésekben helytelenül nem NULL struktúrákká bővültek a célban, NULL mezőkkel. A módosítás után a forrásBAN lévő NULL-szerkezetek helyesen megmaradnak NULL értékként a célban.

      Érintett műveletek:

      • MERGE lekérdezések UPDATE SET t.structCol = s.structCol struktúratípus-konverzióval rendelkező műveletekkel
      • MERGE lekérdezések UPDATE SET * a sémafejlődés engedélyezésekor (ha a forrásstruktúra NULL értékű, írja felül a célértéket NULL értékkel, ha a célstruktúra nem tartalmaz további mezőket, vagy eredetileg NULL értékű volt)
      • MERGE lekérdezések a következővel UPDATE SET * EXCEPT : (Ha a forrásstruktúra NULL értékű, írja felül a célértéket NULL értékkel, ha az nem tartalmaz mezőket a KIVÉVE listában)
      • MERGE lekérdezések INSERT (structCol) VALUES (s.structCol) struktúratípus-konverzióval rendelkező műveletekkel
      • MERGE lekérdezések INSERT * [EXCEPT] struktúratípus-konverzióval rendelkező műveletekkel
      • UPDATE lekérdezések struktúra típuskonverziókkal
      • Adatfolyamírás struct típusra történő típusátalakítással

    • Az operációs rendszer biztonsági frissítései.

  • 2026. június 9.

    • Az operációs rendszer biztonsági frissítései.
  • 2026. május 26.
    • Az operációs rendszer biztonsági frissítései.
  • 2026. május 13.
    • (Behavior változás) A sémamintát használó táblák listázása már nem frissíti a Unity Catalog metaadatait az idegen táblákhoz (például SQL Server, PostgreSQL vagy AWS Glue). Ez a változás hatással van SHOW TABLES IN SCHEMA LIKE ...getMetaData.getTables a JDBC-illesztőprogramban a sémaminta átadásakor érkező hívásokra és a Thrift API-raSparkGetTablesOperation. Ha a számítási feladat a metaadatok sémamintával való frissítésétől függ, forduljon a Databricks ügyfélszolgálatához.
    • Az operációs rendszer biztonsági frissítései.
  • 2026. április 29.
    • Egyéb hibajavítások.
  • 2026. április 20.
    • Egyéb hibajavítások.

  • 2026. április 2.

    • Frissített Java kódtárak:
      • io.delta.delta-sharing-client_2.12 1.1.10-ról 1.1.11-re
    • Az Automatikus betöltő két új funkciót tartalmaz a forráshely kezelésével és láthatóságával kapcsolatban a DBR 16.3: 1-ben. Eseményváltozások rögzítése: ezzel a módosítással az ügyfelek a TVF használatával megtekinthetik a cloud_files_state fájlfelderítést és a feldolgozás részleteit, például a fájl eredeti felderítésének időpontját, a véglegesítendő időt, az archiválást stb. A TVF aktuális nyilvános dokumentációját itt találja. 2. Tiszta forrás: Ezzel a funkcióval az ügyfelek utasíthatják az Automatikus betöltőt a feldolgozott fájlok automatikus törlésére. Az ügyfelek az Automatikus betöltő beállítással engedélyezhetik ezt a cloudFiles.cleanSource funkciót. Az Automatikus betöltő beállításainak dokumentációjában további részleteket itt talál.
    • Az operációs rendszer biztonsági frissítései.

  • 2026. március 10.

    • [SPARK-55701]ES-1694761[SS] Versenyállapot javítása a CompactibleFileStreamLog.allFiles alkalmazásban
    • [SPARK-55111][SS] Újraellenőrizni a befejezetlen újraparticionálás észlelését a lekérdezés újraindításakor
    • Az operációs rendszer biztonsági frissítései.

  • 2026. február 26.

    • Frissített Java kódtárak:
      • org.mlflow.mlflow-spark_2.12 verziófrissítése 2.9.1-ról 2.11.3-ra
    • Az operációs rendszer biztonsági frissítései.

  • 2026. február 19.

    • [SPARK-55243][CONNECT] Bináris fejlécek beállításának engedélyezése a Scala Connect-ügyfél -bin utótagján keresztül
    • [SPARK-55282][PYTHON][CONNECT] Kerülje a worker_util használatát a kliensoldalon
    • Az operációs rendszer biztonsági frissítései.
  • 2026. január 27.
    • Frissített Java kódtárak:
      • io.delta.delta-sharing-client_2.12 1.1.9 és 1.1.10 között
    • Az operációs rendszer biztonsági frissítései.
  • 2026. január 9.
    • A particionált Delta-táblák partícióoszlopai az adatparquet fájlokban lesznek materializálva. Ez jobb együttműködést tesz lehetővé az Iceberg- és UniForm-táblák kezelésével, és növeli a külső, nem Delta olvasókkal való kompatibilitást.
    • [SPARK-54620][SQL] Biztonsági ellenőrzés hozzáadása a ObservationManagerben a megfigyelés blokkolásának elkerülése érdekében
    • [SPARK-54711][PYTHON] Időtúllépést adjon hozzá a démon által létrehozott feldolgozói kapcsolathoz
    • Az operációs rendszer biztonsági frissítései.
  • 2025. december 9.
    • Frissített Java kódtárak:
      • io.delta.delta-sharing-client_2.12 1.1.7 és 1.1.9 között
    • [SPARK-54427][SQL] A ColumnarRow meghívásának copy engedélyezése variánstípusokkal
    • [SPARK-52579][PYTHON] Rendszeres nyomkövetési memóriakép beállítása Python feldolgozók számára
    • [SPARK-54180][SQL] A BinaryFileFormat toString parancsának felülbírálása
    • Az operációs rendszer biztonsági frissítései.
  • 2025. november 18.
    • [SPARK-54078][SS] Új teszt a StateStoreSuite SPARK-40492: maintenance before unload-hez és az infra eltávolítása a régi tesztből
    • [SPARK-54047][PYTHON] Használjon különbségi hibát a leállítás üresjárati időkorlát esetén
    • Az operációs rendszer biztonsági frissítései.
  • 2025. november 4.
    • Frissített R-kódtárak:
      • nyíl a 14.0.0.2-től a 21.0.0-sig
    • Az operációs rendszer biztonsági frissítései.
  • 2025. október 21.
    • A fotonizálási kritériumok frissítve vannak, hogy lehetővé tegyék a fotonizálást, amikor ellenőrzőösszeg-ellenőrzésre van szükség.
      Annak meghatározása, hogy szükség van-e ellenőrzőösszeg-ellenőrzésre, most az SQLConf helyett a hadoop conf-ból származik.
    • Az operációs rendszer biztonsági frissítései.
  • 2025. október 7.
    • [SPARK-53568][CONNECT][PYTHON] A Spark Connect Python-ügyfél hibakezelési logikájában számos kisebb hiba kijavítása
    • [SPARK-53574] Az AnalysisContext törlése a beágyazott tervfeloldás során
    • Egyéb hibajavítások.
  • 2025. szeptember 16.
    • A Snowflake-összekötő mostantól a INFORMATION_SCHEMA táblázatot használja a parancs helyett a SHOW SCHEMAS sémák listázásához. Ez a módosítás eltávolítja az előző megközelítés 10 000 sémakorlátját, és javítja a nagy számú sémával rendelkező adatbázisok támogatását.
    • [SPARK-50870][SQL] Adja hozzá az időzónát a V2ScanRelationPushDown időbélyegzőbe történő öntésekor
    • Az operációs rendszer biztonsági frissítései.
  • 2025. szeptember 9.
    • Kijavítottunk egy hibát, amely miatt az automatikus betöltő határozatlan ideig lefagyhatott.
    • Kijavít egy átmeneti hibát az Automatikus betöltőben, amely a feladatok meghiúsulását okozhatja
    • [SPARK-51821][CORE] Megszakítás() hívása szünetmentes zárolás nélkül a lehetséges holtpont elkerülése érdekében
    • [SPARK-49872][CORE] Jackson JSON-sztringhossz korlátozásának eltávolítása
    • Az operációs rendszer biztonsági frissítései.
  • 2025. augusztus 26.
    • Frissített Java kódtárak:
      • io.delta.delta-sharing-client_2.12 1.1.6 és 1.1.7 között
    • [SPARK-52482][SQL][CORE] Egyes sérült zstd-fájlok olvasásának kivételkezelésének javítása
    • [SPARK-53192][CONNECT] Mindig gyorsítótárazzon egy adatforrást a Spark Connect-csomag gyorsítótárában
    • Az operációs rendszer biztonsági frissítései.
  • 2025. augusztus 14.
    • [SPARK-51011][CORE] Naplózás hozzáadása annak megállapításához, hogy egy tevékenység megszakad-e a leöléskor
    • Az operációs rendszer biztonsági frissítései.
  • 2025. július 29.
    • Az operációs rendszer biztonsági frissítései.

  • 2025. július 21.

    • A Photonhez engedélyezett vagy Arm64-alapú cpu-t mlflow-skinny használó számítás esetében a rendszer 2.19.0-ra frissül, ray 2.37.0-ra frissül, és databricks-feature-engineering 0.8.0-ra frissül.

  • 2025. július 15.

    • Kijavítottunk egy nem determinisztikus adatvesztési hibát, amely a Spark Strukturált Adatfolyam használatakor, amikor adatokat streamelünk a Pulsarból.
    • [SPARK-52503][SQL][CONNECT] Javítás drop , ha a bemeneti oszlop nem létezik
  • 2025. július 1.
    • Frissített Java kódtárak:
      • org.mlflow.mlflow-spark_2.12 verziófrissítése 2.9.1-ról 2.11.3-ra
      • El lett távolítva a com.fasterxml.jackson.dataformat.jackson-dataformat-yaml 2.15.2
      • Eltávolított org.slf4j.slf4j-simple 1.7.25
    • A ZStandard kitömörítés támogatása a fájladatos forrásolvasókhoz (JSON, CSV, XML és szöveg).
    • A ZStandard kitömörítés támogatása a fájladatos forrásolvasókhoz (JSON, CSV, XML és szöveg).
    • [15.4-16.4][spark-52521]](https://issues.apache.org/jira/browse/SPARK-52521)[SQL] Right#replacement nem érheti el dinamikusan az SQLConf-et
    • [SPARK-52482][SQL][CORE] ZStandard-támogatás fájladatforrás-olvasóhoz
    • [SPARK-52312][SQL] A V2WriteCommand figyelmen kívül hagyása a DataFrame gyorsítótárazásakor
    • Az operációs rendszer biztonsági frissítései.
  • 2025. június 17.
    • Kijavítottuk azt a korlátozást, hogy a cloud_files_state táblaértékű függvény (TVF) nem használható a streamelési táblák fájlszintű állapotának olvasására a folyamatok között.
    • [SPARK-49646][SQL] Javítottuk az al-lekérdezés dekorrelációját unió/halmaz műveletekhez, amikor a parentOuterReferences olyan hivatkozásokat tartalmaz, amelyeket a collectedChildOuterReferences nem fed le.
    • [SPARK-52040][PYTHON][SQL][CONNECT] A ResolveLateralColumnAliasReference-nek meg kell őriznie a terv azonosítóját
  • 2025. június 3.
    • Frissített Python kódtárak:
      • titkosítás a 3.4.8, 41.0.3 és 41.0.3 között
      • filelock 3.13.4, 3.15.4 és 3.13.4 között
      • importlib-metadata 4.6.4-től 6.0.0-tól 6.0.0-ra
      • platformdirs 3.10.0, 3.11.0 és 3.10.0 között
      • pyparsing 2.4.7-től, 3.0.9-től 3.0.9-ig
      • zipp 1.0.0, 3.11.0 és 3.11.0 között
      • A pip 23.2.1-et hozzáadtuk
      • Hozzáadott telepítők 68.0.0
      • Hozzáadva wcwidth 0.2.5
      • Hozzáadott kerék 0.38.4
      • Eltávolított verzió 1.7.0
      • A rendszer eltávolította a következőt: distro-info 1.1+ubuntu0.2
      • El lett távolítva a Python-apt 2.4.0+ubuntu4
    • Frissített Java kódtárak:
      • com.github.fommil.netlib.native_ref-java 1.1 és 1.1-natív változatról 1.1, 1.1 verzióra
      • com.github.fommil.netlib.native_system-java 1.1- és 1.1-natívtól az 1.1-hez, 1.1-hez
      • com.github.fommil.netlib.netlib-native_ref-linux-x86_64 1.1-natívtól 1.1-hez
      • com.github.fommil.netlib.netlib-native_system-linux-x86_64 változtatás 1.1-natives verzióról 1.1 verzióra
      • io.netty.netty-tcnative-boringssl-static tól 2.0.61.Final-db-r16-linux-aarch_64, 2.0.61.Final-db-r16-linux-x86_64, 2.0.61.Final-db-r16-osx-aarch_64, 2.0.61.Final-db-r16-osx-x86_64, 2.0.61.Final-db-r16-windows-x86_64, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16
      • io.netty.netty-transport-native-epoll 4.1.96.Final, 4.1.96.Final-linux-aarch_64, 4.1.96.Final-linux-x86_64 verzióból a 4.1.96.Final, 4.1.96.Final, 4.1.96.Final verzióra
      • io.netty.netty-transport-native-kqueue tól 4.1.96.Final-osx-aarch_64, 4.1.96.Final-osx-x86_64 ig 4.1.96.Final, 4.1.96.Final
      • org.apache.orc.orc-core 1.9.2-shaded-protobuf változatról 1.9.2 változatra
      • org.apache.orc.orc-mapreduce a 1.9.2-shaded-protobuf-ról 1.9.2-re
      • software.amazon.cryptools.AmazonCorrettoCryptoProvider 1.6.2-linux-x86_64-ról 1.6.2-re
    • [SPARK-52159][SQL] A jdbc-dialektusok táblalétezés-ellenőrzésének megfelelő kezelése
    • Az operációs rendszer biztonsági frissítései.
  • 2025. május 20.
    • Frissített Java kódtárak:
      • io.delta.delta-sharing-client_2.12 1.1.5-től 1.1.6-osig
    • A streamelt klónozott munkamenetet a foreachBatch felhasználói függvényen belül fogják használni a megosztott fürtök/serverless környezetekben. Ez igazodik a klasszikus "Assigned Clusters" viselkedéséhez.
    • A változtatás előtt az elérési utak kifejezéseiben lévő kezdeti szóközöket és tabulátorokat figyelmen kívül hagyta, amikor a Photon le van tiltva. Például select variant_get(parse_json('{"key": "value"}'), '$['key']') nem lenne hatékony az érték kinyerésében "key". A felhasználók azonban most már kinyerhetik az ilyen kulcsokat.
    • [SPARK-51935][SQL] Az iterátorok lusta viselkedésének javítása az értelmezett df.collect()
    • Az operációs rendszer biztonsági frissítései.
  • 2025. április 22.
    • Frissített Java kódtárak:
      • org.apache.avro.avro 1.11.3 és 1.11.4 között
      • org.apache.avro.avro-ipc 1.11.3 és 1.11.4 között
      • org.apache.avro.avro-mapred 1.11.3-tól 1.11.4-re
    • "[SPARK-47895][SQL] csoport alias szerint idempotensnek kell lennie" visszaállítása a 15.4-ben, a 16.0-ban, a 16.1-ben, a 16.2-ben és a 16.3-ban
    • [SPARK-50682][SQL] A belső aliast kanonikusan kell használni
    • Az operációs rendszer biztonsági frissítései.
  • 2025. április 9.
    • (Behaviorális változás) A kritikus biztonsági javítások alkalmazásához az alapértelmezett Python verzió Python 3.11.11-es verzióra frissül a Python 3.11.0rc1 verzióról. Ez a frissítés hatással lehet a Databricks Runtime 15.4 LTS-en futó számítási feladatokra, például olyan számítási feladatokra, amelyek Python szerializálással tárolják és visszaállítják az állapotot a 3.11.0 Python-verzióhoz rögzített végrehajtások vagy számítási feladatok között.
    • Frissített Java kódtárak:
      • Eltávolítva "io.starburst.openjson.openjson 1.8-e.12"
      • Eltávolítva io.starburst.openx.data.json-serde 1.3.9-e.12
      • Eltávolítva io.starburst.openx.data.json-serde-generic-shim 1.3.9-e.12
    • [SPARK-47895][SQL] csoport alias szerint idempotensnek kell lennie
    • [SPARK-51624][SQL] GetStructField metaadatok propagálása a CreateNamedStruct.dataType fájlban
    • Az operációs rendszer biztonsági frissítései.
  • 2025. március 31.
    • A Photon databricks-feature-engineering esetében nem engedélyezett számítás esetén a rendszer 0.8.0-ra frissül. A Photon-kompatibilis számítás databricks-feature-engineering esetében a 0.6.0 marad.

  • 2025. március 11.

    • A Databricks Runtime 14.3 LTS és újabb verziók javítást tartalmaznak egy hibára, amely bináris inkompatibilitást okozott az SparkListenerApplicationEnd osztályt példányosító és az Apache Sparkra lefordított kóddal. Ez az inkompatibilitás a SPARK-46399 Apache Sparkba való egyesítéséből ered. Ez az egyesítés tartalmazott egy módosítást, amely hozzáadta az alapértelmezett argumentumot a SparkListenerApplicationEnd konstruktorhoz. A bináris kompatibilitás visszaállításához ez a javítás egyetlen argumentumkonstruktort ad hozzá a SparkListenerApplicationEnd osztályhoz.
    • [SPARK-50985][SS] A Kafka Timestamp Offsets eltolódási hiba besorolása ahelyett, hogy hibát állítana és dobna a KafkaTokenProviderben lévő hiányzó kiszolgáló miatt.
    • [SPARK-50791][SQL] Az NPE javítása a State Store hibakezelésében
    • [SPARK-50310][PYTHON] Jobb oszlopteljesítmény, ha a DQC le van tiltva
    • [SPARK-51222][SQL] ReplaceCurrentLike optimalizálása
    • [SPARK-49525][SS][CONNECT] Kisebb naplózási fejlesztés a szerveroldali streamelési lekérdezésfigyelő buszfigyelőjéhez
    • [SPARK-51084][SQL] Rendelje hozzá a megfelelő hibaosztályt a NegatívSkálaNemEngedélyezettHiba értékhez
    • Az operációs rendszer biztonsági frissítései.

  • 2025. február 11.

    • Ez a kiadás tartalmazza a mentett XML-adatoszlopok szerializálása során egyes adattípusok konvertálását érintő probléma javítását. Az érintett adattípusok dátumok, nem NTZ időbélyegek és decimálisok, ha prefersDecimal engedélyezve van. A mentett adatoszlopról lásd a Mi a mentett adatoszlop?.
    • [SPARK-50492][SS] Kijavítottuk a java.util.NoSuchElementException hibát, ha a dropDuplicatesWithinWatermark után az eseményidő oszlop el lett vetve
    • Az operációs rendszer biztonsági frissítései.
    • Olyan számításhoz, amely nem engedélyezett Photonhez, mlflow-skinny verzióra lesz frissítve 2.19.0. A Photon-kompatibilis számítások mlflow-skinny esetében a 2.13.1-nél marad.
  • 2024. december 10.
    • A USE CATALOG utasítás mostantól támogatja a IDENTIFIER feltételt. Ezzel a támogatással paraméterezheti az aktuális katalógust egy sztringváltozó vagy paraméterjelölő alapján.
    • Ez a kiadás tartalmaz egy javítást egy olyan hibára, amely miatt a Delta-tábla elsődleges kulcsa bizonyos háttérbeli automatikus tömörítési szélsőséges eseteknél eltávolításra kerülhet.
    • Ezzel a kiadással az SSD által a Databricks számítási csomópontban használt gyorsítótár mérete dinamikusan bővülhet az SSD kezdeti méretére, és szükség szerint pedig csökkenhet a korlátig spark.databricks.io.cache.maxDiskUsage. Lásd: Teljesítmény optimalizálása gyorsítótárazással az Azure Databricks-ben.
    • A pyodbc csomag a 4.0.38-es verzióról a 4.0.39-es verzióra frissül. Ez a módosítás azért szükséges, mert hiba történt a 4.0.38-es verzióban, és a verzió el lett távolítva a PyPI-ból.
    • [SPARK-50329][SQL] kijavította az InSet$toStringet
    • [SPARK-47435][SQL] Kijavítottuk a MySQL UNSIGNED TINYINT túlcsordulási problémáját
    • [SPARK-49757][SQL] IDENTIFIER kifejezés támogatása SETCATALOG utasításban
    • [SPARK-50426][PYTHON] A beépített vagy Java adatforrások használatakor kerülje a statikus Python adatforrások keresését
    • [SPARK-48863][SQL] Javítsuk ki a ClassCastException hibát, amikor a JSON-t a "spark.sql.json.enablePartialResults" engedélyezve van
    • [SPARK-50310][PYTHON] Jelölő hozzáadása a DataFrameQueryContext pySparkhoz való letiltásához
    • [15.3-15.4] [SPARK-50034][CORE] A végzetes hibák téves hiba nélküli kivételként történő jelentésének javítása SparkUncaughtExceptionHandler
    • Az operációs rendszer biztonsági frissítései.
  • 2024. november 26.
    • Ezzel a kiadással most már lekérdezheti a vector_search függvényt query_text szövegbevitelhez vagy query_vector a bemenet beágyazásához.
    • Mostantól időtúllépést állíthat be a Spark Connect-lekérdezésekhez a Spark konfigurációs tulajdonságával spark.databricks.execution.timeout. Serverless számítási környezetben futó notebookok esetében az alapértelmezett érték 9000 (másodperc). A kiszolgáló nélküli számítási és számítási feladatok normál hozzáférési módban nem rendelkeznek időtúllépéssel, kivéve, ha ez a konfigurációs tulajdonság be van állítva. A megadott időtúllépésnél hosszabb ideig tartó végrehajtás QUERY_EXECUTION_TIMEOUT_EXCEEDED hibát eredményez.
    • [SPARK-50322][SQL] Paraméterezett azonosító javítása al-lekérdezésben
    • [SPARK-49615] [ML] Végezze el az összes ML-funkcióátalakító adatkészlet sémaérvényesítését a "spark.sql.caseSensitive" konfigurációnak megfelelően.
    • [SPARK-50124][SQL] LIMIT/OFFSET őrizze meg az adatrendezést
    • Az operációs rendszer biztonsági frissítései.
  • 2024. november 5.
    • (Kompatibilitástörő változás) A Databricks Runtime 15.4 LTS-ben és újabb verziókban a Photonben a reguláris kifejezéskezelés az Apache Spark normál kifejezéskezelésének megfelelően frissül. Korábban a Photon által futtatott reguláris kifejezésfüggvények( például split() és regexp_extract()) elfogadtak néhány, a Spark-elemző által elutasított reguláris kifejezést. Az Apache Sparkkal való konzisztenciának fenntartása érdekében a Photon-lekérdezések nem fognak működni a Spark által érvénytelennek ítélt reguláris kifejezések esetében. A módosítás miatt hibákat tapasztalhat, ha a Spark-kód érvénytelen reguláris kifejezéseket tartalmaz. A split(str_col, '{')kifejezés például, amely egy nem egyező zárójelet tartalmaz, és amelyet a Photon korábban elfogadott, most meghiúsul. A kifejezés kijavításához a kapcsos zárójelet ki kell kerülnie: split(str_col, '\\{'). A Photon és a Spark viselkedése is eltért a nem ASCII-karakterek rendszeres kifejezések illesztésénél. Ez is frissül, így a Photon megegyezik az Apache Spark viselkedésével.
    • [SPARK-49782][SQL] A ResolveDataFrameDropColumns szabály feloldja az UnresolvedAttribute-t a gyermek kimenetével
    • [SPARK-49867][SQL] A GetColumnByOrdinal hívásakor az index túllépése esetén megjelenő hibaüzenet javítása
    • [SPARK-49863][SQL] A NormalizeFloatingNumbers javítása a beágyazott szerkezetek null értékűségének megőrzése érdekében
    • [SPARK-49829] A stream-stream illesztés állapottárolóba történő bemenetének hozzáadására vonatkozó optimalizálás módosítása (helyességi javítás)
    • [SPARK-49905] Dedikált "ShuffleOrigin" használata állapotalapú operátorokhoz, hogy megakadályozzuk a shuffle módosítását az AQE által.
    • [SPARK-46632][SQL] A szubexpresszió kizárásának javítása, ha az egyenértékű ternáris kifejezések eltérő gyermekekkel rendelkeznek
    • [SPARK-49443][SQL][PYTHON] A to_variant_object kifejezés implementálása és schema_of_variant kifejezések nyomtatása OBJECT for Variant Objects
    • [SPARK-49615] Hibajavítás: Az ML oszlopséma érvényesítésének igazítása a Spark konfigurációhoz spark.sql.caseSensitive.
  • 2024. október 22.
    • [SPARK-49782][SQL] A ResolveDataFrameDropColumns szabály feloldja az UnresolvedAttribute-t a gyermek kimenetével
    • [SPARK-49867][SQL] A GetColumnByOrdinal hívásakor az index túllépése esetén megjelenő hibaüzenet javítása
    • [SPARK-49863][SQL] A NormalizeFloatingNumbers javítása a beágyazott szerkezetek null értékűségének megőrzése érdekében
    • [SPARK-49829] A stream-stream illesztés állapottárolóba történő bemenetének hozzáadására vonatkozó optimalizálás módosítása (helyességi javítás)
    • [SPARK-49905] Dedikált "ShuffleOrigin" használata állapotalapú operátorokhoz, hogy megakadályozzuk a shuffle módosítását az AQE által.
    • [SPARK-46632][SQL] A szubexpresszió kizárásának javítása, ha az egyenértékű ternáris kifejezések eltérő gyermekekkel rendelkeznek
    • [SPARK-49443][SQL][PYTHON] A to_variant_object kifejezés implementálása és schema_of_variant kifejezések nyomtatása OBJECT for Variant Objects
    • [SPARK-49615] Hibajavítás: Az ML oszlopséma érvényesítésének igazítása a Spark konfigurációhoz spark.sql.caseSensitive.
  • 2024. október 10.
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr nem módosíthatja a sémamezőket a GetArrayStructFields metszésekor
    • [SPARK-49688][CONNECT] Adatverseny javítása a megszakítási és végrehajtási terv között
    • [BACKPORT] [SPARK-49474][SS] A FlatMapGroupsWithState felhasználói függvény hibaosztályának besorolása
    • [SPARK-49460][SQL] Követés: lehetséges NPE-kockázat javítása
  • 2024. szeptember 25.
    • [SPARK-49628][SQL] A ConstantFoldingnek ki kell másolnia az állapotalapú kifejezést a kiértékelés előtt
    • [SPARK-49000][SQL] Javítás a "select count(distinct 1) from t" kifejezésnél, ahol a t üres táblát jelenti a RewriteDistinctAggregates kibontásával.
    • [SPARK-49492][CONNECT] Inaktív végrehajtási tároló újbóli csatlakoztatása sikertelen
    • [SPARK-49458][CONNECT][PYTHON] Kiszolgálóoldali munkamenet-azonosító biztosítása a ReattachExecute használatával
    • [SPARK-49017][SQL] A beszúrási utasítás több paraméter használatakor meghiúsul
    • [SPARK-49451] Duplikált kulcsok engedélyezése a parse_json függvényben.
    • Egyéb hibajavítások.
  • 2024. szeptember 17.
    • [SPARK-48463][ML] A Binarizálót, a Bucketizálót, a Vector Assembler-t, a FeatureHasher-t, a QuantizeDiscretizer-t, az OnehotEncoder-t, a StopWordsRemover-t, az Impútert és az Interaktort úgy módosítjuk, hogy támogassák a beágyazott bemeneti oszlopokat.
    • [SPARK-49409][CONNECT] A CONNECT_SESSION_PLAN_CACHE_SIZE alapértelmezett értékének módosítása
    • [SPARK-49526][CONNECT][HOTFIX-15.4.2] Az ArtifactManager Windows stílusú elérési útjainak támogatása
    • "[SPARK-48482][PYTHON] a dropDuplicates és a dropDuplicatesWithinWatermark függvényeknek el kellene fogadniuk változó hosszúságú argumentumokat"
    • [SPARK-43242][CORE] A "Nem várt típusú BlockId" hiba kijavítása a shuffle corruption diagnózisában
    • [SPARK-49366][CONNECT] Az union csomót a DataFrame oszlopfeloldása során levélként kezeljük
    • [SPARK-49018][SQL] Kijavítottuk, hogy az approx_count_distinct nem működik megfelelően a kollációval
    • [SPARK-49460][SQL] cleanupResource() eltávolítása az EmptyRelationExec alkalmazásból
    • [SPARK-49056][SQL] A ErrorClassesJsonReader nem tudja megfelelően kezelni a null értéket
    • [SPARK-49336][CONNECT] Korlátozza a beágyazási szintet egy protobuf-üzenet rövidítésekor
  • 2024. augusztus 29.
    • A SHOW CREATE TABLE utasítás kimenete mostantól tartalmazza a materializált nézeten vagy streamelési táblán definiált sorszűrőket vagy oszlopmaszkokat. Lásd SHOW CREATE TABLE. A sorszűrőkről és az oszlopmaszkokról a Sorszűrők és oszlopmaszkok című témakörben olvashat.
    • A megosztott hozzáférési móddal konfigurált számítás esetében a Kafka-köteg olvasási és írási korlátozásai ugyanazok, mint a strukturált streamelés esetében dokumentáltak. Lásd a streamelési korlátozásokat.
    • [SPARK-48941][SPARK-48970] Backport ML-író/ olvasó javításai
    • [SPARK-49074][SQL] A változat javítása a df.cache()
    • [SPARK-49263][CONNECT] Spark Connect Python-ügyfél: Logikai adatkeret-olvasó beállításainak következetes kezelése
    • [SPARK-48955][SQL] ArrayCompact-módosítások belefoglalása a 15.4-ben
    • [SPARK-48937][SQL] Kolláció támogatásának hozzáadása a StringToMap sztringkifejezésekhez
    • [SPARK-48929] Megtekintési belső hiba javítása és az elemző kivételkörnyezetének tisztítása
    • [SPARK-49125][SQL] Duplikált oszlopnevek engedélyezése CSV-írásban
    • [SPARK-48934][SS] Python dátum/idő típus helytelenül lett konvertálva az applyInPandasWithState időkorlátjának beállításához
    • [SPARK-48843] Végtelen ciklus megakadályozása BindParameterekkel
    • [SPARK-48981] A StringType simpleString metódusának javítása a pysparkban szortírozásokhoz
    • [SPARK-49065][SQL] Az örökölt formázók/elemzők újra-alapozásának támogatnia kell a nem JVM alapértelmezett időzónákat
    • [SPARK-48896][SPARK-48909][SPARK-48883] A Backport Spark ML-író javításai
    • [SPARK-48725][SQL] CollationAwareUTF8String.lowerCaseCodePoints integrálása sztringkifejezésekbe
    • [SPARK-48978][SQL] ASCII gyorsítópálya implementálása a kolláció támogatásában a UTF8_LCASE számára
    • [SPARK-49047][PYTHON][CONNECT] Csonkítsa az üzenetet a naplózáshoz
    • [SPARK-49146][SS] A hozzáfűző módú streamlekérdezésekben hiányzó vízjelekkel kapcsolatos állítási hibák áthelyezése a hiba keretrendszerbe.
    • [SPARK-48977][SQL] Sztringkeresés optimalizálása UTF8_LCASE összerendezés mellett
    • [SPARK-48889][SS] testStream az állapottárolók kiürítéséhez a befejezés előtt
    • [SPARK-48463] Beágyazott bemeneti oszlopokat támogató StringIndexer létrehozása
    • [SPARK-48954] A try_mod() a try_remainder() helyett cseréli
    • Az operációs rendszer biztonsági frissítései.

Databricks Runtime 14.3 LTS

Lásd: Databricks Runtime 14.3 LTS.

  • 2026. augusztus 18.

    • Frissített Java kódtárak:
      • com.microsoft.sqlserver.mssql-jdbc erről: 11.2.2.jre8, 11.2.3.jre8 erre: 11.2.3.jre8, 11.2.3.jre8
    • Az operációs rendszer biztonsági frissítései.

  • 2026. augusztus 4.

    • [SPARK-58107] A local-checkpoint dedup-and-seal visszaportolása + a MERGE materializált forrás ellenőrzőösszegének ellenőrzése
    • [SPARK-57547][SQL] Az InMemoryRelation párhuzamos materializációja javításának visszaportolása a 14.3-as verzióba (kill switch-csel)
    • Az operációs rendszer biztonsági frissítései.

  • 2026. július 24.

    • Az operációs rendszer biztonsági frissítései.

  • 2026. július 10.

    • Az operációs rendszer biztonsági frissítései.
  • 2026. június 29.
    • (Viselkedésváltozás) A metrikanézetek mostantól elutasítják a többi ablakmértékre hivatkozó ablakmértékeket. Korábban ez a minta sikeres volt CREATE , de csendesen meghiúsult, vagy helytelen eredményeket eredményezett a lekérdezési időpontban. Mostantól az Azure Databricks egyértelmű hibaüzenetet ad a(z) CREATE vagy ALTER időpontban (METRIC_VIEW_WINDOW_MEASURE_REFERENCES_WINDOW_MEASURE). Az ellenőrzés letiltásához állítsa be a következőt spark.databricks.sql.metricView.rejectWindowOnWindowMeasure.enabledfalse: .
    • Az operációs rendszer biztonsági frissítései.
  • 2026. június 9.
    • Az operációs rendszer biztonsági frissítései.
  • 2026. május 26.
    • Az operációs rendszer biztonsági frissítései.
  • 2026. május 13.
    • (Behavior változás) A sémamintát használó táblák listázása már nem frissíti a Unity Catalog metaadatait az idegen táblákhoz (például SQL Server, PostgreSQL vagy AWS Glue). Ez a változás hatással van SHOW TABLES IN SCHEMA LIKE ...getMetaData.getTables a JDBC-illesztőprogramban a sémaminta átadásakor érkező hívásokra és a Thrift API-raSparkGetTablesOperation. Ha a számítási feladat a metaadatok sémamintával való frissítésétől függ, forduljon a Databricks ügyfélszolgálatához.
    • Az operációs rendszer biztonsági frissítései.
  • 2026. április 29.
    • Egyéb hibajavítások.
  • 2026. április 20.
    • Egyéb hibajavítások.

  • 2026. április 2.

    • Frissített Java kódtárak:
      • io.delta.delta-sharing-client_2.12 1.1.7 és 1.1.11 között
    • Az Automatikus betöltő két új funkciót tartalmaz a forráshely kezelésével és láthatóságával kapcsolatban a DBR 16.3: 1-ben. Eseményváltozások rögzítése: ezzel a módosítással az ügyfelek a TVF használatával megtekinthetik a cloud_files_state fájlfelderítést és a feldolgozás részleteit, például a fájl eredeti felderítésének időpontját, a véglegesítendő időt, az archiválást stb. A TVF aktuális nyilvános dokumentációját itt találja. 2. Tiszta forrás: Ezzel a funkcióval az ügyfelek utasíthatják az Automatikus betöltőt a feldolgozott fájlok automatikus törlésére. Az ügyfelek az Automatikus betöltő beállítással engedélyezhetik ezt a cloudFiles.cleanSource funkciót. Az Automatikus betöltő beállításainak dokumentációjában további részleteket itt talál.
    • Az operációs rendszer biztonsági frissítései.

  • 2026. március 10.

    • [SPARK-55111][SS] Újraellenőrizni a befejezetlen újraparticionálás észlelését a lekérdezés újraindításakor
    • [SPARK-55701]ES-1694761[SS] Versenyállapot javítása a CompactibleFileStreamLog.allFiles alkalmazásban
    • Az operációs rendszer biztonsági frissítései.

  • 2026. február 26.

    • Az operációs rendszer biztonsági frissítései.

  • 2026. február 19.

    • Az operációs rendszer biztonsági frissítései.

  • 2026. január 27.

    • Az operációs rendszer biztonsági frissítései.

  • 2026. január 9.

    • A particionált Delta-táblák partícióoszlopai az adatparquet fájlokban lesznek materializálva. Ez jobb együttműködést tesz lehetővé az Iceberg- és UniForm-táblák kezelésével, és növeli a külső, nem Delta olvasókkal való kompatibilitást.
    • [SPARK-54711][PYTHON] Időtúllépést adjon hozzá a démon által létrehozott feldolgozói kapcsolathoz
    • Az operációs rendszer biztonsági frissítései.

  • 2025. december 9.

    • [SPARK-52579][PYTHON] Rendszeres nyomkövetési memóriakép beállítása Python feldolgozók számára
    • [SPARK-54180][SQL] A BinaryFileFormat toString parancsának felülbírálása
    • Az operációs rendszer biztonsági frissítései.
  • 2025. november 18.
    • [SPARK-54078][SS] Új teszt a StateStoreSuite SPARK-40492: maintenance before unload-hez és az infra eltávolítása a régi tesztből
    • [SPARK-54047][PYTHON] Használjon különbségi hibát a leállítás üresjárati időkorlát esetén
    • Az operációs rendszer biztonsági frissítései.
  • 2025. november 4.
    • Frissített R-kódtárak:
      • nyíl a 12.0.1-től a 21.0.0-sig
    • Az operációs rendszer biztonsági frissítései.
  • 2025. október 21.
    • Az operációs rendszer biztonsági frissítései.
  • 2025. október 7.
    • [SPARK-53568][CONNECT][PYTHON] A Spark Connect Python-ügyfél hibakezelési logikájában számos kisebb hiba kijavítása
    • [SPARK-53574] Az AnalysisContext törlése a beágyazott tervfeloldás során
    • Egyéb hibajavítások.
  • 2025. szeptember 16.
    • Az operációs rendszer biztonsági frissítései.
  • 2025. szeptember 9.
    • Kijavítottunk egy hibát, amely miatt az automatikus betöltő határozatlan ideig lefagyhatott.
    • [SPARK-49872][CORE] Jackson JSON-sztringhossz korlátozásának eltávolítása
    • Az operációs rendszer biztonsági frissítései.
  • 2025. augusztus 26.
    • Frissített Java kódtárak:
      • io.delta.delta-sharing-client_2.12 1.1.6 és 1.1.7 között
    • [SPARK-52482][SQL][CORE] Egyes sérült zstd-fájlok olvasásának kivételkezelésének javítása
    • Az operációs rendszer biztonsági frissítései.
  • 2025. augusztus 14.
    • Az operációs rendszer biztonsági frissítései.
  • 2025. július 29.
    • Az operációs rendszer biztonsági frissítései.
  • 2025. július 15.
    • [SPARK-52503][SQL][CONNECT] Javítás drop , ha a bemeneti oszlop nem létezik
    • Egyéb hibajavítások.
  • 2025. július 1.
    • A ZStandard kitömörítés támogatása a fájladatos forrásolvasókhoz (JSON, CSV, XML és szöveg).
    • A ZStandard kitömörítés támogatása a fájladatos forrásolvasókhoz (JSON, CSV, XML és szöveg).
    • [SPARK-52521][SQL] Right#replacement nem férhet hozzá dinamikusan az SQLConfhoz
    • [SPARK-52482][SQL][CORE] ZStandard-támogatás fájladatforrás-olvasóhoz
    • Az operációs rendszer biztonsági frissítései.
  • 2025. június 17.
    • Kijavítottuk azt a korlátozást, hogy a cloud_files_state táblaértékű függvény (TVF) nem használható a streamelési táblák fájlszintű állapotának olvasására a folyamatok között.
    • [SPARK-49646][SQL] Javítottuk az al-lekérdezés dekorrelációját unió/halmaz műveletekhez, amikor a parentOuterReferences olyan hivatkozásokat tartalmaz, amelyeket a collectedChildOuterReferences nem fed le.
  • 2025. június 3.
    • Frissített Python kódtárak:
      • titkosítás a 3.4.8, 39.0.1 és 39.0.1 között
      • platformdirs 2.5.2, 2.6.2 és 2.5.2 között
      • pyparsing 2.4.7-től, 3.0.9-től 3.0.9-ig
      • Hozzáadták a pip 22.3.1 verziót
      • Hozzáadott telepítők 65.6.3
      • Tomli 2.0.1 hozzáadva
      • Hozzáadva wcwidth 0.2.5
      • Hozzáadott kerék 0.38.4
      • Eltávolított verzió 1.7.0
      • A rendszer eltávolította a következőt: distro-info 1.1+ubuntu0.2
      • El lett távolítva a Python-apt 2.4.0+ubuntu4
    • Frissített Java kódtárak:
      • com.github.fommil.netlib.native_ref-java 1.1 és 1.1-natív változatról 1.1, 1.1 verzióra
      • com.github.fommil.netlib.native_system-java 1.1- és 1.1-natívtól az 1.1-hez, 1.1-hez
      • com.github.fommil.netlib.netlib-native_ref-linux-x86_64 1.1-natívtól 1.1-hez
      • com.github.fommil.netlib.netlib-native_system-linux-x86_64 változtatás 1.1-natives verzióról 1.1 verzióra
      • io.netty.netty-tcnative-boringssl-static tól 2.0.61.Final-db-r16-linux-aarch_64, 2.0.61.Final-db-r16-linux-x86_64, 2.0.61.Final-db-r16-osx-aarch_64, 2.0.61.Final-db-r16-osx-x86_64, 2.0.61.Final-db-r16-windows-x86_64, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16
      • io.netty.netty-transport-native-epoll 4.1.96.Final, 4.1.96.Final-linux-aarch_64, 4.1.96.Final-linux-x86_64 verzióból a 4.1.96.Final, 4.1.96.Final, 4.1.96.Final verzióra
      • io.netty.netty-transport-native-kqueue tól 4.1.96.Final-osx-aarch_64, 4.1.96.Final-osx-x86_64 ig 4.1.96.Final, 4.1.96.Final
      • org.apache.orc.orc-core 1.9.2-shaded-protobuf változatról 1.9.2 változatra
      • org.apache.orc.orc-mapreduce a 1.9.2-shaded-protobuf-ról 1.9.2-re
      • ** software.amazon.cryptools.AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64-ről 1.6.1-re
    • [SPARK-52040][PYTHON][SQL][CONNECT] A ResolveLateralColumnAliasReference-nek meg kell őriznie a terv azonosítóját
    • [SPARK-52159][SQL] A jdbc-dialektusok táblalétezés-ellenőrzésének megfelelő kezelése
    • Az operációs rendszer biztonsági frissítései.
  • 2025. május 20.
    • Frissített Java kódtárak:
      • io.delta.delta-sharing-client_2.12 1.1.5-től 1.1.6-osig
    • [SPARK-51935][SQL] Az iterátorok lusta viselkedésének javítása az értelmezett df.collect()
    • Az operációs rendszer biztonsági frissítései.
  • 2025. április 22.
    • Az operációs rendszer biztonsági frissítései.

  • 2025. április 9.

    • [Viselkedésváltozás] A vákuumműveletek mostantól más műveletekhez hasonlóan hajtanak végre Writer protokollellenőrzéseket, megakadályozva az újabb funkciókkal rendelkező táblák váratlan törlését, ha a régebbi Databricks-futtatókörnyezetek nem kompatibilis verzióiból futnak.
    • [SPARK-51624][SQL] GetStructField metaadatok propagálása a CreateNamedStruct.dataType fájlban
    • Az operációs rendszer biztonsági frissítései.

  • 2025. március 11.

    • A Databricks Runtime 14.3 LTS és újabb verziók javítást tartalmaznak egy hibára, amely bináris inkompatibilitást okozott az SparkListenerApplicationEnd osztályt példányosító és az Apache Sparkra lefordított kóddal. Ez az inkompatibilitás a SPARK-46399 Apache Sparkba való egyesítéséből ered. Ez az egyesítés tartalmazott egy módosítást, amely hozzáadta az alapértelmezett argumentumot a SparkListenerApplicationEnd konstruktorhoz. A bináris kompatibilitás visszaállításához ez a javítás egyetlen argumentumkonstruktort ad hozzá a SparkListenerApplicationEnd osztályhoz.
    • [SPARK-50791][SQL] Az NPE javítása a State Store hibakezelésében
    • [SPARK-50705][SQL] Tegyük zárolásmentessé a QueryPlan-t
    • [SPARK-49525][SS][CONNECT] Kisebb naplózási fejlesztés a szerveroldali streamelési lekérdezésfigyelő buszfigyelőjéhez
    • Az operációs rendszer biztonsági frissítései.

  • 2025. február 11.

    • Ez a kiadás tartalmazza a mentett XML-adatoszlopok szerializálása során egyes adattípusok konvertálását érintő probléma javítását. Az érintett adattípusok dátumok, nem NTZ időbélyegek és decimálisok, ha prefersDecimal engedélyezve van. A mentett adatoszlopról lásd a Mi a mentett adatoszlop?.
    • [SPARK-50492][SS] Kijavítottuk a java.util.NoSuchElementException hibát, ha a dropDuplicatesWithinWatermark után az eseményidő oszlop el lett vetve
    • [SPARK-51084][SQL] Rendelje hozzá a megfelelő hibaosztályt a NegatívSkálaNemEngedélyezettHiba értékhez
    • Az operációs rendszer biztonsági frissítései.
  • 2024. december 10.
    • Ez a kiadás tartalmaz egy javítást egy olyan hibára, amely miatt a Delta-tábla elsődleges kulcsa bizonyos háttérbeli automatikus tömörítési szélsőséges eseteknél eltávolításra kerülhet.
    • [SPARK-50329][SQL] kijavította az InSet$toStringet
    • Az operációs rendszer biztonsági frissítései.
  • 2024. november 26.
    • [SPARK-49615] [ML] Végezze el az összes ML-funkcióátalakító adatkészlet sémaérvényesítését a "spark.sql.caseSensitive" konfigurációnak megfelelően.
    • Az operációs rendszer biztonsági frissítései.
  • 2024. november 5.
    • [SPARK-48843] Végtelen ciklus megakadályozása BindParameterekkel
    • [SPARK-49829] A stream-stream illesztés állapottárolóba történő bemenetének hozzáadására vonatkozó optimalizálás módosítása (helyességi javítás)
    • [SPARK-49863][SQL] A NormalizeFloatingNumbers javítása a beágyazott szerkezetek null értékűségének megőrzése érdekében
    • [BACKPORT] [SPARK-49326][SS] A Foreach adatfogadó felhasználói függvényéhez tartozó hiba osztályának meghatározása
    • [SPARK-49782][SQL] A ResolveDataFrameDropColumns szabály feloldja az UnresolvedAttribute-t a gyermek kimenetével
    • [SPARK-46632][SQL] A szubexpresszió kizárásának javítása, ha az egyenértékű ternáris kifejezések eltérő gyermekekkel rendelkeznek
    • [SPARK-49905] Dedikált "ShuffleOrigin" használata állapotalapú operátorokhoz, hogy megakadályozzuk a shuffle módosítását az AQE által.
    • Az operációs rendszer biztonsági frissítései.
  • 2024. október 22.
    • [SPARK-48843] Végtelen ciklus megakadályozása BindParameterekkel
    • [SPARK-49863][SQL] A NormalizeFloatingNumbers javítása a beágyazott szerkezetek null értékűségének megőrzése érdekében
    • [SPARK-49905] Dedikált "ShuffleOrigin" használata állapotalapú operátorokhoz, hogy megakadályozzuk a shuffle módosítását az AQE által.
    • [SPARK-46632][SQL] A szubexpresszió kizárásának javítása, ha az egyenértékű ternáris kifejezések eltérő gyermekekkel rendelkeznek
    • [SPARK-49782][SQL] A ResolveDataFrameDropColumns szabály feloldja az UnresolvedAttribute-t a gyermek kimenetével
    • [BACKPORT] [SPARK-49326][SS] A Foreach adatfogadó felhasználói függvényéhez tartozó hiba osztályának meghatározása
    • [SPARK-49829] A stream-stream illesztés állapottárolóba történő bemenetének hozzáadására vonatkozó optimalizálás módosítása (helyességi javítás)
    • Az operációs rendszer biztonsági frissítései.
  • 2024. október 10.
    • [BACKPORT] [SPARK-49474][SS] A FlatMapGroupsWithState felhasználói függvény hibaosztályának besorolása
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr nem módosíthatja a sémamezőket a GetArrayStructFields metszésekor
    • [SPARK-49688][CONNECT] Adatverseny javítása a megszakítási és végrehajtási terv között
  • 2024. szeptember 25.
    • [SPARK-48810][CONNECT] A munkamenet-leállítás() API-nak idempotensnek kell lennie, és nem lehet sikertelen, ha a munkamenetet már bezárta a kiszolgáló
    • [SPARK-48719][SQL] Javítja a `RegrS` számítási hibáját.
    • [SPARK-49000][SQL] Javítás a "select count(distinct 1) from t" kifejezésnél, ahol a t üres táblát jelenti a RewriteDistinctAggregates kibontásával.
    • [SPARK-49628][SQL] A ConstantFoldingnek ki kell másolnia az állapotalapú kifejezést a kiértékelés előtt
    • [SPARK-49492][CONNECT] Inaktív végrehajtási tároló újbóli csatlakoztatása sikertelen
    • Az operációs rendszer biztonsági frissítései.
  • 2024. szeptember 17.
    • [SPARK-49336][CONNECT] Korlátozza a beágyazási szintet egy protobuf-üzenet rövidítésekor
    • [SPARK-43242][CORE] A "Nem várt típusú BlockId" hiba kijavítása a shuffle corruption diagnózisában
    • [SPARK-48463][ML] A Binarizálót, a Bucketizálót, a Vector Assembler-t, a FeatureHasher-t, a QuantizeDiscretizer-t, az OnehotEncoder-t, a StopWordsRemover-t, az Impútert és az Interaktort úgy módosítjuk, hogy támogassák a beágyazott bemeneti oszlopokat.
    • [SPARK-49526][CONNECT] Az ArtifactManager Windows stílusú elérési útjainak támogatása
    • [SPARK-49409][CONNECT] A CONNECT_SESSION_PLAN_CACHE_SIZE alapértelmezett értékének módosítása
    • [SPARK-49366][CONNECT] Az union csomót a DataFrame oszlopfeloldása során levélként kezeljük
  • 2024. augusztus 29.
    • [SPARK-49146][SS] A hozzáfűző módú streamlekérdezésekben hiányzó vízjelekkel kapcsolatos állítási hibák áthelyezése a hiba keretrendszerbe.
    • [SPARK-48862][PYTHON][CONNECT] Ne hívja meg _proto_to_string, ha az INFO-szint nincs bekapcsolva
    • [SPARK-49263][CONNECT] Spark Connect Python-ügyfél: Logikai adatkeret-olvasó beállításainak következetes kezelése
  • 2024. augusztus 14.
    • [SPARK-48941][SPARK-48970] Backport ML-író/ olvasó javításai
    • [SPARK-48706][PYTHON] Python magasabb rendű függvényekben az UDF nem eredményezhet belső hibát
    • [SPARK-49056][SQL] A ErrorClassesJsonReader nem tudja megfelelően kezelni a null értéket
    • [SPARK-48597][SQL] Az isStreaming tulajdonság jelölőjének bevezetése a logikai terv szöveges ábrázolásában
    • [SPARK-49065][SQL] Az örökölt formázók/elemzők újra-alapozásának támogatnia kell a nem JVM alapértelmezett időzónákat
    • [SPARK-48934][SS] Python dátum/idő típus helytelenül lett konvertálva az applyInPandasWithState időkorlátjának beállításához
  • 2024. augusztus 1.
    • Ez a kiadás tartalmaz egy hibajavítást a Spark Java felületének ColumnVector és ColumnarArray osztályaihoz. A javítást megelőző esetekben előfordulhat, hogy ArrayIndexOutOfBoundsException vagy helytelen adatokat ad vissza, ha az egyik osztály egy példánya null értékeket tartalmaz.
    • A jegyzetfüzetek és feladatok kiszolgáló nélküli számítása esetén az ANSI SQL mód alapértelmezés szerint engedélyezve van. Lásd Támogatott Spark-konfigurációs paraméterek.
    • A megosztott hozzáférési móddal konfigurált számítás esetében a Kafka-köteg olvasási és írási korlátozásai ugyanazok, mint a strukturált streamelés esetében dokumentáltak. Lásd a streamelési korlátozásokat.
    • A SHOW CREATE TABLE utasítás kimenete mostantól tartalmazza a materializált nézeten vagy streamelési táblán definiált sorszűrőket vagy oszlopmaszkokat. Lásd SHOW CREATE TABLE. A sorszűrőkről és az oszlopmaszkokról a Sorszűrők és oszlopmaszkok című témakörben olvashat.
    • A megosztott hozzáférési móddal konfigurált számítás esetében a Kafka-köteg olvasási és írási korlátozásai ugyanazok, mint a strukturált streamelés esetében dokumentáltak. Lásd a streamelési korlátozásokat.
    • A SHOW CREATE TABLE utasítás kimenete mostantól tartalmazza a materializált nézeten vagy streamelési táblán definiált sorszűrőket vagy oszlopmaszkokat. Lásd SHOW CREATE TABLE. A sorszűrőkről és az oszlopmaszkokról a Sorszűrők és oszlopmaszkok című témakörben olvashat.
    • [SPARK-48896][SPARK-48909][SPARK-48883] A Backport Spark ML-író javításai
    • [SPARK-48889][SS] testStream az állapottárolók kiürítéséhez a befejezés előtt
    • [SPARK-48705][PYTHON] Kifejezetten használja a worker_main-t, amikor pysparkkal indul
    • [SPARK-48047][SQL] Az üres TreeNode-címkék memóriaterhelésének csökkentése
    • [SPARK-48544][SQL] Az üres TreeNode BitSets memóriaterhelésének csökkentése
    • [SPARK-46957][CORE] A leszerelt és migrált shuffle-fájloknak képesnek kell lenniük arra, hogy a végrehajtótól eltávolítsák őket.
    • [SPARK-48463] Beágyazott bemeneti oszlopokat támogató StringIndexer létrehozása
    • [SPARK-47202][PYTHON] A tzinfo-hoz kapcsolódó dátumokat érintő elírás javítása
    • [SPARK-47713][SQL][CONNECT] Öncsatlakozásos hiba kijavítása
    • Az operációs rendszer biztonsági frissítései.
  • 2024. július 11.
    • (Viselkedésváltozás) Érvénytelenítik a Delta-táblaforrásokkal gyorsítótárazott DataFrame-eket, ha a forrástáblát felülírják. Ez a változás azt jelenti, hogy a Delta-táblák összes állapotváltozása érvényteleníti a gyorsítótárazott eredményeket. A .checkpoint() használatával megőrizheti a táblaállapotokat a DataFrame teljes élettartama alatt.
    • A Snowflake JDBC-illesztőprogram a 3.16.1-es verzióra frissül.
    • Ez a kiadás tartalmaz egy hibát, amely megakadályozta, hogy a Spark felhasználói felületi környezet lapja megfelelően jelenjen meg a Databricks Container Servicesben való futtatáskor.
    • A jegyzetfüzetek és feladatok kiszolgáló nélküli számítása esetén az ANSI SQL mód alapértelmezés szerint engedélyezve van. Lásd Támogatott Spark-konfigurációs paraméterek.
    • Ha az adatok olvasása során figyelmen kívül szeretné hagyni az érvénytelen partíciókat, a fájlalapú adatforrások( például Parquet, ORC, CSV vagy JSON) az IgnoreInvalidPartitionPaths adatforrásbeállítást igaz értékre állíthatják. Például: spark.read.format("parquet").option("ignoreInvalidPartitionPaths", "true").load(...). A spark.sql.files.ignoreInvalidPartitionPaths SQL-konfigurációt is használhatja. Az adatforrás-beállítás azonban elsőbbséget élvez az SQL-konfigurációval szemben. Ez a beállítás alapértelmezés szerint hamis.
    • [SPARK-48648][PYTHON][CONNECT] A SparkConnectClient.tags megfelelően szálakhoz kötötté tétele
    • [SPARK-48445][SQL] Ne illessze be a UDF-eket drága komponensekkel
    • [SPARK-48481][SQL][SS] Ne alkalmazza az OptimizeOneRowPlant a streamelési adatkészletre
    • [SPARK-48383][SS] Jobb hibaüzenet a Kafka startOffset opció eltérő partícióinál
    • [SPARK-48503][SQL] Érvénytelen skaláris al lekérdezések javítása a helytelenül engedélyezett nem egyenértékű oszlopok csoportosításával
    • [SPARK-48100][SQL] A sémában nem kijelölt beágyazott struktúramezők kihagyásával kapcsolatos problémák megoldása
    • [SPARK-48273][SQL] A PlanWithUnresolvedIdentifier késői átírásának javítása
    • [SPARK-48252][SQL] Szükség esetén frissítse a CommonExpressionRef-t
    • [SPARK-48475][PYTHON] Optimalizálja a _get_jvm_function a PySparkban.
    • [SPARK-48292][CORE] Az [SPARK-39195][SQL] visszavonása A Spark OutputCommitCoordinator megszakítja a szakaszt, ha a véglegesített fájl nem egyezik meg a feladat állapotával
    • Az operációs rendszer biztonsági frissítései.
  • 2024. június 17.
    • A applyInPandasWithState() elérhető a számítási rendszerben általános hozzáférési módban.
    • Kijavít egy hibát, amely miatt a rangsor-ablak optimalizálása a Photon TopK használatával helytelenül kezelt partíciókat és szerkezeteket tartalmaz.
    • [SPARK-48310][PYTHON][CONNECT] A gyorsítótárazott tulajdonságoknak kell, hogy másolatokat adjanak vissza
    • [SPARK-48276][PYTHON][CONNECT] Adja hozzá a hiányzó metódust a következőhöz __repr__ : SQLExpression
    • [SPARK-48294][SQL] Kisbetű kezelése a nestedTypeMissingElementTypeError alkalmazásban
    • Az operációs rendszer biztonsági frissítései.
  • 2024. május 21.
    • (Viselkedés változás) dbutils.widgets.getAll() mostantól támogatott a jegyzetfüzetben lévő összes widget értékének lekéréséhez.
    • Kijavítottunk egy hibát a try_divide() függvényben, amelyben a tizedesjegyeket tartalmazó bemenetek váratlan kivételeket eredményeztek.
    • [SPARK-48056][CONNECT][PYTHON] A terv újrafuttatása, ha SESSION_NOT_FOUND hiba lép fel, és nem érkezett részleges válasz
    • [SPARK-48146][SQL] Az aggregátumfüggvény javítása a "With" kifejezés gyermek-ellenőrzésében
    • [SPARK-47986][CONNECT][PYTHON] Nem hozható létre új munkamenet, ha a kiszolgáló bezárja az alapértelmezett munkamenetet
    • [SPARK-48180][SQL] Fejlessze a hibaüzenetet, amikor az UDTF-hívás TABLE argumentuma elfelejti a zárójeleket több PARTITION/ORDER BY kifejezés körül
    • [SPARK-48016][SQL] Hiba kijavítása try_divide függvényben decimális értékekkel
    • [SPARK-48197][SQL] Az érvénytelen lambda függvény helyességi hibájának elkerülése
    • [SPARK-47994][SQL] Hiba kijavítása CASE WHEN oszlopszűrő leküldésével az SQLServerben
    • [SPARK-48173][SQL] A CheckAnalysisnek látnia kell a teljes lekérdezési tervet
    • [SPARK-48105][SS] Az állapottároló kiürítése és a pillanatképek készítése közötti versenyállapot javítása
    • Az operációs rendszer biztonsági frissítései.
  • 2024. május 9.
    • (Viselkedésváltozás) applyInPandas és mapInPandas az UDF-típusok mostantól támogatottak a Databricks Runtime 14.3 LTS-t és újabb verziót futtató megosztott hozzáférési módú számítási feladatokban.
    • [SPARK-47739][SQL] Logikai avro-típus regisztrálása
    • [SPARK-47941] [SS] [Csatlakozás] ForeachBatch-feldolgozó inicializálási hibáinak propagálása a PySpark felhasználóinak
    • [SPARK-48010][SQL] A conf.resolver ismételt hívásának elkerülése a resolveExpressionban
    • [SPARK-48044][PYTHON][CONNECT] Gyorsítótár DataFrame.isStreaming
    • [SPARK-47956][SQL] Ésszerűség-ellenőrzés a nem megoldott LCA-referenciához
    • [SPARK-47543][CONNECT][PYTHON] A szótár Mapype-ként való következtetése a Pandas DataFrame-ből a DataFrame létrehozásának érdekében
    • [SPARK-47819][CONNECT][Cherry-pick-14.3] Aszinkron visszahívás használata a végrehajtás törléséhez
    • [SPARK-47764][CORE][SQL] A ShuffleCleanupMode alapján történő shuffle függőségek törlése
    • [SPARK-48018][SS] A kafkaException.couldNotReadOffsetRange dobásakor hiányzó paramhibát okozó null groupId kijavítása
    • [SPARK-47839][SQL] Összesített hiba javítása a RewriteWithExpression alkalmazásban
    • [SPARK-47371] [SQL] XML: A CDATA-ban található sorcímkék figyelmen kívül hagyása
    • [SPARK-47895]Az [SQL] csoportnak mindennek idempotensnek kell lennie
    • [SPARK-47973][CORE] Hívási hely naplózása a SparkContext.stop() és később a SparkContext.assertNotStopped() metódusokban.
    • Az operációs rendszer biztonsági frissítései.
  • 2024. április 25.
    • [SPARK-47543][CONNECT][PYTHON] Adatok lekövetkeztetése a Pandas DataFrame-ből, hogy engedélyezze a DataFrame létrehozását.
    • [SPARK-47694][CONNECT] Az üzenet maximális méretének konfigurálása az ügyféloldalon
    • [SPARK-47664][PYTHON][CONNECT][Cherry-pick-14.3] Érvényesítse az oszlop nevét a gyorsítótárazott séma alapján
    • [SPARK-47862][PYTHON][CONNECT]Proto-fájlok létrehozásának javítása
    • "[SPARK-47543][CONNECT][PYTHON] dict-t MapType-ként következtetve a Pandas DataFrame alapján a DataFrame létrehozásának engedélyezéséhez"
    • [SPARK-47704][SQL] A JSON-elemzés a "java.lang.ClassCastException" hibával meghiúsul, ha a spark.sql.json.enablePartialResults engedélyezve van
    • [SPARK-47812][CONNECT] A SparkSession sorosításának támogatása a forEachBatch munkavállaló számára
    • [SPARK-47818][CONNECT][Cherry-pick-14.3] Terv gyorsítótár bevezetése a SparkConnectPlannerben az analízis kérések teljesítményének javítása érdekében
    • [SPARK-47828][CONNECT][PYTHON] DataFrameWriterV2.overwrite érvénytelen tervvel sikertelenül végződik
    • Az operációs rendszer biztonsági frissítései.
  • 2024. április 11.
    • (Viselkedésváltozás) A számítási típusok konzisztens viselkedésének biztosítása érdekében a PySpark UDF-jei a standard hozzáférési móddal rendelkező számításon most már megegyeznek az elkülönítés nélküli és a hozzárendelt fürtök UDF-jeinek viselkedésével. Ez a frissítés a következő módosításokat tartalmazza, amelyek megszakíthatják a meglévő kódot:
      • A string visszatérési típussal rendelkező UDF-ek többé nem konvertálják implicit módon a nemstring értékeket string értékekké. Korábban az olyan UDF-ek, amelyek visszatérési típusa str, a visszaadott értéket egy str() függvénnyel burkolták, függetlenül a visszaadott érték tényleges adattípusától.
      • A timestamp visszatérési típusokkal rendelkező UDF-ek többé nem alkalmazzák implicit módon a timestamp konverziót timezone-vel.
      • A spark.databricks.sql.externalUDF.* konfigurációjú Spark-fürtök már nem vonatkoznak a PySpark UDF-ekre a standard hozzáférési móddal rendelkező számítási modulban.
      • A Spark-fürt konfigurációja spark.databricks.safespark.externalUDF.plan.limit már nem érinti a PySpark UDF-eket, eltávolítva azt a nyilvános előzetes verziós korlátozást, amely szerint PySpark UDF-eknél lekérdezésenként legfeljebb 5 UDF lehet.
      • A Spark-fürt konfiguráció spark.databricks.safespark.sandbox.size.default.mib már nem vonatkozik a PySpark UDF-ekre a standard hozzáférési móddal rendelkező számításra. Ehelyett a rendszer rendelkezésre álló memóriát használ. A PySpark UDF-ek memóriájának korlátozásához használja a spark.databricks.pyspark.udf.isolation.memoryLimit-t a 100mminimális értékkel.
    • A TimestampNTZ adattípust mostantól támogatják, mint fürtözési oszlopot folyékony fürtözéssel. Lásd: Táblákhoz folyékony klaszterezés használata.
    • [SPARK-47511][SQL] Kanonizálja a kifejezéseket a azonosítók újra kiosztásával
    • [SPARK-47509][SQL] Részlekérdezés-kifejezések blokkolása a lambda és a magasabbrendű függvényekben
    • [SPARK-46990][SQL] Az event-hubs által kibocsátott üres Avro-fájlok betöltésének javítása
    • [SPARK-47638][PS][CONNECT] Az oszlopnév-ellenőrzés kihagyása a PS-ben
    • Az operációs rendszer biztonsági frissítései.
  • 2024. március 14.
    • [SPARK-47135][SS] Hibaosztályok implementálása a Kafka adatvesztési kivételeihez
    • [SPARK-47176][SQL] Rendelkezzen a ResolveAllExpressionsUpWithPruning segédfüggvénnyel
    • [SPARK-47145][SQL] Adja át a táblaazonosítót a V2-stratégia soradatforrás-scan végrehajtási eleméhez.
    • [SPARK-47044][SQL] A kimenet magyarázatához adjon hozzá végrehajtott lekérdezést külső JDBC-adatforrásokhoz
    • [SPARK-47167][SQL] Konkrét osztály hozzáadása JDBC névtelen relációhoz
    • [SPARK-47070] Érvénytelen aggregáció kijavítása az alregisztráció újraírása után
    • [SPARK-47121][CORE] RejectedExecutionException hibák elkerülése a StandaloneSchedulerBackend leállítása során
    • Visszaállítás: "[SPARK-46861][CORE] Holtpont elkerülése a DAGSchedulerben"
    • [SPARK-47125][SQL] Null értéket ad vissza, ha az Univocity soha nem aktiválja az elemzést
    • [SPARK-46999][SQL] A ExpressionWithUnresolvedIdentifiernek más kifejezéseket is tartalmaznia kell a kifejezésfában
    • [SPARK-47129][CONNECT][SQL] Gyorsítótár csatlakoztatási tervének megfelelővé tétele ResolveRelations
    • [SPARK-47241][SQL] Az ExtractGenerator szabályrendeleti problémáinak megoldása
    • [SPARK-47035][SS][CONNECT] Ügyféloldali figyelő protokollja
    • Az operációs rendszer biztonsági frissítései.
  • 2024. február 29.
    • Kijavítottunk egy hibát, amely miatt a helyi gyűjtemény forrásként való használata a MERGE parancsban kétszeresére növelte a numSourceRows műveletmetrika által jelentett sorok számát.
    • Egy meghatározott hellyel rendelkező séma létrehozásához a felhasználónak SELECT és MODIFY jogosultságokkal kell rendelkeznie a BÁRMELY FÁJLban.
    • [SPARK-47071][SQL] Kifejezés sorba illesztése, ha speciális SQL kifejezést tartalmaz
    • [SPARK-47059][SQL] Hibakörnyezet csatolása az ALTER COLUMN v1 parancshoz
    • [SPARK-46993][SQL] Munkamenet-változók állandó összecsukásának javítása
    • Az operációs rendszer biztonsági frissítései.
  • 2024. január 3.
    • [SPARK-46933] Adjon hozzá lekérdezés-végrehajtási időmetrikát a JDBCRDD-t használó összekötőkhöz.
    • [SPARK-46763] Kijavítottuk az ismétlődő attribútumok helyességi hibáját a ReplaceDeduplicateWithAggregate fájlban.
    • [SPARK-46954] XML: Az InputStreamReader beburkolása BufferedReader-rel.
    • [SPARK-46655] A lekérdezési környezet elfogásának kihagyása a DataFrame metódusokban.
    • [SPARK-44815] Helyezze gyorsítótárba a df.schema-t a felesleges RPC-k elkerülése érdekében.
    • [SPARK-46952] XML: Sérült rekord méretének korlátozása.
    • [SPARK-46794] Az alekérdezések eltávolítása a LogicalRDD-megkötésekből.
    • [SPARK-46736] üres üzenetmező megőrzése a Protobuf-összekötőben.
    • [SPARK-45182] A feladat befejezését figyelmen kívül hagyja a régi szakaszból, miután a szülői meghatározatlanságú szakasz ismételt megkísérlése megtörtént az ellenőrzőösszeg alapján.
    • [SPARK-46414] A prependBaseUri használatával renderelje a javascript-importálást.
    • [SPARK-46383] Az illesztőprogram halomhasználatának csökkentése az élettartam csökkentésével TaskInfo.accumulables().
    • [SPARK-46861] Holtpont elkerülése a DAGSchedulerben.
    • [SPARK-46954] XML: Sémaindex-keresés optimalizálása.
    • [SPARK-46676] A dropDuplicatesWithinWatermark függvény nem okozhat hibát a terv kanonizálása során.
    • [SPARK-46644] Módosítsa a hozzáadást és az egyesítést az SQLMetric-ben az isZero használatához.
    • [SPARK-46731] Állapottároló szolgáltató példányának kezelése állapotadatforrás szerint – reader.
    • [SPARK-46677] Javítsa ki a dataframe["*"] felbontást.
    • [SPARK-46610] A tábla létrehozása kivételt eredményez, ha a beállításokban nincs érték egy kulcs számára.
    • [SPARK-46941] Nem szúrható be ablakcsoport-korlátcsomópont a top-k számításhoz, ha a SizeBasedWindowFunctiont tartalmazza.
    • [SPARK-45433] A CSV/JSON-séma következtetésének javítása, ha az időbélyegek nem felelnek meg a megadott időbélyegformának.
    • [SPARK-46930] Az Avro union típusú mezőihez tartozó egyéni előtag támogatása.
    • [SPARK-46227] Visszalépés a 14.3-ra.
    • [SPARK-46822] Vegye figyelembe a spark.sql.legacy.charVarcharAsString beállítást, amikor jdbc típust katalizátortípusra alakít át jdbc használatával.
    • Az operációs rendszer biztonsági frissítései.

Databricks Runtime 13.3 LTS

Lásd: Databricks Runtime 13.3 LTS.

  • 2026. augusztus 18.

    • Frissített Java kódtárak:
      • org.eclipse.jetty.jetty-client 9.4.51.v20230217-től 9.4.57.v20241219-ig
      • org.eclipse.jetty.jetty-folytatás 9.4.51.v20230217-től 9.4.57.v20241219-ig
      • org.eclipse.jetty.jetty-http 9.4.51.v20230217-től 9.4.57.v20241219-ig
      • org.eclipse.jetty.jetty-io 9.4.51.v20230217-től 9.4.57.v20241219-ig
      • org.eclipse.jetty.jetty-jndi 9.4.51.v20230217-től 9.4.57.v20241219-ig
      • org.eclipse.jetty.jetty-plus 9.4.51.v20230217-től 9.4.57.v20241219-ig
      • org.eclipse.jetty.jetty-proxy 9.4.51.v20230217-től 9.4.57.v20241219-ig
      • org.eclipse.jetty.jetty-security 9.4.51.v20230217-től 9.4.57.v20241219-ig
      • org.eclipse.jetty.jetty-server 9.4.51.v20230217-től 9.4.57.v20241219-ig
      • org.eclipse.jetty.jetty-servlet 9.4.51.v20230217-től 9.4.57.v20241219-ig
      • org.eclipse.jetty.jetty-servlets 9.4.51.v20230217-től 9.4.57.v20241219-ig
      • org.eclipse.jetty.jetty-util 9.4.51.v20230217-től 9.4.57.v20241219-ig
      • org.eclipse.jetty.jetty-util-ajax 9.4.51.v20230217-től 9.4.57.v20241219-ig
      • org.eclipse.jetty.jetty-webapp 9.4.51.v20230217-től 9.4.57.v20241219-ig
      • org.eclipse.jetty.jetty-xml 9.4.51.v20230217-től 9.4.57.v20241219-ig
      • org.eclipse.jetty.websocket.websocket-API 9.4.51.v20230217-től 9.4.57.v20241219-ig
      • org.eclipse.jetty.websocket.websocket-client 9.4.51.v20230217-től 9.4.57.v20241219-ig
      • org.eclipse.jetty.websocket.websocket-common 9.4.51.v20230217-től 9.4.57.v20241219-ig
      • org.eclipse.jetty.websocket.websocket-server 9.4.51.v20230217-től 9.4.57.v20241219-ig
      • org.eclipse.jetty.websocket.websocket-servlet 9.4.51.v20230217-től 9.4.57.v20241219-ig
    • Az operációs rendszer biztonsági frissítései.

  • 2026. augusztus 4.

    • [SPARK-58107] A local-checkpoint dedup-and-seal visszaportolása + a MERGE materializált forrás ellenőrzőösszegének ellenőrzése
    • Az operációs rendszer biztonsági frissítései.

  • 2026. július 24.

    • Az operációs rendszer biztonsági frissítései.

  • 2026. július 10.

    • Frissített Java kódtárak:
      • com.microsoft.sqlserver.mssql-jdbc erről: 11.2.2.jre8, 11.2.3.jre8 erre: 11.2.3.jre8, 11.2.3.jre8
    • Az operációs rendszer biztonsági frissítései.
  • 2026. június 29.
    • Az operációs rendszer biztonsági frissítései.
  • 2026. június 9.
    • Az operációs rendszer biztonsági frissítései.
  • 2026. május 26.
    • Az operációs rendszer biztonsági frissítései.
  • 2026. május 13.
    • (Behavior változás) A sémamintát használó táblák listázása már nem frissíti a Unity Catalog metaadatait az idegen táblákhoz (például SQL Server, PostgreSQL vagy AWS Glue). Ez a változás hatással van SHOW TABLES IN SCHEMA LIKE ...getMetaData.getTables a JDBC-illesztőprogramban a sémaminta átadásakor érkező hívásokra és a Thrift API-raSparkGetTablesOperation. Ha a számítási feladat a metaadatok sémamintával való frissítésétől függ, forduljon a Databricks ügyfélszolgálatához.
    • Az operációs rendszer biztonsági frissítései.
  • 2026. április 29.
    • Az operációs rendszer biztonsági frissítései.
  • 2026. április 20.
    • Az operációs rendszer biztonsági frissítései.

  • 2026. április 2.

    • Az operációs rendszer biztonsági frissítései.

  • 2026. március 10.

    • [SPARK-55701]ES-1694761[SS] Versenyállapot javítása a CompactibleFileStreamLog.allFiles alkalmazásban
    • [SPARK-55111][SS] Újraellenőrizni a befejezetlen újraparticionálás észlelését a lekérdezés újraindításakor
    • Az operációs rendszer biztonsági frissítései.

  • 2026. február 26.

    • Az operációs rendszer biztonsági frissítései.

  • 2026. február 19.

    • Visszaállítás [SPARK-55111][SS] Befejezetlen újraparticionálás észlelése a lekérdezés újraindításakor
    • [SPARK-55111][SS] Befejezetlen újraparticionálás észlelése a lekérdezés újraindításakor
    • Az operációs rendszer biztonsági frissítései.
  • 2026. január 27.
    • Az operációs rendszer biztonsági frissítései.
  • 2026. január 9.
    • A particionált Delta-táblák partícióoszlopai az adatparquet fájlokban lesznek materializálva. Ez jobb együttműködést tesz lehetővé az Iceberg- és UniForm-táblák kezelésével, és növeli a külső, nem Delta olvasókkal való kompatibilitást.
    • Az operációs rendszer biztonsági frissítései.
  • 2025. december 9.
    • [SPARK-54180][SQL] A BinaryFileFormat toString parancsának felülbírálása
    • [SPARK-52579][PYTHON] Rendszeres nyomkövetési memóriakép beállítása Python feldolgozók számára
    • Az operációs rendszer biztonsági frissítései.
  • 2025. november 18.
    • [SPARK-54047][PYTHON] Használjon különbségi hibát a leállítás üresjárati időkorlát esetén
    • Az operációs rendszer biztonsági frissítései.
  • 2025. november 4.
    • Frissített R-kódtárak:
      • nyíl a 10.0.1-től a 21.0.0-sig
    • Az operációs rendszer biztonsági frissítései.
  • 2025. október 21.
    • Az operációs rendszer biztonsági frissítései.
  • 2025. október 7.
    • Az operációs rendszer biztonsági frissítései.
  • 2025. szeptember 24.
    • Az operációs rendszer biztonsági frissítései.
  • 2025. szeptember 9.
    • Az operációs rendszer biztonsági frissítései.
  • 2025. augusztus 26.
    • Frissített Java kódtárak:
      • io.delta.delta-sharing-spark_2.12 verzió 0.7.12-ről 0.7.13-ra
    • Az operációs rendszer biztonsági frissítései.
  • 2025. augusztus 14.
    • Az operációs rendszer biztonsági frissítései.
  • 2025. július 29.
    • Az operációs rendszer biztonsági frissítései.

  • 2025. július 15.

    • Az operációs rendszer biztonsági frissítései.

  • 2025. július 1.

    • Az operációs rendszer biztonsági frissítései.
  • 2025. június 17.
    • Kijavítottuk azt a korlátozást, hogy a cloud_files_state táblaértékű függvény (TVF) nem használható a streamelési táblák fájlszintű állapotának olvasására a folyamatok között.
    • Az operációs rendszer biztonsági frissítései.
  • 2025. június 3.
    • Frissített Python kódtárak:
      • titkosítás 3.4.8-tól 37.0.1-ig
      • platformdirs 2.5.2, 2.6.2 és 2.5.2 között
      • pyparsing 2.4.7-től, 3.0.9-től 3.0.9-ig
      • Pip 22.2.2 hozzáadva
      • Hozzáadott telepítők 63.4.1
      • Tomli 2.0.1 hozzáadva
      • Hozzáadva wcwidth 0.2.5
      • Hozzáadott kerék 0.37.1
      • Eltávolított verzió 1.7.0
      • A rendszer eltávolította a következőt: distro-info 1.1+ubuntu0.2
      • El lett távolítva a Python-apt 2.4.0+ubuntu4
    • Frissített Java kódtárak:
      • com.github.fommil.netlib.native_ref-java 1.1 és 1.1-natív változatról 1.1, 1.1 verzióra
      • com.github.fommil.netlib.native_system-java 1.1- és 1.1-natívtól az 1.1-hez, 1.1-hez
      • com.github.fommil.netlib.netlib-native_ref-linux-x86_64 1.1-natívtól 1.1-hez
      • com.github.fommil.netlib.netlib-native_system-linux-x86_64 változtatás 1.1-natives verzióról 1.1 verzióra
      • io.netty.netty-transport-native-epoll a 4.1.87.Final, 4.1.87.Final-linux-aarch_64, 4.1.87.Final-linux-x86_64 verziókról a 4.1.87.Final, 4.1.87.Final, 4.1.87.Final verziókra.
      • io.netty.netty-transport-native-kqueue tól 4.1.87.Final-osx-aarch_64, 4.1.87.Final-osx-x86_64 ig 4.1.87.Final, 4.1.87.Final
      • org.apache.orc.orc-core az 1.8.4-shaded-protobuf verzióról 1.8.4 verzióra
      • org.apache.orc.orc-mapreduce 1.8.4-shaded-protobuf verzióról 1.8.4 verzióra
      • ** software.amazon.cryptools.AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64-ről 1.6.1-re
    • [SPARK-52159][SQL] A jdbc-dialektusok táblalétezés-ellenőrzésének megfelelő kezelése
    • Az operációs rendszer biztonsági frissítései.
  • 2025. május 20.
    • Frissített Java kódtárak:
      • io.delta.delta-sharing-spark_2.12 0.7.11-ről 0.7.12-re
    • Az operációs rendszer biztonsági frissítései.
  • 2025. április 22.
    • [Viselkedésváltozás] A vákuumműveletek mostantól más műveletekhez hasonlóan hajtanak végre Writer protokollellenőrzéseket, megakadályozva az újabb funkciókkal rendelkező táblák váratlan törlését, ha a régebbi Databricks-futtatókörnyezetek nem kompatibilis verzióiból futnak.
    • Az operációs rendszer biztonsági frissítései.
  • 2025. április 9.
    • [SPARK-51624][SQL] GetStructField metaadatok propagálása a CreateNamedStruct.dataType fájlban
    • Az operációs rendszer biztonsági frissítései.
  • 2025. március 11.
    • Az operációs rendszer biztonsági frissítései.
  • 2025. február 11.
    • [SPARK-50492][SS] Kijavítottuk a java.util.NoSuchElementException hibát, ha a dropDuplicatesWithinWatermark után az eseményidő oszlop el lett vetve
    • [SPARK-45915][SQL] A tizedesjel(x, 0) ugyanúgy kezelhető, mint az IntegralType a PromoteStringsben
    • Az operációs rendszer biztonsági frissítései.
  • 2024. december 10.
    • Az operációs rendszer biztonsági frissítései.
  • 2024. november 26.
    • [SPARK-49615] [ML] Végezze el az összes ML-funkcióátalakító adatkészlet sémaérvényesítését a "spark.sql.caseSensitive" konfigurációnak megfelelően.
    • Az operációs rendszer biztonsági frissítései.
  • 2024. november 5.
    • [SPARK-48843] Végtelen ciklus megakadályozása BindParameterekkel
    • [BACKPORT] [SPARK-49326][SS] A Foreach adatfogadó felhasználói függvényéhez tartozó hiba osztályának meghatározása
    • [SPARK-49905] Dedikált "ShuffleOrigin" használata állapotalapú operátorokhoz, hogy megakadályozzuk a shuffle módosítását az AQE által.
    • Az operációs rendszer biztonsági frissítései.
  • 2024. október 22.
    • [SPARK-48843] Végtelen ciklus megakadályozása BindParameterekkel
    • [BACKPORT] [SPARK-49326][SS] A Foreach adatfogadó felhasználói függvényéhez tartozó hiba osztályának meghatározása
    • [SPARK-49905] Dedikált "ShuffleOrigin" használata állapotalapú operátorokhoz, hogy megakadályozzuk a shuffle módosítását az AQE által.
    • Az operációs rendszer biztonsági frissítései.
  • 2024. október 10.
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr nem módosíthatja a sémamezőket a GetArrayStructFields metszésekor
  • 2024. szeptember 25.
    • [SPARK-46601] [CORE] Naplóhiba javítása a handleStatusMessage szolgáltatásban
    • [SPARK-48719][SQL] Javítsa ki a RegrSlope & RegrIntercept számítási hibáját, ha az első paraméter null
    • [SPARK-43242][CORE] A "Nem várt típusú BlockId" hiba kijavítása a shuffle corruption diagnózisában
    • [SPARK-49000][SQL] Javítás a "select count(distinct 1) from t" kifejezésnél, ahol a t üres táblát jelenti a RewriteDistinctAggregates kibontásával.
    • Az operációs rendszer biztonsági frissítései.
  • 2024. szeptember 17.
    • [SPARK-49526][CONNECT] Az ArtifactManager Windows stílusú elérési útjainak támogatása
    • [SPARK-48463][ML] A Binarizálót, a Bucketizálót, a Vector Assembler-t, a FeatureHasher-t, a QuantizeDiscretizer-t, az OnehotEncoder-t, a StopWordsRemover-t, az Impútert és az Interaktort úgy módosítjuk, hogy támogassák a beágyazott bemeneti oszlopokat.
    • Az operációs rendszer biztonsági frissítései.
  • 2024. augusztus 29.
  • 2024. augusztus 14.
    • [SPARK-49056][SQL] A ErrorClassesJsonReader nem tudja megfelelően kezelni a null értéket
    • [SPARK-49065][SQL] Az örökölt formázók/elemzők újra-alapozásának támogatnia kell a nem JVM alapértelmezett időzónákat
    • [SPARK-48597][SQL] Az isStreaming tulajdonság jelölőjének bevezetése a logikai terv szöveges ábrázolásában
  • 2024. augusztus 1.
    • Ez a kiadás tartalmaz egy hibajavítást a Spark Java felületének ColumnVector és ColumnarArray osztályaihoz. A javítást megelőző esetekben előfordulhat, hogy ArrayIndexOutOfBoundsException vagy helytelen adatokat ad vissza, ha az egyik osztály egy példánya null értékeket tartalmaz.
    • [SPARK-47202][PYTHON] A tzinfo-hoz kapcsolódó dátumokat érintő elírás javítása
    • [SPARK-48896][SPARK-48909][SPARK-48883] A Backport Spark ML-író javításai
    • [SPARK-48463] Beágyazott bemeneti oszlopokat támogató StringIndexer létrehozása
    • Az operációs rendszer biztonsági frissítései.
  • 2024. július 11.
    • (Viselkedésváltozás) Érvénytelenítik a Delta-táblaforrásokkal gyorsítótárazott DataFrame-eket, ha a forrástáblát felülírják. Ez a változás azt jelenti, hogy a Delta-táblák összes állapotváltozása érvényteleníti a gyorsítótárazott eredményeket. A .checkpoint() használatával megőrizheti a táblaállapotokat a DataFrame teljes élettartama alatt.
    • Ez a kiadás tartalmaz egy hibát, amely megakadályozta, hogy a Spark felhasználói felületi környezet lapja megfelelően jelenjen meg a Databricks Container Servicesben való futtatáskor.
    • [SPARK-48383][SS] Jobb hibaüzenet a Kafka startOffset opció eltérő partícióinál
    • [SPARK-48292][CORE] Az [SPARK-39195][SQL] visszavonása A Spark OutputCommitCoordinator megszakítja a szakaszt, ha a véglegesített fájl nem egyezik meg a feladat állapotával
    • [SPARK-48503][SQL] Érvénytelen skaláris al lekérdezések javítása a helytelenül engedélyezett nem egyenértékű oszlopok csoportosításával
    • [SPARK-48481][SQL][SS] Ne alkalmazza az OptimizeOneRowPlant a streamelési adatkészletre
    • [SPARK-48475][PYTHON] Optimalizálja a _get_jvm_function a PySparkban.
    • [SPARK-48273][SQL] A PlanWithUnresolvedIdentifier késői átírásának javítása
    • [SPARK-48445][SQL] Ne illessze be a UDF-eket drága komponensekkel
    • Az operációs rendszer biztonsági frissítései.
  • 2024. június 17.
    • [SPARK-48277] ErrorClassesJsonReader.getErrorMessage hibaüzenetének javítása
    • Az operációs rendszer biztonsági frissítései.
  • 2024. május 21.
  • 2024. május 9.
    • [SPARK-47956][SQL] Ésszerűség-ellenőrzés a nem megoldott LCA-referenciához
    • [SPARK-46822][SQL] Vegyük figyelembe a spark.sql.legacy.charVarcharAsString beállítást, amikor a jdbc típust katalizátor típusra konvertáljuk az jdbc-ben.
    • [SPARK-47895]Az [SQL] csoportnak mindennek idempotensnek kell lennie
    • [SPARK-48018][SS] A kafkaException.couldNotReadOffsetRange dobásakor hiányzó paramhibát okozó null groupId kijavítása
    • [SPARK-47973][CORE] Hívási hely naplózása a SparkContext.stop() és később a SparkContext.assertNotStopped() metódusokban.
    • Az operációs rendszer biztonsági frissítései.
  • 2024. április 25.
    • [SPARK-44653][SQL] A nem triviális DataFrame egyesítések nem okozzák a gyorsítótárazás megszakadását.
    • Egyéb hibajavítások.
  • 2024. április 11.
    • [SPARK-47509][SQL] Részlekérdezés-kifejezések blokkolása a lambda és a magasabbrendű függvényekben
    • Az operációs rendszer biztonsági frissítései.
  • 2024. április 1.
    • [SPARK-47385] Javítsd ki a tuple kódolókat opcionális bemenetekkel.
    • [SPARK-38708][SQL] A Hive Metastore-ügyfél frissítése a Hive 3.1 3.3-ra
    • [SPARK-47200][SS] Hibaosztály a Foreach batch sink felhasználói függvényének hibája esetén
    • [SPARK-47368][SQL] Távolítsa el az inferTimestampNTZ konfigurációellenőrzést a ParquetRowConverterben
    • [SPARK-44252][SS] Adjon meg egy új hibaosztályt, és alkalmazza arra az esetre, ha az elosztott fájlrendszerből való betöltési állapot meghiúsul
    • [SPARK-47135][SS] Hibaosztályok implementálása a Kafka adatvesztési kivételeihez
    • [SPARK-47300][SQL] quoteIfNeeded idézőjel-azonosítónak számjegyekkel kell kezdődnie
    • [SPARK-47305][SQL] A PruneFilters javítása érdekében a LocalRelation isStreaming jelzőjének helyes címkézése, amikor a terv tételes és stream feldolgozást is tartalmaz.
    • [SPARK-47070] Érvénytelen aggregáció kijavítása az alregisztráció újraírása után
    • Az operációs rendszer biztonsági frissítései.
  • 2024. március 14.
    • [SPARK-47145][SQL] Adja át a táblaazonosítót a V2-stratégia soradatforrás-scan végrehajtási eleméhez.
    • [SPARK-47167][SQL] Konkrét osztály hozzáadása JDBC névtelen relációhoz
    • [SPARK-47176][SQL] Rendelkezzen a ResolveAllExpressionsUpWithPruning segédfüggvénnyel
    • [SPARK-47044][SQL] A kimenet magyarázatához adjon hozzá végrehajtott lekérdezést külső JDBC-adatforrásokhoz
    • [SPARK-47125][SQL] Null értéket ad vissza, ha az Univocity soha nem aktiválja az elemzést
    • Az operációs rendszer biztonsági frissítései.
  • 2024. február 29.
    • Kijavítottunk egy hibát, amely miatt a helyi gyűjtemény forrásként való használata a MERGE parancsban kétszeresére növelte a numSourceRows műveletmetrika által jelentett sorok számát.
    • Egy meghatározott hellyel rendelkező séma létrehozásához a felhasználónak SELECT és MODIFY jogosultságokkal kell rendelkeznie a BÁRMELY FÁJLban.
    • Az operációs rendszer biztonsági frissítései.
  • 2024. február 8.
    • A Unity Catalog materializált nézeteiben nem támogatottak az adatváltozás-lekérdezések (CDF), és ha egy CDF-lekérdezést Unity Catalog materializált nézettel próbál futtatni, hibaüzenetet eredményez. A Unity Catalog streamelő táblái támogatják a CDF-lekérdezéseket a Databricks Runtime 14.1-ben és újabb verzióiban nem AUTOMATIKUS CDC-táblákon. A CDF-lekérdezések nem támogatottak a Unity Catalog streamelési tábláival a Databricks Runtime 14.0-s és korábbi verzióiban.
    • [SPARK-46794] Az alekérdezések eltávolítása a LogicalRDD-megkötésekből.
    • [SPARK-46933] Adjon hozzá lekérdezés-végrehajtási időmetrikát a JDBCRDD-t használó összekötőkhöz.
    • [SPARK-45582] Győződjön meg arról, hogy a tároló példány nem használható, miután véglegesítést hajt végre a streamelési összesítés kimeneti módjában.
    • [SPARK-46396] Az időbélyeg-következtetés nem vethet ki kivételt.
    • [SPARK-46861] Holtpont elkerülése a DAGSchedulerben.
    • [SPARK-46941] Nem szúrható be ablakcsoport-korlátcsomópont a top-k számításhoz, ha a SizeBasedWindowFunctiont tartalmazza.
    • Az operációs rendszer biztonsági frissítései.
  • 2024. január 31.
    • [SPARK-46610] A tábla létrehozása kivételt eredményez, ha a beállításokban nincs érték egy kulcs számára.
    • [SPARK-46383] Az illesztőprogram memóriahalom-használatának csökkentése a TaskInfo.accumulables() élettartamának rövidítésével.
    • [SPARK-46600] Megosztott kód áthelyezése az SqlConf és az SqlApiConf között az SqlApiConfHelperbe.
    • [SPARK-46676] A dropDuplicatesWithinWatermark függvény nem okozhat hibát a terv kanonizálása során.
    • [SPARK-46763] Kijavítottuk az ismétlődő attribútumok helyességi hibáját a ReplaceDeduplicateWithAggregate fájlban.
    • Az operációs rendszer biztonsági frissítései.
  • 2024. január 17.
    • A Photon-lekérdezés által visszaadott végrehajtási terv shuffle csomópontja frissül, hogy hozzáadja a causedBroadcastJoinBuildOOM=true jelzőt, ha memóriahiány miatti hiba lép fel egy broadcast join részét képező shuffle során.
    • A TLSv1.3-n keresztüli kommunikáció megnövekedett késésének elkerülése érdekében ez a karbantartási kiadás tartalmaz egy javítást a JDK 8 telepítésében a JDK-8293562 hiba kijavításához.
    • [SPARK-46058] Adjon hozzá külön jelölőt a privateKeyPasswordhez.
    • [SPARK-46173] A trimAll hívás kihagyása a dátum elemzése során.
    • [SPARK-46370] Hiba kijavítása az oszlop alapértelmezett értékének módosítása után a táblából való lekérdezéskor.
    • [SPARK-46370] Hiba kijavítása az oszlop alapértelmezett értékének módosítása után a táblából való lekérdezéskor.
    • [SPARK-46370] Hiba kijavítása az oszlop alapértelmezett értékének módosítása után a táblából való lekérdezéskor.
    • [SPARK-46609] Kerülje az exponenciális robbanást a PartitioningPreservingUnaryExecNode-ban.
    • [SPARK-46132] Az RPC SSL JKS-kulcsainak támogatási kulcsa.
    • [SPARK-46602] Jelenítsd meg a allowExisting a nézet létrehozásakor, ha a nézet/tábla nem létezik.
    • [SPARK-46249] Példányzárolás megkövetelése a RocksDB-metrikák beszerzéséhez a háttérben futó verseny megakadályozása érdekében.
    • [SPARK-46417] Ne hiúsuljon meg a hive.getTable hívásakor, ha a throwException értéke hamis.
    • [SPARK-46538] Az oszlophivatkozás nem egyértelműségéből fakadó probléma kijavítása ALSModel.transform.
    • [SPARK-46478] Vonja vissza a SPARK-43049-et, hogy az oracle varchar(255) legyen használva sztringként.
    • [SPARK-46250] Stabilizálja a teszt_paritás_figyelőt.
    • [SPARK-46394] A spark.catalog.listDatabases() hibáinak kijavítása speciális karaktereket tartalmazó sémákon, ha spark.sql.legacy.keepCommandOutputSchema igazra van állítva.
    • [SPARK-46056] Parquet vectorized read NPE javítása byteArrayDecimalType alapértelmezett értékkel.
    • [SPARK-46145] spark.catalog.listTables nem okoz kivételt, ha a tábla vagy nézet nem található.
    • [SPARK-46466] A vektoros Parquet-olvasónak soha nem szabad újra bázist alkalmaznia az időbélyeg ntz esetében.
  • 2023. december 14.
    • Kijavítottunk egy hibát, amely miatt az getColumns JDBC- vagy ODBC-ügyfelektől származó műveletekben a rendszer helytelenül kezelte az aláhúzásjeleket, és helyettesítő karakterként értelmezte őket.
    • [SPARK-45920] sorszám szerinti csoportosításnak idempotensnek kell lennie.
    • [SPARK-44582] Ha az iterátor az SMJ-nél meg lett tisztítva, hagyja ki.
    • [SPARK-45433] A CSV/JSON-séma következtetésének javítása, ha az időbélyegek nem felelnek meg a megadott időbélyegformának.
    • [SPARK-45655] Nem determinisztikus kifejezések engedélyezése az AggregateFunctionsben a CollectMetricsben.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. november 29.
    • Telepített egy új csomagot a pyarrow-hotfix PyArrow RCE biztonsági rés elhárításához.
    • A Spark-snowflake összekötő 2.12.0-ra frissül.
    • [SPARK-44846] Az összetett csoportosítási kifejezések el lettek távolítva a program után RemoveRedundantAggregates.
    • [SPARK-45544] Integrált SSL-támogatás a TransportContext.
    • [SPARK-45892] Optimizer terv átalakításának érvényesítése a szétválasztás érdekében validateSchemaOutput és validateExprIdUniqueness.
    • [SPARK-45730] Javított időkorlátok a ReloadingX509TrustManagerSuite.
    • [SPARK-45859] Az UDF-objektumokat ml.functions lusta kiértékelésűvé tették.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. november 10.
    • A Delta Lake streamelési lekérdezéseiben a partíciószűrők a sebességkorlátozás előtt kerülnek alkalmazásra a jobb kihasználtság érdekében.
    • A Unity Catalog streamelő tábláiban és materializált nézeteiben lévő adatcsatorna-lekérdezéseket módosították, hogy hibaüzeneteket jelenítsenek meg.
    • [SPARK-45545]SparkTransportConfSSLOptions öröklődik a létrehozáskor.
    • [SPARK-45584] Kijavítottuk a subquery-futtatási hibát a következővel TakeOrderedAndProjectExec: .
    • [SPARK-45427] RPC SSL-beállításokat adtunk hozzá a SSLOptions-hoz és a SparkTransportConf-hoz.
    • [SPARK-45541] Hozzáadva SSLFactory.
    • [SPARK-45430]FramelessOffsetWindowFunction már nem vall kudarcot, amikor IGNORE NULLS és offset > rowCount.
    • [SPARK-45429] Segédosztályok hozzáadva az SSL RPC-kommunikációhoz.
    • [SPARK-44219] További szabályonkénti érvényesítések hozzáadva az optimalizálási újraírásokhoz.
    • [SPARK-45543] Kijavítottunk egy hibát, amely InferWindowGroupLimit akkor okozott problémát, ha a többi ablakfüggvény nem ugyanazzal az ablakkerettel rendelkezik, mint a rangszerű függvények.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. október 23.
    • [SPARK-45256] Kijavítottunk egy hibát, amely miatt DurationWriter nem sikerült több értéket írni, mint a kezdeti kapacitás.
    • [SPARK-45419] Elkerülje a fájlok újrafelhasználását egy másik rocksdb sst példányban a nagyobb verziók fájlverzió-megfeleltetési bejegyzéseinek eltávolításával.
    • [SPARK-45426] Támogatás hozzáadva a következőhöz ReloadingX509TrustManager: .
    • Egyéb javítások.
  • 2023. október 13.
    • A Snowflake-jdbc függőség 3.13.29-ről 3.13.33-ra frissült.
    • A array_insert függvény 1-alapú a pozitív és negatív indexekhez, míg korábban a negatív indexek esetében 0-alapú volt. Most egy új elemet szúr be a -1 index bemeneti tömbjeinek végére. Az előző viselkedés visszaállításához állítsa spark.sql.legacy.negativeIndexInArrayInserttrueértékre.
    • Kijavítottunk egy hibát a sérült fájlok figyelmen kívül hagyásával kapcsolatban, amikor ignoreCorruptFiles engedélyezve van a CSV-séma automatikus betöltővel való következtetése során.
    • Állítsd vissza "[SPARK-42946]."
    • [SPARK-42205] Frissítette a JSON protokollt, hogy eltávolítsa az Accumulables-naplózást egy tevékenységben vagy szakaszindítási eseményben.
    • [SPARK-45178] Térjen vissza egyetlen köteg futtatására Trigger.AvailableNow nem támogatott források esetén, a burkoló helyett.
    • [SPARK-45316] Új paraméterek hozzáadása ignoreCorruptFiles és ignoreMissingFiles, valamint HadoopRDD és NewHadoopRDDszámára.
    • [SPARK-44740] Javítottuk az artefaktumok metaadatértékeit.
    • [SPARK-45360] Inicializált Spark-munkamenet-szerkesztő konfigurációja innen SPARK_REMOTE: .
    • [SPARK-44551] Szerkesztett megjegyzések az OSS-sel való szinkronizáláshoz.
    • [SPARK-45346] Parquet-séma következtetése mostantól tiszteletben tartja a kis- és nagybetűket megkülönböztető jelzőket a séma egyesítésekor.
    • [SPARK-44658]ShuffleStatus.getMapStatus most visszaadja a None a Some(null) helyett.
    • [SPARK-44840] 1-alapúvá tettük a negatív array_insert() indexeket.
  • 2023. szeptember 14.
    • [SPARK-44873] Támogatás hozzáadva a beágyazott oszlopokkal rendelkező elemekhez a Hive-ügyfélben.
    • [SPARK-44878] Kikapcsolták az RocksDB íráskezelő szigorú korlátját, hogy elkerüljék a gyorsítótár teljesítésekor fellépő beszúrási kivételt.
  • 2023. augusztus 30.
    • A dbutils cp parancs (dbutils.fs.cp) a gyorsabb másoláshoz lett optimalizálva. Ezzel a fejlesztéssel a másolási műveletek akár 100-zal kevesebb időt is igénybe vehetnek a fájl méretétől függően. A funkció a Databricksben elérhető összes felhőben és fájlrendszerben elérhető, beleértve a Unity Catalog-köteteket és a DBFS-csatlakoztatásokat is.
    • [SPARK-44455] Azonosítókat idézőjelek helyett backtickekkel jelöljük az SHOW CREATE TABLE eredményben.
    • [SPARK-44763] Kijavítottunk egy hibát, amely egy karakterláncot dupla értékként mutatott bináris aritmetikai intervallummal.
    • [SPARK-44871] Rögzített percentile_disc viselkedés.
    • [SPARK-44714] Az LCA-feloldás korlátozásainak enyhítése a lekérdezések tekintetében.
    • [SPARK-44818] Kijavították a függőben lévő feladat megszakításának versenyfeltételét, amelyet az inicializálás előtt adtak ki.
    • [SPARK-44505] Az oszlopos támogatás felülbírálása hozzáadva a DSv2 szkennelési folyamatban.
    • [SPARK-44479] Kijavítottuk a protobuf átalakítást egy üres szerkezettípusból.
    • [SPARK-44718] A memóriamód ColumnVector alapértelmezett beállításának egyeztetése a OffHeapMemoryMode konfiguráció értékével.
    • [SPARK-42941] Támogatás hozzáadva StreamingQueryListener Pythonban.
    • [SPARK-44558] Exportálja a PySpark Spark Connect-naplószintjét.
    • [SPARK-44464] Rögzített applyInPandasWithStatePythonRunner az első oszlopértékként null értéket tartalmazó kimeneti sorokhoz.
    • [SPARK-44643] Kijavítva, amikor a mező üres sor.
    • Az operációs rendszer biztonsági frissítései.

Databricks Runtime 9.1 LTS

  • 2025. április 9.
    • Az operációs rendszer biztonsági frissítései.
  • 2025. március 11.
    • Az operációs rendszer biztonsági frissítései.
  • 2025. február 11.
    • Az operációs rendszer biztonsági frissítései.
  • 2024. december 10.
    • Az operációs rendszer biztonsági frissítései.
  • 2024. november 26.
    • Az operációs rendszer biztonsági frissítései.
  • 2024. november 5.
    • Az operációs rendszer biztonsági frissítései.
  • 2024. október 22.
    • Az operációs rendszer biztonsági frissítései.
  • 2024. október 10.
    • Az operációs rendszer biztonsági frissítései.
  • 2024. szeptember 25.
    • [SPARK-49000][SQL] Javítás a "select count(distinct 1) from t" kifejezésnél, ahol a t üres táblát jelenti a RewriteDistinctAggregates kibontásával.
    • Az operációs rendszer biztonsági frissítései.
  • 2024. szeptember 6.
    • Az operációs rendszer biztonsági frissítései.
  • 2024. augusztus 29.
    • [SPARK-49065][SQL] Az örökölt formázók/elemzők újra-alapozásának támogatnia kell a nem JVM alapértelmezett időzónákat
  • 2024. augusztus 14.
  • 2024. augusztus 1.
    • Az operációs rendszer biztonsági frissítései.
  • 2024. július 11.
    • Az operációs rendszer biztonsági frissítései.
  • 2024. június 17.
    • Az operációs rendszer biztonsági frissítései.
  • 2024. május 21.
    • [SPARK-48105][SS] Az állapottároló kiürítése és a pillanatképek készítése közötti versenyállapot javítása
    • Az operációs rendszer biztonsági frissítései.
  • 2024. május 9.
    • [SPARK-47973][CORE] Hívási hely naplózása a SparkContext.stop() és később a SparkContext.assertNotStopped() metódusokban.
    • [SPARK-44251][SQL] A null érték helyes beállítása az egyesítési kulcson a teljes külső USING illesztés esetén
    • Az operációs rendszer biztonsági frissítései.
  • 2024. április 25.
    • Egyéb hibajavítások.
  • 2024. április 11.
    • Az operációs rendszer biztonsági frissítései.
  • 2024. április 1.
    • Visszaállítás: "[SPARK-46861][CORE] Holtpont elkerülése a DAGSchedulerben"
    • Az operációs rendszer biztonsági frissítései.
  • 2024. március 14.
    • Az operációs rendszer biztonsági frissítései.
  • 2024. február 29.
    • Kijavítottunk egy hibát, amely miatt a helyi gyűjtemény forrásként való használata a MERGE parancsban kétszeresére növelte a numSourceRows műveletmetrika által jelentett sorok számát.
    • Az operációs rendszer biztonsági frissítései.
  • 2024. február 13.
    • [SPARK-46861] Holtpont elkerülése a DAGSchedulerben.
    • Az operációs rendszer biztonsági frissítései.
  • 2024. január 31.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. december 25.
    • A TLSv1.3-n keresztüli kommunikáció megnövekedett késésének elkerülése érdekében ez a karbantartási kiadás tartalmaz egy javítást a JDK 8 telepítésében a JDK-8293562 hiba kijavításához.
    • [SPARK-46058] Adjon hozzá külön jelölőt a privateKeyPasswordhez.
    • [SPARK-39440] Adjon hozzá egy konfigurációt az esemény ütemtervének letiltásához.
    • [SPARK-46132] Az RPC SSL JKS-kulcsainak támogatási kulcsa.
  • 2023. december 14.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. november 29.
    • Telepített egy új csomagot a pyarrow-hotfix PyArrow RCE biztonsági rés elhárításához.
    • [SPARK-45859] Az UDF-objektumokat ml.functions lusta kiértékelésűvé tették.
    • [SPARK-45544] Integrált SSL-támogatás a TransportContext.
    • [SPARK-45730] Javított időkorlátok a ReloadingX509TrustManagerSuite.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. november 14.
    • [SPARK-45545]SparkTransportConfSSLOptions öröklődik a létrehozáskor.
    • [SPARK-45429] Segédosztályok hozzáadva az SSL RPC-kommunikációhoz.
    • [SPARK-45427] RPC SSL-beállításokat adtunk hozzá a SSLOptions-hoz és a SparkTransportConf-hoz.
    • [SPARK-45584] Kijavítottuk a subquery-futtatási hibát a következővel TakeOrderedAndProjectExec: .
    • [SPARK-45541] Hozzáadva SSLFactory.
    • [SPARK-42205] A feladat- és tevékenységindítási eseményekben eltávolított naplózási felhalmozott adatok.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. október 24.
    • [SPARK-45426] Támogatás hozzáadva a következőhöz ReloadingX509TrustManager: .
    • Az operációs rendszer biztonsági frissítései.
  • 2023. október 13.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. szeptember 10.
    • Egyéb javítások.
  • 2023. augusztus 30.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. augusztus 15.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. június 23.
    • A Snowflake-jdbc kódtár 3.13.29-re frissül egy biztonsági probléma megoldásához.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. június 15.
    • [SPARK-43098] Javítsa a helyességi COUNT hibát, ha a skaláris al-lekérdezés tartalmaz egy GROUP BY záradékot.
    • [SPARK-43156][SPARK-43098] A skaláris részlekérdezések számával kapcsolatos hiba tesztelésének kiterjesztése decorrelateInnerQuery kikapcsolt állapotban.
    • [SPARK-40862] A RewriteCorrelatedScalarSubquery nem aggregált albejegyzéseinek támogatása.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. június 2.
    • A JSON-elemző failOnUnknownFields módban lemond egy rekordról DROPMALFORMED módban, és közvetlenül meghiúsul FAILFAST módban.
    • Kijavítottunk egy hibát a JSON által helyreállított adatok elemzése során, hogy elkerüljük a UnknownFieldException.
    • Kijavítottunk egy hibát az Automatikus betöltőben, amelyben a különböző forrásfájlformátumok inkonzisztensek voltak, amikor a megadott séma nem tartalmazott következtetéses partíciókat. Ez a probléma váratlan hibákat okozhat a hiányzó oszlopokat tartalmazó fájlok olvasása során a késleltetett partíciós sémában.
    • [SPARK-37520] A startswith() és endswith() sztringfüggvények hozzáadása
    • [SPARK-43413] Kijavítottuk IN az alkérdezés ListQuery nullábilitását.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. május 17.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. április 25.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. április 11.
    • Kijavítottunk egy hibát, amely miatt az automatikus betöltő séma fejlődése végtelen feladathurkba léphet, amikor egy új oszlopot észlel egy beágyazott JSON-objektum sémájában.
    • [SPARK-42967] A SparkListenerTaskStart.stageAttemptId kijavítása, ha egy tevékenység a szakasz megszakítása után indul el.
  • 2023. március 29.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. március 14.
    • [SPARK-42484] Továbbfejlesztett hibaüzenet a következőhöz UnsafeRowUtils: .
    • Egyéb javítások.
  • 2023. február 28.
    • A felhasználók mostantól a Databricks Runtime 9.1 LTS-es vagy újabb verziójával olvashatnak és írhatnak bizonyos Delta-táblákat, amelyekhez az Olvasó 3. és a 7. íróverzió szükséges. A sikeresség érdekében a táblák protokolljában felsorolt táblafunkciókat a Databricks Runtime jelenlegi verziójának kell támogatnia.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. február 16.
    • Az operációs rendszer biztonsági frissítései.
  • 2023. január 31.
    • A JDBC-táblák táblázattípusai alapértelmezés szerint KÜLSŐek.
  • 2023. január 18.
    • Az operációs rendszer biztonsági frissítései.
  • 2022. november 29.
    • Kijavítottunk egy hibát az Auto Loader JSON-elemzésével kapcsolatban, amikor az összes oszlop karakterláncként maradt (cloudFiles.inferColumnTypes nem volt beállítva vagy false-re volt állítva), és a JSON beágyazott objektumokat tartalmazott.
    • Az operációs rendszer biztonsági frissítései.
  • 2022. november 15.
    • Az Apache commons-text frissítése 1.10.0-ra.
    • Az operációs rendszer biztonsági frissítései.
    • Egyéb javítások.
  • 2022. november 1.
    • Kijavítottunk egy hibát, amely miatt ha egy Delta-tábla _change_typenevű, felhasználó által definiált oszlopot tartalmazott, de Az adatcsatorna módosítása ki lett kapcsolva a táblán, akkor az oszlopban lévő adatok helytelenül töltődnek be NULL értékekkel a MERGEfuttatásakor.
    • Kijavítottuk az automatikus betöltővel kapcsolatos hibát, amely miatt a fájl ugyanabban a mikrokötegben duplikálható, ha allowOverwrites engedélyezve van
    • [SPARK-40596] A ExecutorDecommission feltöltése üzenetekkel a ExecutorDecommissionInfo alkalmazásban
    • Az operációs rendszer biztonsági frissítései.
  • 2022. október 18.
    • Az operációs rendszer biztonsági frissítései.
  • 2022. október 5.
    • Egyéb javítások.
    • Az operációs rendszer biztonsági frissítései.
  • 2022. szeptember 22.
    • A felhasználók a spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") beállítással újra engedélyezhetik az ADLS-en futó automatikus betöltő beépített listáját. Korábban a beépített lista teljesítményproblémák miatt ki volt kapcsolva, ami azonban az ügyfelek számára megnövekedett tárolási költségekhez vezethetett.
    • [SPARK-40315] HashCode() hozzáadása az ArrayBasedMapData nevű literálhoz
    • [SPARK-40089] Néhány decimális típus rendezésének javítása
    • [SPARK-39887] A RemoveRedundantAliases-nek meg kell őriznie azokat az aliasokat, amelyek egyedivé teszik a vetítési csomópontok kimenetét
  • 2022. szeptember 6.
    • [SPARK-40235] Megszakítható zárolás használata szinkronizált helyett a Executor.updateDependencies() alkalmazásban
    • [SPARK-35542] Javítás: Több oszlophoz létrehozott gyűjtőgyűjtő splitsArray, inputCols és outputCols paraméterrel a mentés után nem tölthető be
    • [SPARK-40079] Imputer inputCols-ellenőrzés hozzáadása üres bemenet esetén
  • 2022. augusztus 24.
    • [SPARK-39666] Az UnsafeProjection.create használata az ExpressionEncoder-ben való figyelembevételére spark.sql.codegen.factoryMode
    • [SPARK-39962] Vetítés alkalmazása üres csoportattribútumok esetén
    • Az operációs rendszer biztonsági frissítései.
  • 2022. augusztus 9.
    • Az operációs rendszer biztonsági frissítései.
  • 2022. július 27.
    • A Delta MERGE művelet eredményeinek konzisztenssé tétele, ha a forrás nem determinisztikus.
    • [SPARK-39689] Két karakter lineSep támogatása a CSV-adatforrásban
    • [SPARK-39575]ByteBuffer#rewind hozzáadva ByteBuffer#get után a AvroDeserializer.
    • [SPARK-37392] Kijavítottuk a katalizátor-optimalizáló teljesítményhibát.
    • Az operációs rendszer biztonsági frissítései.
  • 2022. július 13.
    • [SPARK-39419]ArraySort kivételt eredményez, ha az összehasonlító null értéket ad vissza.
    • Kikapcsolta az Auto Loader beépített felhőalapú API-k használatát az Azure-on a könyvtárlistázáshoz.
    • Az operációs rendszer biztonsági frissítései.
  • 2022. július 5.
    • Az operációs rendszer biztonsági frissítései.
    • Egyéb javítások.
  • 2022. június 15.
    • [SPARK-39283] Javítsa ki a TaskMemoryManager és UnsafeExternalSorter.SpillableIterator közötti holtpontot.
  • 2022. június 2.
    • [SPARK-34554] Valósítsa meg a copy() metódust a(z) ColumnarMap.
    • Az operációs rendszer biztonsági frissítései.
  • 2022. május 18.
    • Kijavítottunk egy lehetséges beépített memóriaszivárgást az Automatikus betöltőben.
    • Frissítse az AWS SDK 1.11.655-ös verzióját 1.11.678-ra.
    • [SPARK-38918] Beágyazott oszlopok kigyomlálásának ki kell szűrnie azokat az attribútumokat, amelyek nem tartoznak az aktuális relációhoz.
    • [SPARK-39084] A javítást df.rdd.isEmpty() használatával érjük el, amely megállítja az iterátort a feladat befejezésénél.
    • Az operációs rendszer biztonsági frissítései.
  • 2022. április 19.
    • Az operációs rendszer biztonsági frissítései.
    • Egyéb javítások.
  • 2022. április 6.
    • [SPARK-38631] Java-alapú megvalósítást használ a kicsomagolás végrehajtására a Utils.unpack.
    • Az operációs rendszer biztonsági frissítései.
  • 2022. március 22.
    • Módosította a jegyzetfüzetek aktuális munkakönyvtárát a magas párhuzamosságú fürtökön, ahol a táblázatos hozzáférés-vezérlés vagy a hitelesítési adatok közvetítése engedélyezve van a felhasználó saját könyvtárába. Korábban az active directory volt /databricks/driver.
    • [SPARK-38437] A datetime engedékeny szerializálása adatforrásból
    • [SPARK-38180] Biztonságos felfelé öntött kifejezések engedélyezése korrelált egyenlőségi predikátumokban
    • [SPARK-38155] Eltérő aggregátumok kizárása oldalirányú al lekérdezésekben nem támogatott predikátumokkal
    • [SPARK-27442] Eltávolított egy ellenőrző mezőt, amikor adatokat olvasott vagy írt egy Parquet-ben.
  • 2022. március 14.
    • [SPARK-38236] A create/alter táblában megadott abszolút fájlelérési útvonalak relatívként vannak kezelve
    • [SPARK-34069] Megszakítja a tevékenységszálat, ha a helyi SPARK_JOB_INTERRUPT_ON_CANCEL tulajdonság értéke igaz.
  • 2022. február 23.
    • [SPARK-37859] JDBC-vel és Spark 3.1-zel létrehozott SQL-táblák nem olvashatók a Spark 3.2-vel.
  • 2022. február 8.
    • [SPARK-27442] Eltávolított egy ellenőrző mezőt, amikor adatokat olvasott vagy írt egy Parquet-ben.
    • Az operációs rendszer biztonsági frissítései.
  • 2022. február 1.
    • Az operációs rendszer biztonsági frissítései.
  • 2022. január 26.
    • Kijavítottunk egy hibát, amely miatt a Delta-táblák egyidejű tranzakciói bizonyos ritka feltételek mellett nem szerializálható sorrendben véglegesíthetők.
    • Kijavítottunk egy hibát, amely miatt a OPTIMIZE parancs meghiúsulhatott az ANSI SQL-dialektus engedélyezésekor.
  • 2022. január 19.
    • Kisebb javítások és biztonsági fejlesztések.
    • Az operációs rendszer biztonsági frissítései.
  • 2021. november 4.
    • Kijavítottunk egy hibát, amely a strukturált stream-ek meghiúsulását okozhatta ArrayIndexOutOfBoundsException miatt.
    • Kijavítottunk egy olyan versenyfeltételt, amely egy IOException-hez hasonló java.io.IOException: No FileSystem for scheme lekérdezési hibát okozhat, vagy amely miatt a módosítások sparkContext.hadoopConfiguration nem lépnek érvénybe a lekérdezésekben.
    • Az Apache Spark Connector for Delta Sharing 0.2.0-ra lett frissítve.
  • 2021. október 20.
    • A BigQuery-összekötő 0.18.1-ről 0.22.2-re frissült. Ez támogatja a BigNumeric típust.
  • Last updated on