Databricks Runtime karbantartási frissítések

Ez a cikk a Támogatott Databricks Runtime-verziók karbantartási frissítéseit sorolja fel. Ha karbantartási frissítést szeretne hozzáadni egy meglévő fürthöz, indítsa újra a klasztert. A nem támogatott Databricks Runtime-verziók karbantartási frissítéseit a Databricks Runtime karbantartási frissítései (archiválva) című témakörben találja.

Feljegyzés

A kiadások szakaszosak. Előfordulhat, hogy az Azure Databricks-fiókja a kezdeti kiadási dátum után néhány napig nem frissül.

Databricks Runtime-kiadások

Karbantartási frissítések kiadás szerint:

• Databricks Runtime 17.0
• Databricks Runtime 16.4
• Databricks Runtime 16.3
• Databricks Runtime 16.2
• Databricks Runtime 16.1
• Databricks Runtime 15.4
• Databricks Runtime 14.3
• Databricks Runtime 13.3 LTS
• Databricks Runtime 12.2 LTS
• Databricks Runtime 11.3 LTS
• Databricks Runtime 10.4 LTS
• Databricks Runtime 9.1 LTS

Databricks Runtime 17.0

Lásd : Databricks Runtime 17.0.

• 2025. július 15.
  • Kijavítottunk egy nem determinisztikus adatvesztési hibát, amely a Spark Strukturált Adatfolyam használatakor, amikor adatokat streamelünk a Pulsarból.
  • [SPARK-52430][SQL] Hiba elhárítása az Union érvénytelenségével az rCTEs-ben
  • [SPARK-52503][SQL][CONNECT] Javítás drop , ha a bemeneti oszlop nem létezik
  • [SPARK-52579][PYTHON] Rendszeres nyomkövetési memóriakép beállítása Python-feldolgozókhoz
  • [SPARK-52450] A séma mélytükrözés teljesítményének javítása
  • [SPARK-52599][PYTHON] A vezérlőoldali dolgozók rendszeres nyomkövetési memóriaképének támogatása
  • [SPARK-52553][SS] A NumberFormatException javítása az 1- es verzió változásnaplójának olvasásakor
  • Az operációs rendszer biztonsági frissítései.

• 2025. május 28.
  • Frissített Python-kódtárak:
    • google-hitelesítés 2.40.0-tól 2.40.1-ig
    • mlflow-skinny 2.22.0-tól 3.0.0-ra
    • opentelemetry-api 1.32.1 és 1.33.0 között
    • opentelemetry-sdk 1.32.1 és 1.33.0 között
    • opentelemetry-szemantic-conventions 0.53b1-től 0.54b0-ra
  • Frissített Java-kódtárak:
    • io.delta.delta-sharing-client_2.13 1.3.0 és 1.3.3 között
  • A ZStandard kitömörítés támogatása a fájladatos forrásolvasókhoz (JSON, CSV, XML és szöveg).
  • Kijavítottuk azt a korlátozást, hogy a cloud_files_state TVF függvény nem használható a streamelési táblák fájlszintű állapotának olvasására a folyamatok között
  • Kijavítja a Unity Catalog engedélyezési problémáit az ideiglenes nézetekben lévő lekérdezésekhez.
  • Megváltoztatott jelölő a 17.0.1-ben, bevezették a SAFE jelzőt minden munkaterületen a 17.0.0-hoz.
  • Delta Sharing-támogatás a Spark Parquet I/O-gyorsítótár használatához előre aláírt URL-címeket használó lekérdezésekhez (a 17.0.1-es verziótól érhető el).
  • A ZStandard kitömörítés támogatása a fájladatos forrásolvasókhoz (JSON, CSV, XML és szöveg).
  • A Teradata-összekötő alapértelmezés szerint egy TMODE=ANSI-t ad át az illesztőnek. Ez azt jelenti, hogy a Lakehouse Federation által végzett összes string összehasonlítás érzékeny a kis- és nagybetűkre.
  • [SPARK-51921][SS][PYTHON] TTL-időtartamú hosszú típus használata ezredmásodpercben az transformWithState-ben
  • [SPARK-52259][ML][CONNECT] A paramosztály bináris kompatibilitásának javítása
  • [SPARK-52195][PYTHON][SS] A Python TWS kezdeti állapotoszlop-elvetési problémájának javítása
  • [SPARK-52057] [ML] [CONNECT] A fa méretkorlátjával kapcsolatos figyelmeztető üzenetek összegyűjtése az ügyfélhez
  • [SPARK-52051] [ML] [CONNECT] Engedélyezze a modell összegzését, ha engedélyezve van a memóriavezérlés
  • [SPARK-51606][CONNECT] SPARK_IDENT_STRING hozzáadása a Spark Connect-kiszolgáló leállításakor
  • [15.4-16.4][spark-52521]](https://issues.apache.org/jira/browse/SPARK-52521)[SQL] Right#replacement nem érheti el dinamikusan az SQLConf-et
  • [SPARK-52232][SQL] Nem determinisztikus lekérdezések javítása, amelyek minden lépésben eltérő eredményeket eredményeznek
  • [SPARK-52013] [CONNECT] [ML] Eltávolítás SparkConnectClient.ml_caches
  • [SPARK-52353][SQL] Hiba kijavítása az UnionLoop korábbi iterációira hivatkozó LogicRDD-kben nem megfelelő korlátozásokkal
  • [SPARK-52130] [ML] [CONNECT] Pontosítsa a hibaüzenetet, és rejtse el a belső Spark-konfigurációt
  • [SPARK-52470][ML][CONNECT] Modell összefoglaló átvitel támogatása
  • [SPARK-51935][SQL] Az iterátorok lusta viselkedésének javítása az értelmezett df.collect()
  • [SPARK-52482][SQL][CORE] ZStandard-támogatás fájladatforrás-olvasóhoz
  • [SPARK-52159][SQL] A jdbc-dialektusok táblalétezés-ellenőrzésének megfelelő kezelése
  • [SPARK-52010] Ne hozzon létre API-dokumentumokat belső osztályokhoz
  • [SPARK-52049] Kijavítottuk azt a hibát, amely miatt az XML-attribútumok nem elemezhetők Variantként
  • [SPARK-52312][SQL] A V2WriteCommand figyelmen kívül hagyása a DataFrame gyorsítótárazásakor
  • [SPARK-52229][ML][CONNECT] A modell méretbecslésének javítása
  • [SPARK-50815][PYTHON] A váltakozó helyi adatok Arrow konverziójának javítása
  • [SPARK-52040][PYTHON][SQL][CONNECT] A ResolveLateralColumnAliasReference-nek meg kell őriznie a terv azonosítóját
  • [SPARK-51981][SS] JobTags hozzáadása a queryStartedEvent lekérdezéshez
  • [JAVÍTÁS VISSZAÁLLÍTÁSA][spark-52100]](https://issues.apache.org/jira/browse/SPARK-52100)[SQL] A rekurziós szint korlátjának felülbírálása a szintaxisban
  • [SPARK-52101][SQL] Az rCTE-k inline kényszerítésének letiltása
  • [SPARK-52099][SQL] A rekurziós sor korlátjának felülbírálása operátor LIMIT hozzáadásával
  • Az operációs rendszer biztonsági frissítései.

Databricks Runtime 16.4

Lásd : Databricks Runtime 16.4 LTS.

• 2025. július 15.
  • Kijavítottunk egy nem determinisztikus adatvesztési hibát, amely a Spark Strukturált streamelés használatával Pulsarról streamelt adatokat érintette.
  • [SPARK-52579][PYTHON] Rendszeres nyomkövetési memóriakép beállítása Python-feldolgozókhoz
  • [SPARK-52553][SS] A NumberFormatException javítása az 1- es verzió változásnaplójának olvasásakor
  • [SPARK-52450] A séma mélytükrözés teljesítményének javítása
  • [SPARK-52503][SQL][CONNECT] Javítás drop , ha a bemeneti oszlop nem létezik
  • [SPARK-52599][PYTHON] Támogatás a rendszeres nyomkövetési memóriaképekhez az illesztőprogram oldalán lévő dolgozók esetében
  • Az operációs rendszer biztonsági frissítései.

• 2025. július 1.
  • A ZStandard kitömörítés támogatása a fájladatos forrásolvasókhoz (JSON, CSV, XML és szöveg).
  • A ZStandard kitömörítés támogatása a fájladatos forrásolvasókhoz (JSON, CSV, XML és szöveg).
  • [15.4-16.4][spark-52521]](https://issues.apache.org/jira/browse/SPARK-52521)[SQL] Right#replacement nem érheti el dinamikusan az SQLConf-et
  • [SPARK-52482][SQL][CORE] ZStandard-támogatás fájladatforrás-olvasóhoz
  • [SPARK-52312][SQL] A V2WriteCommand figyelmen kívül hagyása a DataFrame gyorsítótárazásakor
  • Az operációs rendszer biztonsági frissítései.

• 2025. június 17.
  • Kijavítottuk azt a korlátozást, hogy a cloud_files_state táblaértékű függvény (TVF) nem használható a streamelési táblák fájlszintű állapotának olvasására a folyamatok között.
  • Kijavítottuk a Unity Catalog engedélyezési problémáit az ideiglenes nézetekben lévő lekérdezésekhez.
  • [SPARK-52040][PYTHON][SQL][CONNECT] A ResolveLateralColumnAliasReference-nek meg kell őriznie a terv azonosítóját
  • Az operációs rendszer biztonsági frissítései.

• 2025. június 3.
  • [SPARK-52195][PYTHON][SS] A Python TWS kezdeti állapotoszlop-elvetési problémájának javítása
  • [SPARK-52159][SQL] A jdbc-dialektusok táblalétezés-ellenőrzésének megfelelő kezelése
  • Egyéb hibajavítások.

• 2025. május 7.
  • Frissített Java-kódtárak:
    • io.delta.delta-sharing-client_2.13 verziója 1.2.3-tól 1.2.7-ig
    • org.apache.avro.avro 1.11.3 és 1.11.4 között
    • org.apache.avro.avro-ipc 1.11.3 és 1.11.4 között
    • org.apache.avro.avro-mapred 1.11.3-tól 1.11.4-re
  • A streamelt klónozott munkamenetet a foreachBatch felhasználói függvényen belül fogják használni a megosztott fürtök/serverless környezetekben. Ez igazodik a klasszikus "Assigned Clusters" viselkedéséhez.
  • A streamelt klónozott munkamenetet a foreachBatch felhasználói függvényen belül fogják használni a megosztott fürtök/serverless környezetekben. Ez igazodik a klasszikus "Assigned Clusters" viselkedéséhez.
  • A változtatás előtt az elérési utak kifejezéseiben lévő kezdeti szóközöket és tabulátorokat figyelmen kívül hagyta, amikor a Photon le van tiltva. Például select variant_get(parse_json('{"key": "value"}'), '$['key']') nem lenne hatékony az érték kinyerésében "key". A felhasználók azonban most már kinyerhetik az ilyen kulcsokat.
  • [SPARK-51935][SQL] Az iterátorok lusta viselkedésének javítása az értelmezett df.collect()
  • [SPARK-51921][SS][PYTHON] TTL-időtartamú hosszú típus használata ezredmásodpercben az transformWithState-ben
  • [SPARK-51940][SS] Interfész hozzáadása a streamelési ellenőrzőpont metaadatainak kezeléséhez
  • [SPARK-52049] Kijavítottuk azt a hibát, amely miatt az XML-attribútumok nem elemezhetők Variantként
  • [SPARK-51904][SS] A StateSchemaV3 aszinkron metaadatainak törlése és a nem kötegelt fájlok figyelmen kívül hagyása az OperátorMetadata-fájlok listázásakor
  • [SPARK-51869][SS] Felhasználói hibák besorolásának létrehozása a Scala TransformWithState UDF-jeiben
  • [SPARK-51889][PYTHON][SS] A MapState clear() hiba kijavítása a Python TWS-ben
  • [SPARK-51922] [SS] A StateStoreChangelogReaderFactory által kiváltott UTFDataFormatException javítása az 1-es verzióhoz
  • [SPARK-51848][SQL] Az XML-rekordok elemzésének javítása a Variant tömb/szerkezetek/leképezések meghatározott sémájával
  • Az operációs rendszer biztonsági frissítései.

Databricks Runtime 16.3

Lásd : Databricks Runtime 16.3.

• 2025. július 15.
  • Kijavítottunk egy nem determinisztikus adatvesztési hibát, amely akkor lépett fel, amikor a Spark Strukturált Streaminget használták adatok streamelésére a Pulsarból.
  • [SPARK-52553][SS] A NumberFormatException javítása az 1- es verzió változásnaplójának olvasásakor
  • Az operációs rendszer biztonsági frissítései.

• 2025. július 1.
  • A ZStandard kitömörítés támogatása a fájladatos forrásolvasókhoz (JSON, CSV, XML és szöveg).
  • A ZStandard kitömörítés támogatása a fájladatos forrásolvasókhoz (JSON, CSV, XML és szöveg).
  • [SPARK-52482][SQL][CORE] ZStandard-támogatás fájladatforrás-olvasóhoz
  • [SPARK-52312][SQL] A V2WriteCommand figyelmen kívül hagyása a DataFrame gyorsítótárazásakor
  • [15.4-16.4][spark-52521]](https://issues.apache.org/jira/browse/SPARK-52521)[SQL] Right#replacement nem érheti el dinamikusan az SQLConf-et
  • Az operációs rendszer biztonsági frissítései.

• 2025. június 17.
  • Kijavítottuk azt a korlátozást, hogy a cloud_files_state táblaértékű függvény (TVF) nem használható a streamelési táblák fájlszintű állapotának olvasására a folyamatok között.
  • [SPARK-52040][PYTHON][SQL][CONNECT] A ResolveLateralColumnAliasReference-nek meg kell őriznie a terv azonosítóját
  • Az operációs rendszer biztonsági frissítései.

• 2025. június 3.
  • Frissített Python-kódtárak:
    • titkosítás a 41.0.7, 41.0.7, 42.0.5 és 42.0.5 között
    • csomagolás 24.0, 24.1-ről 24.1-re
    • platformdirs 3.10.0, 4.2.2 és 3.10.0 között
    • pyparsing 3.0.9, 3.1.1-ről 3.0.9-re
    • Autocommand 2.2.2 hozzáadva
    • Hozzáadva a backports.tarfile 1.2.0
    • Hozzáadva importlib_resources 6.4.0
    • Új inflect 7.3.1
    • Hozzáadva: jaraco.context 5.3.0
    • Hozzáadott jaraco.functools 4.0.1
    • Hozzáadva: jaraco.text 3.12.1
    • A more-itertools 10.3.0-t hozzáadták.
    • Pip 24.2 hozzáadva
    • Hozzáadott telepítők 74.0.0
    • Tomli 2.0.1 hozzáadva
    • Typeguard 4.3.0 hozzáadva
    • Hozzáadva wcwidth 0.2.5
    • Hozzáadott kerék 0.43.0
    • Az 1.9.0 verzió eltávolítva.
    • Eltávolított disztribúciós információ 1.7+build1
    • Eltávolított python-apt 2.7.7+ubuntu4
  • [SPARK-52195][PYTHON][SS] A Python TWS kezdeti állapotoszlop-elvetési problémájának javítása
  • [SPARK-52159][SQL] A jdbc-dialektusok táblalétezés-ellenőrzésének megfelelő kezelése
  • Az operációs rendszer biztonsági frissítései.

• 2025. május 20.
  • Frissített Java-kódtárak:
    • io.delta.delta-sharing-client_2.12 1.2.6 és 1.2.7 között
    • org.apache.avro.avro 1.11.3 és 1.11.4 között
    • org.apache.avro.avro-ipc 1.11.3 és 1.11.4 között
    • org.apache.avro.avro-mapred 1.11.3-tól 1.11.4-re
  • A streamelt klónozott munkamenetet a foreachBatch felhasználói függvényen belül fogják használni a megosztott fürtök/serverless környezetekben. Ez igazodik a klasszikus "Assigned Clusters" viselkedéséhez.
  • A streamelt klónozott munkamenetet a foreachBatch felhasználói függvényen belül fogják használni a megosztott fürtök/serverless környezetekben. Ez igazodik a klasszikus "Assigned Clusters" viselkedéséhez.
  • A változtatás előtt az elérési utak kifejezéseiben lévő kezdeti szóközöket és tabulátorokat figyelmen kívül hagyta, amikor a Photon le van tiltva. Például select variant_get(parse_json('{"key": "value"}'), '$['key']') nem lenne hatékony az érték kinyerésében "key". A felhasználók azonban most már kinyerhetik az ilyen kulcsokat.
  • [SPARK-51921][SS][PYTHON] TTL-időtartamú hosszú típus használata ezredmásodpercben az transformWithState-ben
  • [SPARK-51935][SQL] Az iterátorok lusta viselkedésének javítása az értelmezett df.collect()
  • Az operációs rendszer biztonsági frissítései.

• 2025. április 22.
  • A deltaséma-nyomkövetés a sémafejlődési hibákat fogja felszínre hozni DELTA_STREAMING_CANNOT_CONTINUE_PROCESSING_POST_SCHEMA_EVOLUTION helyett DELTA_STREAMING_CANNOT_CONTINUE_PROCESSING_TYPE_WIDENING , hogy konzisztens legyen más, nem additív sémamódosítási kivételekkel.
  • [SPARK-51589][SQL] Kijavítottuk az összesítő függvények keresésének sikertelen kis hibáját a következőben: |>SELECT
  • [SPARK-51645][SQL] A CREATE OR REPLACE TABLE ... alapértelmezett kollekció ... lekérdezés javítása
  • "[SPARK-47895][SQL] csoport alias szerint idempotensnek kell lennie" visszaállítása a 15.4-ben, a 16.0-ban, a 16.1-ben, a 16.2-ben és a 16.3-ban
  • [SPARK-51717][SS][RocksDB] Javítsuk ki az SST-eltérés okozta sérülést, amely a második pillanatkép létrehozásakor fordulhat elő egy új lekérdezéshez.

• 2025. március 26.
  • [SPARK-51624][SQL] GetStructField metaadatok propagálása a CreateNamedStruct.dataType fájlban
  • [SPARK-51505][SQL] Üres partíciószámmetrikák naplózása az AQE coalesce-ben
  • [SPARK-47895][SQL] csoport alias szerint idempotensnek kell lennie
  • Az operációs rendszer biztonsági frissítései.

Databricks Runtime 16.2

Lásd Databricks Runtime 16.2.

• 2025. július 15.
  • Kijavítottunk egy nem determinisztikus adatvesztési hibát, amely a Spark Strukturált Streaming használatával Pulsarból történő adatfolyam esetén fordult elő.
  • [SPARK-52553][SS] A NumberFormatException javítása az 1- es verzió változásnaplójának olvasásakor
  • Az operációs rendszer biztonsági frissítései.

• 2025. július 1.
  • A ZStandard kitömörítés támogatása a fájladatos forrásolvasókhoz (JSON, CSV, XML és szöveg).
  • A ZStandard kitömörítés támogatása a fájladatos forrásolvasókhoz (JSON, CSV, XML és szöveg).
  • [15.4-16.4][spark-52521]](https://issues.apache.org/jira/browse/SPARK-52521)[SQL] Right#replacement nem érheti el dinamikusan az SQLConf-et
  • [SPARK-52312][SQL] A V2WriteCommand figyelmen kívül hagyása a DataFrame gyorsítótárazásakor
  • [SPARK-52482][SQL][CORE] ZStandard-támogatás fájladatforrás-olvasóhoz
  • Az operációs rendszer biztonsági frissítései.

• 2025. június 17.
  • Kijavítottuk azt a korlátozást, hogy a cloud_files_state táblaértékű függvény (TVF) nem használható a streamelési táblák fájlszintű állapotának olvasására a folyamatok között.
  • [SPARK-52040][PYTHON][SQL][CONNECT] A ResolveLateralColumnAliasReference-nek meg kell őriznie a terv azonosítóját
  • Az operációs rendszer biztonsági frissítései.

• 2025. június 3.
  • Frissített Python-kódtárak:
    • titkosítás a 41.0.7, 41.0.7, 42.0.5 és 42.0.5 között
    • csomagolás 24.0, 24.1-ről 24.1-re
    • platformdirs 3.10.0, 4.2.2 és 3.10.0 között
    • pyparsing 3.0.9, 3.1.1-ről 3.0.9-re
    • Autocommand 2.2.2 hozzáadva
    • Hozzáadva a backports.tarfile 1.2.0
    • Hozzáadva importlib_resources 6.4.0
    • Új inflect 7.3.1
    • Hozzáadva: jaraco.context 5.3.0
    • Hozzáadott jaraco.functools 4.0.1
    • Hozzáadva: jaraco.text 3.12.1
    • A more-itertools 10.3.0-t hozzáadták.
    • Pip 24.2 hozzáadva
    • Hozzáadott telepítők 74.0.0
    • Tomli 2.0.1 hozzáadva
    • Typeguard 4.3.0 hozzáadva
    • Hozzáadva wcwidth 0.2.5
    • Hozzáadott kerék 0.43.0
    • Az 1.9.0 verzió eltávolítva.
    • Eltávolított disztribúciós információ 1.7+build1
    • Eltávolított python-apt 2.7.7+ubuntu4
  • [SPARK-52159][SQL] A jdbc-dialektusok táblalétezés-ellenőrzésének megfelelő kezelése
  • [SPARK-52195][PYTHON][SS] A Python TWS kezdeti állapotoszlop-elvetési problémájának javítása
  • Az operációs rendszer biztonsági frissítései.

• 2025. május 20.
  • Frissített Java-kódtárak:
    • io.delta.delta-sharing-client_2.12 1.2.6 és 1.2.7 között
    • org.apache.avro.avro 1.11.3 és 1.11.4 között
    • org.apache.avro.avro-ipc 1.11.3 és 1.11.4 között
    • org.apache.avro.avro-mapred 1.11.3-tól 1.11.4-re
  • A streamelt klónozott munkamenetet a foreachBatch felhasználói függvényen belül fogják használni a megosztott fürtök/serverless környezetekben. Ez igazodik a klasszikus "Assigned Clusters" viselkedéséhez.
  • A streamelt klónozott munkamenetet a foreachBatch felhasználói függvényen belül fogják használni a megosztott fürtök/serverless környezetekben. Ez igazodik a klasszikus "Assigned Clusters" viselkedéséhez.
  • A változtatás előtt az elérési utak kifejezéseiben lévő kezdeti szóközöket és tabulátorokat figyelmen kívül hagyta, amikor a Photon le van tiltva. Például select variant_get(parse_json('{"key": "value"}'), '$[' key']') nem lenne hatékony az érték kinyerésében "key". A felhasználók azonban most már kinyerhetik az ilyen kulcsokat.
  • [SPARK-51935][SQL] Az iterátorok lusta viselkedésének javítása az értelmezett df.collect()
  • [SPARK-51921][SS][PYTHON] TTL-időtartamú hosszú típus használata ezredmásodpercben az transformWithState-ben
  • Az operációs rendszer biztonsági frissítései.

• 2025. április 22.
  • [SPARK-51717][SS][RocksDB] Javítsuk ki az SST-eltérés okozta sérülést, amely a második pillanatkép létrehozásakor fordulhat elő egy új lekérdezéshez.
  • "[SPARK-47895][SQL] csoport alias szerint idempotensnek kell lennie" visszaállítása a 15.4-ben, a 16.0-ban, a 16.1-ben, a 16.2-ben és a 16.3-ban
  • Az operációs rendszer biztonsági frissítései.

• 2025. április 9.
  • Frissített Java-kódtárak:
    • Eltávolítva "io.starburst.openjson.openjson 1.8-e.12"
    • Eltávolítva io.starburst.openx.data.json-serde 1.3.9-e.12
    • Eltávolítva io.starburst.openx.data.json-serde-generic-shim 1.3.9-e.12
  • [SPARK-47895][SQL] csoport alias szerint idempotensnek kell lennie
  • [SPARK-51505][SQL] Üres partíciószámmetrikák naplózása az AQE coalesce-ben
  • [SPARK-51624][SQL] GetStructField metaadatok propagálása a CreateNamedStruct.dataType fájlban
  • [SPARK-51589][SQL] Kijavítottuk az összesítő függvények keresésének sikertelen kis hibáját a következőben: |>SELECT
  • Az operációs rendszer biztonsági frissítései.

• 2025. március 11.
  • A Databricks Runtime 14.3-as és újabb verziói tartalmaznak egy javítást egy olyan problémára, amely bináris inkompatibilitást okozott egy SparkListenerApplicationEnd osztályt példányosító kóddal, amikor az Apache Sparkhoz lett lefordítva. Ez az inkompatibilitás a SPARK-46399 Apache Sparkba való egyesítéséből ered. Ez az egyesítés tartalmazott egy módosítást, amely hozzáadta az alapértelmezett argumentumot a SparkListenerApplicationEnd konstruktorhoz. A bináris kompatibilitás visszaállításához ez a javítás egyetlen argumentumkonstruktort ad hozzá a SparkListenerApplicationEnd osztályhoz.
  • "Visszaállítás [SPARK-48273][SQL] A PlanWithUnresolvedIdentifier késői átírásának javítása"
  • [SPARK-50985][SS] A Kafka Timestamp Offsets eltolódási hiba besorolása ahelyett, hogy hibát állítana és dobna a KafkaTokenProviderben lévő hiányzó kiszolgáló miatt.
  • [SPARK-51065][SQL] Letiltja a nem null értékű sémák engedélyezését, ha Avro kódolást használ a TransformWithState-hez
  • [SPARK-51237][SS] Api-részletek hozzáadása az új transformWithState segéd API-khoz szükség szerint
  • [SPARK-51222][SQL] ReplaceCurrentLike optimalizálása
  • [SPARK-51351][SS] A TWS-hez készült Python-feldolgozóban ne valósuljon meg a kimenet
  • [SPARK-51084][SQL] Rendelje hozzá a megfelelő hibaosztályt a NegatívSkálaNemEngedélyezettHiba értékhez
  • [SPARK-51249][SS] A NoPrefixKeyStateEncoder és az Avro kódolás javítása a megfelelő számú verzióbájt használatához
  • Az operációs rendszer biztonsági frissítései.

• 2025. február 5.
  • Ez a kiadás tartalmazza a mentett XML-adatoszlopok szerializálása során egyes adattípusok konvertálását érintő probléma javítását. Az érintett adattípusok dátumok, nem NTZ időbélyegek és decimálisok, ha prefersDecimal engedélyezve van. A mentett adatoszlopról lásd a Mi a mentett adatoszlop?.
  • [SPARK-50770][SS] A transformWithState operátor API-k csomaghatókörének eltávolítása
  • Az operációs rendszer biztonsági frissítései.

Databricks Runtime 16.1

Lásd : Databricks Runtime 16.1 (EoS).

• 2025. július 15.

  • Az operációs rendszer biztonsági frissítései.

• 2025. július 1.

  • A ZStandard kitömörítés támogatása a fájladatos forrásolvasókhoz (JSON, CSV, XML és szöveg).
  • A ZStandard kitömörítés támogatása a fájladatos forrásolvasókhoz (JSON, CSV, XML és szöveg).
  • [SPARK-52482][SQL][CORE] ZStandard-támogatás fájladatforrás-olvasóhoz
  • [15.4-16.4][spark-52521]](https://issues.apache.org/jira/browse/SPARK-52521)[SQL] Right#replacement nem érheti el dinamikusan az SQLConf-et
  • [SPARK-52312][SQL] A V2WriteCommand figyelmen kívül hagyása a DataFrame gyorsítótárazásakor
  • Az operációs rendszer biztonsági frissítései.

• 2025. június 17.

  • Kijavítottuk azt a korlátozást, hogy a cloud_files_state táblaértékű függvény (TVF) nem használható a streamelési táblák fájlszintű állapotának olvasására a folyamatok között.
  • [SPARK-52040][PYTHON][SQL][CONNECT] A ResolveLateralColumnAliasReference-nek meg kell őriznie a terv azonosítóját
  • Az operációs rendszer biztonsági frissítései.

• 2025. június 3.
  • Frissített Python-kódtárak:
    • titkosítás a 41.0.7, 41.0.7, 42.0.5 és 42.0.5 között
    • csomagolás 24.0, 24.1-ről 24.1-re
    • platformdirs 3.10.0, 4.2.2 és 3.10.0 között
    • pyparsing 3.0.9, 3.1.1-ről 3.0.9-re
    • Autocommand 2.2.2 hozzáadva
    • Hozzáadva a backports.tarfile 1.2.0
    • Hozzáadva importlib_resources 6.4.0
    • Új inflect 7.3.1
    • Hozzáadva: jaraco.context 5.3.0
    • Hozzáadott jaraco.functools 4.0.1
    • Hozzáadva: jaraco.text 3.12.1
    • A more-itertools 10.3.0-t hozzáadták.
    • Pip 24.2 hozzáadva
    • Hozzáadott telepítők 74.0.0
    • Tomli 2.0.1 hozzáadva
    • Typeguard 4.3.0 hozzáadva
    • Hozzáadva wcwidth 0.2.5
    • Hozzáadott kerék 0.43.0
    • Az 1.9.0 verzió eltávolítva.
    • Eltávolított disztribúciós információ 1.7+build1
    • Eltávolított python-apt 2.7.7+ubuntu4
  • Frissített Java-kódtárak:
    • com.github.fommil.netlib.native_ref-java 1.1 és 1.1-natív változatról 1.1, 1.1 verzióra
    • com.github.fommil.netlib.native_system-java 1.1- és 1.1-natívtól az 1.1-hez, 1.1-hez
    • com.github.fommil.netlib.netlib-native_ref-linux-x86_64 1.1-natívtól 1.1-hez
    • com.github.fommil.netlib.netlib-native_system-linux-x86_64 változtatás 1.1-natives verzióról 1.1 verzióra
    • io.netty.netty-tcnative-boringssl-static tól 2.0.61.Final-db-r16, 2.0.61.Final-db-r16-linux-aarch_64, 2.0.61.Final-db-r16-linux-x86_64, 2.0.61.Final-db-r16-osx-aarch_64, 2.0.61.Final-db-r16-osx-x86_64, 2.0.61.Final-db-r16-windows-x86_64 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16
    • io.netty.netty-transport-native-epoll from 4.1.108.Final, 4.1.108.Final-linux-aarch_64, 4.1.108.Final-linux-riscv64, 4.1.108.Final-linux-x86_64 to 4.1.108.Final, 4.1.108.Final, 4.1.108.Final, 4.1.108.Final
    • io.netty.netty-transport-native-kqueue a 4.1.108.Final-osx-aarch_64, 4.1.108.Final-osx-x86_64 verziókból a 4.1.108.Final, 4.1.108.Final verziókra
    • org.apache.orc.orc-core 1.9.2-shaded-protobuf változatról 1.9.2 változatra
    • org.apache.orc.orc-mapreduce a 1.9.2-shaded-protobuf-ról 1.9.2-re
    • software.amazon.cryptools.AmazonCorrettoCryptoProvider 2.4.1-linux-x86_64-ről 2.4.1-re
  • [SPARK-52159][SQL] A jdbc-dialektusok táblalétezés-ellenőrzésének megfelelő kezelése
  • Az operációs rendszer biztonsági frissítései.

• 2025. május 20.
  • Frissített Java-kódtárak:
    • io.delta.delta-sharing-client_2.12 1.2.5 és 1.2.7 között
    • org.apache.avro.avro 1.11.3 és 1.11.4 között
    • org.apache.avro.avro-ipc 1.11.3 és 1.11.4 között
    • org.apache.avro.avro-mapred 1.11.3-tól 1.11.4-re
  • A streamelt klónozott munkamenetet a foreachBatch felhasználói függvényen belül fogják használni a megosztott fürtök/serverless környezetekben. Ez igazodik a klasszikus "Assigned Clusters" viselkedéséhez.
  • A változtatás előtt az elérési utak kifejezéseiben lévő kezdeti szóközöket és tabulátorokat figyelmen kívül hagyta, amikor a Photon le van tiltva. Például select variant_get(parse_json('{"key": "value"}'), '$['key']') nem lenne hatékony az érték kinyerésében "key". A felhasználók azonban most már kinyerhetik az ilyen kulcsokat.
  • [SPARK-51935][SQL] Az iterátorok lusta viselkedésének javítása az értelmezett df.collect()
  • Az operációs rendszer biztonsági frissítései.

• 2025. április 22.
  • "[SPARK-47895][SQL] csoport alias szerint idempotensnek kell lennie" visszaállítása a 15.4-ben, a 16.0-ban, a 16.1-ben, a 16.2-ben és a 16.3-ban
  • [SPARK-50682][SQL] A belső aliast kanonikusan kell használni
  • [SPARK-51717][SS][RocksDB] Javítsuk ki az SST-eltérés okozta sérülést, amely a második pillanatkép létrehozásakor fordulhat elő egy új lekérdezéshez.
  • Az operációs rendszer biztonsági frissítései.

• 2025. április 9.
  • Frissített Java-kódtárak:
    • Eltávolítva "io.starburst.openjson.openjson 1.8-e.12"
    • Eltávolítva io.starburst.openx.data.json-serde 1.3.9-e.12
    • Eltávolítva io.starburst.openx.data.json-serde-generic-shim 1.3.9-e.12
  • [SPARK-51505][SQL] Üres partíciószámmetrikák naplózása az AQE coalesce-ben
  • [SPARK-51624][SQL] GetStructField metaadatok propagálása a CreateNamedStruct.dataType fájlban
  • [SPARK-47895][SQL] csoport alias szerint idempotensnek kell lennie
  • Az operációs rendszer biztonsági frissítései.

• 2025. március 11.
  • A Databricks Runtime 14.3-as és újabb verziói tartalmaznak egy javítást egy olyan problémára, amely bináris inkompatibilitást okozott egy SparkListenerApplicationEnd osztályt példányosító kóddal, amikor az Apache Sparkhoz lett lefordítva. Ez az inkompatibilitás a SPARK-46399 Apache Sparkba való egyesítéséből ered. Ez az egyesítés tartalmazott egy módosítást, amely hozzáadta az alapértelmezett argumentumot a SparkListenerApplicationEnd konstruktorhoz. A bináris kompatibilitás visszaállításához ez a javítás egyetlen argumentumkonstruktort ad hozzá a SparkListenerApplicationEnd osztályhoz.
  • [SPARK-51084][SQL] Rendelje hozzá a megfelelő hibaosztályt a NegatívSkálaNemEngedélyezettHiba értékhez
  • Visszaállítás [SPARK-48273][SQL] A PlanWithUnresolvedIdentifier késői átírásának javítása
  • [SPARK-51222][SQL] ReplaceCurrentLike optimalizálása
  • [SPARK-50985][SS] A Kafka Timestamp Offsets eltolódási hiba besorolása ahelyett, hogy hibát állítana és dobna a KafkaTokenProviderben lévő hiányzó kiszolgáló miatt.
  • [SPARK-50791][SQL] Az NPE javítása a State Store hibakezelésében
  • Az operációs rendszer biztonsági frissítései.

• 2025. február 11.
  • Ez a kiadás tartalmazza a mentett XML-adatoszlopok szerializálása során egyes adattípusok konvertálását érintő probléma javítását. Az érintett adattípusok dátumok, nem NTZ időbélyegek és decimálisok, ha prefersDecimal engedélyezve van. A mentett adatoszlopról lásd a Mi a mentett adatoszlop?.
  • [SPARK-50492][SS] Kijavítottuk a java.util.NoSuchElementException hibát, ha a dropDuplicatesWithinWatermark után az eseményidő oszlop el lett vetve
  • Az operációs rendszer biztonsági frissítései.

• 2024. november 27.
  • Ez a kiadás tartalmaz egy javítást egy olyan hibára, amely miatt a Delta-tábla elsődleges kulcsa bizonyos háttérbeli automatikus tömörítési szélsőséges eseteknél eltávolításra kerülhet.
  • Ez a kiadás tartalmazza a mentett XML-adatoszlopok szerializálása során egyes adattípusok konvertálását érintő probléma javítását. Az érintett adattípusok dátumok, nem NTZ időbélyegek és decimálisok, ha prefersDecimal engedélyezve van. A mentett adatoszlopról lásd a Mi a mentett adatoszlop?.
  • Ezzel a kiadással az SSD által a Databricks számítási csomópontban használt gyorsítótár mérete dinamikusan bővülhet az SSD kezdeti méretére, és szükség szerint pedig csökkenhet a korlátig spark.databricks.io.cache.maxDiskUsage. Lásd: A teljesítmény optimalizálása a gyorsítótár használatával az Azure Databricks-en.
  • [SPARK-50338][CORE] A LazyTry-kivételek legyenek kevésbé részletesek
  • Az operációs rendszer biztonsági frissítései.

Databricks Runtime 15.4 verzió

Lásd: Databricks Runtime 15.4 LTS.

• 2025. július 15.
  • Kijavítottunk egy nem determinisztikus adatvesztési hibát a Spark struktúrált adatfolyam-kezelésének használatakor, amikor adatokat a Pulsarból streamelgettünk.
  • [SPARK-52503][SQL][CONNECT] Javítás drop , ha a bemeneti oszlop nem létezik

• 2025. július 1.
  • Frissített Java-kódtárak:
    • org.mlflow.mlflow-spark_2.12 verziófrissítése 2.9.1-ról 2.11.3-ra
    • El lett távolítva a com.fasterxml.jackson.dataformat.jackson-dataformat-yaml 2.15.2
    • Eltávolított org.slf4j.slf4j-simple 1.7.25
  • A ZStandard kitömörítés támogatása a fájladatos forrásolvasókhoz (JSON, CSV, XML és szöveg).
  • A ZStandard kitömörítés támogatása a fájladatos forrásolvasókhoz (JSON, CSV, XML és szöveg).
  • [15.4-16.4][spark-52521]](https://issues.apache.org/jira/browse/SPARK-52521)[SQL] Right#replacement nem érheti el dinamikusan az SQLConf-et
  • [SPARK-52482][SQL][CORE] ZStandard-támogatás fájladatforrás-olvasóhoz
  • [SPARK-52312][SQL] A V2WriteCommand figyelmen kívül hagyása a DataFrame gyorsítótárazásakor
  • Az operációs rendszer biztonsági frissítései.

• 2025. június 17.
  • Kijavítottuk azt a korlátozást, hogy a cloud_files_state táblaértékű függvény (TVF) nem használható a streamelési táblák fájlszintű állapotának olvasására a folyamatok között.
  • [SPARK-49646][SQL] Javítottuk az al-lekérdezés dekorrelációját unió/halmaz műveletekhez, amikor a parentOuterReferences olyan hivatkozásokat tartalmaz, amelyeket a collectedChildOuterReferences nem fed le.
  • [SPARK-52040][PYTHON][SQL][CONNECT] A ResolveLateralColumnAliasReference-nek meg kell őriznie a terv azonosítóját

• 2025. június 3.
  • Frissített Python-kódtárak:
    • titkosítás a 3.4.8, 41.0.3 és 41.0.3 között
    • filelock 3.13.4, 3.15.4 és 3.13.4 között
    • importlib-metadata 4.6.4-től 6.0.0-tól 6.0.0-ra
    • platformdirs 3.10.0, 3.11.0 és 3.10.0 között
    • pyparsing 2.4.7-től, 3.0.9-től 3.0.9-ig
    • zipp 1.0.0, 3.11.0 és 3.11.0 között
    • A pip 23.2.1-et hozzáadtuk
    • Hozzáadott telepítők 68.0.0
    • Hozzáadva wcwidth 0.2.5
    • Hozzáadott kerék 0.38.4
    • Eltávolított verzió 1.7.0
    • A rendszer eltávolította a következőt: distro-info 1.1+ubuntu0.2
    • El lett távolítva a Python-apt 2.4.0+ubuntu4
  • Frissített Java-kódtárak:
    • com.github.fommil.netlib.native_ref-java 1.1 és 1.1-natív változatról 1.1, 1.1 verzióra
    • com.github.fommil.netlib.native_system-java 1.1- és 1.1-natívtól az 1.1-hez, 1.1-hez
    • com.github.fommil.netlib.netlib-native_ref-linux-x86_64 1.1-natívtól 1.1-hez
    • com.github.fommil.netlib.netlib-native_system-linux-x86_64 változtatás 1.1-natives verzióról 1.1 verzióra
    • io.netty.netty-tcnative-boringssl-static tól 2.0.61.Final-db-r16-linux-aarch_64, 2.0.61.Final-db-r16-linux-x86_64, 2.0.61.Final-db-r16-osx-aarch_64, 2.0.61.Final-db-r16-osx-x86_64, 2.0.61.Final-db-r16-windows-x86_64, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16
    • io.netty.netty-transport-native-epoll 4.1.96.Final, 4.1.96.Final-linux-aarch_64, 4.1.96.Final-linux-x86_64 verzióból a 4.1.96.Final, 4.1.96.Final, 4.1.96.Final verzióra
    • io.netty.netty-transport-native-kqueue tól 4.1.96.Final-osx-aarch_64, 4.1.96.Final-osx-x86_64 ig 4.1.96.Final, 4.1.96.Final
    • org.apache.orc.orc-core 1.9.2-shaded-protobuf változatról 1.9.2 változatra
    • org.apache.orc.orc-mapreduce a 1.9.2-shaded-protobuf-ról 1.9.2-re
    • software.amazon.cryptools.AmazonCorrettoCryptoProvider 1.6.2-linux-x86_64-ról 1.6.2-re
  • [SPARK-52159][SQL] A jdbc-dialektusok táblalétezés-ellenőrzésének megfelelő kezelése
  • Az operációs rendszer biztonsági frissítései.

• 2025. május 20.
  • Frissített Java-kódtárak:
    • io.delta.delta-sharing-client_2.12 1.1.5-től 1.1.6-osig
  • A streamelt klónozott munkamenetet a foreachBatch felhasználói függvényen belül fogják használni a megosztott fürtök/serverless környezetekben. Ez igazodik a klasszikus "Assigned Clusters" viselkedéséhez.
  • A változtatás előtt az elérési utak kifejezéseiben lévő kezdeti szóközöket és tabulátorokat figyelmen kívül hagyta, amikor a Photon le van tiltva. Például select variant_get(parse_json('{"key": "value"}'), '$['key']') nem lenne hatékony az érték kinyerésében "key". A felhasználók azonban most már kinyerhetik az ilyen kulcsokat.
  • [SPARK-51935][SQL] Az iterátorok lusta viselkedésének javítása az értelmezett df.collect()
  • Az operációs rendszer biztonsági frissítései.

• 2025. április 22.
  • Frissített Java-kódtárak:
    • org.apache.avro.avro 1.11.3 és 1.11.4 között
    • org.apache.avro.avro-ipc 1.11.3 és 1.11.4 között
    • org.apache.avro.avro-mapred 1.11.3-tól 1.11.4-re
  • "[SPARK-47895][SQL] csoport alias szerint idempotensnek kell lennie" visszaállítása a 15.4-ben, a 16.0-ban, a 16.1-ben, a 16.2-ben és a 16.3-ban
  • [SPARK-50682][SQL] A belső aliast kanonikusan kell használni
  • Az operációs rendszer biztonsági frissítései.

• 2025. április 9.
  • (Viselkedésbeli változás) A kritikus biztonsági javítások alkalmazásához az alapértelmezett Python-verzió a Python 3.11.11-es verziójára frissül a Python 3.11.0rc1-ből. Ez a frissítés hatással lehet a Databricks Runtime 15.4 LTS-en futó egyes számítási feladatokra, például olyan számítási feladatokra, amelyek Python-szerializálással tárolják és visszaállítják az állapotot a 3.11.0 Python-verzióra rögzített végrehajtások vagy számítási feladatok között.
  • Frissített Java-kódtárak:
    • Eltávolítva "io.starburst.openjson.openjson 1.8-e.12"
    • Eltávolítva io.starburst.openx.data.json-serde 1.3.9-e.12
    • Eltávolítva io.starburst.openx.data.json-serde-generic-shim 1.3.9-e.12
  • [SPARK-47895][SQL] csoport alias szerint idempotensnek kell lennie
  • [SPARK-51624][SQL] GetStructField metaadatok propagálása a CreateNamedStruct.dataType fájlban
  • Az operációs rendszer biztonsági frissítései.

• 2025. március 31.
  • A Photon databricks-feature-engineering esetében nem engedélyezett számítás esetén a rendszer 0.8.0-ra frissül. A Photon-kompatibilis számítás databricks-feature-engineering esetében a 0.6.0 marad.
• 2025. március 11.
  • A Databricks Runtime 14.3-as és újabb verziói tartalmaznak egy javítást egy olyan problémára, amely bináris inkompatibilitást okozott egy SparkListenerApplicationEnd osztályt példányosító kóddal, amikor az Apache Sparkhoz lett lefordítva. Ez az inkompatibilitás a SPARK-46399 Apache Sparkba való egyesítéséből ered. Ez az egyesítés tartalmazott egy módosítást, amely hozzáadta az alapértelmezett argumentumot a SparkListenerApplicationEnd konstruktorhoz. A bináris kompatibilitás visszaállításához ez a javítás egyetlen argumentumkonstruktort ad hozzá a SparkListenerApplicationEnd osztályhoz.
  • [SPARK-50985][SS] A Kafka Timestamp Offsets eltolódási hiba besorolása ahelyett, hogy hibát állítana és dobna a KafkaTokenProviderben lévő hiányzó kiszolgáló miatt.
  • [SPARK-50791][SQL] Az NPE javítása a State Store hibakezelésében
  • [SPARK-50310][PYTHON] Jobb oszlopteljesítmény, ha a DQC le van tiltva
  • [SPARK-51222][SQL] ReplaceCurrentLike optimalizálása
  • [SPARK-49525][SS][CONNECT] Kisebb naplózási fejlesztés a szerveroldali streamelési lekérdezésfigyelő buszfigyelőjéhez
  • [SPARK-51084][SQL] Rendelje hozzá a megfelelő hibaosztályt a NegatívSkálaNemEngedélyezettHiba értékhez
  • Az operációs rendszer biztonsági frissítései.

• 2025. február 11.
  • Ez a kiadás tartalmazza a mentett XML-adatoszlopok szerializálása során egyes adattípusok konvertálását érintő probléma javítását. Az érintett adattípusok dátumok, nem NTZ időbélyegek és decimálisok, ha prefersDecimal engedélyezve van. A mentett adatoszlopról lásd a Mi a mentett adatoszlop?.
  • [SPARK-50492][SS] Kijavítottuk a java.util.NoSuchElementException hibát, ha a dropDuplicatesWithinWatermark után az eseményidő oszlop el lett vetve
  • Az operációs rendszer biztonsági frissítései.
  • Olyan számításhoz, amely nem engedélyezett Photonhez, mlflow-skinny verzióra lesz frissítve 2.19.0. A Photon-kompatibilis számítások mlflow-skinny esetében a 2.13.1-nél marad.

• 2024. december 10.
  • A USE CATALOG utasítás mostantól támogatja a IDENTIFIER feltételt. Ezzel a támogatással paraméterezheti az aktuális katalógust egy sztringváltozó vagy paraméterjelölő alapján.
  • Ez a kiadás tartalmaz egy javítást egy olyan hibára, amely miatt a Delta-tábla elsődleges kulcsa bizonyos háttérbeli automatikus tömörítési szélsőséges eseteknél eltávolításra kerülhet.
  • Ezzel a kiadással az SSD által a Databricks számítási csomópontban használt gyorsítótár mérete dinamikusan bővülhet az SSD kezdeti méretére, és szükség szerint pedig csökkenhet a korlátig spark.databricks.io.cache.maxDiskUsage. Lásd: A teljesítmény optimalizálása a gyorsítótár használatával az Azure Databricks-en.
  • A pyodbc csomag a 4.0.38-es verzióról a 4.0.39-es verzióra frissül. Ez a módosítás azért szükséges, mert hiba történt a 4.0.38-es verzióban, és a verzió el lett távolítva a PyPI-ból.
  • [SPARK-50329][SQL] kijavította az InSet$toStringet
  • [SPARK-47435][SQL] Kijavítottuk a MySQL UNSIGNED TINYINT túlcsordulási problémáját
  • [SPARK-49757][SQL] IDENTIFIER kifejezés támogatása SETCATALOG utasításban
  • [SPARK-50426][PYTHON] A statikus Python-adatforrások keresésének elkerülése beépített vagy Java-adatforrások használatakor
  • [SPARK-48863][SQL] Javítsuk ki a ClassCastException hibát, amikor a JSON-t a "spark.sql.json.enablePartialResults" engedélyezve van
  • [SPARK-50310][PYTHON] Jelölő hozzáadása a DataFrameQueryContext pySparkhoz való letiltásához
  • [15.3-15.4] [SPARK-50034][CORE] A végzetes hibák téves hiba nélküli kivételként történő jelentésének javítása SparkUncaughtExceptionHandler
  • Az operációs rendszer biztonsági frissítései.
• 2024. november 26.
  • Ezzel a kiadással most már lekérdezheti a vector_search függvényt query_text szövegbevitelhez vagy query_vector a bemenet beágyazásához.
  • Mostantól időtúllépést állíthat be a Spark Connect-lekérdezésekhez a Spark konfigurációs tulajdonságával spark.databricks.execution.timeout. Serverless számítási környezetben futó notebookok esetében az alapértelmezett érték 9000 (másodperc). A kiszolgáló nélküli számítási és számítási feladatok normál hozzáférési módban nem rendelkeznek időtúllépéssel, kivéve, ha ez a konfigurációs tulajdonság be van állítva. A megadott időtúllépésnél hosszabb ideig tartó végrehajtás QUERY_EXECUTION_TIMEOUT_EXCEEDED hibát eredményez.
  • [SPARK-50322][SQL] Paraméterezett azonosító javítása al-lekérdezésben
  • [SPARK-49615] [ML] Végezze el az összes ML-funkcióátalakító adatkészlet sémaérvényesítését a "spark.sql.caseSensitive" konfigurációnak megfelelően.
  • [SPARK-50124][SQL] LIMIT/OFFSET őrizze meg az adatrendezést
  • Az operációs rendszer biztonsági frissítései.
• 2024. november 5.
  • (Kompatibilitástörő változás) A Databricks Runtime 15.4-ben és újabb verzióiban a Photonben a reguláris kifejezéskezelés az Apache Spark normál kifejezéskezelésének megfelelően frissül. Korábban a Photon által futtatott reguláris kifejezésfüggvények( például split() és regexp_extract()) elfogadtak néhány, a Spark-elemző által elutasított reguláris kifejezést. Az Apache Sparkkal való konzisztenciának fenntartása érdekében a Photon-lekérdezések nem fognak működni a Spark által érvénytelennek ítélt reguláris kifejezések esetében. A módosítás miatt hibákat tapasztalhat, ha a Spark-kód érvénytelen reguláris kifejezéseket tartalmaz. A split(str_col, '{')kifejezés például, amely egy nem egyező zárójelet tartalmaz, és amelyet a Photon korábban elfogadott, most meghiúsul. A kifejezés kijavításához a kapcsos zárójelet ki kell kerülnie: split(str_col, '\\{'). A Photon és a Spark viselkedése is eltért a nem ASCII-karakterek rendszeres kifejezések illesztésénél. Ez is frissül, így a Photon megegyezik az Apache Spark viselkedésével.
  • [SPARK-49782][SQL] A ResolveDataFrameDropColumns szabály feloldja az UnresolvedAttribute-t a gyermek kimenetével
  • [SPARK-49867][SQL] A GetColumnByOrdinal hívásakor az index túllépése esetén megjelenő hibaüzenet javítása
  • [SPARK-49863][SQL] A NormalizeFloatingNumbers javítása a beágyazott szerkezetek null értékűségének megőrzése érdekében
  • [SPARK-49829] A stream-stream illesztés állapottárolóba történő bemenetének hozzáadására vonatkozó optimalizálás módosítása (helyességi javítás)
  • [SPARK-49905] Dedikált "ShuffleOrigin" használata állapotalapú operátorokhoz, hogy megakadályozzuk a shuffle módosítását az AQE által.
  • [SPARK-46632][SQL] A szubexpresszió kizárásának javítása, ha az egyenértékű ternáris kifejezések eltérő gyermekekkel rendelkeznek
  • [SPARK-49443][SQL][PYTHON] A to_variant_object kifejezés implementálása és schema_of_variant kifejezések nyomtatása OBJECT for Variant Objects
  • [SPARK-49615] Hibajavítás: Az ML oszlopséma érvényesítésének igazítása a Spark konfigurációhoz spark.sql.caseSensitive.
• 2024. október 22.
  • [SPARK-49782][SQL] A ResolveDataFrameDropColumns szabály feloldja az UnresolvedAttribute-t a gyermek kimenetével
  • [SPARK-49867][SQL] A GetColumnByOrdinal hívásakor az index túllépése esetén megjelenő hibaüzenet javítása
  • [SPARK-49863][SQL] A NormalizeFloatingNumbers javítása a beágyazott szerkezetek null értékűségének megőrzése érdekében
  • [SPARK-49829] A stream-stream illesztés állapottárolóba történő bemenetének hozzáadására vonatkozó optimalizálás módosítása (helyességi javítás)
  • [SPARK-49905] Dedikált "ShuffleOrigin" használata állapotalapú operátorokhoz, hogy megakadályozzuk a shuffle módosítását az AQE által.
  • [SPARK-46632][SQL] A szubexpresszió kizárásának javítása, ha az egyenértékű ternáris kifejezések eltérő gyermekekkel rendelkeznek
  • [SPARK-49443][SQL][PYTHON] A to_variant_object kifejezés implementálása és schema_of_variant kifejezések nyomtatása OBJECT for Variant Objects
  • [SPARK-49615] Hibajavítás: Az ML oszlopséma érvényesítésének igazítása a Spark konfigurációhoz spark.sql.caseSensitive.
• 2024. október 10.
  • [SPARK-49743][SQL] OptimizeCsvJsonExpr nem módosíthatja a sémamezőket a GetArrayStructFields metszésekor
  • [SPARK-49688][CONNECT] Adatverseny javítása a megszakítási és végrehajtási terv között
  • [BACKPORT] [SPARK-49474][SS] A FlatMapGroupsWithState felhasználói függvény hibaosztályának besorolása
  • [SPARK-49460][SQL] Követés: lehetséges NPE-kockázat javítása
• 2024. szeptember 25.
  • [SPARK-49628][SQL] A ConstantFoldingnek ki kell másolnia az állapotalapú kifejezést a kiértékelés előtt
  • [SPARK-49000][SQL] Javítás a "select count(distinct 1) from t" kifejezésnél, ahol a t üres táblát jelenti a RewriteDistinctAggregates kibontásával.
  • [SPARK-49492][CONNECT] Inaktív végrehajtási tároló újbóli csatlakoztatása sikertelen
  • [SPARK-49458][CONNECT][PYTHON] Kiszolgálóoldali munkamenet-azonosító biztosítása a ReattachExecute használatával
  • [SPARK-49017][SQL] A beszúrási utasítás több paraméter használatakor meghiúsul
  • [SPARK-49451] Duplikált kulcsok engedélyezése a parse_json függvényben.
  • Egyéb hibajavítások.
• 2024. szeptember 17.
  • [SPARK-48463][ML] A Binarizálót, a Bucketizálót, a Vector Assembler-t, a FeatureHasher-t, a QuantizeDiscretizer-t, az OnehotEncoder-t, a StopWordsRemover-t, az Impútert és az Interaktort úgy módosítjuk, hogy támogassák a beágyazott bemeneti oszlopokat.
  • [SPARK-49409][CONNECT] A CONNECT_SESSION_PLAN_CACHE_SIZE alapértelmezett értékének módosítása
  • [SPARK-49526][CONNECT][HOTFIX-15.4.2] Windows-stílusú útvonalak támogatása az ArtifactManagerben
  • "[SPARK-48482][PYTHON] a dropDuplicates és a dropDuplicatesWithinWatermark függvényeknek el kellene fogadniuk változó hosszúságú argumentumokat"
  • [SPARK-43242][CORE] A "Nem várt típusú BlockId" hiba kijavítása a shuffle corruption diagnózisában
  • [SPARK-49366][CONNECT] Az union csomót a DataFrame oszlopfeloldása során levélként kezeljük
  • [SPARK-49018][SQL] Kijavítottuk, hogy az approx_count_distinct nem működik megfelelően a kollációval
  • [SPARK-49460][SQL] cleanupResource() eltávolítása az EmptyRelationExec alkalmazásból
  • [SPARK-49056][SQL] A ErrorClassesJsonReader nem tudja megfelelően kezelni a null értéket
  • [SPARK-49336][CONNECT] Korlátozza a beágyazási szintet egy protobuf-üzenet rövidítésekor
• 2024. augusztus 29.
  • A SHOW CREATE TABLE utasítás kimenete mostantól tartalmazza a materializált nézeten vagy streamelési táblán definiált sorszűrőket vagy oszlopmaszkokat. Lásd SHOW CREATE TABLE. A sorszűrőkről és az oszlopmaszkokról a Sorszűrők és oszlopmaszkok című témakörben olvashat.
  • A megosztott hozzáférési móddal konfigurált számítás esetében a Kafka-köteg olvasási és írási korlátozásai ugyanazok, mint a strukturált streamelés esetében dokumentáltak. Lásd: Streamelési korlátozások és követelmények a Unity Catalog standard hozzáférési módhoz.
  • [SPARK-48941][SPARK-48970] Backport ML-író/ olvasó javításai
  • [SPARK-49074][SQL] A változat javítása a df.cache()
  • [SPARK-49263][CONNECT] Spark Connect Python-ügyfél: Logikai adatkeret-olvasó beállításainak következetes kezelése
  • [SPARK-48955][SQL] ArrayCompact-módosítások belefoglalása a 15.4-ben
  • [SPARK-48937][SQL] Kolláció támogatásának hozzáadása a StringToMap sztringkifejezésekhez
  • [SPARK-48929] Megtekintési belső hiba javítása és az elemző kivételkörnyezetének tisztítása
  • [SPARK-49125][SQL] Duplikált oszlopnevek engedélyezése CSV-írásban
  • [SPARK-48934][SS] Az applyInPandasWithState időkorlátjának beállításához helytelenül konvertált Python-dátum/idő típusok
  • [SPARK-48843] Végtelen ciklus megakadályozása BindParameterekkel
  • [SPARK-48981] A StringType simpleString metódusának javítása a pysparkban szortírozásokhoz
  • [SPARK-49065][SQL] Az örökölt formázók/elemzők újra-alapozásának támogatnia kell a nem JVM alapértelmezett időzónákat
  • [SPARK-48896][SPARK-48909][SPARK-48883] A Backport Spark ML-író javításai
  • [SPARK-48725][SQL] CollationAwareUTF8String.lowerCaseCodePoints integrálása sztringkifejezésekbe
  • [SPARK-48978][SQL] ASCII gyorsítópálya implementálása a kolláció támogatásában a UTF8_LCASE számára
  • [SPARK-49047][PYTHON][CONNECT] Csonkítsa az üzenetet a naplózáshoz
  • [SPARK-49146][SS] A hozzáfűző módú streamlekérdezésekben hiányzó vízjelekkel kapcsolatos állítási hibák áthelyezése a hiba keretrendszerbe.
  • [SPARK-48977][SQL] Sztringkeresés optimalizálása UTF8_LCASE összerendezés mellett
  • [SPARK-48889][SS] testStream az állapottárolók kiürítéséhez a befejezés előtt
  • [SPARK-48463] Beágyazott bemeneti oszlopokat támogató StringIndexer létrehozása
  • [SPARK-48954] A try_mod() a try_remainder() helyett cseréli
  • Az operációs rendszer biztonsági frissítései.

Databricks Runtime 14.3

Lásd: Databricks Runtime 14.3 LTS.

• 2025. július 15.
  • [SPARK-52503][SQL][CONNECT] Javítás drop , ha a bemeneti oszlop nem létezik
  • Egyéb hibajavítások.

• 2025. július 1.
  • A ZStandard kitömörítés támogatása a fájladatos forrásolvasókhoz (JSON, CSV, XML és szöveg).
  • A ZStandard kitömörítés támogatása a fájladatos forrásolvasókhoz (JSON, CSV, XML és szöveg).
  • [SPARK-52521][SQL] Right#replacement nem férhet hozzá dinamikusan az SQLConfhoz
  • [SPARK-52482][SQL][CORE] ZStandard-támogatás fájladatforrás-olvasóhoz
  • Az operációs rendszer biztonsági frissítései.

• 2025. június 17.
  • Kijavítottuk azt a korlátozást, hogy a cloud_files_state táblaértékű függvény (TVF) nem használható a streamelési táblák fájlszintű állapotának olvasására a folyamatok között.
  • [SPARK-49646][SQL] Javítottuk az al-lekérdezés dekorrelációját unió/halmaz műveletekhez, amikor a parentOuterReferences olyan hivatkozásokat tartalmaz, amelyeket a collectedChildOuterReferences nem fed le.

• 2025. június 3.
  • Frissített Python-kódtárak:
    • titkosítás a 3.4.8, 39.0.1 és 39.0.1 között
    • platformdirs 2.5.2, 2.6.2 és 2.5.2 között
    • pyparsing 2.4.7-től, 3.0.9-től 3.0.9-ig
    • Hozzáadták a pip 22.3.1 verziót
    • Hozzáadott telepítők 65.6.3
    • Tomli 2.0.1 hozzáadva
    • Hozzáadva wcwidth 0.2.5
    • Hozzáadott kerék 0.38.4
    • Eltávolított verzió 1.7.0
    • A rendszer eltávolította a következőt: distro-info 1.1+ubuntu0.2
    • El lett távolítva a Python-apt 2.4.0+ubuntu4
  • Frissített Java-kódtárak:
    • com.github.fommil.netlib.native_ref-java 1.1 és 1.1-natív változatról 1.1, 1.1 verzióra
    • com.github.fommil.netlib.native_system-java 1.1- és 1.1-natívtól az 1.1-hez, 1.1-hez
    • com.github.fommil.netlib.netlib-native_ref-linux-x86_64 1.1-natívtól 1.1-hez
    • com.github.fommil.netlib.netlib-native_system-linux-x86_64 változtatás 1.1-natives verzióról 1.1 verzióra
    • io.netty.netty-tcnative-boringssl-static tól 2.0.61.Final-db-r16-linux-aarch_64, 2.0.61.Final-db-r16-linux-x86_64, 2.0.61.Final-db-r16-osx-aarch_64, 2.0.61.Final-db-r16-osx-x86_64, 2.0.61.Final-db-r16-windows-x86_64, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16
    • io.netty.netty-transport-native-epoll 4.1.96.Final, 4.1.96.Final-linux-aarch_64, 4.1.96.Final-linux-x86_64 verzióból a 4.1.96.Final, 4.1.96.Final, 4.1.96.Final verzióra
    • io.netty.netty-transport-native-kqueue tól 4.1.96.Final-osx-aarch_64, 4.1.96.Final-osx-x86_64 ig 4.1.96.Final, 4.1.96.Final
    • org.apache.orc.orc-core 1.9.2-shaded-protobuf változatról 1.9.2 változatra
    • org.apache.orc.orc-mapreduce a 1.9.2-shaded-protobuf-ról 1.9.2-re
    • ** software.amazon.cryptools.AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64-ről 1.6.1-re
  • [SPARK-52040][PYTHON][SQL][CONNECT] A ResolveLateralColumnAliasReference-nek meg kell őriznie a terv azonosítóját
  • [SPARK-52159][SQL] A jdbc-dialektusok táblalétezés-ellenőrzésének megfelelő kezelése
  • Az operációs rendszer biztonsági frissítései.

• 2025. május 20.
  • Frissített Java-kódtárak:
    • io.delta.delta-sharing-client_2.12 1.1.5-től 1.1.6-osig
  • [SPARK-51935][SQL] Az iterátorok lusta viselkedésének javítása az értelmezett df.collect()
  • Az operációs rendszer biztonsági frissítései.

• 2025. április 22.
  • Az operációs rendszer biztonsági frissítései.

• 2025. április 9.
  • [Viselkedésváltozás] A vákuumműveletek mostantól más műveletekhez hasonlóan hajtanak végre Writer protokollellenőrzéseket, megakadályozva a nem várt törléseket a régebbi DBR-verziókból futtatott újabb funkciókkal rendelkező táblákon.
  • [SPARK-51624][SQL] GetStructField metaadatok propagálása a CreateNamedStruct.dataType fájlban
  • Az operációs rendszer biztonsági frissítései.

• 2025. március 11.
  • A Databricks Runtime 14.3-as és újabb verziói tartalmaznak egy javítást egy olyan problémára, amely bináris inkompatibilitást okozott egy SparkListenerApplicationEnd osztályt példányosító kóddal, amikor az Apache Sparkhoz lett lefordítva. Ez az inkompatibilitás a SPARK-46399 Apache Sparkba való egyesítéséből ered. Ez az egyesítés tartalmazott egy módosítást, amely hozzáadta az alapértelmezett argumentumot a SparkListenerApplicationEnd konstruktorhoz. A bináris kompatibilitás visszaállításához ez a javítás egyetlen argumentumkonstruktort ad hozzá a SparkListenerApplicationEnd osztályhoz.
  • [SPARK-50791][SQL] Az NPE javítása a State Store hibakezelésében
  • [SPARK-50705][SQL] Tegyük zárolásmentessé a QueryPlan-t
  • [SPARK-49525][SS][CONNECT] Kisebb naplózási fejlesztés a szerveroldali streamelési lekérdezésfigyelő buszfigyelőjéhez
  • Az operációs rendszer biztonsági frissítései.

• 2025. február 11.
  • Ez a kiadás tartalmazza a mentett XML-adatoszlopok szerializálása során egyes adattípusok konvertálását érintő probléma javítását. Az érintett adattípusok dátumok, nem NTZ időbélyegek és decimálisok, ha prefersDecimal engedélyezve van. A mentett adatoszlopról lásd a Mi a mentett adatoszlop?.
  • [SPARK-50492][SS] Kijavítottuk a java.util.NoSuchElementException hibát, ha a dropDuplicatesWithinWatermark után az eseményidő oszlop el lett vetve
  • [SPARK-51084][SQL] Rendelje hozzá a megfelelő hibaosztályt a NegatívSkálaNemEngedélyezettHiba értékhez
  • Az operációs rendszer biztonsági frissítései.

• 2024. december 10.
  • Ez a kiadás tartalmaz egy javítást egy olyan hibára, amely miatt a Delta-tábla elsődleges kulcsa bizonyos háttérbeli automatikus tömörítési szélsőséges eseteknél eltávolításra kerülhet.
  • [SPARK-50329][SQL] kijavította az InSet$toStringet
  • Az operációs rendszer biztonsági frissítései.
• 2024. november 26.
  • [SPARK-49615] [ML] Végezze el az összes ML-funkcióátalakító adatkészlet sémaérvényesítését a "spark.sql.caseSensitive" konfigurációnak megfelelően.
  • Az operációs rendszer biztonsági frissítései.
• 2024. november 5.
  • [SPARK-48843] Végtelen ciklus megakadályozása BindParameterekkel
  • [SPARK-49829] A stream-stream illesztés állapottárolóba történő bemenetének hozzáadására vonatkozó optimalizálás módosítása (helyességi javítás)
  • [SPARK-49863][SQL] A NormalizeFloatingNumbers javítása a beágyazott szerkezetek null értékűségének megőrzése érdekében
  • [BACKPORT] [SPARK-49326][SS] A Foreach adatfogadó felhasználói függvényéhez tartozó hiba osztályának meghatározása
  • [SPARK-49782][SQL] A ResolveDataFrameDropColumns szabály feloldja az UnresolvedAttribute-t a gyermek kimenetével
  • [SPARK-46632][SQL] A szubexpresszió kizárásának javítása, ha az egyenértékű ternáris kifejezések eltérő gyermekekkel rendelkeznek
  • [SPARK-49905] Dedikált "ShuffleOrigin" használata állapotalapú operátorokhoz, hogy megakadályozzuk a shuffle módosítását az AQE által.
  • Az operációs rendszer biztonsági frissítései.
• 2024. október 22.
  • [SPARK-48843] Végtelen ciklus megakadályozása BindParameterekkel
  • [SPARK-49863][SQL] A NormalizeFloatingNumbers javítása a beágyazott szerkezetek null értékűségének megőrzése érdekében
  • [SPARK-49905] Dedikált "ShuffleOrigin" használata állapotalapú operátorokhoz, hogy megakadályozzuk a shuffle módosítását az AQE által.
  • [SPARK-46632][SQL] A szubexpresszió kizárásának javítása, ha az egyenértékű ternáris kifejezések eltérő gyermekekkel rendelkeznek
  • [SPARK-49782][SQL] A ResolveDataFrameDropColumns szabály feloldja az UnresolvedAttribute-t a gyermek kimenetével
  • [BACKPORT] [SPARK-49326][SS] A Foreach adatfogadó felhasználói függvényéhez tartozó hiba osztályának meghatározása
  • [SPARK-49829] A stream-stream illesztés állapottárolóba történő bemenetének hozzáadására vonatkozó optimalizálás módosítása (helyességi javítás)
  • Az operációs rendszer biztonsági frissítései.
• 2024. október 10.
  • [BACKPORT] [SPARK-49474][SS] A FlatMapGroupsWithState felhasználói függvény hibaosztályának besorolása
  • [SPARK-49743][SQL] OptimizeCsvJsonExpr nem módosíthatja a sémamezőket a GetArrayStructFields metszésekor
  • [SPARK-49688][CONNECT] Adatverseny javítása a megszakítási és végrehajtási terv között
• 2024. szeptember 25.
  • [SPARK-48810][CONNECT] A munkamenet-leállítás() API-nak idempotensnek kell lennie, és nem lehet sikertelen, ha a munkamenetet már bezárta a kiszolgáló
  • [SPARK-48719][SQL] Javítja a `RegrS` számítási hibáját.
  • [SPARK-49000][SQL] Javítás a "select count(distinct 1) from t" kifejezésnél, ahol a t üres táblát jelenti a RewriteDistinctAggregates kibontásával.
  • [SPARK-49628][SQL] A ConstantFoldingnek ki kell másolnia az állapotalapú kifejezést a kiértékelés előtt
  • [SPARK-49492][CONNECT] Inaktív végrehajtási tároló újbóli csatlakoztatása sikertelen
  • Az operációs rendszer biztonsági frissítései.
• 2024. szeptember 17.
  • [SPARK-49336][CONNECT] Korlátozza a beágyazási szintet egy protobuf-üzenet rövidítésekor
  • [SPARK-43242][CORE] A "Nem várt típusú BlockId" hiba kijavítása a shuffle corruption diagnózisában
  • [SPARK-48463][ML] A Binarizálót, a Bucketizálót, a Vector Assembler-t, a FeatureHasher-t, a QuantizeDiscretizer-t, az OnehotEncoder-t, a StopWordsRemover-t, az Impútert és az Interaktort úgy módosítjuk, hogy támogassák a beágyazott bemeneti oszlopokat.
  • [SPARK-49526][CONNECT] Windows-stílusú elérési utak támogatása az ArtifactManagerben
  • [SPARK-49409][CONNECT] A CONNECT_SESSION_PLAN_CACHE_SIZE alapértelmezett értékének módosítása
  • [SPARK-49366][CONNECT] Az union csomót a DataFrame oszlopfeloldása során levélként kezeljük
• 2024. augusztus 29.
  • [SPARK-49146][SS] A hozzáfűző módú streamlekérdezésekben hiányzó vízjelekkel kapcsolatos állítási hibák áthelyezése a hiba keretrendszerbe.
  • [SPARK-48862][PYTHON][CONNECT] Ne hívja meg _proto_to_string, ha az INFO-szint nincs bekapcsolva
  • [SPARK-49263][CONNECT] Spark Connect Python-ügyfél: Logikai adatkeret-olvasó beállításainak következetes kezelése
• 2024. augusztus 14.
  • [SPARK-48941][SPARK-48970] Backport ML-író/ olvasó javításai
  • [SPARK-48706][PYTHON] A Python UDF magasabb sorrendű függvényekben nem eredményezhet belső hibát
  • [SPARK-49056][SQL] A ErrorClassesJsonReader nem tudja megfelelően kezelni a null értéket
  • [SPARK-48597][SQL] Az isStreaming tulajdonság jelölőjének bevezetése a logikai terv szöveges ábrázolásában
  • [SPARK-49065][SQL] Az örökölt formázók/elemzők újra-alapozásának támogatnia kell a nem JVM alapértelmezett időzónákat
  • [SPARK-48934][SS] Az applyInPandasWithState időkorlátjának beállításához helytelenül konvertált Python-dátum/idő típusok
• 2024. augusztus 1.
  • Ez a kiadás tartalmaz egy hibajavítást a Spark Java-felületen található ColumnVector és ColumnarArray osztályokhoz. A javítást megelőző esetekben előfordulhat, hogy ArrayIndexOutOfBoundsException vagy helytelen adatokat ad vissza, ha az egyik osztály egy példánya null értékeket tartalmaz.
  • A jegyzetfüzetek és feladatok kiszolgáló nélküli számítása esetén az ANSI SQL mód alapértelmezés szerint engedélyezve van. Lásd Támogatott Spark-konfigurációs paraméterek.
  • A megosztott hozzáférési móddal konfigurált számítás esetében a Kafka-köteg olvasási és írási korlátozásai ugyanazok, mint a strukturált streamelés esetében dokumentáltak. Lásd: Streamelési korlátozások és követelmények a Unity Catalog standard hozzáférési módhoz.
  • A SHOW CREATE TABLE utasítás kimenete mostantól tartalmazza a materializált nézeten vagy streamelési táblán definiált sorszűrőket vagy oszlopmaszkokat. Lásd SHOW CREATE TABLE. A sorszűrőkről és az oszlopmaszkokról a Sorszűrők és oszlopmaszkok című témakörben olvashat.
  • [SPARK-48896][SPARK-48909][SPARK-48883] A Backport Spark ML-író javításai
  • [SPARK-48889][SS] testStream az állapottárolók kiürítéséhez a befejezés előtt
  • [SPARK-48705][PYTHON] Kifejezetten használja a worker_main-t, amikor pysparkkal indul
  • [SPARK-48047][SQL] Az üres TreeNode-címkék memóriaterhelésének csökkentése
  • [SPARK-48544][SQL] Az üres TreeNode BitSets memóriaterhelésének csökkentése
  • [SPARK-46957][CORE] A leszerelt és migrált shuffle-fájloknak képesnek kell lenniük arra, hogy a végrehajtótól eltávolítsák őket.
  • [SPARK-48463] Beágyazott bemeneti oszlopokat támogató StringIndexer létrehozása
  • [SPARK-47202][PYTHON] A tzinfo-hoz kapcsolódó dátumokat érintő elírás javítása
  • [SPARK-47713][SQL][CONNECT] Öncsatlakozásos hiba kijavítása
  • Az operációs rendszer biztonsági frissítései.
• 2024. július 11.
  • (Viselkedésváltozás) Érvénytelenítik a Delta-táblaforrásokkal gyorsítótárazott DataFrame-eket, ha a forrástáblát felülírják. Ez a változás azt jelenti, hogy a Delta-táblák összes állapotváltozása érvényteleníti a gyorsítótárazott eredményeket. A .checkpoint() használatával megőrizheti a táblaállapotokat a DataFrame teljes élettartama alatt.
  • A Snowflake JDBC-illesztőprogram a 3.16.1-es verzióra frissül.
  • Ez a kiadás tartalmaz egy hibát, amely megakadályozta, hogy a Spark felhasználói felületi környezet lapja megfelelően jelenjen meg a Databricks Container Servicesben való futtatáskor.
  • A jegyzetfüzetek és feladatok kiszolgáló nélküli számítása esetén az ANSI SQL mód alapértelmezés szerint engedélyezve van. Lásd Támogatott Spark-konfigurációs paraméterek.
  • Ha az adatok olvasása során figyelmen kívül szeretné hagyni az érvénytelen partíciókat, a fájlalapú adatforrások( például Parquet, ORC, CSV vagy JSON) az IgnoreInvalidPartitionPaths adatforrásbeállítást igaz értékre állíthatják. Például: spark.read.format("parquet").option("ignoreInvalidPartitionPaths", "true").load(...). A spark.sql.files.ignoreInvalidPartitionPaths SQL-konfigurációt is használhatja. Az adatforrás-beállítás azonban elsőbbséget élvez az SQL-konfigurációval szemben. Ez a beállítás alapértelmezés szerint hamis.
  • [SPARK-48648][PYTHON][CONNECT] A SparkConnectClient.tags megfelelően szálakhoz kötötté tétele
  • [SPARK-48445][SQL] Ne illessze be a UDF-eket drága komponensekkel
  • [SPARK-48481][SQL][SS] Ne alkalmazza az OptimizeOneRowPlant a streamelési adatkészletre
  • [SPARK-48383][SS] Jobb hibaüzenet a Kafka startOffset opció eltérő partícióinál
  • [SPARK-48503][SQL] Érvénytelen skaláris al lekérdezések javítása a helytelenül engedélyezett nem egyenértékű oszlopok csoportosításával
  • [SPARK-48100][SQL] A sémában nem kijelölt beágyazott struktúramezők kihagyásával kapcsolatos problémák megoldása
  • [SPARK-48273][SQL] A PlanWithUnresolvedIdentifier késői átírásának javítása
  • [SPARK-48252][SQL] Szükség esetén frissítse a CommonExpressionRef-t
  • [SPARK-48475][PYTHON] Optimalizálja a _get_jvm_function a PySparkban.
  • [SPARK-48292][CORE] Az [SPARK-39195][SQL] visszavonása A Spark OutputCommitCoordinator megszakítja a szakaszt, ha a véglegesített fájl nem egyezik meg a feladat állapotával
  • Az operációs rendszer biztonsági frissítései.
• 2024. június 17.
  • A applyInPandasWithState() elérhető a számítási rendszerben általános hozzáférési módban.
  • Kijavít egy hibát, amely miatt a rangsor-ablak optimalizálása a Photon TopK használatával helytelenül kezelt partíciókat és szerkezeteket tartalmaz.
  • [SPARK-48310][PYTHON][CONNECT] A gyorsítótárazott tulajdonságoknak kell, hogy másolatokat adjanak vissza
  • [SPARK-48276][PYTHON][CONNECT] Adja hozzá a hiányzó metódust a következőhöz __repr__ : SQLExpression
  • [SPARK-48294][SQL] Kisbetű kezelése a nestedTypeMissingElementTypeError alkalmazásban
  • Az operációs rendszer biztonsági frissítései.
• 2024. május 21.
  • (Viselkedés változás) dbutils.widgets.getAll() mostantól támogatott a jegyzetfüzetben lévő összes widget értékének lekéréséhez.
  • Kijavítottunk egy hibát a try_divide() függvényben, amelyben a tizedesjegyeket tartalmazó bemenetek váratlan kivételeket eredményeztek.
  • [SPARK-48056][CONNECT][PYTHON] A terv újrafuttatása, ha SESSION_NOT_FOUND hiba lép fel, és nem érkezett részleges válasz
  • [SPARK-48146][SQL] Az aggregátumfüggvény javítása a "With" kifejezés gyermek-ellenőrzésében
  • [SPARK-47986][CONNECT][PYTHON] Nem hozható létre új munkamenet, ha a kiszolgáló bezárja az alapértelmezett munkamenetet
  • [SPARK-48180][SQL] Fejlessze a hibaüzenetet, amikor az UDTF-hívás TABLE argumentuma elfelejti a zárójeleket több PARTITION/ORDER BY kifejezés körül
  • [SPARK-48016][SQL] Hiba kijavítása try_divide függvényben decimális értékekkel
  • [SPARK-48197][SQL] Az érvénytelen lambda függvény helyességi hibájának elkerülése
  • [SPARK-47994][SQL] Hiba kijavítása CASE WHEN oszlopszűrő leküldésével az SQLServerben
  • [SPARK-48173][SQL] A CheckAnalysisnek látnia kell a teljes lekérdezési tervet
  • [SPARK-48105][SS] Az állapottároló kiürítése és a pillanatképek készítése közötti versenyállapot javítása
  • Az operációs rendszer biztonsági frissítései.
• 2024. május 9.
  • A (viselkedésváltozás) applyInPandas és mapInPandas az UDF-típusok mostantól támogatottak a Databricks Runtime 14.3-as vagy újabb verzióját futtató megosztott hozzáférési módú számításban.
  • [SPARK-47739][SQL] Logikai avro-típus regisztrálása
  • [SPARK-47941] [SS] [Csatlakozás] ForeachBatch-feldolgozó inicializálási hibáinak propagálása a PySpark felhasználóinak
  • [SPARK-48010][SQL] A conf.resolver ismételt hívásának elkerülése a resolveExpressionban
  • [SPARK-48044][PYTHON][CONNECT] Gyorsítótár DataFrame.isStreaming
  • [SPARK-47956][SQL] Ésszerűség-ellenőrzés a nem megoldott LCA-referenciához
  • [SPARK-47543][CONNECT][PYTHON] A szótár Mapype-ként való következtetése a Pandas DataFrame-ből a DataFrame létrehozásának érdekében
  • [SPARK-47819][CONNECT][Cherry-pick-14.3] Aszinkron visszahívás használata a végrehajtás törléséhez
  • [SPARK-47764][CORE][SQL] A ShuffleCleanupMode alapján történő shuffle függőségek törlése
  • [SPARK-48018][SS] A kafkaException.couldNotReadOffsetRange dobásakor hiányzó paramhibát okozó null groupId kijavítása
  • [SPARK-47839][SQL] Összesített hiba javítása a RewriteWithExpression alkalmazásban
  • [SPARK-47371] [SQL] XML: A CDATA-ban található sorcímkék figyelmen kívül hagyása
  • [SPARK-47895]Az [SQL] csoportnak mindennek idempotensnek kell lennie
  • [SPARK-47973][CORE] Hívási hely naplózása a SparkContext.stop() és később a SparkContext.assertNotStopped() metódusokban.
  • Az operációs rendszer biztonsági frissítései.
• 2024. április 25.
  • [SPARK-47543][CONNECT][PYTHON] Adatok lekövetkeztetése a Pandas DataFrame-ből, hogy engedélyezze a DataFrame létrehozását.
  • [SPARK-47694][CONNECT] Az üzenet maximális méretének konfigurálása az ügyféloldalon
  • [SPARK-47664][PYTHON][CONNECT][Cherry-pick-14.3] Érvényesítse az oszlop nevét a gyorsítótárazott séma alapján
  • [SPARK-47862][PYTHON][CONNECT]Proto-fájlok létrehozásának javítása
  • "[SPARK-47543][CONNECT][PYTHON] dict-t MapType-ként következtetve a Pandas DataFrame alapján a DataFrame létrehozásának engedélyezéséhez"
  • [SPARK-47704][SQL] A JSON-elemzés a "java.lang.ClassCastException" hibával meghiúsul, ha a spark.sql.json.enablePartialResults engedélyezve van
  • [SPARK-47812][CONNECT] A SparkSession sorosításának támogatása a forEachBatch munkavállaló számára
  • [SPARK-47818][CONNECT][Cherry-pick-14.3] Terv gyorsítótár bevezetése a SparkConnectPlannerben az analízis kérések teljesítményének javítása érdekében
  • [SPARK-47828][CONNECT][PYTHON] DataFrameWriterV2.overwrite érvénytelen tervvel sikertelenül végződik
  • Az operációs rendszer biztonsági frissítései.
• 2024. április 11.
  • (Viselkedésváltozás) A számítási típusok konzisztens viselkedésének biztosítása érdekében a PySpark UDF-jei a standard hozzáférési móddal rendelkező számításon most már megegyeznek az elkülönítés nélküli és a hozzárendelt fürtök UDF-jeinek viselkedésével. Ez a frissítés a következő módosításokat tartalmazza, amelyek megszakíthatják a meglévő kódot:
    • A string visszatérési típussal rendelkező UDF-ek többé nem konvertálják implicit módon a nemstring értékeket string értékekké. Korábban az olyan UDF-ek, amelyek visszatérési típusa str, a visszaadott értéket egy str() függvénnyel burkolták, függetlenül a visszaadott érték tényleges adattípusától.
    • A timestamp visszatérési típusokkal rendelkező UDF-ek többé nem alkalmazzák implicit módon a timestamp konverziót timezone-vel.
    • A spark.databricks.sql.externalUDF.* konfigurációjú Spark-fürtök már nem vonatkoznak a PySpark UDF-ekre a standard hozzáférési móddal rendelkező számítási modulban.
    • A Spark-fürt konfigurációja spark.databricks.safespark.externalUDF.plan.limit már nem érinti a PySpark UDF-eket, eltávolítva azt a nyilvános előzetes verziós korlátozást, amely szerint PySpark UDF-eknél lekérdezésenként legfeljebb 5 UDF lehet.
    • A Spark-fürt konfiguráció spark.databricks.safespark.sandbox.size.default.mib már nem vonatkozik a PySpark UDF-ekre a standard hozzáférési móddal rendelkező számításra. Ehelyett a rendszer rendelkezésre álló memóriát használ. A PySpark UDF-ek memóriájának korlátozásához használja a spark.databricks.pyspark.udf.isolation.memoryLimit-t a 100mminimális értékkel.
  • A TimestampNTZ adattípust mostantól támogatják, mint fürtözési oszlopot folyékony fürtözéssel. Lásd: Táblákhoz folyékony klaszterezés használata.
  • [SPARK-47511][SQL] Kanonizálja a kifejezéseket a azonosítók újra kiosztásával
  • [SPARK-47509][SQL] Részlekérdezés-kifejezések blokkolása a lambda és a magasabbrendű függvényekben
  • [SPARK-46990][SQL] Az event-hubs által kibocsátott üres Avro-fájlok betöltésének javítása
  • [SPARK-47638][PS][CONNECT] Az oszlopnév-ellenőrzés kihagyása a PS-ben
  • Az operációs rendszer biztonsági frissítései.
• 2024. március 14.
  • [SPARK-47135][SS] Hibaosztályok implementálása a Kafka adatvesztési kivételeihez
  • [SPARK-47176][SQL] Rendelkezzen a ResolveAllExpressionsUpWithPruning segédfüggvénnyel
  • [SPARK-47145][SQL] Adja át a táblaazonosítót a V2-stratégia soradatforrás-scan végrehajtási eleméhez.
  • [SPARK-47044][SQL] A kimenet magyarázatához adjon hozzá végrehajtott lekérdezést külső JDBC-adatforrásokhoz
  • [SPARK-47167][SQL] Konkrét osztály hozzáadása JDBC névtelen relációhoz
  • [SPARK-47070] Érvénytelen aggregáció kijavítása az alregisztráció újraírása után
  • [SPARK-47121][CORE] RejectedExecutionException hibák elkerülése a StandaloneSchedulerBackend leállítása során
  • Visszaállítás: "[SPARK-46861][CORE] Holtpont elkerülése a DAGSchedulerben"
  • [SPARK-47125][SQL] Null értéket ad vissza, ha az Univocity soha nem aktiválja az elemzést
  • [SPARK-46999][SQL] A ExpressionWithUnresolvedIdentifiernek más kifejezéseket is tartalmaznia kell a kifejezésfában
  • [SPARK-47129][CONNECT][SQL] Gyorsítótár csatlakoztatási tervének megfelelővé tétele ResolveRelations
  • [SPARK-47241][SQL] Az ExtractGenerator szabályrendeleti problémáinak megoldása
  • [SPARK-47035][SS][CONNECT] Ügyféloldali figyelő protokollja
  • Az operációs rendszer biztonsági frissítései.
• 2024. február 29.
  • Kijavítottunk egy hibát, amely miatt a helyi gyűjtemény forrásként való használata a MERGE parancsban kétszeresére növelte a numSourceRows műveletmetrika által jelentett sorok számát.
  • Egy meghatározott hellyel rendelkező séma létrehozásához a felhasználónak SELECT és MODIFY jogosultságokkal kell rendelkeznie a BÁRMELY FÁJLban.
  • [SPARK-47071][SQL] Kifejezés sorba illesztése, ha speciális SQL kifejezést tartalmaz
  • [SPARK-47059][SQL] Hibakörnyezet csatolása az ALTER COLUMN v1 parancshoz
  • [SPARK-46993][SQL] Munkamenet-változók állandó összecsukásának javítása
  • Az operációs rendszer biztonsági frissítései.
• 2024. január 3.
  • [SPARK-46933] Adjon hozzá lekérdezés-végrehajtási időmetrikát a JDBCRDD-t használó összekötőkhöz.
  • [SPARK-46763] Kijavítottuk az ismétlődő attribútumok helyességi hibáját a ReplaceDeduplicateWithAggregate fájlban.
  • [SPARK-46954] XML: Az InputStreamReader beburkolása BufferedReader-rel.
  • [SPARK-46655] A lekérdezési környezet elfogásának kihagyása a DataFrame metódusokban.
  • [SPARK-44815] Helyezze gyorsítótárba a df.schema-t a felesleges RPC-k elkerülése érdekében.
  • [SPARK-46952] XML: Sérült rekord méretének korlátozása.
  • [SPARK-46794] Az alekérdezések eltávolítása a LogicalRDD-megkötésekből.
  • [SPARK-46736] üres üzenetmező megőrzése a Protobuf-összekötőben.
  • [SPARK-45182] A feladat befejezését figyelmen kívül hagyja a régi szakaszból, miután a szülői meghatározatlanságú szakasz ismételt megkísérlése megtörtént az ellenőrzőösszeg alapján.
  • [SPARK-46414] A prependBaseUri használatával renderelje a javascript-importálást.
  • [SPARK-46383] Az illesztőprogram halomhasználatának csökkentése az élettartam csökkentésével TaskInfo.accumulables().
  • [SPARK-46861] Holtpont elkerülése a DAGSchedulerben.
  • [SPARK-46954] XML: Sémaindex-keresés optimalizálása.
  • [SPARK-46676] A dropDuplicatesWithinWatermark függvény nem okozhat hibát a terv kanonizálása során.
  • [SPARK-46644] Módosítsa a hozzáadást és az egyesítést az SQLMetric-ben az isZero használatához.
  • [SPARK-46731] Állapottároló szolgáltató példányának kezelése állapotadatforrás szerint – reader.
  • [SPARK-46677] Javítsa ki a dataframe["*"] felbontást.
  • [SPARK-46610] A tábla létrehozása kivételt eredményez, ha a beállításokban nincs érték egy kulcs számára.
  • [SPARK-46941] Nem szúrható be ablakcsoport-korlátcsomópont a top-k számításhoz, ha a SizeBasedWindowFunctiont tartalmazza.
  • [SPARK-45433] A CSV/JSON-séma következtetésének javítása, ha az időbélyegek nem felelnek meg a megadott időbélyegformának.
  • [SPARK-46930] Az Avro union típusú mezőihez tartozó egyéni előtag támogatása.
  • [SPARK-46227] Visszalépés a 14.3-ra.
  • [SPARK-46822] Vegye figyelembe a spark.sql.legacy.charVarcharAsString beállítást, amikor jdbc típust katalizátortípusra alakít át jdbc használatával.
  • Az operációs rendszer biztonsági frissítései.

Databricks Runtime 13.3 LTS

Lásd: Databricks Runtime 13.3 LTS.

• 2025. július 15.

  • Az operációs rendszer biztonsági frissítései.

• 2025. július 1.

  • Az operációs rendszer biztonsági frissítései.

• 2025. június 17.
  • Kijavítottuk azt a korlátozást, hogy a cloud_files_state táblaértékű függvény (TVF) nem használható a streamelési táblák fájlszintű állapotának olvasására a folyamatok között.
  • Az operációs rendszer biztonsági frissítései.

• 2025. június 3.
  • Frissített Python-kódtárak:
    • titkosítás 3.4.8-tól 37.0.1-ig
    • platformdirs 2.5.2, 2.6.2 és 2.5.2 között
    • pyparsing 2.4.7-től, 3.0.9-től 3.0.9-ig
    • Pip 22.2.2 hozzáadva
    • Hozzáadott telepítők 63.4.1
    • Tomli 2.0.1 hozzáadva
    • Hozzáadva wcwidth 0.2.5
    • Hozzáadott kerék 0.37.1
    • Eltávolított verzió 1.7.0
    • A rendszer eltávolította a következőt: distro-info 1.1+ubuntu0.2
    • El lett távolítva a Python-apt 2.4.0+ubuntu4
  • Frissített Java-kódtárak:
    • com.github.fommil.netlib.native_ref-java 1.1 és 1.1-natív változatról 1.1, 1.1 verzióra
    • com.github.fommil.netlib.native_system-java 1.1- és 1.1-natívtól az 1.1-hez, 1.1-hez
    • com.github.fommil.netlib.netlib-native_ref-linux-x86_64 1.1-natívtól 1.1-hez
    • com.github.fommil.netlib.netlib-native_system-linux-x86_64 változtatás 1.1-natives verzióról 1.1 verzióra
    • io.netty.netty-transport-native-epoll from 4.1.87.Final, 4.1.87.Final-linux-aarch_64, 4.1.87.Final-linux-x86_64 to 4.1.87.Final, 4.1.87.Final, 4.1.87.Final
    • io.netty.netty-transport-native-kqueue tól 4.1.87.Final-osx-aarch_64, 4.1.87.Final-osx-x86_64 ig 4.1.87.Final, 4.1.87.Final
    • org.apache.orc.orc-core az 1.8.4-shaded-protobuf verzióról 1.8.4 verzióra
    • org.apache.orc.orc-mapreduce 1.8.4-shaded-protobuf verzióról 1.8.4 verzióra
    • ** software.amazon.cryptools.AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64-ről 1.6.1-re
  • [SPARK-52159][SQL] A jdbc-dialektusok táblalétezés-ellenőrzésének megfelelő kezelése
  • Az operációs rendszer biztonsági frissítései.

• 2025. május 20.
  • Frissített Java-kódtárak:
    • io.delta.delta-sharing-spark_2.12 0.7.11-ről 0.7.12-re
  • Az operációs rendszer biztonsági frissítései.

• 2025. április 22.
  • [Viselkedésváltozás] A vákuumműveletek mostantól más műveletekhez hasonlóan hajtanak végre Writer protokollellenőrzéseket, megakadályozva a nem várt törléseket a régebbi DBR-verziókból futtatott újabb funkciókkal rendelkező táblákon.
  • Az operációs rendszer biztonsági frissítései.

• 2025. április 9.
  • [SPARK-51624][SQL] GetStructField metaadatok propagálása a CreateNamedStruct.dataType fájlban
  • Az operációs rendszer biztonsági frissítései.

• 2025. március 11.
  • Az operációs rendszer biztonsági frissítései.

• 2025. február 11.
  • [SPARK-50492][SS] Kijavítottuk a java.util.NoSuchElementException hibát, ha a dropDuplicatesWithinWatermark után az eseményidő oszlop el lett vetve
  • [SPARK-45915][SQL] A tizedesjel(x, 0) ugyanúgy kezelhető, mint az IntegralType a PromoteStringsben
  • Az operációs rendszer biztonsági frissítései.

• 2024. december 10.
  • Az operációs rendszer biztonsági frissítései.
• 2024. november 26.
  • [SPARK-49615] [ML] Végezze el az összes ML-funkcióátalakító adatkészlet sémaérvényesítését a "spark.sql.caseSensitive" konfigurációnak megfelelően.
  • Az operációs rendszer biztonsági frissítései.
• 2024. november 5.
  • [SPARK-48843] Végtelen ciklus megakadályozása BindParameterekkel
  • [BACKPORT] [SPARK-49326][SS] A Foreach adatfogadó felhasználói függvényéhez tartozó hiba osztályának meghatározása
  • [SPARK-49905] Dedikált "ShuffleOrigin" használata állapotalapú operátorokhoz, hogy megakadályozzuk a shuffle módosítását az AQE által.
  • Az operációs rendszer biztonsági frissítései.
• 2024. október 22.
  • [SPARK-48843] Végtelen ciklus megakadályozása BindParameterekkel
  • [BACKPORT] [SPARK-49326][SS] A Foreach adatfogadó felhasználói függvényéhez tartozó hiba osztályának meghatározása
  • [SPARK-49905] Dedikált "ShuffleOrigin" használata állapotalapú operátorokhoz, hogy megakadályozzuk a shuffle módosítását az AQE által.
  • Az operációs rendszer biztonsági frissítései.
• 2024. október 10.
  • [SPARK-49743][SQL] OptimizeCsvJsonExpr nem módosíthatja a sémamezőket a GetArrayStructFields metszésekor
• 2024. szeptember 25.
  • [SPARK-46601] [CORE] Naplóhiba javítása a handleStatusMessage szolgáltatásban
  • [SPARK-48719][SQL] Javítsa ki a RegrSlope & RegrIntercept számítási hibáját, ha az első paraméter null
  • [SPARK-43242][CORE] A "Nem várt típusú BlockId" hiba kijavítása a shuffle corruption diagnózisában
  • [SPARK-49000][SQL] Javítás a "select count(distinct 1) from t" kifejezésnél, ahol a t üres táblát jelenti a RewriteDistinctAggregates kibontásával.
  • Az operációs rendszer biztonsági frissítései.
• 2024. szeptember 17.
  • [SPARK-49526][CONNECT] Windows-stílusú elérési utak támogatása az ArtifactManagerben
  • [SPARK-48463][ML] A Binarizálót, a Bucketizálót, a Vector Assembler-t, a FeatureHasher-t, a QuantizeDiscretizer-t, az OnehotEncoder-t, a StopWordsRemover-t, az Impútert és az Interaktort úgy módosítjuk, hogy támogassák a beágyazott bemeneti oszlopokat.
  • Az operációs rendszer biztonsági frissítései.
• 2024. augusztus 29.
• 2024. augusztus 14.
  • [SPARK-49056][SQL] A ErrorClassesJsonReader nem tudja megfelelően kezelni a null értéket
  • [SPARK-49065][SQL] Az örökölt formázók/elemzők újra-alapozásának támogatnia kell a nem JVM alapértelmezett időzónákat
  • [SPARK-48597][SQL] Az isStreaming tulajdonság jelölőjének bevezetése a logikai terv szöveges ábrázolásában
• 2024. augusztus 1.
  • Ez a kiadás tartalmaz egy hibajavítást a Spark Java-felületen található ColumnVector és ColumnarArray osztályokhoz. A javítást megelőző esetekben előfordulhat, hogy ArrayIndexOutOfBoundsException vagy helytelen adatokat ad vissza, ha az egyik osztály egy példánya null értékeket tartalmaz.
  • [SPARK-47202][PYTHON] A tzinfo-hoz kapcsolódó dátumokat érintő elírás javítása
  • [SPARK-48896][SPARK-48909][SPARK-48883] A Backport Spark ML-író javításai
  • [SPARK-48463] Beágyazott bemeneti oszlopokat támogató StringIndexer létrehozása
  • Az operációs rendszer biztonsági frissítései.
• 2024. július 11.
  • (Viselkedésváltozás) Érvénytelenítik a Delta-táblaforrásokkal gyorsítótárazott DataFrame-eket, ha a forrástáblát felülírják. Ez a változás azt jelenti, hogy a Delta-táblák összes állapotváltozása érvényteleníti a gyorsítótárazott eredményeket. A .checkpoint() használatával megőrizheti a táblaállapotokat a DataFrame teljes élettartama alatt.
  • Ez a kiadás tartalmaz egy hibát, amely megakadályozta, hogy a Spark felhasználói felületi környezet lapja megfelelően jelenjen meg a Databricks Container Servicesben való futtatáskor.
  • [SPARK-48383][SS] Jobb hibaüzenet a Kafka startOffset opció eltérő partícióinál
  • [SPARK-48292][CORE] Az [SPARK-39195][SQL] visszavonása A Spark OutputCommitCoordinator megszakítja a szakaszt, ha a véglegesített fájl nem egyezik meg a feladat állapotával
  • [SPARK-48503][SQL] Érvénytelen skaláris al lekérdezések javítása a helytelenül engedélyezett nem egyenértékű oszlopok csoportosításával
  • [SPARK-48481][SQL][SS] Ne alkalmazza az OptimizeOneRowPlant a streamelési adatkészletre
  • [SPARK-48475][PYTHON] Optimalizálja a _get_jvm_function a PySparkban.
  • [SPARK-48273][SQL] A PlanWithUnresolvedIdentifier késői átírásának javítása
  • [SPARK-48445][SQL] Ne illessze be a UDF-eket drága komponensekkel
  • Az operációs rendszer biztonsági frissítései.
• 2024. június 17.
  • [SPARK-48277] ErrorClassesJsonReader.getErrorMessage hibaüzenetének javítása
  • Az operációs rendszer biztonsági frissítései.
• 2024. május 21.
  • (Viselkedés változás) dbutils.widgets.getAll() mostantól támogatott a jegyzetfüzetben lévő összes widget értékének lekéréséhez.
  • [SPARK-48105][SS] Az állapottároló kiürítése és a pillanatképek készítése közötti versenyállapot javítása
  • [SPARK-47994][SQL] Hiba kijavítása CASE WHEN oszlopszűrő leküldésével az SQLServerben
  • Az operációs rendszer biztonsági frissítései.
• 2024. május 9.
  • [SPARK-47956][SQL] Ésszerűség-ellenőrzés a nem megoldott LCA-referenciához
  • [SPARK-46822][SQL] Vegyük figyelembe a spark.sql.legacy.charVarcharAsString beállítást, amikor a jdbc típust katalizátor típusra konvertáljuk az jdbc-ben.
  • [SPARK-47895]Az [SQL] csoportnak mindennek idempotensnek kell lennie
  • [SPARK-48018][SS] A kafkaException.couldNotReadOffsetRange dobásakor hiányzó paramhibát okozó null groupId kijavítása
  • [SPARK-47973][CORE] Hívási hely naplózása a SparkContext.stop() és később a SparkContext.assertNotStopped() metódusokban.
  • Az operációs rendszer biztonsági frissítései.
• 2024. április 25.
  • [SPARK-44653][SQL] A nem triviális DataFrame egyesítések nem okozzák a gyorsítótárazás megszakadását.
  • Egyéb hibajavítások.
• 2024. április 11.
  • [SPARK-47509][SQL] Részlekérdezés-kifejezések blokkolása a lambda és a magasabbrendű függvényekben
  • Az operációs rendszer biztonsági frissítései.
• 2024. április 1.
  • [SPARK-47385] Javítsd ki a tuple kódolókat opcionális bemenetekkel.
  • [SPARK-38708][SQL] A Hive Metastore-ügyfél frissítése a Hive 3.1 3.3-ra
  • [SPARK-47200][SS] Hibaosztály a Foreach batch sink felhasználói függvényének hibája esetén
  • [SPARK-47368][SQL] Távolítsa el az inferTimestampNTZ konfigurációellenőrzést a ParquetRowConverterben
  • [SPARK-44252][SS] Adjon meg egy új hibaosztályt, és alkalmazza arra az esetre, ha az elosztott fájlrendszerből való betöltési állapot meghiúsul
  • [SPARK-47135][SS] Hibaosztályok implementálása a Kafka adatvesztési kivételeihez
  • [SPARK-47300][SQL] quoteIfNeeded idézőjel-azonosítónak számjegyekkel kell kezdődnie
  • [SPARK-47305][SQL] A PruneFilters javítása érdekében a LocalRelation isStreaming jelzőjének helyes címkézése, amikor a terv tételes és stream feldolgozást is tartalmaz.
  • [SPARK-47070] Érvénytelen aggregáció kijavítása az alregisztráció újraírása után
  • Az operációs rendszer biztonsági frissítései.
• 2024. március 14.
  • [SPARK-47145][SQL] Adja át a táblaazonosítót a V2-stratégia soradatforrás-scan végrehajtási eleméhez.
  • [SPARK-47167][SQL] Konkrét osztály hozzáadása JDBC névtelen relációhoz
  • [SPARK-47176][SQL] Rendelkezzen a ResolveAllExpressionsUpWithPruning segédfüggvénnyel
  • [SPARK-47044][SQL] A kimenet magyarázatához adjon hozzá végrehajtott lekérdezést külső JDBC-adatforrásokhoz
  • [SPARK-47125][SQL] Null értéket ad vissza, ha az Univocity soha nem aktiválja az elemzést
  • Az operációs rendszer biztonsági frissítései.
• 2024. február 29.
  • Kijavítottunk egy hibát, amely miatt a helyi gyűjtemény forrásként való használata a MERGE parancsban kétszeresére növelte a numSourceRows műveletmetrika által jelentett sorok számát.
  • Egy meghatározott hellyel rendelkező séma létrehozásához a felhasználónak SELECT és MODIFY jogosultságokkal kell rendelkeznie a BÁRMELY FÁJLban.
  • Az operációs rendszer biztonsági frissítései.
• 2024. február 8.
  • A Unity Catalog materializált nézeteiben nem támogatottak az adatváltozás-lekérdezések (CDF), és ha egy CDF-lekérdezést Unity Catalog materializált nézettel próbál futtatni, hibaüzenetet eredményez. A Unity Catalog streamelő táblái támogatják a CDF-lekérdezéseket a Databricks Runtime 14.1-ben és újabb verzióiban nem AUTOMATIKUS CDC-táblákon. A CDF-lekérdezések nem támogatottak a Unity Catalog streamelési tábláival a Databricks Runtime 14.0-s és korábbi verzióiban.
  • [SPARK-46794] Az alekérdezések eltávolítása a LogicalRDD-megkötésekből.
  • [SPARK-46933] Adjon hozzá lekérdezés-végrehajtási időmetrikát a JDBCRDD-t használó összekötőkhöz.
  • [SPARK-45582] Győződjön meg arról, hogy a tároló példány nem használható, miután véglegesítést hajt végre a streamelési összesítés kimeneti módjában.
  • [SPARK-46396] Az időbélyeg-következtetés nem vethet ki kivételt.
  • [SPARK-46861] Holtpont elkerülése a DAGSchedulerben.
  • [SPARK-46941] Nem szúrható be ablakcsoport-korlátcsomópont a top-k számításhoz, ha a SizeBasedWindowFunctiont tartalmazza.
  • Az operációs rendszer biztonsági frissítései.
• 2024. január 31.
  • [SPARK-46610] A tábla létrehozása kivételt eredményez, ha a beállításokban nincs érték egy kulcs számára.
  • [SPARK-46383] Az illesztőprogram memóriahalom-használatának csökkentése a TaskInfo.accumulables() élettartamának rövidítésével.
  • [SPARK-46600] Megosztott kód áthelyezése az SqlConf és az SqlApiConf között az SqlApiConfHelperbe.
  • [SPARK-46676] A dropDuplicatesWithinWatermark függvény nem okozhat hibát a terv kanonizálása során.
  • [SPARK-46763] Kijavítottuk az ismétlődő attribútumok helyességi hibáját a ReplaceDeduplicateWithAggregate fájlban.
  • Az operációs rendszer biztonsági frissítései.
• 2024. január 17.
  • A Photon-lekérdezés által visszaadott végrehajtási terv shuffle csomópontja frissül, hogy hozzáadja a causedBroadcastJoinBuildOOM=true jelzőt, ha memóriahiány miatti hiba lép fel egy broadcast join részét képező shuffle során.
  • A TLSv1.3-n keresztüli kommunikáció megnövekedett késésének elkerülése érdekében ez a karbantartási kiadás tartalmaz egy javítást a JDK 8 telepítésében a JDK-8293562 hiba kijavításához.
  • [SPARK-46058] Adjon hozzá külön jelölőt a privateKeyPasswordhez.
  • [SPARK-46173] A trimAll hívás kihagyása a dátum elemzése során.
  • [SPARK-46370] Hiba kijavítása az oszlop alapértelmezett értékének módosítása után a táblából való lekérdezéskor.
  • [SPARK-46370] Hiba kijavítása az oszlop alapértelmezett értékének módosítása után a táblából való lekérdezéskor.
  • [SPARK-46370] Hiba kijavítása az oszlop alapértelmezett értékének módosítása után a táblából való lekérdezéskor.
  • [SPARK-46609] Kerülje az exponenciális robbanást a PartitioningPreservingUnaryExecNode-ban.
  • [SPARK-46132] Az RPC SSL JKS-kulcsainak támogatási kulcsa.
  • [SPARK-46602] Jelenítsd meg a allowExisting a nézet létrehozásakor, ha a nézet/tábla nem létezik.
  • [SPARK-46249] Példányzárolás megkövetelése a RocksDB-metrikák beszerzéséhez a háttérben futó verseny megakadályozása érdekében.
  • [SPARK-46417] Ne hiúsuljon meg a hive.getTable hívásakor, ha a throwException értéke hamis.
  • [SPARK-46538] Az oszlophivatkozás nem egyértelműségéből fakadó probléma kijavítása ALSModel.transform.
  • [SPARK-46478] Vonja vissza a SPARK-43049-et, hogy az oracle varchar(255) legyen használva sztringként.
  • [SPARK-46250] Stabilizálja a teszt_paritás_figyelőt.
  • [SPARK-46394] A spark.catalog.listDatabases() hibáinak kijavítása speciális karaktereket tartalmazó sémákon, ha spark.sql.legacy.keepCommandOutputSchema igazra van állítva.
  • [SPARK-46056] Parquet vectorized read NPE javítása byteArrayDecimalType alapértelmezett értékkel.
  • [SPARK-46145] spark.catalog.listTables nem okoz kivételt, ha a tábla vagy nézet nem található.
  • [SPARK-46466] A vektoros Parquet-olvasónak soha nem szabad újra bázist alkalmaznia az időbélyeg ntz esetében.
• 2023. december 14.
  • Kijavítottunk egy hibát, amely miatt az getColumns JDBC- vagy ODBC-ügyfelektől származó műveletekben a rendszer helytelenül kezelte az aláhúzásjeleket, és helyettesítő karakterként értelmezte őket.
  • [SPARK-45920] sorszám szerinti csoportosításnak idempotensnek kell lennie.
  • [SPARK-44582] Ha az iterátor az SMJ-nél meg lett tisztítva, hagyja ki.
  • [SPARK-45433] A CSV/JSON-séma következtetésének javítása, ha az időbélyegek nem felelnek meg a megadott időbélyegformának.
  • [SPARK-45655] Nem determinisztikus kifejezések engedélyezése az AggregateFunctionsben a CollectMetricsben.
  • Az operációs rendszer biztonsági frissítései.
• 2023. november 29.
  • Telepített egy új csomagot a pyarrow-hotfix PyArrow RCE biztonsági rés elhárításához.
  • A Spark-snowflake összekötő 2.12.0-ra frissül.
  • [SPARK-44846] Az összetett csoportosítási kifejezések el lettek távolítva a program után RemoveRedundantAggregates.
  • [SPARK-45544] Integrált SSL-támogatás a TransportContext.
  • [SPARK-45892] Optimizer terv átalakításának érvényesítése a szétválasztás érdekében validateSchemaOutput és validateExprIdUniqueness.
  • [SPARK-45730] Javított időkorlátok a ReloadingX509TrustManagerSuite.
  • [SPARK-45859] Az UDF-objektumokat ml.functions lusta kiértékelésűvé tették.
  • Az operációs rendszer biztonsági frissítései.
• 2023. november 10.
  • A Delta Lake streamelési lekérdezéseiben a partíciószűrők a sebességkorlátozás előtt kerülnek alkalmazásra a jobb kihasználtság érdekében.
  • A Unity Catalog streamelő tábláiban és materializált nézeteiben lévő adatcsatorna-lekérdezéseket módosították, hogy hibaüzeneteket jelenítsenek meg.
  • [SPARK-45545]SparkTransportConfSSLOptions öröklődik a létrehozáskor.
  • [SPARK-45584] Kijavítottuk a subquery-futtatási hibát a következővel TakeOrderedAndProjectExec: .
  • [SPARK-45427] RPC SSL-beállításokat adtunk hozzá a SSLOptions-hoz és a SparkTransportConf-hoz.
  • [SPARK-45541] Hozzáadva SSLFactory.
  • [SPARK-45430]FramelessOffsetWindowFunction már nem vall kudarcot, amikor IGNORE NULLS és offset > rowCount.
  • [SPARK-45429] Segédosztályok hozzáadva az SSL RPC-kommunikációhoz.
  • [SPARK-44219] További szabályonkénti érvényesítések hozzáadva az optimalizálási újraírásokhoz.
  • [SPARK-45543] Kijavítottunk egy hibát, amely InferWindowGroupLimit akkor okozott problémát, ha a többi ablakfüggvény nem ugyanazzal az ablakkerettel rendelkezik, mint a rangszerű függvények.
  • Az operációs rendszer biztonsági frissítései.
• 2023. október 23.
  • [SPARK-45256] Kijavítottunk egy hibát, amely miatt DurationWriter nem sikerült több értéket írni, mint a kezdeti kapacitás.
  • [SPARK-45419] Elkerülje a fájlok újrafelhasználását egy másik rocksdb sst példányban a nagyobb verziók fájlverzió-megfeleltetési bejegyzéseinek eltávolításával.
  • [SPARK-45426] Támogatás hozzáadva a következőhöz ReloadingX509TrustManager: .
  • Egyéb javítások.
• 2023. október 13.
  • A Snowflake-jdbc függőség 3.13.29-ről 3.13.33-ra frissült.
  • A array_insert függvény 1-alapú a pozitív és negatív indexekhez, míg korábban a negatív indexek esetében 0-alapú volt. Most egy új elemet szúr be a -1 index bemeneti tömbjeinek végére. Az előző viselkedés visszaállításához állítsa spark.sql.legacy.negativeIndexInArrayInserttrueértékre.
  • Kijavítottunk egy hibát a sérült fájlok figyelmen kívül hagyásával kapcsolatban, amikor ignoreCorruptFiles engedélyezve van a CSV-séma automatikus betöltővel való következtetése során.
  • Állítsd vissza "[SPARK-42946]."
  • [SPARK-42205] Frissítette a JSON protokollt, hogy eltávolítsa az Accumulables-naplózást egy tevékenységben vagy szakaszindítási eseményben.
  • [SPARK-45178] Térjen vissza egyetlen köteg futtatására Trigger.AvailableNow nem támogatott források esetén, a burkoló helyett.
  • [SPARK-45316] Új paraméterek hozzáadása ignoreCorruptFiles és ignoreMissingFiles, valamint HadoopRDD és NewHadoopRDDszámára.
  • [SPARK-44740] Javítottuk az artefaktumok metaadatértékeit.
  • [SPARK-45360] Inicializált Spark-munkamenet-szerkesztő konfigurációja innen SPARK_REMOTE: .
  • [SPARK-44551] Szerkesztett megjegyzések az OSS-sel való szinkronizáláshoz.
  • [SPARK-45346] Parquet-séma következtetése mostantól tiszteletben tartja a kis- és nagybetűket megkülönböztető jelzőket a séma egyesítésekor.
  • [SPARK-44658]ShuffleStatus.getMapStatus most visszaadja a None a Some(null) helyett.
  • [SPARK-44840] 1-alapúvá tettük a negatív array_insert() indexeket.
• 2023. szeptember 14.
  • [SPARK-44873] Támogatás hozzáadva a beágyazott oszlopokkal rendelkező elemekhez a Hive-ügyfélben.
  • [SPARK-44878] Kikapcsolták az RocksDB íráskezelő szigorú korlátját, hogy elkerüljék a gyorsítótár teljesítésekor fellépő beszúrási kivételt.
• 2023. augusztus 30.
  • A dbutils cp parancs (dbutils.fs.cp) a gyorsabb másoláshoz lett optimalizálva. Ezzel a fejlesztéssel a másolási műveletek akár 100-zal kevesebb időt is igénybe vehetnek a fájl méretétől függően. A funkció a Databricksben elérhető összes felhőben és fájlrendszerben elérhető, beleértve a Unity Catalog-köteteket és a DBFS-csatlakoztatásokat is.
  • [SPARK-44455] Azonosítókat idézőjelek helyett backtickekkel jelöljük az SHOW CREATE TABLE eredményben.
  • [SPARK-44763] Kijavítottunk egy hibát, amely egy karakterláncot dupla értékként mutatott bináris aritmetikai intervallummal.
  • [SPARK-44871] Rögzített percentile_disc viselkedés.
  • [SPARK-44714] Az LCA-feloldás korlátozásainak enyhítése a lekérdezések tekintetében.
  • [SPARK-44818] Kijavították a függőben lévő feladat megszakításának versenyfeltételét, amelyet az inicializálás előtt adtak ki.
  • [SPARK-44505] Az oszlopos támogatás felülbírálása hozzáadva a DSv2 szkennelési folyamatban.
  • [SPARK-44479] Kijavítottuk a protobuf átalakítást egy üres szerkezettípusból.
  • [SPARK-44718] A memóriamód ColumnVector alapértelmezett beállításának egyeztetése a OffHeapMemoryMode konfiguráció értékével.
  • [SPARK-42941] Pythonban támogatás hozzáadva StreamingQueryListener.
  • [SPARK-44558] Exportálja a PySpark Spark Connect-naplószintjét.
  • [SPARK-44464] Rögzített applyInPandasWithStatePythonRunner az első oszlopértékként null értéket tartalmazó kimeneti sorokhoz.
  • [SPARK-44643] Kijavítva, amikor a mező üres sor.
  • Az operációs rendszer biztonsági frissítései.

Databricks Runtime 12.2 LTS

Lásd: Databricks Runtime 12.2 LTS.

• 2025. július 15.
  • Az operációs rendszer biztonsági frissítései.

• 2025. július 1.
  • Az operációs rendszer biztonsági frissítései.

• 2025. június 17.
  • Az operációs rendszer biztonsági frissítései.

• 2025. június 3.
  • Frissített Python-kódtárak:
    • tanúsítvány 2019.11.28-tól 2021.10.8-ig 2021.10.8-ig
    • chardet 3.0.4 és 4.0.0 verziókról 4.0.0 verzióra
    • idna 2,8, 3,3 és 3,3 között
    • kérések a 2.22.0, 2.27.1-től a 2.27.1-ig
    • hat az 1.14.0- és 1.16.0-tól az 1.16.0-sig
    • urllib3 1.25.8, 1.26.9 és 1.26.9 között
    • Pip 21.2.4 hozzáadva
    • Hozzáadva a setuptools 61.2.0
    • Tomli 1.2.2 hozzáadva
    • Hozzáadva wcwidth 0.2.5
    • Hozzáadott kerék 0.37.0
    • Eltávolítva: kiadás 1.4.0
    • A distro-info 0.23+ubuntu1.1 eltávolítása megtörtént.
    • Eltávolított python-apt 2.0.1+ubuntu0.20.4.1
  • Frissített Java-kódtárak:
    • ** software.amazon.cryptools.AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64-ről 1.6.1-re
  • Az operációs rendszer biztonsági frissítései.

• 2025. május 20.
  • [SPARK-42655][SQL] Helytelen, nem egyértelmű oszlophivatkozási hiba
  • Az operációs rendszer biztonsági frissítései.

• 2025. április 22.
  • [Viselkedésváltozás] A vákuumműveletek mostantól más műveletekhez hasonlóan hajtanak végre Writer protokollellenőrzéseket, megakadályozva a nem várt törléseket a régebbi DBR-verziókból futtatott újabb funkciókkal rendelkező táblákon.
  • Az operációs rendszer biztonsági frissítései.

• 2025. április 9.
  • Az operációs rendszer biztonsági frissítései.

• 2025. március 11.

  • Az operációs rendszer biztonsági frissítései.

• 2024. december 10.

  • Az operációs rendszer biztonsági frissítései.

• 2024. november 26.

  • Egyéb hibajavítások.

• 2024. október 10.

  • [SPARK-49743][SQL] OptimizeCsvJsonExpr nem módosíthatja a sémamezőket a GetArrayStructFields metszésekor

• 2024. szeptember 25.

  • [SPARK-49000][SQL] Javítás a "select count(distinct 1) from t" kifejezésnél, ahol a t üres táblát jelenti a RewriteDistinctAggregates kibontásával.
  • [SPARK-46601] [CORE] Naplóhiba javítása a handleStatusMessage szolgáltatásban
  • Egyéb hibajavítások.

• 2024. szeptember 17.

  • Az operációs rendszer biztonsági frissítései.

• 2024. augusztus 29.

  • Egyéb hibajavítások.

• 2024. augusztus 14.

  • [SPARK-48941][SPARK-48970] Backport ML-író/ olvasó javításai
  • [SPARK-49065][SQL] Az örökölt formázók/elemzők újra-alapozásának támogatnia kell a nem JVM alapértelmezett időzónákat
  • [SPARK-49056][SQL] A ErrorClassesJsonReader nem tudja megfelelően kezelni a null értéket
  • [SPARK-48597][SQL] Az isStreaming tulajdonság jelölőjének bevezetése a logikai terv szöveges ábrázolásában
  • [SPARK-48463][ML] Beágyazott bemeneti oszlopok támogatása a StringIndexerrel
  • Az operációs rendszer biztonsági frissítései.

• 2024. augusztus 1.

  • [SPARK-48896][SPARK-48909][SPARK-48883] A Backport Spark ML-író javításai

• 2024. augusztus 1.

  • A szükséges biztonsági javítások alkalmazásához a Databricks Runtime 12.2 LTS Python-verziója 3.9.5-ről 3.9.19-re frissül.

• 2024. július 11.

  • (Viselkedésváltozás) Érvénytelenítik a Delta-táblaforrásokkal gyorsítótárazott DataFrame-eket, ha a forrástáblát felülírják. Ez a változás azt jelenti, hogy a Delta-táblák összes állapotváltozása érvényteleníti a gyorsítótárazott eredményeket. A .checkpoint() használatával megőrizheti a táblaállapotokat a DataFrame teljes élettartama alatt.
  • [SPARK-48481][SQL][SS] Ne alkalmazza az OptimizeOneRowPlant a streamelési adatkészletre
  • [SPARK-47070] Érvénytelen aggregáció kijavítása az alregisztráció újraírása után
  • [SPARK-42741][SQL] Ne bontsa le a típusátalakításokat a bináris összehasonlításban, ha a literál értéke null.
  • [SPARK-48445][SQL] Ne illessze be a UDF-eket drága komponensekkel
  • [SPARK-48503][SQL] Érvénytelen skaláris al lekérdezések javítása a helytelenül engedélyezett nem egyenértékű oszlopok csoportosításával
  • [SPARK-48383][SS] Jobb hibaüzenet a Kafka startOffset opció eltérő partícióinál
  • Az operációs rendszer biztonsági frissítései.

• 2024. június 17.

  • [SPARK-48277] ErrorClassesJsonReader.getErrorMessage hibaüzenetének javítása
  • Egyéb hibajavítások.

• 2024. május 21.

  • [SPARK-48105][SS] Az állapottároló kiürítése és a pillanatképek készítése közötti versenyállapot javítása
  • Az operációs rendszer biztonsági frissítései.

• 2024. május 9.

  • [SPARK-44251][SQL] A null érték helyes beállítása az egyesítési kulcson a teljes külső USING illesztés esetén
  • [SPARK-47973][CORE] Hívási hely naplózása a SparkContext.stop() és később a SparkContext.assertNotStopped() metódusokban.
  • [SPARK-47956][SQL] Ésszerűség-ellenőrzés a nem megoldott LCA-referenciához
  • [SPARK-48018][SS] A kafkaException.couldNotReadOffsetRange dobásakor hiányzó paramhibát okozó null groupId kijavítása
  • Az operációs rendszer biztonsági frissítései.

• 2024. április 25.

  • Az operációs rendszer biztonsági frissítései.

• 2024. április 11.

  • Az operációs rendszer biztonsági frissítései.

• 2024. április 1.

  • [SPARK-47305][SQL] A PruneFilters javítása érdekében a LocalRelation isStreaming jelzőjének helyes címkézése, amikor a terv tételes és stream feldolgozást is tartalmaz.
  • [SPARK-44252][SS] Adjon meg egy új hibaosztályt, és alkalmazza arra az esetre, ha az elosztott fájlrendszerből való betöltési állapot meghiúsul
  • [SPARK-47135][SS] Hibaosztályok implementálása a Kafka adatvesztési kivételeihez
  • [SPARK-47200][SS] Hibaosztály a Foreach batch sink felhasználói függvényének hibája esetén
  • Az operációs rendszer biztonsági frissítései.

• 2024. március 14.

  • [SPARK-47176][SQL] Rendelkezzen a ResolveAllExpressionsUpWithPruning segédfüggvénnyel
  • Visszaállítás: "[SPARK-46861][CORE] Holtpont elkerülése a DAGSchedulerben"
  • [SPARK-47125][SQL] Null értéket ad vissza, ha az Univocity soha nem aktiválja az elemzést
  • [SPARK-47167][SQL] Konkrét osztály hozzáadása JDBC névtelen relációhoz
  • Az operációs rendszer biztonsági frissítései.

• 2024. február 29.

  • Kijavítottunk egy hibát, amely miatt a helyi gyűjtemény forrásként való használata a MERGE parancsban kétszeresére növelte a numSourceRows műveletmetrika által jelentett sorok számát.
  • Egy meghatározott hellyel rendelkező séma létrehozásához a felhasználónak SELECT és MODIFY jogosultságokkal kell rendelkeznie a BÁRMELY FÁJLban.
  • [SPARK-45582][SS] Győződjön meg arról, hogy a tárpéldány nincs használatban az aggregálás eredményeit előállító streamelési módban a commit meghívása után.
  • Az operációs rendszer biztonsági frissítései.

• 2024. február 13.

  • [SPARK-46861] Holtpont elkerülése a DAGSchedulerben.
  • [SPARK-46794] Az alekérdezések eltávolítása a LogicalRDD-megkötésekből.
  • Az operációs rendszer biztonsági frissítései.

• 2024. január 31.

  • [SPARK-46763] Kijavítottuk az ismétlődő attribútumok helyességi hibáját a ReplaceDeduplicateWithAggregate fájlban.
  • Az operációs rendszer biztonsági frissítései.

• 2023. december 25.

  • A TLSv1.3-n keresztüli kommunikáció megnövekedett késésének elkerülése érdekében ez a karbantartási kiadás tartalmaz egy javítást a JDK 8 telepítésében a JDK-8293562 hiba kijavításához.
  • [SPARK-39440] Adjon hozzá egy konfigurációt az esemény ütemtervének letiltásához.
  • [SPARK-46132] Az RPC SSL JKS-kulcsainak támogatási kulcsa.
  • [SPARK-46394] A spark.catalog.listDatabases() hibáinak kijavítása speciális karaktereket tartalmazó sémákon, ha spark.sql.legacy.keepCommandOutputSchema igazra van állítva.
  • [SPARK-46417] Ne hiúsuljon meg a hive.getTable hívásakor, ha a throwException értéke hamis.
  • [SPARK-43067] Javítsa ki a hibaosztály erőforrásfájljának helyét a Kafka-összekötőben.
  • [SPARK-46249] Példányzárolás megkövetelése a RocksDB-metrikák beszerzéséhez a háttérben futó verseny megakadályozása érdekében.
  • [SPARK-46602] Jelenítsd meg a allowExisting a nézet létrehozásakor, ha a nézet/tábla nem létezik.
  • [SPARK-46058] Adjon hozzá külön jelölőt a privateKeyPasswordhez.
  • [SPARK-46145] spark.catalog.listTables nem okoz kivételt, ha a tábla vagy nézet nem található.
  • [SPARK-46538] Az oszlophivatkozás nem egyértelműségéből fakadó probléma kijavítása ALSModel.transform.
  • [SPARK-42852] Állítsa vissza a NamedLambdaVariable kapcsolódó módosításokat a EquivalentExpressionsből.

• 2023. december 14.

  • Kijavítottunk egy hibát, amely miatt az getColumns JDBC- vagy ODBC-ügyfelektől származó műveletekben a rendszer helytelenül kezelte az aláhúzásjeleket, és helyettesítő karakterként értelmezte őket.
  • [SPARK-44582] Ha az iterátor az SMJ-nél meg lett tisztítva, hagyja ki.
  • [SPARK-45920] sorszám szerinti csoportosításnak idempotensnek kell lennie.
  • [SPARK-45655] Nem determinisztikus kifejezések engedélyezése az AggregateFunctionsben a CollectMetricsben.
  • Az operációs rendszer biztonsági frissítései.

• 2023. november 29.

  • Telepített egy új csomagot a pyarrow-hotfix PyArrow RCE biztonsági rés elhárításához.
  • Kijavítottunk egy hibát, amely miatt a JDBC- vagy ODBC-ügyfelektől származó getColumns műveletekben a lekezelt aláhúzások helytelenül helyettesítő karakterekként lettek értelmezve.
  • [SPARK-42205] Eltávolítottuk a naplózási összesítőket a Stage és Task indítási eseményeknél.
  • [SPARK-44846] Az összetett csoportosítási kifejezések el lettek távolítva a program után RemoveRedundantAggregates.
  • [SPARK-43718] Kijavítottuk a kapcsolások kulcsainak nullértékességét USING.
  • [SPARK-45544] Integrált SSL-támogatás a TransportContext.
  • [SPARK-43973] A strukturált streamelési felhasználói felület mostantól helyesen jeleníti meg a sikertelen lekérdezéseket.
  • [SPARK-45730] Javított időkorlátok a ReloadingX509TrustManagerSuite.
  • [SPARK-45859] Az UDF-objektumokat ml.functions lusta kiértékelésűvé tették.
  • Az operációs rendszer biztonsági frissítései.

• 2023. november 14.

  • A Delta Lake streamelési lekérdezéseiben a partíciószűrők a sebességkorlátozás előtt kerülnek alkalmazásra a jobb kihasználtság érdekében.
  • [SPARK-45545]SparkTransportConfSSLOptions öröklődik a létrehozáskor.
  • [SPARK-45427] RPC SSL-beállításokat adtunk hozzá a SSLOptions-hoz és a SparkTransportConf-hoz.
  • [SPARK-45584] Kijavítottuk a subquery-futtatási hibát a következővel TakeOrderedAndProjectExec: .
  • [SPARK-45541] Hozzáadva SSLFactory.
  • [SPARK-45430]FramelessOffsetWindowFunction már nem vall kudarcot, amikor IGNORE NULLS és offset > rowCount.
  • [SPARK-45429] Segédosztályok hozzáadva az SSL RPC-kommunikációhoz.
  • Az operációs rendszer biztonsági frissítései.

• 2023. október 24.

  • [SPARK-45426] Támogatás hozzáadva a következőhöz ReloadingX509TrustManager: .
  • Egyéb javítások.

• 2023. október 13.

  • A Snowflake-jdbc függőség 3.13.29-ről 3.13.33-ra frissült.
  • [SPARK-42553] Győződjön meg arról, hogy az intervallum után legalább egy időegység van.
  • [SPARK-45346] A Parquet sémaértelmezése tiszteletben tartja a kis- és nagybetűket megkülönböztető jelzőt a séma egyesítésekor.
  • [SPARK-45178] Térjen vissza egyetlen köteg futtatására Trigger.AvailableNow nem támogatott források esetén, a burkoló helyett.
  • [SPARK-45084]StateOperatorProgress a shuffle partíciószám pontos és megfelelő használatához.

• 2023. szeptember 12.

  • [SPARK-44873] Támogatás hozzáadása a Hive-ügyfél beágyazott oszlopaival rendelkező alter view-hez.
  • [SPARK-44718] A memóriamód ColumnVector alapértelmezett beállításának egyeztetése a OffHeapMemoryMode konfiguráció értékével.
  • [SPARK-43799] Leíró bináris beállítás hozzáadva a PySpark Protobuf API-hoz.
  • Egyéb javítások.

• 2023. augusztus 30.

  • [SPARK-44485] Optimalizált TreeNode.generateTreeString.
  • [SPARK-44818] Kijavították a függőben lévő feladat megszakításának versenyfeltételét, amelyet az inicializálás előtt adtak ki.
  • [SPARK-44871][11.3-13.0] Rögzített percentile_disc viselkedés.
  • [SPARK-44714] Az LCA-feloldás lekérdezésekkel kapcsolatos korlátozásait enyhítettük.
  • Az operációs rendszer biztonsági frissítései.

• 2023. augusztus 15.

  • [SPARK-44504] A karbantartási feladat leállításkor bekövetkező hiba esetén törli a betöltött szolgáltatókat.
  • [SPARK-44464] Javítottuk applyInPandasWithStatePythonRunner úgy, hogy az első oszlopértékként Null tartalmazó sorokat adja ki.
  • Az operációs rendszer biztonsági frissítései.

• 2023. július 29.

  • Kijavítottunk egy hibát, amely miatt dbutils.fs.ls()INVALID_PARAMETER_VALUE.LOCATION_OVERLAP adott vissza, amikor olyan tárolási hely elérési útját kérte, amely ütközött más külső vagy felügyelt tárolóhelyekkel.
  • [SPARK-44199]CacheManager a továbbiakban nem frissíti feleslegesen.fileIndex
  • Az operációs rendszer biztonsági frissítései.

• 2023. július 24.

  • [SPARK-44337] Kijavítottunk egy hibát, amely miatt a Any.getDefaultInstance mező elemzési hibákat okozott.
  • [SPARK-44136] Kijavítottunk egy hibát, amely miatt a StateManager a FlatMapGroupsWithStateExec illesztőprogram helyett a végrehajtónál lett feldolgozva.
  • Az operációs rendszer biztonsági frissítései.

• 2023. június 23.

  • Az operációs rendszer biztonsági frissítései.

• 2023. június 15.

  • Fotonizált approx_count_distinct.
  • A Snowflake-jdbc kódtár 3.13.29-re frissül egy biztonsági probléma megoldásához.
  • [SPARK-43779]ParseToDate most a főszálban töltődik be.
  • [SPARK-43156][SPARK-43098] Kiterjesztett skaláris subquery számláló hibateszt, amikor a decorrelateInnerQuery ki van kapcsolva.
  • Az operációs rendszer biztonsági frissítései.

• 2023. június 2.

  • A JSON-elemző failOnUnknownFields módban lemond egy rekordról DROPMALFORMED módban, és közvetlenül meghiúsul FAILFAST módban.
  • A növekményes frissítések teljesítményének javítása az Apache Iceberg és az Apache Parquet használatával SHALLOW CLONE .
  • Kijavítottunk egy hibát az Automatikus betöltőben, amelyben a különböző forrásfájlformátumok inkonzisztensek voltak, amikor a megadott séma nem tartalmazott következtetéses partíciókat. Ez a probléma váratlan hibákat okozhat a hiányzó oszlopokat tartalmazó fájlok olvasása során a késleltetett partíciós sémában.
  • [SPARK-43404] Az azonosítóeltérési hiba elkerülése érdekében hagyja ki a RocksDB-állapottároló ugyanazon verziójához tartozó sst-fájl újbóli újrafelhasználását.
  • [SPARK-43413][11.3-13.0] Kijavították IN az alkérdés ListQuery null-érzékenységét.
  • [SPARK-43522] Kijavítottuk a struct oszlop létrehozását a tömb indexe szerint.
  • [SPARK-43541] Propagálja az összes Project címkét a kifejezések és hiányzó oszlopok feloldása során.
  • [SPARK-43527] Javítva catalog.listCatalogs a PySparkban.
  • [SPARK-43123] A belső mező metaadatai már nem szivárognak ki a katalógusba.
  • [SPARK-43340] Kijavítottuk az eseménynaplókban a hiányzó veremnyomkövetési mezőt.
  • [SPARK-42444]DataFrame.drop mostantól helyesen kezeli a duplikált oszlopokat.
  • [SPARK-42937]PlanSubqueries most igazra állítja a InSubqueryExec#shouldBroadcast-t.
  • [SPARK-43286] A CBC módot frissítettük, hogy véletlenszerű IV-ket generáljon.
  • [SPARK-43378] A streamobjektumok megfelelő lezárása a következőben: deserializeFromChunkedBuffer.

• 2023. május 17.

  • A Parquet-vizsgálatok mostantól megbízhatóak az OOM-ekkel szemben, miután dinamikusan módosítják a tételméretet, amikor kivételesen strukturált fájlokat vizsgálnak. A fájl metaadatait a rendszer a köteg méretének előzetes csökkentése érdekében elemzi, és a feladat újrapróbálkozásakor ismét csökkenti végleges biztonsági hálóként.
  • Ha egy Avro-fájlt csak a failOnUnknownFields beállítással vagy a failOnNewColumns sémafejlődési módban lévő Automatikus betöltővel olvastak, a különböző adattípusokkal rendelkező oszlopok null lesznek felolvasva ahelyett, hogy hibaüzenetet adnának arról, hogy a fájl nem olvasható. Ezek a műveletek most nem sikerülnek, és azt javasolják a felhasználóknak, hogy használják a rescuedDataColumn lehetőséget.
  • Az Automatikus betöltő mostantól a következőket végzi el.
  • • Helyesen olvassa, és nem menti többé a Integer, Short és Byte típusokat, ha az egyik ilyen adattípus meg van adva, de az Avro-fájlból kiderül, hogy a másik két típus egyikére utal.
  • • Megakadályozza az intervallumtípusok dátum- vagy időbélyeg-típusokként való olvasását, hogy elkerülje a sérült dátumok beolvasását.
  • • Megakadályozza a kisebb pontosságú olvasási Decimal típusokat.
  • [SPARK-43172] Hozzáférhetővé teszi a Spark Connect-ügyfél gazdagépét és jogkivonatát.
  • [SPARK-43293]__qualified_access_only figyelmen kívül van hagyva a normál oszlopokban.
  • [SPARK-43098] Kijavítottuk a helyességi COUNT hibát, ha a skaláris alkérdezés záradék szerint van csoportosítva.
  • [SPARK-43085] Többrészes táblanevek oszlop-DEFAULT hozzárendelésének támogatása.
  • [SPARK-43190]ListQuery.childOutput már konzisztens a másodlagos kimenettel.
  • [SPARK-43192] Eltávolítottuk a felhasználói ügynök karakterkészletének ellenőrzését.
  • Az operációs rendszer biztonsági frissítései.

• 2023. április 25.

  • Ha egy Parquet-fájlt csak a failOnUnknownFields beállítással vagy az Automatikus betöltővel olvas be a failOnNewColumns sémafejlődési módban, a különböző adattípusú oszlopok null lesznek felolvasva ahelyett, hogy hibaüzenetet adnának arról, hogy a fájl nem olvasható. Ezek a műveletek most nem sikerülnek, és azt javasolják a felhasználóknak, hogy használják a rescuedDataColumn lehetőséget.
  • Az Automatikus betöltő mostantól helyesen olvassa be az adatokat, és már nem kezeli a Integer, Short és Byte típusokat, ha ezek közül az adattípusok egyike meg van adva. A Parquet-fájl a másik két típus egyikét javasolja. Ha a mentett adatoszlop korábban engedélyezve lett, az adattípus eltérése az oszlopok mentését okozhatja annak ellenére, hogy olvashatók voltak.
  • [SPARK-43009] Állandókkal sql() paraméterezve Any
  • [SPARK-42406] A Protobuf rekurzív mezőinek leállása a mező elvetésével
  • [SPARK-43038] A CBC mód támogatása a következővel: aes_encrypt()/aes_decrypt()
  • [SPARK-42971] Változtassa meg úgy, hogy nyomtassa ki a workdir , ha a appDirs null értékű a munkafeladat kezelésekor WorkDirCleanup esemény során
  • [SPARK-43018] Hiba javítása INSERT időbélyeg-literálokkal rendelkező parancsokhoz
  • Az operációs rendszer biztonsági frissítései.

• 2023. április 11.

  • Támogatja a régi adatforrásformátumokat a SYNC parancsban.
  • Kijavítottuk a tárházban kívüli jegyzetfüzetek %automatikus betöltési viselkedésével kapcsolatos hibát.
  • Kijavítottunk egy hibát, amely miatt az automatikus betöltő séma fejlődése végtelen feladathurkba léphet, amikor egy új oszlopot észlel egy beágyazott JSON-objektum sémájában.
  • [SPARK-42928] Szinkronizálva lesz resolvePersistentFunction .
  • [SPARK-42936] Kijavítja az LCan-hibát, ha a záradék közvetlenül a részösszesítéssel oldható meg.
  • [SPARK-42967] Javítás SparkListenerTaskStart.stageAttemptId, amikor egy feladat a szakasz megszakítása után indul el.
  • Az operációs rendszer biztonsági frissítései.

• 2023. március 29.

  • A Databricks SQL mostantól támogatja a Delta Lake-táblák oszlopainak alapértelmezett értékeinek megadását akár a tábla létrehozásakor, akár utána. Az ezt követő INSERT, UPDATEés DELETEMERGEparancsok bármely oszlop alapértelmezett értékére hivatkozhatnak az explicit DEFAULT kulcsszó használatával. Ezenkívül ha bármely INSERT-hozzárendelés a céltáblánál kevesebb oszlopból álló explicit listát tartalmaz, a megfelelő oszlop alapértelmezett értékeit a rendszer a többi oszlopra cseréli (vagy NULL értéket, ha nincs megadva alapértelmezett érték).

    Példa:

    CREATE TABLE t (first INT, second DATE DEFAULT CURRENT_DATE());
    INSERT INTO t VALUES (0, DEFAULT);
    INSERT INTO t VALUES (1, DEFAULT);
    SELECT first, second FROM t;
    > 0, 2023-03-28
    1, 2023-03-28z
    

  • Az Auto Loader mostantól legalább egy szinkron RocksDB-naplótisztítást kezdeményez a Trigger.AvailableNow streamekhez, hogy ellenőrizze, hogy az ellenőrzőpont rendszeresen megtisztítható-e a gyorsan futó Auto Loader streamek esetében. Ez azt eredményezheti, hogy bizonyos streamek tovább tartanak, mielőtt leállnak, de ezzel tárolási költségeket takaríthat meg, és javíthatja az Automatikus Betöltő élményét a jövőbeli futtatások során.

  • Mostantól módosíthatja a Delta-táblázatot, hogy támogatást adjon a táblafunkciókhoz a DeltaTable.addFeatureSupport(feature_name)használatával.

  • [SPARK-42794] Növelje a lockAcquireTimeoutM-eket 2 percre a RocksDB állapottárolójának a Structure Streamingben való beszerzéséhez

  • [SPARK-42521] NULL-ek hozzáadása olyan INSERT-ekhez, amelyek felhasználó által megadott listái kevesebb oszlopot tartalmaznak, mint a céltábla

  • [SPARK-42702][SPARK-42623] Paraméteres lekérdezés támogatása az alkérésben és a CTE-ben

  • [SPARK-42668] Kivétel észlelése a tömörített stream HDFSStateStoreProvider leállítása közben

  • [SPARK-42403] A JsonProtocolnak null JSON-sztringeket kell kezelnie

• 2023. március 8.

  • A "Konfiguráció inicializálásának sikertelensége" hibaüzenetet javítottuk, hogy több kontextust biztosítsunk az ügyfél számára.
  • Terminológiamódosítás történik a funkciók Delta-táblához való hozzáadásához a táblatulajdonság használatával. Az előnyben részesített szintaxis most már a 'delta.feature.featureName'='supported' ahelyett, hogy 'delta.feature.featureName'='enabled' lenne. A visszamenőleges kompatibilitás érdekében a 'delta.feature.featureName'='enabled' használata továbbra is működni fog.
  • Ettől a kiadástól kezdve létrehozhat vagy lecserélhet egy táblát egy további delta.ignoreProtocolDefaults táblatulajdonsággal, amellyel figyelmen kívül hagyhatók a protokollal kapcsolatos Spark-konfigurációk, ideértve az alapértelmezett olvasó- és íróverziókat, valamint a táblafunkciókat.
  • [SPARK-42070] A Maszk függvény argumentumának alapértelmezett értékének módosítása -1 értékről NULL értékre
  • [SPARK-41793] Helytelen eredmény az ablakkeretek esetében, amelyeket egy tartományi feltétel határoz meg a fontos tizedesjegyeknél.
  • [SPARK-42484] Az UnsafeRowUtils hibajelzéseinek javított üzenete
  • [SPARK-42516] Nézetek létrehozásakor mindig rögzítse a munkamenet időzóna-konfigurációját
  • [SPARK-42635] Javítsa ki a TimestampAdd kifejezést.
  • [SPARK-42622] Az értékek helyettesítésének kikapcsolása
  • [SPARK-42534] Javítsd a DB2Dialect Limit záradékot
  • [SPARK-42121] Beépített táblaértékelt függvények hozzáadása: posexplode, posexplode_outer, json_tuple és stack
  • [SPARK-42045] ANSI SQL mód: A Round/Bround hibát kéne jelezzen apró, kis vagy jelentős egész szám túllépésekor
  • Az operációs rendszer biztonsági frissítései.

Databricks Runtime 11.3 LTS

Lásd: Databricks Runtime 11.3 LTS.

• 2025. július 15.
  • Az operációs rendszer biztonsági frissítései.

• 2025. július 1.
  • Az operációs rendszer biztonsági frissítései.

• 2025. június 17.
  • Az operációs rendszer biztonsági frissítései.

• 2025. június 3.
  • Frissített Python-kódtárak:
    • tanúsítvány 2019.11.28-tól 2021.10.8-ig 2021.10.8-ig
    • chardet 3.0.4 és 4.0.0 verziókról 4.0.0 verzióra
    • "idna frissítve a 2.8, 3.2 verziókról a 3.2 verzióra"
    • kérések 2.22.0, 2.26.0-tól 2.26.0-ra
    • hat az 1.14.0- és 1.16.0-tól az 1.16.0-sig
    • urllib3 1.25.8, 1.26.7 és 1.26.7 között
    • Pip 21.2.4 hozzáadva
    • Hozzáadva a setuptools 58.0.4
    • Tomli 2.0.1 hozzáadva
    • Hozzáadva wcwidth 0.2.5
    • Hozzáadott kerék 0.37.0
    • Eltávolítva: kiadás 1.4.0
    • A distro-info 0.23+ubuntu1.1 eltávolítása megtörtént.
    • Eltávolított python-apt 2.0.1+ubuntu0.20.4.1
  • Az operációs rendszer biztonsági frissítései.

• 2025. május 20.
  • [SPARK-42655][SQL] Helytelen, nem egyértelmű oszlophivatkozási hiba
  • Az operációs rendszer biztonsági frissítései.

• 2025. április 22.
  • [Viselkedésváltozás] A vákuumműveletek mostantól más műveletekhez hasonlóan hajtanak végre Writer protokollellenőrzéseket, megakadályozva a nem várt törléseket a régebbi DBR-verziókból futtatott újabb funkciókkal rendelkező táblákon.
  • Az operációs rendszer biztonsági frissítései.

• 2025. április 9.
  • Az operációs rendszer biztonsági frissítései.

• 2025. március 5.
  • Az operációs rendszer biztonsági frissítései.

• 2025. február 11.
  • Ez a kiadás tartalmaz egy javítást egy peremes esethez, ahol egy növekményes CLONE újramásolhatja a forrástáblából a céltáblába másolt fájlokat. Lásd: Az Azure Databricks táblájának klónozása.

• 2024. december 10.
  • Az operációs rendszer biztonsági frissítései.
• 2024. november 26.
  • Egyéb hibajavítások.
• 2024. október 10.
  • Egyéb hibajavítások.
• 2024. szeptember 25.
  • [SPARK-46601] [CORE] Naplóhiba javítása a handleStatusMessage szolgáltatásban
  • [SPARK-49000][SQL] Javítás a "select count(distinct 1) from t" kifejezésnél, ahol a t üres táblát jelenti a RewriteDistinctAggregates kibontásával.
  • Egyéb hibajavítások.
• 2024. szeptember 17.
  • Az operációs rendszer biztonsági frissítései.
• 2024. augusztus 29.
• 2024. augusztus 14.
  • [SPARK-48941][SPARK-48970] Backport ML-író/ olvasó javításai
  • [SPARK-49065][SQL] Az örökölt formázók/elemzők újra-alapozásának támogatnia kell a nem JVM alapértelmezett időzónákat
  • [SPARK-48597][SQL] Az isStreaming tulajdonság jelölőjének bevezetése a logikai terv szöveges ábrázolásában
  • [SPARK-48463][ML] Beágyazott bemeneti oszlopok támogatása a StringIndexerrel
  • Az operációs rendszer biztonsági frissítései.
• 2024. augusztus 1.
  • [SPARK-48896][SPARK-48909][SPARK-48883] A Backport Spark ML-író javításai
• 2024. augusztus 1.
  • A szükséges biztonsági javítások alkalmazásához a Databricks Runtime 11.3 LTS Python-verziója 3.9.5-ről 3.9.19-re frissül.
• 2024. július 11.
  • [SPARK-48383][SS] Jobb hibaüzenet a Kafka startOffset opció eltérő partícióinál
  • [SPARK-47070] Érvénytelen aggregáció kijavítása az alregisztráció újraírása után
  • Az operációs rendszer biztonsági frissítései.
• 2024. június 17.
  • Az operációs rendszer biztonsági frissítései.
• 2024. május 21.
  • [SPARK-48105][SS] Az állapottároló kiürítése és a pillanatképek készítése közötti versenyállapot javítása
  • Az operációs rendszer biztonsági frissítései.
• 2024. május 9.
  • [SPARK-48018][SS] A kafkaException.couldNotReadOffsetRange dobásakor hiányzó paramhibát okozó null groupId kijavítása
  • [SPARK-47973][CORE] Hívási hely naplózása a SparkContext.stop() és később a SparkContext.assertNotStopped() metódusokban.
  • [SPARK-44251][SQL] A null érték helyes beállítása az egyesítési kulcson a teljes külső USING illesztés esetén
  • Az operációs rendszer biztonsági frissítései.
• 2024. április 25.
  • Az operációs rendszer biztonsági frissítései.
• 2024. április 11.
  • Az operációs rendszer biztonsági frissítései.
• 2024. április 1.
  • [SPARK-44252][SS] Adjon meg egy új hibaosztályt, és alkalmazza arra az esetre, ha az elosztott fájlrendszerből való betöltési állapot meghiúsul
  • [SPARK-47135][SS] Hibaosztályok implementálása a Kafka adatvesztési kivételeihez
  • Visszaállítás: "[SPARK-46861][CORE] Holtpont elkerülése a DAGSchedulerben"
  • [SPARK-47200][SS] Hibaosztály a Foreach batch sink felhasználói függvényének hibája esetén
  • Az operációs rendszer biztonsági frissítései.
• 2024. március 14.
  • [SPARK-47167][SQL] Konkrét osztály hozzáadása JDBC névtelen relációhoz
  • [SPARK-47125][SQL] Null értéket ad vissza, ha az Univocity soha nem aktiválja az elemzést
  • Az operációs rendszer biztonsági frissítései.
• 2024. február 29.
  • Kijavítottunk egy hibát, amely miatt a helyi gyűjtemény forrásként való használata a MERGE parancsban kétszeresére növelte a numSourceRows műveletmetrika által jelentett sorok számát.
  • [SPARK-45582][SS] Győződjön meg arról, hogy a tárpéldány nincs használatban az aggregálás eredményeit előállító streamelési módban a commit meghívása után.
• 2024. február 13.
  • [SPARK-46794] Az alekérdezések eltávolítása a LogicalRDD-megkötésekből.
  • [SPARK-46861] Holtpont elkerülése a DAGSchedulerben.
  • Az operációs rendszer biztonsági frissítései.
• 2024. január 31.
  • Az operációs rendszer biztonsági frissítései.
• 2023. december 25.
  • A TLSv1.3-n keresztüli kommunikáció megnövekedett késésének elkerülése érdekében ez a karbantartási kiadás tartalmaz egy javítást a JDK 8 telepítésében a JDK-8293562 hiba kijavításához.
  • [SPARK-46058] Adjon hozzá külön jelölőt a privateKeyPasswordhez.
  • [SPARK-46602] Jelenítsd meg a allowExisting a nézet létrehozásakor, ha a nézet/tábla nem létezik.
  • [SPARK-46394] A spark.catalog.listDatabases() hibáinak kijavítása speciális karaktereket tartalmazó sémákon, ha spark.sql.legacy.keepCommandOutputSchema igazra van állítva.
  • [SPARK-46538] Az oszlophivatkozás nem egyértelműségéből fakadó probléma kijavítása ALSModel.transform.
  • [SPARK-39440] Adjon hozzá egy konfigurációt az esemény ütemtervének letiltásához.
  • [SPARK-46249] Példányzárolás megkövetelése a RocksDB-metrikák beszerzéséhez a háttérben futó verseny megakadályozása érdekében.
  • [SPARK-46132] Az RPC SSL JKS-kulcsainak támogatási kulcsa.
• 2023. december 14.
  • Kijavítottunk egy hibát, amely miatt az getColumns JDBC- vagy ODBC-ügyfelektől származó műveletekben a rendszer helytelenül kezelte az aláhúzásjeleket, és helyettesítő karakterként értelmezte őket.
  • Az operációs rendszer biztonsági frissítései.
• 2023. november 29.
  • Telepített egy új csomagot a pyarrow-hotfix PyArrow RCE biztonsági rés elhárításához.
  • Kijavítottunk egy hibát, amely miatt a JDBC- vagy ODBC-ügyfelektől származó getColumns műveletekben a lekezelt aláhúzások helytelenül helyettesítő karakterekként lettek értelmezve.
  • [SPARK-43973] A strukturált streamelési felhasználói felület mostantól helyesen jeleníti meg a sikertelen lekérdezéseket.
  • [SPARK-45730] Javított időkorlátok a ReloadingX509TrustManagerSuite.
  • [SPARK-45544] Integrált SSL-támogatás a TransportContext.
  • [SPARK-45859] Az UDF-objektumokat ml.functions lusta kiértékelésűvé tették.
  • [SPARK-43718] Kijavítottuk a kapcsolások kulcsainak nullértékességét USING.
  • [SPARK-44846] Az összetett csoportosítási kifejezések el lettek távolítva a program után RemoveRedundantAggregates.
  • Az operációs rendszer biztonsági frissítései.
• 2023. november 14.
  • A Delta Lake streamelési lekérdezéseiben a partíciószűrők a sebességkorlátozás előtt kerülnek alkalmazásra a jobb kihasználtság érdekében.
  • [SPARK-42205] A feladat- és tevékenységindítási eseményekben eltávolított naplózási felhalmozott adatok.
  • [SPARK-45545]SparkTransportConfSSLOptions öröklődik a létrehozáskor.
  • Állítsd vissza [SPARK-33861].
  • [SPARK-45541] Hozzáadva SSLFactory.
  • [SPARK-45429] Segédosztályok hozzáadva az SSL RPC-kommunikációhoz.
  • [SPARK-45584] Kijavítottuk a subquery-futtatási hibát a következővel TakeOrderedAndProjectExec: .
  • [SPARK-45430]FramelessOffsetWindowFunction már nem vall kudarcot, amikor IGNORE NULLS és offset > rowCount.
  • [SPARK-45427] RPC SSL-beállításokat adtunk hozzá a SSLOptions-hoz és a SparkTransportConf-hoz.
  • Az operációs rendszer biztonsági frissítései.
• 2023. október 24.
  • [SPARK-45426] Támogatás hozzáadva a következőhöz ReloadingX509TrustManager: .
  • Egyéb javítások.
• 2023. október 13.
  • A Snowflake-jdbc függőség 3.13.29-ről 3.13.33-ra frissült.
  • [SPARK-45178] Térjen vissza egyetlen köteg futtatására Trigger.AvailableNow nem támogatott források esetén, a burkoló helyett.
  • [SPARK-45084]StateOperatorProgress a shuffle partíciószám pontos és megfelelő használatához.
  • [SPARK-45346] Parquet-séma következtetése mostantól tiszteletben tartja a kis- és nagybetűket megkülönböztető jelzőt egy séma egyesítésekor.
  • Az operációs rendszer biztonsági frissítései.
• 2023. szeptember 10.
  • Egyéb javítások.
• 2023. augusztus 30.
  • [SPARK-44818] Kijavították a függőben lévő feladat megszakításának versenyfeltételét, amelyet az inicializálás előtt adtak ki.
  • [SPARK-44871][11.3-13.0] Rögzített percentile_disc viselkedés.
  • Az operációs rendszer biztonsági frissítései.
• 2023. augusztus 15.
  • [SPARK-44485] Optimalizált TreeNode.generateTreeString.
  • [SPARK-44504] A karbantartási feladat leállításkor bekövetkező hiba esetén törli a betöltött szolgáltatókat.
  • [SPARK-44464] Javítottuk applyInPandasWithStatePythonRunner úgy, hogy az első oszlopértékként Null tartalmazó sorokat adja ki.
  • Az operációs rendszer biztonsági frissítései.
• 2023. július 27.
  • Kijavítottunk egy hibát, amely miatt dbutils.fs.ls()INVALID_PARAMETER_VALUE.LOCATION_OVERLAP adott vissza, amikor olyan tárolási hely elérési útját kérte, amely ütközött más külső vagy felügyelt tárolóhelyekkel.
  • [SPARK-44199]CacheManager a továbbiakban nem frissíti feleslegesen.fileIndex
  • Az operációs rendszer biztonsági frissítései.
• 2023. július 24.
  • [SPARK-44136] Kijavítottunk egy hibát, amely miatt a StateManager a FlatMapGroupsWithStateExec műveletnél a vezérlő helyett a végrehajtóban materializálódhat.
  • Az operációs rendszer biztonsági frissítései.
• 2023. június 23.
  • Az operációs rendszer biztonsági frissítései.
• 2023. június 15.
  • Fotonizált approx_count_distinct.
  • A Snowflake-jdbc kódtár 3.13.29-re frissül egy biztonsági probléma megoldásához.
  • [SPARK-43779]ParseToDate most a főszálban töltődik be.
  • [SPARK-40862] Nem aggregált albejegyzések támogatása a RewriteCorrelatedScalarSubquery szolgáltatásban
  • [SPARK-43156][SPARK-43098] Kiterjesztett skaláris részlekérdezés hibateszt a gradiensszámolási bugra vonatkozóan, kikapcsolt decorrelateInnerQuery opcióval.
  • [SPARK-43098] Helyességi COUNT hiba javítása, ha a skaláris alkérdezés csoportosítási záradékot tartalmaz.
  • Az operációs rendszer biztonsági frissítései.
• 2023. június 2.
  • A JSON-elemző failOnUnknownFields módban lemond egy rekordról DROPMALFORMED módban, és közvetlenül meghiúsul FAILFAST módban.
  • A növekményes frissítések teljesítményének javítása az Apache Iceberg és az Apache Parquet használatával SHALLOW CLONE .
  • Kijavítottunk egy hibát az Automatikus betöltőben, amelyben a különböző forrásfájlformátumok inkonzisztensek voltak, amikor a megadott séma nem tartalmazott következtetéses partíciókat. Ez a probléma váratlan hibákat okozhat a hiányzó oszlopokat tartalmazó fájlok olvasása során a késleltetett partíciós sémában.
  • [SPARK-43404]Az azonosítóeltérési hiba elkerülése érdekében hagyja ki a RocksDB-állapottároló ugyanazon verziójához tartozó sst-fájl újbóli újrafelhasználását.
  • [SPARK-43527] Javítva catalog.listCatalogs a PySparkban.
  • [SPARK-43413][11.3-13.0] Kijavították IN az alkérdés ListQuery null-érzékenységét.
  • [SPARK-43340] Kijavítottuk az eseménynaplókban a hiányzó veremnyomkövetési mezőt.

Databricks Runtime 10.4 LTS

Lásd : Databricks Runtime 10.4 LTS (EoS).

• 2025. július 15.
  • Az operációs rendszer biztonsági frissítései.

• 2025. július 1.

  • Az operációs rendszer biztonsági frissítései.

• 2025. június 17.

  • Az operációs rendszer biztonsági frissítései.

• 2025. június 3.
  • Frissített Python-kódtárak:
    • minősítés 2019.11.28-tól 2020.12.5-től 2020.12.5-ig
    • chardet 3.0.4 és 4.0.0 verziókról 4.0.0 verzióra
    • idna 2.10, 2.8 és 2.10 között
    • 2.22.0, 2.25.1-től 2.25.1-hez
    • hat az 1.14.0-tól, 1.15.0-tól 1.15.0-ra
    • urllib3 1.25.8-ról 1.25.11-re
    • Pip 21.0.1 hozzáadva
    • Hozzáadásra került a setuptools 52.0.0
    • Hozzáadva wcwidth 0.2.5
    • Hozzáadott kerék 0.36.2
    • Eltávolítva: kiadás 1.4.0
    • A distro-info 0.23+ubuntu1.1 eltávolítása megtörtént.
    • Eltávolított python-apt 2.0.1+ubuntu0.20.4.1
  • Az operációs rendszer biztonsági frissítései.

• 2025. május 20.
  • Az operációs rendszer biztonsági frissítései.

• 2025. április 22.
  • Az operációs rendszer biztonsági frissítései.

• 2025. április 9.
  • Az operációs rendszer biztonsági frissítései.

• 2025. március 11.
  • Az operációs rendszer biztonsági frissítései.

• 2025. február 11.
  • Ez a kiadás tartalmaz egy javítást egy peremes esethez, ahol egy növekményes CLONE újramásolhatja a forrástáblából a céltáblába másolt fájlokat. Lásd: Az Azure Databricks táblájának klónozása.
  • Az operációs rendszer biztonsági frissítései.

• 2024. december 10.
  • Az operációs rendszer biztonsági frissítései.
• 2024. november 26.
  • Az operációs rendszer biztonsági frissítései.
• 2024. november 5.
  • Az operációs rendszer biztonsági frissítései.
• 2024. október 22.
  • Az operációs rendszer biztonsági frissítései.
• 2024. október 10.
  • Az operációs rendszer biztonsági frissítései.
• 2024. szeptember 25.
  • [SPARK-46601] [CORE] Naplóhiba javítása a handleStatusMessage szolgáltatásban
  • [SPARK-49000][SQL] Javítás a "select count(distinct 1) from t" kifejezésnél, ahol a t üres táblát jelenti a RewriteDistinctAggregates kibontásával.
  • Az operációs rendszer biztonsági frissítései.
• 2024. szeptember 17.
  • Az operációs rendszer biztonsági frissítései.
• 2024. augusztus 29.
  • [SPARK-49065][SQL] Az örökölt formázók/elemzők újra-alapozásának támogatnia kell a nem JVM alapértelmezett időzónákat
• 2024. augusztus 14.
  • [SPARK-48597][SQL] Az isStreaming tulajdonság jelölőjének bevezetése a logikai terv szöveges ábrázolásában
  • [SPARK-48941][SPARK-48970] Backport ML-író/ olvasó javításai
  • [SPARK-48463][ML] Beágyazott bemeneti oszlopok támogatása a StringIndexerrel
• 2024. augusztus 1.
  • [SPARK-48896][SPARK-48909][SPARK-48883] A Backport Spark ML-író javításai
  • Az operációs rendszer biztonsági frissítései.
• 2024. július 11.
  • [SPARK-48383][SS] Jobb hibaüzenet a Kafka startOffset opció eltérő partícióinál
  • Az operációs rendszer biztonsági frissítései.
• 2024. június 17.
  • Az operációs rendszer biztonsági frissítései.
• 2024. május 21.
  • [SPARK-48105][SS] Az állapottároló kiürítése és a pillanatképek készítése közötti versenyállapot javítása
  • Az operációs rendszer biztonsági frissítései.
• 2024. május 9.
  • [SPARK-48018][SS] A kafkaException.couldNotReadOffsetRange dobásakor hiányzó paramhibát okozó null groupId kijavítása
  • [SPARK-47973][CORE] Hívási hely naplózása a SparkContext.stop() és később a SparkContext.assertNotStopped() metódusokban.
  • [SPARK-44251][SQL] A null érték helyes beállítása az egyesítési kulcson a teljes külső USING illesztés esetén
  • Az operációs rendszer biztonsági frissítései.
• 2024. április 25.
  • Az operációs rendszer biztonsági frissítései.
• 2024. április 11.
  • Az operációs rendszer biztonsági frissítései.
• 2024. április 1.
  • [SPARK-47135][SS] Hibaosztályok implementálása a Kafka adatvesztési kivételeihez
  • [SPARK-44252][SS] Adjon meg egy új hibaosztályt, és alkalmazza arra az esetre, ha az elosztott fájlrendszerből való betöltési állapot meghiúsul
  • [SPARK-47200][SS] Hibaosztály a Foreach batch sink felhasználói függvényének hibája esetén
  • Visszaállítás: "[SPARK-46861][CORE] Holtpont elkerülése a DAGSchedulerben"
  • Az operációs rendszer biztonsági frissítései.
• 2024. március 14.
  • [SPARK-47125][SQL] Null értéket ad vissza, ha az Univocity soha nem aktiválja az elemzést
  • Az operációs rendszer biztonsági frissítései.
• 2024. február 29.
  • Kijavítottunk egy hibát, amely miatt a helyi gyűjtemény forrásként való használata a MERGE parancsban kétszeresére növelte a numSourceRows műveletmetrika által jelentett sorok számát.
  • [SPARK-45582][SS] Győződjön meg arról, hogy a tárpéldány nincs használatban az aggregálás eredményeit előállító streamelési módban a commit meghívása után.
  • Az operációs rendszer biztonsági frissítései.
• 2024. február 13.
  • [SPARK-46861] Holtpont elkerülése a DAGSchedulerben.
  • Az operációs rendszer biztonsági frissítései.
• 2024. január 31.
  • Az operációs rendszer biztonsági frissítései.
• 2023. december 25.
  • A TLSv1.3-n keresztüli kommunikáció megnövekedett késésének elkerülése érdekében ez a karbantartási kiadás tartalmaz egy javítást a JDK 8 telepítésében a JDK-8293562 hiba kijavításához.
  • [SPARK-46058] Adjon hozzá külön jelölőt a privateKeyPasswordhez.
  • [SPARK-46538] Az oszlophivatkozás nem egyértelműségéből fakadó probléma kijavítása ALSModel.transform.
  • [SPARK-39440] Adjon hozzá egy konfigurációt az esemény ütemtervének letiltásához.
  • [SPARK-46132] Az RPC SSL JKS-kulcsainak támogatási kulcsa.
• 2023. december 14.
  • Az operációs rendszer biztonsági frissítései.
• 2023. november 29.
  • Telepített egy új csomagot a pyarrow-hotfix PyArrow RCE biztonsági rés elhárításához.
  • [SPARK-45544] Integrált SSL-támogatás a TransportContext.
  • [SPARK-45859] Az UDF-objektumokat ml.functions lusta kiértékelésűvé tették.
  • [SPARK-43718] Kijavítottuk a kapcsolások kulcsainak nullértékességét USING.
  • [SPARK-45730] Javított időkorlátok a ReloadingX509TrustManagerSuite.
  • [SPARK-42205] A feladat- és tevékenységindítási eseményekben eltávolított naplózási felhalmozott adatok.
  • [SPARK-44846] Az összetett csoportosítási kifejezések el lettek távolítva a program után RemoveRedundantAggregates.
  • Az operációs rendszer biztonsági frissítései.
• 2023. november 14.
  • [SPARK-45541] Hozzáadva SSLFactory.
  • [SPARK-45545]SparkTransportConfSSLOptions öröklődik a létrehozáskor.
  • [SPARK-45427] RPC SSL-beállításokat adtunk hozzá a SSLOptions-hoz és a SparkTransportConf-hoz.
  • [SPARK-45429] Segédosztályok hozzáadva az SSL RPC-kommunikációhoz.
  • [SPARK-45584] Kijavítottuk a subquery-futtatási hibát a következővel TakeOrderedAndProjectExec: .
  • Állítsd vissza [SPARK-33861].
  • Az operációs rendszer biztonsági frissítései.
• 2023. október 24.
  • [SPARK-45426] Támogatás hozzáadva a következőhöz ReloadingX509TrustManager: .
  • Az operációs rendszer biztonsági frissítései.
• 2023. október 13.
  • [SPARK-45084]StateOperatorProgress a shuffle partíciószám pontos és megfelelő használatához.
  • [SPARK-45178] Térjen vissza egyetlen köteg futtatására Trigger.AvailableNow nem támogatott források esetén, a burkoló helyett.
  • Az operációs rendszer biztonsági frissítései.
• 2023. szeptember 10.
  • Egyéb javítások.
• 2023. augusztus 30.
  • [SPARK-44818] Kijavították a függőben lévő feladat megszakításának versenyfeltételét, amelyet az inicializálás előtt adtak ki.
  • Az operációs rendszer biztonsági frissítései.
• 2023. augusztus 15.
  • [SPARK-44504] A karbantartási feladat leállításkor bekövetkező hiba esetén törli a betöltött szolgáltatókat.
  • [SPARK-43973] A strukturált streamelési felhasználói felület most már helyesen jelenik meg a sikertelen lekérdezésekben.
  • Az operációs rendszer biztonsági frissítései.
• 2023. június 23.
  • Az operációs rendszer biztonsági frissítései.
• 2023. június 15.
  • A Snowflake-jdbc kódtár 3.13.29-re frissül egy biztonsági probléma megoldásához.
  • [SPARK-43098] Helyességi COUNT hiba javítása, ha a skaláris alkérdezés csoportosítási záradékot tartalmaz.
  • [SPARK-40862] Nem aggregált albejegyzések támogatása a RewriteCorrelatedScalarSubquery szolgáltatásban
  • [SPARK-43156][SPARK-43098] Kiterjesztett skaláris alkérdés-számláló teszt kikapcsolva decorrelateInnerQuery.
  • Az operációs rendszer biztonsági frissítései.
• 2023. június 2.
  • A JSON-elemző failOnUnknownFields módban lemond egy rekordról DROPMALFORMED módban, és közvetlenül meghiúsul FAILFAST módban.
  • Kijavítottunk egy hibát a JSON által helyreállított adatok elemzése során, hogy elkerüljük a UnknownFieldException.
  • Kijavítottunk egy hibát az Automatikus betöltőben, amelyben a különböző forrásfájlformátumok inkonzisztensek voltak, amikor a megadott séma nem tartalmazott következtetéses partíciókat. Ez a probléma váratlan hibákat okozhat a hiányzó oszlopokat tartalmazó fájlok olvasása során a késleltetett partíciós sémában.
  • [SPARK-43404] Az azonosítóeltérési hiba elkerülése érdekében hagyja ki a RocksDB-állapottároló ugyanazon verziójához tartozó sst-fájl újbóli újrafelhasználását.
  • [SPARK-43413] Kijavítottuk IN az alkérdezés ListQuery nullábilitását.
  • Az operációs rendszer biztonsági frissítései.
• 2023. május 17.
  • A Parquet-vizsgálatok mostantól megbízhatóak az OOM-ekkel szemben, miután dinamikusan módosítják a tételméretet, amikor kivételesen strukturált fájlokat vizsgálnak. A fájl metaadatait a rendszer a köteg méretének előzetes csökkentése érdekében elemzi, és a feladat újrapróbálkozásakor ismét csökkenti végleges biztonsági hálóként.
  • [SPARK-41520] Faszerkezet felosztása a AND_OR különálló AND és OR elemekre.
  • [SPARK-43190]ListQuery.childOutput már konzisztens a másodlagos kimenettel.
  • Az operációs rendszer biztonsági frissítései.
• 2023. április 25.
  • [SPARK-42928] Szinkronizálás.resolvePersistentFunction
  • Az operációs rendszer biztonsági frissítései.
• 2023. április 11.
  • Kijavítottunk egy hibát, amely miatt az automatikus betöltő séma fejlődése végtelen feladathurkba léphet, amikor egy új oszlopot észlel egy beágyazott JSON-objektum sémájában.
  • [SPARK-42937]PlanSubqueries most igazra állítja a InSubqueryExec#shouldBroadcast-t.
  • [SPARK-42967] A SparkListenerTaskStart.stageAttemptId kijavítása, ha egy tevékenység a szakasz megszakítása után indul el.
• 2023. március 29.
  • [SPARK-42668] Kivétel észlelése a tömörített stream HDFSStateStoreProvider leállítása közben
  • [SPARK-42635] Javítás ...
  • Az operációs rendszer biztonsági frissítései.
• 2023. március 14.
  • [SPARK-41162] Az anti- és félcsatlakozás javítása öncsatlakozás esetén aggregációkkal
  • [SPARK-33206] Javítás: az indexgyorsítótár súlykiszámításának javítása kis indexfájlok esetében
  • [SPARK-42484] Javítottuk a UnsafeRowUtils hibaüzenetet
  • Egyéb javítások.
• 2023. február 28.
  • Támogatja a yyyy-MM-dd date_format által létrehozott oszlopot. Ez a változtatás támogatja a yyyy-MM-dd formátumú dátum formázású partíciók levágását a generált oszlopokban.
  • A felhasználók mostantól a Databricks Runtime 9.1 LTS-es vagy újabb verziójával olvashatnak és írhatnak bizonyos Delta-táblákat, amelyekhez az Olvasó 3. és a 7. íróverzió szükséges. A sikeresség érdekében a táblák protokolljában felsorolt táblafunkciókat a Databricks Runtime jelenlegi verziójának kell támogatnia.
  • Támogatja a yyyy-MM-dd date_format által létrehozott oszlopot. Ez a változtatás támogatja a yyyy-MM-dd formátumú dátum formázású partíciók levágását a generált oszlopokban.
  • Az operációs rendszer biztonsági frissítései.
• 2023. február 16.
  • [SPARK-30220] Engedélyezze az Exists/In al-lekérdezések használatát a Szűrőcsomóponton kívül
  • Az operációs rendszer biztonsági frissítései.
• 2023. január 31.
  • A JDBC-táblák táblázattípusai alapértelmezés szerint KÜLSŐek.
• 2023. január 18.
  • Az Azure Synapse-összekötő leíróbb hibaüzenetet ad vissza, ha egy oszlopnév érvénytelen karaktereket, például szóközöket vagy pontosvesszőket tartalmaz. Ilyen esetekben a következő üzenet jelenik meg: Azure Synapse Analytics failed to run the JDBC query produced by the connector. Check column names do not include not valid characters such as ';' or white space.
  • [SPARK-38277] Írási köteg törlése a RocksDB állapottároló véglegesítése után
  • [SPARK-41199] Metrikaproblémák kijavítása A DSv1 streamforrás és a DSv2 streamforrás együttes használata esetén
  • [SPARK-41198] A CTE és DSv1 streamforrással rendelkező streamelési lekérdezés metrikáinak javítása.
  • [SPARK-41339] Zárja be és hozza létre újra a RocksDB írási köteget a törlés helyett.
  • [SPARK-41732] Fa-minta alapú metszést kell alkalmazni a SessionWindowing szabály esetében.
  • Az operációs rendszer biztonsági frissítései.
• 2022. november 29.
  • A felhasználók konfigurálhatják a kezdő és záró szóközök viselkedését, amikor adatokat írnak a Redshift-összekötővel. A szabad terület kezelésének szabályozásához a következő lehetőségek lettek hozzáadva:
    • csvignoreleadingwhitespace, ha be van állítva trueértékre, eltávolítja a kezdő szóközöket az értékekből az írások során, amikor tempformatCSV vagy CSV GZIPértékre van állítva. A térközök megmaradnak, ha a false konfiguráció van beállítva. Alapértelmezés szerint az érték az true.
    • A csvignoretrailingwhitespace, a truebeállítása esetén, eltávolítja a záró szóközt az értékekből az írások során, amikor tempformatCSV-ra vagy CSV GZIP-re van állítva. A térközök megmaradnak, ha a false konfiguráció van beállítva. Alapértelmezés szerint az érték az true.
  • Kijavítottunk egy hibát az Auto Loader JSON-elemzésével kapcsolatban, amikor az összes oszlop karakterláncként maradt (cloudFiles.inferColumnTypes nem volt beállítva vagy false-re volt állítva), és a JSON beágyazott objektumokat tartalmazott.
  • Az operációs rendszer biztonsági frissítései.
• 2022. november 15.
  • Az Apache commons-text frissítése 1.10.0-ra.
  • [SPARK-40646] strukturálások, térképek és tömbök JSON-elemzése javítva lett, így ha egy rekord egy része nem egyezik a sémával, a rekord többi része továbbra is megfelelően elemezhető a null értékek visszaadása helyett. A továbbfejlesztett viselkedésre való feliratkozáshoz állítsa spark.sql.json.enablePartialResultstrue értékre. A jelölő alapértelmezés szerint ki van kapcsolva az eredeti viselkedés megőrzése érdekében.
  • [SPARK-40292] Oszlopnevek javítása a arrays_zip függvényben, amikor a tömbök beágyazott szerkezetekből vannak hivatkozva
  • Az operációs rendszer biztonsági frissítései.
• 2022. november 1.
  • Kijavítottunk egy hibát, amely miatt ha egy Delta-tábla _change_typenevű, felhasználó által definiált oszlopot tartalmazott, de Az adatcsatorna módosítása ki lett kapcsolva a táblán, akkor az oszlopban lévő adatok helytelenül töltődnek be NULL értékekkel a MERGEfuttatásakor.
  • Kijavítottuk az automatikus betöltővel kapcsolatos hibát, amely miatt a fájl ugyanabban a mikrokötegben duplikálható, ha allowOverwrites engedélyezve van
  • [SPARK-40697] Olvasási oldalú karakterpótlás hozzáadása a külső adatfájlok lefedésére
  • [SPARK-40596] A ExecutorDecommission feltöltése üzenetekkel a ExecutorDecommissionInfo alkalmazásban
  • Az operációs rendszer biztonsági frissítései.
• 2022. október 18.
  • Az operációs rendszer biztonsági frissítései.
• 2022. október 5.
  • [SPARK-40468] Kijavítani az oszlop kivágását CSV-ben, amikor a _corrupt_record van kiválasztva.
  • Az operációs rendszer biztonsági frissítései.
• 2022. szeptember 22.
  • A felhasználók a spark.conf.set(spark.databricks.io.listKeysWithPrefix.azure.enabled, true) beállításával újra engedélyezhetik az Automatikus betöltő beépített listáját az ADLS-en. Korábban a beépített lista teljesítményproblémák miatt ki volt kapcsolva, ami azonban az ügyfelek számára megnövekedett tárolási költségekhez vezethetett.
  • [SPARK-40315] HashCode() hozzáadása az ArrayBasedMapData nevű literálhoz
  • [SPARK-40213] AsCII-értékek konvertálásának támogatása latin-1 karakter esetén
  • [SPARK-40380] Az InvokeLike konstans összecsukásának javítása a tervbe beágyazott nem szerializálható literálok kerülése érdekében
  • [SPARK-38404] A CTE felbontásának javítása, ha egy beágyazott CTE külső CTE-ra hivatkozik
  • [SPARK-40089] Néhány decimális típus rendezésének javítása
  • [SPARK-39887] A RemoveRedundantAliases-nek meg kell őriznie azokat az aliasokat, amelyek egyedivé teszik a vetítési csomópontok kimenetét
• 2022. szeptember 6.
  • [SPARK-40235] Az Executor.updateDependencies() alkalmazásban szinkronizált helyett használjon megszakítható zárolást.
  • [SPARK-40218] A csoportosító halmazoknak meg kell őrizniük a csoportosítási oszlopokat.
  • [SPARK-39976] A ArrayIntersectnek helyesen kell kezelnie a null értéket a bal oldali kifejezésben.
  • [SPARK-40053] Adja hozzá assume a Python futtatókörnyezetet igénylő dinamikus megszakítási eseteket.
  • [SPARK-35542] Javítás: A splitsArray, inputCols és outputCols paraméterekkel rendelkező több oszlophoz létrehozott gyűjtő nem tölthető be a mentés után.
  • [SPARK-40079] Az Imputer inputCols érvényességének ellenőrzésének hozzáadása üres bemeneti esethez.
• 2022. augusztus 24.
  • [SPARK-39983] Ne gyorsítótárazza a nem szerializált szórási kapcsolatokat az illesztőprogramon.
  • [SPARK-39775] Tiltsa le az alapértelmezett értékek érvényesítését az Avro-sémák elemzésekor.
  • [SPARK-39962] Vetítés alkalmazása üres csoportattribútumok esetén
  • [SPARK-37643] ha a charVarcharAsString értéke igaz, a karakter adattípusra vonatkozó predikátum-lekérdezések esetében el kell hagyni az *rpadding* szabályt.
  • Az operációs rendszer biztonsági frissítései.
• 2022. augusztus 9.
  • [SPARK-39847] A RocksDBLoader.loadLibrary() versenyállapotának javítása, ha a hívó szál megszakad
  • [SPARK-39731] Kijavítottuk a CSV- és JSON-adatforrásokban a dátumok "yyyyyMMdd" formátumban történő elemzésekor a JAVÍTOTT időelemző házirenddel kapcsolatos problémát
  • Az operációs rendszer biztonsági frissítései.
• 2022. július 27.
  • [SPARK-39625] Dataset.as(StructType) hozzáadása.
  • [SPARK-39689]Támogatja a 2 karaktert lineSep a CSV-adatforrásban.
  • [SPARK-39104] Az InMemoryRelation#isCachedColumnBuffersLoaded fájlnak szálbiztosnak kell lennie.
  • [SPARK-39570] beágyazott táblának engedélyeznie kell az aliassal rendelkező kifejezéseket.
  • [SPARK-39702] Csökkentse a TransportCipher$EncryptedMessage memóriaterhelését egy megosztott byteRawChannel használatával.
  • [SPARK-39575] a ByteBuffer#rewind hozzáadása a ByteBuffer#get után az AvroDeserializer-ben.
  • [SPARK-39476] Tiltsa le az "Unwrap cast optimize" funkciót, ha Long típusból Float/Double típusra vagy Integer típusból Float típusra történik az átalakítás.
  • [SPARK-38868] A külső illesztések optimalizálása során ne propagálja a szűrők predikátumából származó kivételeket.
  • Az operációs rendszer biztonsági frissítései.
• 2022. július 20.
  • A Delta MERGE művelet eredményeinek konzisztenssé tétele, ha a forrás nem determinisztikus.
  • [SPARK-39355] Egyetlen oszlop az UnresolvedAttribute létrehozásához idézőjelet használ.
  • [SPARK-39548] A CreateView parancs egy ablak-záradékos lekérdezéssel helytelen ablakdefiníciót eredményez, amely hibát okoz.
  • [SPARK-39419] A ArraySort javítása kivételt eredményez, ha az összehasonlító null értéket ad vissza.
  • Kikapcsolta az Auto Loader beépített felhőalapú API-k használatát az Azure címtárlistákhoz.
  • Az operációs rendszer biztonsági frissítései.
• 2022. július 5.
  • [SPARK-39376] A duplikált oszlopok elrejtése az al-aletöltés aliasának csillagkibővítésében NATURAL/USING esetén JOIN
  • Az operációs rendszer biztonsági frissítései.
• 2022. június 15.
  • [SPARK-39283] Javítsa ki a TaskMemoryManager és a UnsafeExternalSorter.SpillableIterator közötti holtpontot.
  • [SPARK-39285] A Spark nem ellenőrizheti a mezőneveket a fájlok olvasása során.
  • [SPARK-34096] Az nth_value függvény teljesítményének javítása a null értékek figyelmen kívül hagyásakor eltolási ablakban.
  • [SPARK-36718] Javítás a isExtractOnly ellenőrzésben a CollapseProjectben.
• 2022. június 2.
  • [SPARK-39093] Kerülje a kódösszeállítási hibát, ha az év-hónap intervallumokat vagy a nap-idő intervallumokat elválasztja egy integráltól.
  • [SPARK-38990] Kerülje a NullPointerExceptiont a date_trunc/trunc formátum kötött hivatkozásként való kiértékelésekor.
  • Az operációs rendszer biztonsági frissítései.
• 2022. május 18.
  • Kijavít egy lehetséges beépített memóriaszivárgást az Automatikus betöltőben.
  • [SPARK-38918] A beágyazott oszlopok csonkításának ki kell szűrnie azokat az attribútumokat, amelyek nem tartoznak az aktuális relációhoz.
  • [SPARK-37593] Csökkentse az alapértelmezett oldalméretet, ha a G1GC-t és az ON_HEAP-t használja a LONG_ARRAY_OFFSET értékével.
  • [SPARK-39084] Javítsa ki a df.rdd.isEmpty() elemet a TaskContext használatával az iterátor leállításához a tevékenység befejezésekor.
  • [SPARK-32268] Adja hozzá az oszlopmetszést az injektált Bloom Filterhez.
  • [SPARK-38974] A listafüggvényekben megadott adatbázisnévvel rendelkező regisztrált függvények szűrése.
  • [SPARK-38931] Hozzon létre gyökér dfs könyvtárat a RocksDBFileManagerhez ismeretlen számú kulccsal az 1. ellenőrzőponton.
  • Az operációs rendszer biztonsági frissítései.
• 2022. április 19.
  • A Java AWS SDK az 1.11.655-ös verzióról 1.12.1899-re frissült.
  • Kijavítottunk egy hibát, amely miatt a jegyzetfüzet-alapú könyvtárak nem működtek kötegelt streamelési feladatokban.
  • [SPARK-38616] SQL-lekérdezés szövegének nyomon követése a Catalyst TreeNode-ban
  • Az operációs rendszer biztonsági frissítései.
• 2022. április 6.
  • Ezzel a kiadással a következő Spark SQL-függvények érhetők el:
    • timestampadd() és dateadd(): Adjon hozzá egy időtartamot egy adott egységben egy időbélyeg-kifejezéshez.
    • timestampdiff() és datediff(): Kiszámítja a két időbélyeg-kifejezés közötti időkülönbséget egy adott egységben.
  • A Parquet-MR 1.12.2-re lett frissítve
  • Továbbfejlesztett támogatás a parquet-fájlok átfogó sémáihoz
  • [SPARK-38631] Java-alapú implementációt használ az Utils.unpack kicsomagolásra.
  • [SPARK-38509][SPARK-38481] Kiválaszt három timestmapadd/diff változás.
  • [SPARK-38523] A CSV sérült rekordoszlopára hivatkozó javítás.
  • [SPARK-38237] A teljes ClusteredDistribution fürtözési kulcsok kötelezővé tétele.
  • [SPARK-38437] Az adatforrásból származó dátumidő engedékeny szerializálása.
  • [SPARK-38180] Biztonságos felfelé öntött kifejezések engedélyezése korrelált egyenlőségi predikátumokban.
  • [SPARK-38155] Nem támogatott predikátumok esetén tiltsa le a különböző aggregátumokat az oldalirányú al lekérdezésekben.
  • Az operációs rendszer biztonsági frissítései.

Databricks Runtime 9.1 LTS

Lásd: Databricks Runtime 9.1 LTS.

• 2025. április 9.
  • Az operációs rendszer biztonsági frissítései.

• 2025. március 11.
  • Az operációs rendszer biztonsági frissítései.

• 2025. február 11.
  • Az operációs rendszer biztonsági frissítései.

• 2024. december 10.
  • Az operációs rendszer biztonsági frissítései.
• 2024. november 26.
  • Az operációs rendszer biztonsági frissítései.
• 2024. november 5.
  • Az operációs rendszer biztonsági frissítései.
• 2024. október 22.
  • Az operációs rendszer biztonsági frissítései.
• 2024. október 10.
  • Az operációs rendszer biztonsági frissítései.
• 2024. szeptember 25.
  • [SPARK-49000][SQL] Javítás a "select count(distinct 1) from t" kifejezésnél, ahol a t üres táblát jelenti a RewriteDistinctAggregates kibontásával.
  • Az operációs rendszer biztonsági frissítései.
• 2024. szeptember 6.
  • Az operációs rendszer biztonsági frissítései.
• 2024. augusztus 29.
  • [SPARK-49065][SQL] Az örökölt formázók/elemzők újra-alapozásának támogatnia kell a nem JVM alapértelmezett időzónákat
• 2024. augusztus 14.
• 2024. augusztus 1.
  • Az operációs rendszer biztonsági frissítései.
• 2024. július 11.
  • Az operációs rendszer biztonsági frissítései.
• 2024. június 17.
  • Az operációs rendszer biztonsági frissítései.
• 2024. május 21.
  • [SPARK-48105][SS] Az állapottároló kiürítése és a pillanatképek készítése közötti versenyállapot javítása
  • Az operációs rendszer biztonsági frissítései.
• 2024. május 9.
  • [SPARK-47973][CORE] Hívási hely naplózása a SparkContext.stop() és később a SparkContext.assertNotStopped() metódusokban.
  • [SPARK-44251][SQL] A null érték helyes beállítása az egyesítési kulcson a teljes külső USING illesztés esetén
  • Az operációs rendszer biztonsági frissítései.
• 2024. április 25.
  • Egyéb hibajavítások.
• 2024. április 11.
  • Az operációs rendszer biztonsági frissítései.
• 2024. április 1.
  • Visszaállítás: "[SPARK-46861][CORE] Holtpont elkerülése a DAGSchedulerben"
  • Az operációs rendszer biztonsági frissítései.
• 2024. március 14.
  • Az operációs rendszer biztonsági frissítései.
• 2024. február 29.
  • Kijavítottunk egy hibát, amely miatt a helyi gyűjtemény forrásként való használata a MERGE parancsban kétszeresére növelte a numSourceRows műveletmetrika által jelentett sorok számát.
  • Az operációs rendszer biztonsági frissítései.
• 2024. február 13.
  • [SPARK-46861] Holtpont elkerülése a DAGSchedulerben.
  • Az operációs rendszer biztonsági frissítései.
• 2024. január 31.
  • Az operációs rendszer biztonsági frissítései.
• 2023. december 25.
  • A TLSv1.3-n keresztüli kommunikáció megnövekedett késésének elkerülése érdekében ez a karbantartási kiadás tartalmaz egy javítást a JDK 8 telepítésében a JDK-8293562 hiba kijavításához.
  • [SPARK-46058] Adjon hozzá külön jelölőt a privateKeyPasswordhez.
  • [SPARK-39440] Adjon hozzá egy konfigurációt az esemény ütemtervének letiltásához.
  • [SPARK-46132] Az RPC SSL JKS-kulcsainak támogatási kulcsa.
• 2023. december 14.
  • Az operációs rendszer biztonsági frissítései.
• 2023. november 29.
  • Telepített egy új csomagot a pyarrow-hotfix PyArrow RCE biztonsági rés elhárításához.
  • [SPARK-45859] Az UDF-objektumokat ml.functions lusta kiértékelésűvé tették.
  • [SPARK-45544] Integrált SSL-támogatás a TransportContext.
  • [SPARK-45730] Javított időkorlátok a ReloadingX509TrustManagerSuite.
  • Az operációs rendszer biztonsági frissítései.
• 2023. november 14.
  • [SPARK-45545]SparkTransportConfSSLOptions öröklődik a létrehozáskor.
  • [SPARK-45429] Segédosztályok hozzáadva az SSL RPC-kommunikációhoz.
  • [SPARK-45427] RPC SSL-beállításokat adtunk hozzá a SSLOptions-hoz és a SparkTransportConf-hoz.
  • [SPARK-45584] Kijavítottuk a subquery-futtatási hibát a következővel TakeOrderedAndProjectExec: .
  • [SPARK-45541] Hozzáadva SSLFactory.
  • [SPARK-42205] A feladat- és tevékenységindítási eseményekben eltávolított naplózási felhalmozott adatok.
  • Az operációs rendszer biztonsági frissítései.
• 2023. október 24.
  • [SPARK-45426] Támogatás hozzáadva a következőhöz ReloadingX509TrustManager: .
  • Az operációs rendszer biztonsági frissítései.
• 2023. október 13.
  • Az operációs rendszer biztonsági frissítései.
• 2023. szeptember 10.
  • Egyéb javítások.
• 2023. augusztus 30.
  • Az operációs rendszer biztonsági frissítései.
• 2023. augusztus 15.
  • Az operációs rendszer biztonsági frissítései.
• 2023. június 23.
  • A Snowflake-jdbc kódtár 3.13.29-re frissül egy biztonsági probléma megoldásához.
  • Az operációs rendszer biztonsági frissítései.
• 2023. június 15.
  • [SPARK-43098] Javítsa a helyességi COUNT hibát, ha a skaláris al-lekérdezés tartalmaz egy GROUP BY záradékot.
  • [SPARK-43156][SPARK-43098] A skaláris részlekérdezések számával kapcsolatos hiba tesztelésének kiterjesztése decorrelateInnerQuery kikapcsolt állapotban.
  • [SPARK-40862] A RewriteCorrelatedScalarSubquery nem aggregált albejegyzéseinek támogatása.
  • Az operációs rendszer biztonsági frissítései.
• 2023. június 2.
  • A JSON-elemző failOnUnknownFields módban lemond egy rekordról DROPMALFORMED módban, és közvetlenül meghiúsul FAILFAST módban.
  • Kijavítottunk egy hibát a JSON által helyreállított adatok elemzése során, hogy elkerüljük a UnknownFieldException.
  • Kijavítottunk egy hibát az Automatikus betöltőben, amelyben a különböző forrásfájlformátumok inkonzisztensek voltak, amikor a megadott séma nem tartalmazott következtetéses partíciókat. Ez a probléma váratlan hibákat okozhat a hiányzó oszlopokat tartalmazó fájlok olvasása során a késleltetett partíciós sémában.
  • [SPARK-37520] A startswith() és endswith() sztringfüggvények hozzáadása
  • [SPARK-43413] Kijavítottuk IN az alkérdezés ListQuery nullábilitását.
  • Az operációs rendszer biztonsági frissítései.
• 2023. május 17.
  • Az operációs rendszer biztonsági frissítései.
• 2023. április 25.
  • Az operációs rendszer biztonsági frissítései.
• 2023. április 11.
  • Kijavítottunk egy hibát, amely miatt az automatikus betöltő séma fejlődése végtelen feladathurkba léphet, amikor egy új oszlopot észlel egy beágyazott JSON-objektum sémájában.
  • [SPARK-42967] A SparkListenerTaskStart.stageAttemptId kijavítása, ha egy tevékenység a szakasz megszakítása után indul el.
• 2023. március 29.
  • Az operációs rendszer biztonsági frissítései.
• 2023. március 14.
  • [SPARK-42484] Továbbfejlesztett hibaüzenet a következőhöz UnsafeRowUtils: .
  • Egyéb javítások.
• 2023. február 28.
  • A felhasználók mostantól a Databricks Runtime 9.1 LTS-es vagy újabb verziójával olvashatnak és írhatnak bizonyos Delta-táblákat, amelyekhez az Olvasó 3. és a 7. íróverzió szükséges. A sikeresség érdekében a táblák protokolljában felsorolt táblafunkciókat a Databricks Runtime jelenlegi verziójának kell támogatnia.
  • Az operációs rendszer biztonsági frissítései.
• 2023. február 16.
  • Az operációs rendszer biztonsági frissítései.
• 2023. január 31.
  • A JDBC-táblák táblázattípusai alapértelmezés szerint KÜLSŐek.
• 2023. január 18.
  • Az operációs rendszer biztonsági frissítései.
• 2022. november 29.
  • Kijavítottunk egy hibát az Auto Loader JSON-elemzésével kapcsolatban, amikor az összes oszlop karakterláncként maradt (cloudFiles.inferColumnTypes nem volt beállítva vagy false-re volt állítva), és a JSON beágyazott objektumokat tartalmazott.
  • Az operációs rendszer biztonsági frissítései.
• 2022. november 15.
  • Az Apache commons-text frissítése 1.10.0-ra.
  • Az operációs rendszer biztonsági frissítései.
  • Egyéb javítások.
• 2022. november 1.
  • Kijavítottunk egy hibát, amely miatt ha egy Delta-tábla _change_typenevű, felhasználó által definiált oszlopot tartalmazott, de Az adatcsatorna módosítása ki lett kapcsolva a táblán, akkor az oszlopban lévő adatok helytelenül töltődnek be NULL értékekkel a MERGEfuttatásakor.
  • Kijavítottuk az automatikus betöltővel kapcsolatos hibát, amely miatt a fájl ugyanabban a mikrokötegben duplikálható, ha allowOverwrites engedélyezve van
  • [SPARK-40596] A ExecutorDecommission feltöltése üzenetekkel a ExecutorDecommissionInfo alkalmazásban
  • Az operációs rendszer biztonsági frissítései.
• 2022. október 18.
  • Az operációs rendszer biztonsági frissítései.
• 2022. október 5.
  • Egyéb javítások.
  • Az operációs rendszer biztonsági frissítései.
• 2022. szeptember 22.
  • A felhasználók a spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") beállítással újra engedélyezhetik az ADLS-en futó automatikus betöltő beépített listáját. Korábban a beépített lista teljesítményproblémák miatt ki volt kapcsolva, ami azonban az ügyfelek számára megnövekedett tárolási költségekhez vezethetett.
  • [SPARK-40315] HashCode() hozzáadása az ArrayBasedMapData nevű literálhoz
  • [SPARK-40089] Néhány decimális típus rendezésének javítása
  • [SPARK-39887] A RemoveRedundantAliases-nek meg kell őriznie azokat az aliasokat, amelyek egyedivé teszik a vetítési csomópontok kimenetét
• 2022. szeptember 6.
  • [SPARK-40235] Megszakítható zárolás használata szinkronizált helyett a Executor.updateDependencies() alkalmazásban
  • [SPARK-35542] Javítás: Több oszlophoz létrehozott gyűjtőgyűjtő splitsArray, inputCols és outputCols paraméterrel a mentés után nem tölthető be
  • [SPARK-40079] Imputer inputCols-ellenőrzés hozzáadása üres bemenet esetén
• 2022. augusztus 24.
  • [SPARK-39666] Az UnsafeProjection.create használata az ExpressionEncoder-ben való figyelembevételére spark.sql.codegen.factoryMode
  • [SPARK-39962] Vetítés alkalmazása üres csoportattribútumok esetén
  • Az operációs rendszer biztonsági frissítései.
• 2022. augusztus 9.
  • Az operációs rendszer biztonsági frissítései.
• 2022. július 27.
  • A Delta MERGE művelet eredményeinek konzisztenssé tétele, ha a forrás nem determinisztikus.
  • [SPARK-39689] Két karakter lineSep támogatása a CSV-adatforrásban
  • [SPARK-39575]ByteBuffer#rewind hozzáadva ByteBuffer#get után a AvroDeserializer.
  • [SPARK-37392] Kijavítottuk a katalizátor-optimalizáló teljesítményhibát.
  • Az operációs rendszer biztonsági frissítései.
• 2022. július 13.
  • [SPARK-39419]ArraySort kivételt eredményez, ha az összehasonlító null értéket ad vissza.
  • Kikapcsolta az Auto Loader beépített felhőalapú API-k használatát az Azure címtárlistákhoz.
  • Az operációs rendszer biztonsági frissítései.
• 2022. július 5.
  • Az operációs rendszer biztonsági frissítései.
  • Egyéb javítások.
• 2022. június 15.
  • [SPARK-39283] Javítsa ki a TaskMemoryManager és UnsafeExternalSorter.SpillableIterator közötti holtpontot.
• 2022. június 2.
  • [SPARK-34554] Valósítsa meg a copy() metódust a(z) ColumnarMap.
  • Az operációs rendszer biztonsági frissítései.
• 2022. május 18.
  • Kijavítottunk egy lehetséges beépített memóriaszivárgást az Automatikus betöltőben.
  • Frissítse az AWS SDK 1.11.655-ös verzióját 1.11.678-ra.
  • [SPARK-38918] Beágyazott oszlopok kigyomlálásának ki kell szűrnie azokat az attribútumokat, amelyek nem tartoznak az aktuális relációhoz.
  • [SPARK-39084] A javítást df.rdd.isEmpty() használatával érjük el, amely megállítja az iterátort a feladat befejezésénél.
  • Az operációs rendszer biztonsági frissítései.
• 2022. április 19.
  • Az operációs rendszer biztonsági frissítései.
  • Egyéb javítások.
• 2022. április 6.
  • [SPARK-38631] Java-alapú implementációt használ az Utils.unpack kicsomagolásra.
  • Az operációs rendszer biztonsági frissítései.
• 2022. március 22.
  • Módosította a jegyzetfüzetek aktuális munkakönyvtárát a magas párhuzamosságú fürtökön, ahol a táblázatos hozzáférés-vezérlés vagy a hitelesítési adatok közvetítése engedélyezve van a felhasználó saját könyvtárába. Korábban az active directory volt /databricks/driver.
  • [SPARK-38437] A datetime engedékeny szerializálása adatforrásból
  • [SPARK-38180] Biztonságos felfelé öntött kifejezések engedélyezése korrelált egyenlőségi predikátumokban
  • [SPARK-38155] Eltérő aggregátumok kizárása oldalirányú al lekérdezésekben nem támogatott predikátumokkal
  • [SPARK-27442] Eltávolított egy ellenőrző mezőt, amikor adatokat olvasott vagy írt egy Parquet-ben.
• 2022. március 14.
  • [SPARK-38236] A create/alter táblában megadott abszolút fájlelérési útvonalak relatívként vannak kezelve
  • [SPARK-34069] Megszakítja a tevékenységszálat, ha a helyi SPARK_JOB_INTERRUPT_ON_CANCEL tulajdonság értéke igaz.
• 2022. február 23.
  • [SPARK-37859] JDBC-vel és Spark 3.1-zel létrehozott SQL-táblák nem olvashatók a Spark 3.2-vel.
• 2022. február 8.
  • [SPARK-27442] Eltávolított egy ellenőrző mezőt, amikor adatokat olvasott vagy írt egy Parquet-ben.
  • Az operációs rendszer biztonsági frissítései.
• 2022. február 1.
  • Az operációs rendszer biztonsági frissítései.
• 2022. január 26.
  • Kijavítottunk egy hibát, amely miatt a Delta-táblák egyidejű tranzakciói bizonyos ritka feltételek mellett nem szerializálható sorrendben véglegesíthetők.
  • Kijavítottunk egy hibát, amely miatt a OPTIMIZE parancs meghiúsulhatott az ANSI SQL-dialektus engedélyezésekor.
• 2022. január 19.
  • Kisebb javítások és biztonsági fejlesztések.
  • Az operációs rendszer biztonsági frissítései.
• 2021. november 4.
  • Kijavítottunk egy hibát, amely a strukturált stream-ek meghiúsulását okozhatta ArrayIndexOutOfBoundsException miatt.
  • Kijavítottunk egy olyan versenyfeltételt, amely egy IOException-hez hasonló java.io.IOException: No FileSystem for scheme lekérdezési hibát okozhat, vagy amely miatt a módosítások sparkContext.hadoopConfiguration nem lépnek érvénybe a lekérdezésekben.
  • Az Apache Spark Connector for Delta Sharing 0.2.0-ra lett frissítve.
• 2021. október 20.
  • A BigQuery-összekötő 0.18.1-ről 0.22.2-re frissült. Ez támogatja a BigNumeric típust.