Databricks Runtime 17.0 (EoS)

Megjegyzés:

A Databricks Runtime-verzió támogatása véget ért. A támogatás megszűnésének dátumáról lásd a támogatási előzményeket. A támogatott Databricks Runtime-verziók teljes listáját lásd a Databricks Runtime kiadási megjegyzések: változatok és kompatibilitás oldalon.

Az alábbi kibocsátási megjegyzések az Apache Spark 4.0.0 által üzemeltetett Databricks Runtime 17.0-ról nyújtanak információkat.

A Databricks 2025 júniusában adta ki ezt a verziót.

Új funkciók és fejlesztések

• Mostantól a SparkML a standard fürtökön támogatott
• SQL-eljárás támogatása
• Alapértelmezett rendezés beállítása az SQL Functionshez
• Rekurzív gyakori táblakifejezések (nyilvános előzetes verzió)
• Az ANSI SQL alapértelmezés szerint engedélyezve van
• A PySpark és a Spark Connect mostantól támogatja a DataFrames API-t df.mergeInto
• Támogatás ALL CATALOGS a SÉMÁKban SHOW
• A folyékony fürtözés mostantól hatékonyabban tömöríti a törlési vektorokat
• Nem determinisztikus kifejezések engedélyezése oszlopértékekben UPDATE/INSERT műveletekhez MERGE
• Az üres szerkezetek figyelmen kívül hagyása és megmentése az AutoLoader beolvasásnál (különösen az Avro esetében)
• A Delta MERGE Python és a Scala API-k módosítása a DataFrame visszaadásához egység helyett
• VAR-kulcsszó támogatása SQL-változók deklarálására és elvetására
• Apache Parquet-kódtárak frissítése
• Számítási feladatok identitás-összevonásának támogatása a Google Cloud Pub/Sub szolgáltatáshoz

A SparkML mostantól támogatott a normál klasztereken.

A standard hozzáférési mód (korábban megosztott hozzáférési mód) mostantól támogatja a Spark ML-t a PySparkban (pyspark.ml) és a Sparkhoz készült MLflow -t (mlflow.spark). A hiperparaméterek hangolásához a Databricks az Optuna és a Joblib Spark használatát javasolja standard fürtökön.

A SparkML futtatásakor standard fürtökön a következő korlátozások érvényesek:

• A modell maximális mérete 1 GB.
• A modell gyorsítótárának maximális mérete munkamenetenként 10 GB.
• A famodellek betanítása korán leáll, ha a modell mérete várhatóan meghaladja az 1 GB-ot.
• A következő SparkML-modellek nem támogatottak:
  • ElosztottLDAModell
  • FPGrowthModel

SQL-eljárás támogatása

Az SQL-szkriptek mostantól beágyazhatók egy, a Unity Catalogban újrahasználható objektumként tárolt eljárásba. Az eljárást a CREATE PROCEDURE paranccsal hozhatja létre, majd meghívhatja a CALL paranccsal.

Alapértelmezett rendezés beállítása SQL függvényekhez

Az új DEFAULT COLLATION záradék a(z) CREATE FUNCTION parancsban határozza meg az alapértelmezett rendezést, amelyet a paraméterekhez, a visszatérési típushoz és a konstansokhoz STRING alkalmaznak a függvény törzsében.

Rekurzív gyakori táblakifejezések (nyilvános előzetes verzió)

Az Azure Databricks mostantól támogatja a hierarchikus adatok rekurzív gyakori táblakifejezések (rCTE-k) használatával történő navigációját. A rekurzív kapcsolat követéséhez használjon egy önhivatkozó CTE-t a UNION ALL-val.

Az ANSI SQL alapértelmezés szerint engedélyezve van

Az alapértelmezett SQL-dialektus mostantól ANSI SQL. Az ANSI SQL egy jól bevált szabvány, amely segít megvédeni a felhasználókat a váratlan vagy helytelen eredményektől. További információért olvassa el a Databricks ANSI-engedélyezési útmutatót .

A PySpark és a Spark Connect mostantól támogatja a DataFrames API-t df.mergeInto

A PySpark és a Spark Connect mostantól támogatja az API-t, amely korábban csak a df.mergeInto Scala számára volt elérhető.

Támogatás ALL CATALOGS a SHOW SÉMÁKban

A SHOW SCHEMAS szintaxis a következő szintaxis elfogadásához frissül:

SHOW SCHEMAS [ { FROM | IN } { catalog_name | ALL CATALOGS } ] [ [ LIKE ] pattern ]

Ha ALL CATALOGS egy SHOW lekérdezésben meg van adva, a végrehajtás végigfut az összes olyan aktív katalóguson, amely támogatja a névtereket a katalóguskezelő (DsV2) használatával. Minden katalógushoz tartalmazza a legfelső szintű névtereket.

A parancs kimeneti attribútumait és sémáját úgy módosítottuk, hogy hozzáadjon egy catalog oszlopot, amely a megfelelő névtér katalógusát jelzi. Az új oszlop a kimeneti attribútumok végéhez lesz hozzáadva az alábbiak szerint:

Előző kimenet

| Namespace        |
|------------------|
| test-namespace-1 |
| test-namespace-2 |

Új kimenet

| Namespace        | Catalog        |
|------------------|----------------|
| test-namespace-1 | test-catalog-1 |
| test-namespace-2 | test-catalog-2 |

A folyékony fürtözés mostantól hatékonyabban tömöríti a törlési vektorokat

Liquid fürtözésű Delta táblák mostantól hatékonyabban alkalmazzák a törlési vektorokból származó fizikai módosításokat, amikor OPTIMIZE fut. További részleteket a Parquet-adatfájlok módosításainak alkalmazása című témakörben talál.

Nem determinisztikus kifejezések engedélyezése oszlopértékekben UPDATE/INSERT műveletekhez MERGE

Az Azure Databricks mostantól lehetővé teszi a nem determinisztikus kifejezések használatát a műveletek frissített és beszúrt oszlopértékeiben MERGE . Azonban az MERGE utasítások feltételeinek nem determinisztikus kifejezései nem támogatottak.

Létrehozhat például dinamikus vagy véletlenszerű értékeket az oszlopokhoz:

MERGE INTO target USING source
ON target.key = source.key
WHEN MATCHED THEN UPDATE SET target.value = source.value + rand()

Ez hasznos lehet az adatvédelmet illetően a tényleges adatok elrejtéséhez az adattulajdonságok (például középértékek vagy más számított oszlopok) megőrzése mellett.

Üres struktúrák figyelmen kívül hagyása és helyreállítása az AutoLoader feldolgozáshoz (különösen az Avro esetében)

Az Automatikus Betöltő mostantól képes kezelni az üres sémával rendelkező Avro-adattípusokat, mivel a Delta-tábla nem támogatja az üres struct-típusú adatok bevitelét.

A Delta MERGE Python és a Scala API-k módosítása a DataFrame visszaadásához egység helyett

A Scala és a Python MERGE API-k (például DeltaMergeBuilder) mostantól az SQL API-hoz hasonló DataFrame-et is visszaadnak ugyanazokkal az eredményekkel.

VAR-kulcsszó támogatása SQL-változók deklarálására és elvetására

A változók deklarálására és elvetésére szolgáló SQL-szintaxis mostantól támogatja a VAR kulcsszót is.VARIABLE Ez a módosítás egységesíti a szintaxist minden változóval kapcsolatos művelet esetében, ami javítja a konzisztenciát, és csökkenti a változók beállításakor már használt VAR felhasználók zavarát.

Apache Parquet-kódtárak frissítése

Az Apache Parquet-kódtárak az 1.13.1-es verzióról az 1.15.1-es verzióra lettek frissítve a Spark 4.0-val való kompatibilitás biztosítása érdekében. Ez a frissítés teljesítménybeli fejlesztéseket, hibajavításokat és továbbfejlesztett Parquet-funkciók támogatását tartalmazza az alábbi modulokban:

• parketta-oszlop
• parquet-common
• parquet-encoding
• parquet-format-structures
• parquet-hadoop
• parquet-jackson

Számítási feladatok identitás-összevonásának támogatása a Google Cloud Pub/Sub szolgáltatáshoz

Mostantól a számítási feladatok identitás-összevonásával biztonságosan csatlakozhat a Google Cloud Pubhoz/Sub-hoz a Databricksből anélkül, hogy szolgáltatásfiókkulcsokat kellene igényelnie. Ez leegyszerűsíti a streamelési és adatbetöltési számítási feladatok hitelesítését, amelyek integrálhatók a Pub/Sub szolgáltatással.

Viselkedési változások

• A Databricks fájlrendszer (DBFS) egyéni hitelesítésszolgáltatói tanúsítványai már nem támogatottak
• A Spark felhasználói felületén eltávolítottuk a "True cache misses" (Igaz gyorsítótár-kihagyások) szakaszt
• A Spark felhasználói felületén eltávolítottuk a "Cache Metadata Manager Peak Disk Usage" metrikát
• A Spark felhasználói felületén eltávolítottuk az "Újraütemezett gyorsítótár kihagyja a bájtokat" szakaszt
• CREATE VIEW az oszlopszintű záradékok hibát jeleznek, ha a záradék csak a materializált nézetekre vonatkozik

A Databricks fájlrendszer (DBFS) egyéni hitelesítésszolgáltatói tanúsítványai már nem támogatottak

A DBFS-gyökér- és DBFS-csatlakoztatások adattárolásának megszüntetésére irányuló folyamatos erőfeszítések részeként a DBFS egyéni hitelesítésszolgáltatói tanúsítványai nem támogatottak a Databricks Runtime 17.0-s és újabb verzióiban. A fájlok használatával kapcsolatos javaslatokért tekintse meg a Fájlok használata az Azure Databricksben című témakört.

A Spark felhasználói felületén eltávolítottuk a "True cache misses" (Igaz gyorsítótár-kihagyások) szakaszt

Ez a változtatás eltávolítja a "Gyorsítótár valós hiány méretének" metrika támogatását (mind a tömörített, mind a tömörítetlen gyorsítótárak esetében). A "Cache writes misses" metrika ugyanazt az információt méri.

Használja a numLocalScanTasks metrika használható proxyját, amikor a cél az, hogy lássa, hogyan teljesít a gyorsítótár, amikor a fájlok a megfelelő végrehajtóhoz vannak rendelve.

A Spark felhasználói felületén eltávolítottuk a "Cache Metadata Manager Peak Disk Usage" metrikát

Ez a változtatás eltávolítja a cacheLocalityMgrDiskUsageInBytes és cacheLocalityMgrTimeMs metrikák támogatását a Databricks Runtime-ból és a Spark felhasználói felületéből.

Eltávolítottuk az "Újraütemezett gyorsítótár-találat hiányzó bájtjai" szakaszt a Spark felhasználói felületéről.

Eltávolította a gyorsítótár átütemezett kihagyások méretét és a gyorsítótár újraütemezett (tömörítetlen) metrikáit a Databricks Runtime-ból. Ez azért van így, mert ez azt méri, hogy a gyorsítótár hogyan teljesít, amikor a fájlokat nem előnyben részesített végrehajtókhoz rendelik. A numNonLocalScanTasks jó proxy ehhez a metrikához.

CREATE VIEW az oszlopszintű záradékok hibát jeleznek, ha a záradék csak a materializált nézetekre vonatkozik

CREATE VIEW parancsok, amelyek olyan oszlopszintű záradékot adnak meg, amely csak MATERIALIZED VIEW-ek számára érvényes, most hibát jeleznek. Az érintett kikötések a CREATE VIEW parancsok esetében a következők:

• NOT NULL
• Megadott adattípus, például FLOATSTRING
• DEFAULT
• COLUMN MASK

Könyvtárfrissítések

• Frissített Python-kódtárak:

  • azure-core 1.31.0 és 1.34.0 között
  • fekete 24.4.2 és 24.10.0 között
  • boto3 1.34.69 és 1.36.2 között
  • botocore 1.34.69-től 1.36.3-ra
  • cachetools 5.3.3-ről 5.5.1-re
  • minősítés 2024.6.2-től 2025.1.31-ig
  • cffi 1.16.0 és 1.17.1 között
  • charset-normalizer 2.0.4 és 3.3.2 között
  • cloudpickle 2.2.1 és 3.0.0 között
  • contourpy 1.2.0 és 1.3.1 között
  • titkosítás 42.0.5–43.0.3 között
  • Cython 3.0.11-től 3.0.12-ig
  • databricks-sdk 0.30.0 és 0.49.0 között
  • debugpy 1.6.7-ről 1.8.11-re
  • Elavult 1.2.14-ről 1.2.13-ra
  • distlib 0.3.8-ról 0.3.9-re
  • filelock verzióváltás 3.15.4-ről 3.18.0-ra
  • fonttools 4.51.0-ról 4.55.3-ra
  • GitPython 3.1.37-től 3.1.43-ig
  • google-hitelesítés 2.35.0-tól 2.40.0-ig
  • google-cloud-core 2.4.1-től 2.4.3-ra
  • google-cloud-storage 2.18.2-től 3.1.0-ra
  • google-crc32c 1.6.0 és 1.7.1 között
  • grpcio 1.60.0-ról 1.67.0-ra
  • grpcio-status 1.60.0-ról 1.67.0-ra
  • importlib-metadata 6.0.0-ról 6.6.0-ra
  • ipyflow-core 0.0.201-től 0.0.209-ig
  • ipykernel 6.28.0 és 6.29.5 között
  • ipython 8.25.0-tól 8.30.0-ig
  • ipywidgets 7.7.2 és 7.8.1 között
  • jedi 0.19.1-ről 0.19.2-re
  • jupyter_client 8.6.0-ról 8.6.3-ra
  • kiwisolver 1.4.4 és 1.4.8 között
  • matplotlib 3.8.4 és 3.10.0 között
  • matplotlib-inline 0.1.6 és 0.1.7 között
  • mlflow-skinny 2.19.0-tól 2.22.0-ra
  • numpy 1.26.4 és 2.1.3 között
  • opentelemetry-api 1.27.0-tól 1.32.1-esig
  • opentelemetry-sdk 1.27.0 és 1.32.1 között
  • opentelemetry-szemantikai-konvenciók 0,48b0-ról 0,53b1-re
  • pandas 1.5.3 verzióról 2.2.3 verzióra
  • parso 0.8.3 és 0.8.4 között
  • patsy 0.5.6-tól 1.0.1-ig
  • párna 10.3.0-tól 11.1.0-ra
  • ábrázolás 5.22.0-tól 5.24.1-ig
  • Pluggy 1.0.0-tól 1.5.0-ra
  • proto-plus 1.24.0 és 1.26.1 között
  • protobuf 4.24.1 és 5.29.4 között
  • pyarrow 15.0.2 és 19.0.1 között
  • pyccolo 0.0.65 és 0.0.71 között
  • pydantic 2.8.2 és 2.10.6 között
  • pydantic_core 2.20.1 és 2.27.2 között
  • PyJWT 2.7.0 és 2.10.1 között
  • pyodbc 5.0.1-től 5.2.0-ig
  • pyparsing 3.0.9-ről 3.2.0-ra
  • pyright 1.1.294-től 1.1.394-ig
  • python-lsp-server 1.10.0 és 1.12.0 között
  • PyYAML 6.0.1 és 6.0.2 között
  • pyzmq 25.1.2-től 26.2.0-ra
  • 2.32.2-től 2.32.3-ra történő kérelmek
  • rsa 4.9->4.9.1
  • s3transfer 0.10.2-ről 0.11.3-ra
  • scikit-learn 1.4.2-tól 1.6.1-ig
  • scipy 1.13.1-től 1.15.1-ig
  • sqlparse 0.5.1-től 0.5.3-ra
  • statsmodels 0.14.2-től 0.14.4-ig
  • 8.2.2 és 9.0.0 közötti kitartás
  • threadpoolctl 2.2.0 és 3.5.0 között
  • tornádó 6.4.1 és 6.4.2 között
  • typing_extensions frissítése 4.11.0-ról 4.12.2-re
  • urllib3 1.26.16-tól 2.3.0-ra
  • virtualenv 20.26.2-től 20.29.3-ra
  • kerékváltozat 0.43.0-tól 0.45.1-ig
  • A "wrapt" frissítése 1.14.1-ről 1.17.0-ra
  • yapf 0.33.0-tól 0.40.2-től
  • zipp 3.17.0-ról 3.21.0-ra

• Frissített R-kódtárak:

  • 16.1.0 és 19.0.1 közötti nyíl
  • askpass 1.2.0 és 1.2.1 között
  • alap: 4.4.0–4.4.2
  • bigD 0.2.0-tól 0.3.0-ra
  • bit 4.0.5 és 4.6.0 között
  • bit64 4.0.5-től 4.6.0-1-hez
  • bitops 1,0-8-ról 1,0-9-re
  • seprű 1.0.6-ról 1.0.7-re
  • bslib 0.8.0 és 0.9.0 között
  • caret 6.0-94 és 7.0-1 között
  • chron 2.3-61-től 2.3-62-hez
  • cli 3.6.3 és 3.6.4 között
  • frissítés 0.7.1-ről 0.7.2-re
  • commonmark 1.9.1-ről 1.9.5-re
  • fordító 4.4.0-ról 4.4.2-re
  • cpp11 0.4.7 és 0.5.2 között
  • hitelesítő adatok a 2.0.1-től a 2.0.2-hez
  • curl frissítés 5.2.1-ről 6.2.1-re
  • data.table 1.15.4–1.17.0
  • adatkészletek a 4.4.0-tól a 4.4.2-hez
  • kivonat 0.6.36-tól 0.6.37-ig
  • e1071 1.7-14-ről 1.7-16-ra
  • kiértékelés 0.24.0-ról 1.0.3-ra
  • fontawesome 0.5.2-től 0.5.3-ra
  • fs 1.6.4 és 1.6.5 között
  • future.apply 1.11.2-ről 1.11.3-ra
  • gert 2.1.0 és 2.1.4 között
  • git2r 0.33.0-tól 0.35.0-ra
  • 1.7.0-ról 1.8.0-ra történő verziófrissítés
  • gower frissítése 1.0.1-ről 1.0.2-re
  • 4.4.0 és 4.4.2 közötti grafikus elemek
  • grDevices a 4.4.0-tól 4.4.2-ig
  • rács 4.4.0 és 4.4.2 között
  • gt 0.11.0 és 0.11.1 között
  • 0.3.5-től 0.3.6-osig
  • hardhat 1.4.0 és 1.4.1 között
  • httr2 1.0.2 és 1.1.1 között
  • jsonlite 1.8.8 és 1.9.1 között
  • knitr 1,48-tól 1,50-ig
  • később 1.3.2-ről 1.4.1-re
  • lava 1.8.0-ról 1.8.1-re
  • lubridate 1.9.3-ról 1.9.4-re
  • módszerek 4.4.0-tól 4.4.2-ig
  • mime 0,12-től 0,13-ra
  • mlflow 2.14.1-től 2.20.4-esig
  • nlme 3.1-165-től 3.1-164-hez
  • Az openssl frissítése 2.2.0-ról 2.3.2-re.
  • párhuzamos 4.4.0 és 4.4.2 között
  • párhuzamosan az 1.38.0-tól az 1.42.0-sig
  • oszlop 1.9.0-tól 1.10.1-ig
  • pkgbuild 1.4.4-től 1.4.6-osig
  • pkgdown 2.1.0-ról 2.1.1-re
  • processx 3.8.4-től 3.8.6-osig
  • profvis 0.3.8 és 0.4.0 között
  • progressr 0.14.0-tól 0.15.1-től
  • ígéretek 1.3.0-tól 1.3.2-ig
  • ps 1.7.7-től 1.9.0-ra
  • purrr 1.0.2 és 1.0.4 között
  • R6 2.5.1-től 2.6.1-ig
  • ragg 1.3.2-ről 1.3.3-re
  • randomForest 4.7-1.1-ről 4.7-1.2-re
  • Rcpp 1.0.13-tól 1.0.14-ig
  • RcppEigen 0.3.4.0.0 és 0.3.4.0.2 között
  • reactR 0.6.0 és 0.6.1 között
  • readxl 1.4.3 és 1.4.5 között
  • receptek 1.1.0-tól 1.2.0-ra
  • rlang 1.1.4-től 1.1.5-ig
  • rmarkdown frissítése 2.27-ről 2.29-re
  • RODBC 1.3-23-tól 1.3-26-ig
  • Rserve 1.8-13-tól 1.8-15-ig
  • RSQLite 2.3.7-től 2.3.9-esig
  • rstudioapi 0.16.0 és 0.17.1 között
  • sessioninfo 1.2.2-től 1.2.3-ra
  • fényes 1.9.1-től 1.10.0-ra
  • sparklyr 1.8.6 és 1.9.0 között
  • SparkR 3.5.2 és 4.0.0 között
  • spline-ok 4.4.0-ról 4.4.2-re
  • 4.4.0 és 4.4.2 közötti statisztikák
  • statisztikái4 a 4.4.0-tól a 4.4.2-hez
  • túlélés 3,6-4-ről 3,5-8-ra
  • sys 3.4.2-től 3.4.3-ra
  • systemfonts frissítése 1.1.0-ról 1.2.1-re
  • tcltk 4.4.0 és 4.4.2 között
  • testthat 3.2.1.1-től 3.2.3-ra
  • 0.4.0 és 1.0.0 közötti szövegformázás
  • timeDate 4032.109 és 4041.110 között
  • tinytex 0,52 és 0,56 között
  • 4.4.0 és 4.4.2 közötti eszközök
  • tzdb 0.4.0 és 0.5.0 között
  • usethis 3.0.0-tól 3.1.0-ig
  • utils 4.4.0-ról 4.4.2-re
  • V8 4.4.2 és 6.0.2 között
  • waldo 0.5.2-től 0.6.1-től
  • 3.0.1-től 3.0.2-ig
  • xfun 0,46 és 0,51 között
  • xml2 1.3.6-tól 1.3.8-ra
  • zip 2.3.1 és 2.3.2 között

• Frissített Java-kódtárak:

  • com.clearspring.analytics.stream 2.9.6-tól 2.9.8-ra
  • com.esotericsoftware.kryo-shaded verziója 4.0.2-ről 4.0.3-ra
  • com.fasterxml.classmate 1.3.4 és 1.5.1 között
  • com.fasterxml.jackson.core.jackson-annotations 2.15.2-ről 2.18.2-re
  • com.fasterxml.jackson.core.jackson-core 2.15.2 és 2.18.2 között
  • com.fasterxml.jackson.core.jackson-databind 2.15.2 és 2.18.2 között
  • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor 2.15.2 és 2.18.2 között
  • com.fasterxml.jackson.datatype.jackson-datatype-joda 2.15.2 és 2.18.2 között
  • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 2.16.0 és 2.18.2 között
  • com.fasterxml.jackson.module.jackson-module-paranamer 2.15.2-2.18.2
  • com.github.luben.zstd-jni 1.5.5-4-től 1.5.6-10-ig
  • com.google.code.gson.gson 2.10.1 és 2.11.0 között
  • com.google.crypto.tink 1.9.0-ról 1.16.0-ra
  • com.google.errorprone.error_prone_annotations verziója 2.10.0-ról 2.36.0-ra változott
  • com.google.flatbuffers.flatbuffers-java 23.5.26-ról 24.3.25-re történő frissítése
  • com.google.guava.guava verziófrissítés 15.0-ról 33.4.0-jre-re
  • com.google.protobuf.protobuf-java 3.25.1 és 3.25.5 között
  • com.microsoft.azure.azure-data-lake-store-sdk 2.3.9 és 2.3.10 között
  • com.microsoft.sqlserver.mssql-jdbc 11.2.3.jre8 verzióról a 12.8.0.jre8 verzióra
  • commons-cli.commons-cli 1.5.0-ról 1.9.0-ra
  • commons-codec.commons-codec 1.16.0 és 1.17.2 között
  • commons-io.commons-io 2.13.0 és 2.18.0 között
  • io.airlift.aircompressor 0.27-től 2.0.2-ig
  • io.dropwizard.metrics.metrics-annotation 4.2.19-ről 4.2.30-ra
  • io.dropwizard.metrics.metrics-core 4.2.19-ről 4.2.30-ra
  • io.dropwizard.metrics.metrics-graphite 4.2.19-ről 4.2.30-ra
  • io.dropwizard.metrics.metrics-healthchecks változtatás 4.2.19-ról 4.2.30-ra
  • io.dropwizard.metrics.metrics-jetty9 4.2.19-től 4.2.30-ra
  • io.dropwizard.metrics.metrics-jmx 4.2.19 és 4.2.30 között
  • io.dropwizard.metrics.metrics-json 4.2.19-től 4.2.30-ra
  • io.dropwizard.metrics.metrics-jvm 4.2.19 és 4.2.30 között
  • io.dropwizard.metrics.metrics-servlets frissítése 4.2.19-ről 4.2.30-ra
  • io.netty.netty-all 4.1.108.Finalról 4.1.118.Finalra
  • io.netty.netty-buffer 4.1.108.Final és 4.1.118.Final között
  • io.netty.netty-codec 4.1.108.Final-ről 4.1.118.Final-re
  • io.netty.netty-codec-http 4.1.108.Final-ról 4.1.118.Final-re
  • io.netty.netty-codec-http2 4.1.108.Final-ról 4.1.118.Final-re
  • io.netty.netty-codec-socks 4.1.108.Final-ról 4.1.118.Final-re
  • io.netty.netty-common 4.1.108.Final-ról 4.1.118.Final-re
  • io.netty.netty-handler 4.1.108.Final és 4.1.118.Final
  • io.netty.netty-handler-proxy 4.1.108.Final-ről 4.1.118.Final-re
  • io.netty.netty-resolver 4.1.108.Final-tól 4.1.118.Final-ig
  • io.netty.netty-tcnative-boringssl-static -től 2.0.61.Final-db-r16-windows-x86_64 -ig 2.0.70.Final-db-r0-windows-x86_64
  • io.netty.netty-tcnative-classes 2.0.61.Finalról 2.0.70.Finalre
  • io.netty.netty-transport 4.1.108.Final-tól 4.1.118.Final-ig
  • io.netty.netty-transport-classes-epoll 4.1.108.Final verzióról a 4.1.118.Final verzióra
  • io.netty.netty-transport-classes-kqueue 4.1.108.Final-tól 4.1.118.Final-ig
  • io.netty.netty-transport-native-epoll frissítése 4.1.108.Final-linux-x86_64-ről 4.1.118.Final-linux-x86_64-re
  • io.netty.netty-transport-native-kqueue 4.1.108.Final-osx-x86_64 verzióról 4.1.118.Final-osx-x86_64 verzióra
  • io.netty.netty-transport-native-unix-common 4.1.108.végső verzióról 4.1.118.végső verzióra
  • io.prometheus.jmx.collector 0.12.0 és 0.18.0 között
  • io.prometheus.simpleclient 0.7.0-tól 0.16.1-databricksig
  • io.prometheus.simpleclient_common 0.7.0 verziótól 0.16.1-databricks verzióig
  • io.prometheus.simpleclient_dropwizard verziója 0.7.0-ról 0.16.1-databricks verzióra
  • io.prometheus.simpleclient_pushgateway 0.7.0–0.16.1-databricks
  • io.prometheus.simpleclient_servlet 0.7.0-tól 0.16.1-databricksig
  • joda-time.joda-time 2.12.1 és 2.13.0 között
  • net.razorvine.pickle 1.3-as verzióról 1.5-ös verzióra
  • org.antlr.antlr4-runtime 4.9.3 és 4.13.1 között
  • org.apache.arrow.arrow-format 15.0.0-ról 18.2.0-ra
  • org.apache.arrow.arrow-memory-core 15.0.0-tól 18.2.0-ig
  • Az org.apache.arrow.arrow-memory-netty frissítése a 15.0.0 verzióról a 18.2.0 verzióra.
  • org.apache.arrow.arrow-vector frissítése a 15.0.0 verzióról a 18.2.0 verzióra
  • org.apache.avro.avro 1.11.4-től 1.12.0-ra
  • org.apache.avro.avro-ipc 1.11.4-től 1.12.0-ra
  • org.apache.avro.avro-mapred 1.11.4-től 1.12.0-ra
  • org.apache.commons.commons-compress 1.23.0-ról 1.27.1-re
  • org.apache.commons.commons-lang3 3.12.0 és 3.17.0 között
  • org.apache.commons.commons-text 1.10.0 és 1.13.0 között
  • org.apache.curator.curator-client 2.13.0 és 5.7.1 között
  • org.apache.curator.curator-framework 2.13.0-tól 5.7.1-ig
  • org.apache.curator.curator-recipes 2.13.0-től 5.7.1-ig
  • org.apache.datasketches.datasketches-java 3.1.0 és 6.1.1 között
  • org.apache.datasketches.datasketches-memory 2.0.0-ról 3.0.2-ra.
  • org.apache.hadoop.hadoop-client-runtime 3.3.6 és 3.4.1 között
  • org.apache.hive.hive-beeline 2.3.9-ről 2.3.10-re
  • org.apache.hive.hive-cli 2.3.9 és 2.3.10 között
  • org.apache.hive.hive-jdbc 2.3.9-től 2.3.10-ig
  • org.apache.hive.hive-llap-client 2.3.9-től 2.3.10-re
  • org.apache.hive.hive-llap-common 2.3.9 és 2.3.10 között
  • org.apache.hive.hive-serde 2.3.9-től 2.3.10-esig
  • org.apache.hive.hive-shims 2.3.9-től 2.3.10-re
  • org.apache.hive.shims.hive-shims-0.23 2.3.9 és 2.3.10 között
  • org.apache.hive.shims.hive-shims-common 2.3.9-ről 2.3.10-re
  • org.apache.hive.shims.hive-shims-scheduler 2.3.9-ről 2.3.10-re
  • org.apache.ivy.ivy 2.5.2 és 2.5.3 között
  • org.apache.logging.log4j.log4j-1.2-api 2.22.1-től 2.24.3-ra
  • org.apache.logging.log4j.log4j-api 2.22.1-től 2.24.3-ra
  • org.apache.logging.log4j.log4j-core 2.22.1 és 2.24.3 között
  • org.apache.logging.log4j.log4j-layout-template-json 2.22.1 és 2.24.3 között
  • org.apache.logging.log4j.log4j-slf4j2-impl 2.22.1-től 2.24.3-ra
  • org.apache.orc.orc-core 1.9.2-shaded-protobuf-ról 2.1.1-shaded-protobuf-ra
  • Az org.apache.orc.orc-mapreduce könyvtár frissítése a 1.9.2-shaded-protobuf verzióról a 2.1.1-shaded-protobuf verzióra.
  • org.apache.orc.orc-shims 1.9.2-ről 2.1.1-re
  • org.apache.thrift.libthrift 0.12.0-tól 0.16.0-ig
  • org.apache.ws.xmlschema.xmlschema-core 2.3.0-tól 2.3.1-esig
  • org.apache.xbean.xbean-asm9-shaded 4.23-ról 4.26-ra
  • org.apache.zookeeper.zookeeper 3.9.2 és 3.9.3 között
  • org.apache.zookeeper.zookeeper-jute 3.9.2 és 3.9.3 között
  • org.checkerframework.checker-qual 3.31.0-tól 3.43.0-ra
  • org.eclipse.jetty.jetty-client 9.4.52.v20230823 és 9.4.53.v20231009
  • org.eclipse.jetty.jetty-folytatás 9.4.52.v20230823-tól 9.4.53.v20231009
  • org.eclipse.jetty.jetty-http 9.4.52.v20230823 verzióról 9.4.53.v20231009 verzióra
  • org.eclipse.jetty.jetty-io 9.4.52.v20230823 és 9.4.53.v20231009
  • org.eclipse.jetty.jetty-jndi 9.4.52.v20230823 és 9.4.53.v20231009
  • org.eclipse.jetty.jetty-plus 9.4.52.v20230823-tól 9.4.53.v20231009
  • org.eclipse.jetty.jetty-proxy 9.4.52.v20230823 és 9.4.53.v20231009 között
  • org.eclipse.jetty.jetty-security 9.4.52.v20230823-tól 9.4.53.v20231009-ig
  • org.eclipse.jetty.jetty-server 9.4.52.v20230823 és 9.4.53.v20231009
  • org.eclipse.jetty.jetty-servlet frissítése 9.4.52.v20230823-ról 9.4.53.v20231009-re
  • org.eclipse.jetty.jetty-servlets 9.4.52.v20230823 és 9.4.53.v20231009
  • org.eclipse.jetty.jetty-util verzióváltás 9.4.52.v20230823-ról 9.4.53.v20231009-re
  • org.eclipse.jetty.jetty-util-ajax frissítése 9.4.52.v20230823-ról 9.4.53.v20231009-re
  • org.eclipse.jetty.jetty-webapp verzióról 9.4.52.v20230823 verzióra 9.4.53.v20231009
  • org.eclipse.jetty.jetty-xml 9.4.52.v20230823 és 9.4.53.v20231009 között
  • org.eclipse.jetty.websocket.websocket-api 9.4.52.v20230823–9.4.53.v20231009
  • org.eclipse.jetty.websocket.websocket-client 9.4.52.v20230823–9.4.53.v20231009
  • org.eclipse.jetty.websocket.websocket-common 9.4.52.v20230823–9.4.53.v20231009
  • org.eclipse.jetty.websocket.websocket-server frissítése 9.4.52.v20230823-ról 9.4.53.v20231009-re
  • org.eclipse.jetty.websocket.websocket-servlet 9.4.52.v20230823 verzióról 9.4.53.v20231009 verzióra
  • org.glassfish.jersey.containers.jersey-container-servlet 2.40-tól 2.41-ig
  • org.glassfish.jersey.containers.jersey-container-servlet-core 2.40-ről 2.41-re
  • org.glassfish.jersey.core.jersey-client 2.40-ről 2.41-re
  • org.glassfish.jersey.core.jersey-common 2.40-ről 2.41-re
  • org.glassfish.jersey.core.jersey-server 2.40-ről 2.41-re
  • org.glassfish.jersey.inject.jersey-hk2 2.40-ről 2.41-re
  • org.hibernate.validator.hibernate-validator 6.1.7.Final-ról 6.2.5.Final-ra
  • org.jboss.logging.jboss-logging 3.3.2.Final verzióról 3.4.1.Final verzióra
  • org.objenesis.objenesis verzió 2.5.1-ről 3.3-ra
  • org.roaringbitmap.RoaringBitmap 0.9.45-databricks verzióról 1.2.1 verzióra
  • org.rocksdb.rocksdbjni 9.2.1 és 9.8.4 között
  • org.scalatest.scalatest-compatible verzió 3.2.16-tól 3.2.19-ig
  • org.slf4j.jcl-over-slf4j 2.0.7 és 2.0.16 között
  • org.slf4j.jul-to-slf4j 2.0.7 és 2.0.16 között
  • org.slf4j.slf4j-api 2.0.7-től 2.0.16-osig
  • org.threeten.threeten-extra 1.7.1-től 1.8.0-ra
  • org.tukaani.xz 1,9 és 1,10 között

Apache Spark

Számos funkciója már elérhető volt a Databricks Runtime 14.x, 15.x és 16.x verziójában, és most a Runtime 17.0-s verziójával szállítanak ki a dobozból.

• SPARK-52311 Az UnionLoop-kimenet ismételt definiálása, hogy ne ismétlődjön, ha a horgonykimenet duplikálva van
• SPARK-50104 Támogatja a SparkSession.executeCommand használatát a Connectben
• SPARK-51085 SQLContext Companion visszaállítása
• SPARK-49698 Csak klasszikus metódusokhoz adjon hozzá ClassicOnly jegyzetet.
• SPARK-52026 Pandas API letiltása a Sparkon ANSI-módban alapértelmezés szerint
• SPARK-43415 Megvalósítás KVGDS.agg egyedi mapValues függvénnyel
• SPARK-50979 .expr/.typedExpr implicitek eltávolítása
• SPARK-49961 Átalakítási típus aláírásának javítása a Scala és a Java esetében is
• SPARK-51012 Távolítsa el a SparkStrategyet a Connect Shimsből.
• SPARK-50915getCondition hozzáadása és getErrorClass elavulttá nyilvánítása a(z) PySparkException
• SPARK-51821 interrupt() meghívása az uninterruptibleLock tartása nélkül a lehetséges holtpont elkerülése érdekében
• SPARK-52192 MLCache betöltési útvonal ellenőrzése
• SPARK-52122 DefaultParamsReader RCE biztonsági rés javítása
• SPARK-52191 Java-deszerializáló eltávolítása a modell helyi elérési útjának betöltőjében
• SPARK-52051 Az "A modell összegzésének engedélyezése a memóriavezérlés engedélyezésekor" és a "Hibaüzenet pontosítása, belső spark konfiguráció elrejtése" című véglegesítések átvitele a Databricks Runtime 17.0.0-ra.
• SPARK-51391 Javítás SparkConnectClientSPARK_USER és user.name figyelembevételére
• SPARK-51416 SPARK_CONNECT_MODE eltávolítása a Spark Connect-kiszolgáló indításakor
• SPARK-51156 Statikus jogkivonat-hitelesítés támogatása a Spark Connectben
• SPARK-51279 A Spark Connect-kiszolgáló folyamatos alvó állapotának elkerülése a Scalában
• SPARK-51254 A --master használatának megtiltása a Spark Connect URL-címmel
• SPARK-51267 Helyi Spark Connect-kiszolgálói logika egyeztetése a Python és a Scala között
• SPARK-51212 Külön PySpark-csomag hozzáadása a Spark Connecthez alapértelmezés szerint
• SPARK-52017 Több önhivatkozás és önhivatkozás engedélyezése egy rCTE-kben lévő allekérdezésből
• SPARK-52035 LinearRegressionTrainingSummary és LinearRegressionModel szétválasztása
• SPARK-50511 A Python-adatforrás hibaüzenetek körbefuttatásának elkerülése
• SPARK-51974 A modell méretének és munkamenetenkénti gyorsítótár-méretének korlátozása
• SPARK-51947 A Spark Connect modell gyorsítótárának áttelepítése
• SPARK-49751 A SparkListenerConnectServiceStarted esemény deszerializálásának javítása
• SPARK-47952 A Valódi SparkConnectService GRPC-cím és port programozott lekérésének támogatása a Yarn futtatásakor
• SPARK-47587 Hive-modul: LogWarn migrálása változókkal a strukturált naplózási keretrendszerbe
• SPARK-50768 A TaskContext.createResourceUninterruptibly bemutatása a streamszivárgás feladatkimaradás miatti elkerüléséhez
• SPARK-51818 A QueryExecution létrehozását áthelyezzük az AnalyzeHandlerbe, és nem hajtjuk végre az AnalyzePlanRequest-eket
• SPARK-51609 Rekurzív CTE-végrehajtás optimalizálása egyszerű lekérdezésekhez
• SPARK-49748getCondition hozzáadása és getErrorClass elavulttá tétele a következőben: SparkThrowable
• SPARK-51867 Mentési/betöltési módszereket támogató scala-modell létrehozása a helyi fájlrendszer elérési útján
• SPARK-51856 Modellméret API frissítése az elosztott DataFrame-méret megszámlálásához
• SPARK-51941 A convertToCatalyst pontossági problémájának megoldása, ha a bemenet bigdecimális -1,0 és 1,0 között van
• SPARK-50605 Sql API mód támogatása a Spark Connectre való könnyebb migráláshoz
• SPARK-51849 Refaktorálás ResolveDDLCommandStringTypes
• SPARK-51673 Alapértelmezett rendezés alkalmazása a nézet lekérdezésének módosításához
• SPARK-51880 Az ML-gyorsítótár objektum python-ügyfélhivatkozásainak javítása
• SPARK-51873 OneVsRest-algoritmus esetén engedélyezze a mentés/betöltés használatát a gyorsítótár cseréjéhez
• SPARK-51072 CallerContext a Hadoop felhő auditkörnyezetének beállításához
• SPARK-51790 UTF8String regisztrálása a KryoSerializerbe
• SPARK-51022 Távolítsa el a nem használt tableSampleClause elemet a build() metódusban a MsSqlServerSQLQueryBuilder és a DB2SQLQueryBuilder esetén.
• SPARK-51219 Javítás ShowTablesExec.isTempView a nemV2SessionCatalog katalógusokkal való munkához
• SPARK-49700 Egységes Scala-interfész a Connecthez és a Classichoz
• SPARK-50458 A nem támogatott fájlrendszer megfelelő hibakezelése fájlok olvasásakor
• SPARK-50666 Támogatási tipp a JDBC-adatforrásban való olvasáshoz
• SPARK-50131 Újraalkalmazás "IN Allekérdezés Adatkeret Hozzáadása…"
• SPARK-51899 Hibakezelési szabályok implementálása a spark.catalog.listTables() szolgáltatáshoz
• SPARK-51820 Az új group/order fennmaradó problémáinak megoldása sorszám szerinti megközelítéssel
• SPARK-48585 A built-in JdbcDialect metódusának classifyException kivédése a kivételből original
• SPARK-48387 Postgres: Időbélyegtípus leképezése IDŐBÉLYEG IDŐZÓNÁVAL
• SPARK-51820 Az építés áthelyezése UnresolvedOrdinal elemzés előtt a rendezési sorrend szerinti csoportosítással kapcsolatos problémák elkerülése érdekében.
• SPARK-48337 A JDBC TIME értékek pontosságvesztésének javítása
• SPARK-51711 Az aktív távoli spark-munkamenet propagálása új szálakra a CrossValidator javítása érdekében
• SPARK-47515 TimestampNTZType mentése DATETIME-ként a MySQL-ben
• SPARK-48439 Derby: A TIZEDES típus megfelelő pontosságának és skálázásának kiszámítása
• SPARK-51820 Készítse elő a redakciós logikát a SPARK-51820 kódszinkronizáláshoz
• SPARK-48323 DB2: BooleanType leképezése BOOLEAN-ra CHAR(1) helyett
• SPARK-51635 PushProjectionThroughLimit és PushProjectionThroughOffset egyesítése
• SPARK-48211 DB2: A SMALLINT típust ShortType-ként olvasd be
• SPARK-51803 Külső motor JDBC-típusának tárolása a StructField metaadataiban
• SPARK-51845 Protokollüzenetek hozzáadása CleanCache és GetCacheInfo
• SPARK-49511 Formázási szabályok alkalmazása az SQL/API-ra
• SPARK-47968 MsSQLServer: Datatimeoffset leképezése TimestampType-ra
• SPARK-51726 Használja a TableInfo-t a STAGE CREATE/REPLACE/CREATE VAGY REPLACE táblákhoz.
• SPARK-47967 A JdbcUtils.makeGetter megfelelő kezelése az NTZ időtípus olvasásánál
• SPARK-47989 MsSQLServer: Javítsa a spark.sql.legacy.mssqlserver.numericMapping.enabled hatókörét.
• SPARK-51193 Frissítse a Nettyt a 4.1.118.Final verzióra és a netty-tcnative-ot a 2.0.70.Final verzióra
• A SPARK-47882 createTableColumnTypes-t adatbázistípusokra kell leképezni a közvetlen használat helyett
• SPARK-47879 Oracle: VARCHAR helyett VARCHAR2 használata VarcharType-leképezéshez
• SPARK-51372 A TableInfo bemutatása táblalétrehozásokhoz
• SPARK-47791 A truncate a JDBC-adatforrásból származó pontosság helyett a skálázással lépi túl a tizedesjegyeket
• SPARK-51404 A time(n) típus elemzése mint TimeType(n)
• SPARK-50350 Avro: új függvény schema_of_avro hozzáadása (scala oldal)
• SPARK-51136 Előzménykiszolgálóhoz beállítás CallerContext
• SPARK-50641 Ugrás GetJsonObjectEvaluator ide: JsonExpressionEvalUtils
• SPARK-50083 Integrálja _LEGACY_ERROR_TEMP_1231 a PARTITIONS_NOT_FOUND
• SPARK-51556 A try_to_time függvény hozzáadása
• SPARK-47684 Postgres: A bpchar nem meghatározott hosszúságú karakterlánctípus StringType-ra történő megfeleltetése
• SPARK-48688 Ésszerű hibát ad vissza az SQL to_avro és from_avro függvények meghívásakor, de az Avro alapértelmezés szerint nincs betöltve
• SPARK-49839 SPJ: Ha lehetséges, kihagyja a keveréseket
• SPARK-45534 A RemoteBlockPushResolver véglegesítése helyett a java.lang.ref.Cleaner használata
• SPARK-51816 Egyszerűsítés StatFunctions.multipleApproxQuantiles adatkeret API-kkal
• SPARK-49179 A V2 többszörösen vödrözött belső illesztések javítása, amelyek AssertionError-t dobnak
• SPARK-47456 ORC Brotli-kodek támogatása
• SPARK-51542 Görgetőgomb hozzáadása a felső és az alsó navigálásához
• SPARK-51541TIME Az adattípus támogatása metódusokban Literal
• SPARK-51615 A ShowNamespaces refaktorálása úgy, hogy a RunnableCommand-et használja
• SPARK-51191 Alapértelmezett értékek kezelésének ellenőrzése a DELETE, UPDATEa MERGE alkalmazásban
• SPARK-51829 Az ügyféloldalnak a törlés után frissítenie client.thread_local.ml_caches kell
• SPARK-51358 Pillanatképek feltöltési késésének észlelése a StateStoreCoordinator használatával
• SPARK-51686 Az alvégrehajtások végrehajtási azonosítóinak összekapcsolása az aktuális végrehajtáshoz, ha vannak ilyenek
• SPARK-51456 A to_time függvény hozzáadása
• SPARK-51773 A fájlformátumok esetosztályokká alakítása a megfelelő összehasonlításukhoz
• SPARK-51777 Sql.columnar.* osztályok regisztrálása a KryoSerializerbe
• SPARK-51432 Dob megfelelő kivételt, ha az Arrow sémák nem egyeznek
• SPARK-51395 Az alapértelmezett értékek kezelésének finomítása az eljárásokban
• SPARK-50582 Idézőjel beépített függvényének hozzáadása
• SPARK-51684 Teszthiba kijavítása a test_pandas_transform_with_state
• SPARK-51213 Kifejezésosztály adatainak megőrzése a tippparaméterek feloldásakor
• SPARK-51651 Az aktuális végrehajtás gyökérvégrehajtási azonosítójának csatolása, ha van ilyen
• SPARK-50947 Megfelelő hibaosztály és SparkException hozzárendelése duplikált összetevőkhöz
• SPARK-51574 Szűrők szerializálása Python-alapú adattárhely szűrő továbbításához
• SPARK-51608 Naplózási kivétel a Python-futó leállításakor
• SPARK-51266 Távolítsa el a nem használt definíciót private[spark] object TaskDetailsClassNames
• SPARK-51011 Naplózás hozzáadása annak megállapításához, hogy egy tevékenység megszakad-e a leöléskor
• SPARK-49646 Spark-konfiguráció hozzáadása a subquery decorrelation javításához
• SPARK-51107 A CommandBuilderUtils#join átalakítása a kódsorok újrafelhasználásához és a redundancia csökkentéséhez.
• SPARK-51758 A vízjel miatt üres dataframe-et okozó extra tételhez kapcsolódó teszteset kijavítása
• SPARK-51664 A TIME adattípus támogatása a hash kifejezésben
• SPARK-51819 A pyspark-errors tesztmodul frissítése a hiányzó tesztek belefoglalásához
• SPARK-50751 A megfelelő hibafeltétel hozzárendelése a következőhöz: _LEGACY_ERROR_TEMP_1305
• SPARK-50973 Elavult API-használat törlése a avro.Schema#toString(boolean)
• SPARK-50908 A pelyhes TTL-teszt letiltása a következőben: test_pandas_transform_with_state.py
• SPARK-50811 A JVM-profiler illesztőprogramon való engedélyezésének támogatása
• SPARK-50808 Javítás egy problémánál a writeAll funkcióban, ahol a kevert típusok nem íródtak le megfelelően.
• SPARK-51780 Az eljárás leírásának implementálása
• SPARK-50370 Codegen-támogatás a következőhöz: json_tuple
• SPARK-50756 Hibaosztály használata a SparkConf.validateSettings kivételeihez
• SPARK-50805 A metódus áthelyezése nameForAppAndAttempt-ból o.a.s.u.Utils-ba
• SPARK-51812 Egyes metódusok redundáns paramétereinek eltávolítása a következő helyen: QueryExecution
• SPARK-50819 Spark-profiler modul átdolgozása
• SPARK-51547 Név hozzárendelése a hibafeltételhez: _LEGACY_ERROR_TEMP_2130
• SPARK-48538 A bonecp által okozott HMS-memóriaszivárgás elkerülése
• SPARK-51176 Konzisztenciának való megfelelés váratlan hibák esetén PySpark Connect <> Classic
• SPARK-50773 Strukturált naplózás letiltása alapértelmezés szerint
• SPARK-50616 Fájlkiterjesztési lehetőség hozzáadása a CSV DataSource-íróhoz
• SPARK-50624 TimestampNTZType hozzáadása a ColumnarRow/MutableColumnarRow elemhez
• SPARK-51590 A TIME letiltása a beépített fájlalapú adatforrásokban
• SPARK-49886 Lekérdezési szint hibatesztje a RocksDB V2 formátumhoz
• SPARK-50823 Cloudpickle frissítése 3.1.0-ról 3.1.1-re
• SPARK-50780 Használj overrideStdFeatures a setFeatureMask helyett a JacksonParser-ben.
• SPARK-50621 A Cloudpickle frissítése a 3.1.0-ra
• SPARK-50719 A PySpark támogatása interruptOperation
• SPARK-50545AccessControlException akkor is el kell dobni, ha ignoreCorruptFiles engedélyezve van
• SPARK-51517 A TIME adattípus támogatása a Hive-eredményekben
• SPARK-47856 Dokumentumleképezés – Spark SQL-adattípusok az Oracle-ből, és tesztek hozzáadása
• SPARK-46066 A Sztring API helyett használja az Elválasztó API-t a DefaultPrettyPrinter
• SPARK-50718 A PySpark támogatása addArtifact(s)
• SPARK-51497 Az alapértelmezett időformátum hozzáadása
• SPARK-51488 A TIME kulcsszó támogatása adattípusként
• SPARK-51273 A Spark Connect hívási eljárása kétszer futtatja az eljárást
• SPARK-51092 Hagyja ki a v1 FlatMapGroupsWithState teszteket időtúllépéssel a nagy endián platformokon
• SPARK-50606 NPE javítása nem inicializált SessionHolder esetén
• SPARK-49530 Kördiagram alábrák támogatása a PySpark ábrázolásban
• SPARK-50357 Megszakítás (Címke|Összeset) API-k támogatása a PySparkhoz
• SPARK-51290 Alapértelmezett értékek kitöltésének engedélyezése DSv2-írásokban
• SPARK-50485 SparkThrowable kibontása a (nem ellenőrzött)ExecutionExceptionben, amelyet a tableRelationCache dob
• SPARK-51513 A RewriteMergeIntoTable szabály kijavítása megoldatlan tervet eredményez
• SPARK-51482 Támogatni szövegből időformátumra való átalakítást
• SPARK-51462 A TIME adattípus írható literáljainak támogatása
• SPARK-51454 Típuskonverzió támogatás az időről szövegre
• SPARK-51447 Hozzáadás stringToTime és stringToTimeAnsi
• SPARK-51775 Normalizálja a LogicalRelation és HiveTableRelation elemeket a NormalizePlan által
• SPARK-51791ImputerModel adatkeret helyett tömbökkel tárolja az együtthatókat
• SPARK-51442 Időformátum-formázók hozzáadása
• SPARK-51384java.time.LocalTime külső típusként való támogatása TimeType-nek/-nak
• SPARK-51747 Az adatforrás gyorsítótárazott verziójának figyelembe kell vennie a beállításokat
• SPARK-51774 GRPC-állapotkód hozzáadása a Python Connect GRPC-kivételéhez
• SPARK-51660 Az MDC támogatásának hiányában való elegáns kezelése
• SPARK-51296 Támogatás sérült adatok gyűjtéséhez singleVariantColumn módban.
• SPARK-45907 A ProcfsMetricsGetterben a Java9+ ProcessHandle API-k használata aProcessTree kiszámításához
• SPARK-51342 Hozzáad TimeType
• SPARK-51769 MaxRecordsPerOutputBatch hozzáadása az Arrow kimeneti köteg rekordjainak számának korlátozásához
• SPARK-51350 Megjelenítési eljárások implementálása
• SPARK-51711 Memóriaalapú MLCache kiürítési szabályzat
• SPARK-51178 Megfelelő PySpark-hiba kibocsátása ahelyett, hogy SparkConnectGrpcException
• SPARK-51738 IN al-lekérdezés struktúratípussal
• SPARK-51714 Hibafeldolgozási teszt hozzáadása az állapot-tároló ellenőrzési pont V2 formátumának teszteléséhez
• SPARK-51704 Szükségtelen gyűjtési művelet kiküszöbölése
• SPARK-51512 Null MapStatus szűrése az shuffle-adatok ExternalShuffleService szolgáltatással való törlésekor
• SPARK-49308 UserDefinedAggregateFunction támogatása a Spark Connect Scala-ügyfélben
• SPARK-50091 Az IN-lekérdezés bal oldali operandusában lévő összesítések eseteinek kezelése
• SPARK-50265 Spark.udf.registerJavaUdf támogatása a Connectben
• SPARK-49273 A Spark Connect Scala-ügyfél forrástámogatása
• SPARK-51187 A SPARK-49699-ben bevezetett helytelen konfiguráció fokozatos megszüntetésének megvalósítása
• SPARK-51650 Támogatás a gépi tanulás gyorsítótárazott objektumainak kötegelt törléséhez
• SPARK-51619 UDT-bemenet/kimenet támogatása a Nyíloptimalizált Python UDF-ben
• SPARK-51333 Kicsomagolás InvocationTargetException dobva MLUtils.loadOperator
• SPARK-51566 A Python UDF nyomkövetési fejlesztése
• SPARK-51393 Visszatérés a normál Python UDF-hez, ha az Arrow nincs megtalálva, de az Arrow-optimalizált Python UDF-ek engedélyezve vannak.
• SPARK-49960 A Custom ExpressionEncoder támogatása és a TransformingEncoder javításai
• SPARK-51380 A visitSQLFunction és a visitAggregateFunction hozzáadása a V2ExpressionSQLBuilder rugalmasságának javításához
• SPARK-51600 Előfűzzük az osztályokat sql/hive és sql/hive-thriftserver, amikor isTesting || isTestingSql igaz.
• SPARK-51070 A ValidateExternalType beállítása helyett használható scala.collection.Set
• SPARK-50759 Elavulttá nyilvánít néhány régi katalógus API-t
• SPARK-50994 RDD-átalakítás végrehajtása nyomon követett végrehajtás keretében
• SPARK-51466 A Hive beépített UDF-ek inicializálásának kiküszöbölése a Hive UDF-ek értékelése során
• SPARK-51491 A boxplot egyszerűsítése subquery API-kkal
• SPARK-51175 Az Master illesztőprogramok eltávolításakor eltelt idő megjelenítése
• SPARK-50334 A PB-fájl leírójának olvasására szolgáló gyakori logika kinyerése
• SPARK-50483 A BlockMissingException akkor is eldobható, ha az ignoreCorruptFiles engedélyezve van
• SPARK-50286 SQL-beállítások helyes propagálása a WriteBuilderbe
• SPARK-51023 RPC-kivétel esetén távoli cím naplózása
• SPARK-47611 Elavult kód törlése a MySQLDialect.getCatalystType-ban
• SPARK-49229 Scala UDF-kezelés deduplikálása a SparkConnectPlannerben
• SPARK-50557 A RuntimeConfig.contains(..) támogatása a Scala SQL Interface-ben
• SPARK-51471 RatePerMicroBatchStream – osztályozza az ASSERT hibát, ha az eltolás/időbélyeg a startOffsetben nagyobb, mint az endOffset
• SPARK-50473 A klasszikus oszlopkezelés egyszerűsítése
• SPARK-49286 Az Avro/Protobuf függvények áthelyezése az SQL/API-ba
• SPARK-49087 Az UnresolvedFunction megkülönböztetése a belső függvények meghívása során
• SPARK-50422 Az Parameterized SQL queries és a SparkSession.sql API GA létrehozása
• SPARK-49249 "Az új alapértelmezett összetevő-kezelő konfigurációjának hozzáadása a PySparkban az engedélyezési listához"
• SPARK-50366 Felhasználó által definiált címkék elkülönítése szálszinten a SparkSession esetében a klasszikus verzióban
• SPARK-49436 Az SQLContext általános felülete
• SPARK-51551 Az algoritmus finomhangolásához engedélyezze a gyorsítótár cseréjét a mentés/betöltés használatával
• SPARK-51599 Optimalizál ps.read_excel nagy Excel-fájlhoz
• SPARK-51118 Az ExtractPythonUDFs javítása a láncolt UDF bemeneti típusok tartalékként való ellenőrzéséhez
• SPARK-50395 Helytelen URI-szintaxis javítása a Windowsban
• SPARK-50708 Összetevő-erőforrások törlése a példány csoportházirend-objektumán ArtifactManager
• SPARK-51076 Arrow Python UDF-tartalék UDT bemeneti és kimeneti típusok esetén
• SPARK-50243 Az ArtifactManagerhez használt gyorsítótárazott osztálybetöltő
• SPARK-49249 Összetevők elkülönítése a Klasszikus Sparkban
• SPARK-50821 A Py4J frissítése a 0.10.9.8-ról a 0.10.9.9-re
• SPARK-51591 A ThreadPoolExecutor hiba kijavítása a Python 3.13 napi tesztjében
• SPARK-40353 Az index null értékű eltérésének javítása a következőben: ps.read_excel
• SPARK-42746 LISTAGG függvény implementálása
• SPARK-50102 Adja hozzá a hiányzó nyilvános SQL-metódusokhoz szükséges shims-eket.
• SPARK-50513 EncoderImplicits szétválasztása az SQLImplicits-ekből, és segédobjektum biztosítása a StatefulProcessor-ban.
• SPARK-51567 Javítás DistributedLDAModel.vocabSize
• SPARK-49569 Shims hozzáadása a SparkContext és az RDD támogatásához
• SPARK-51473 Az ml-ből átalakított adatkeret a modellre mutató hivatkozást tartalmaz
• SPARK-51340 Modellméret becslése
• SPARK-51474 Ne szúrjon be redundáns ColumnarToRowExec elemet az oszlopos és a sorkimenetet támogató csomóponthoz
• SPARK-51445 A soha nem változtatott var megváltoztatása val
• SPARK-50618 A DataFrameReader és a DataStreamReader jobban kihasználja az elemzőt.
• SPARK-51097 A RocksDB állapottároló utolsó feltöltött pillanatkép-verziópéldányának metrikáinak újbóli bevezetése
• SPARK-49418 Megosztott munkamenetszál helyi beállításai
• SPARK-50096 Rendelje hozzá a megfelelő hibafeltételt a következőhöz _LEGACY_ERROR_TEMP_2150: TUPLE_SIZE_EXCEEDS_LIMIT
• SPARK-50264 Hiányzó metódusok hozzáadása a DataStreamWriterhez
• SPARK-49434 Összesítők áthelyezése az SQL/API-ba
• SPARK-51451 Javítsa ki az ExtractGeneratort, hogy megvárja az UnresolvedStarWithColumns megoldását
• SPARK-49416 Megosztott DataStreamReader-felület hozzáadása
• SPARK-49429 Megosztott DataStreamWriter-felület hozzáadása
• SPARK-49282 Hozzon létre egy megosztott SparkSessionBuilder felületet.
• SPARK-49415 SQLImplicits áthelyezése sql/api-ba
• SPARK-51443 A singleVariantColumn javítása a DSv2-ben és a readStreamben.
• SPARK-49369 Implicit oszlopkonverziók hozzáadása
• SPARK-49417 Megosztott StreamingQueryManager-felület hozzáadása
• SPARK-51079 Nagy változótípusok támogatása pandas UDF-ben, createDataFrame és toPandas with Arrow
• SPARK-51277 0-arg implementáció implementálása a Nyíloptimalizált Python UDF-ben
• SPARK-50601 Támogatás a withColumns / withColumnsRenamed használatára az al-lekérdezésekben
• SPARK-49479 Az időzítő nem démon szálának megszakítása a BarrierCoordinator leállításakor
• SPARK-51379 A treeAggregate végleges összesítésének áthelyezése illesztőprogramról végrehajtóra
• SPARK-49712 EncoderFor eltávolítása a connect-client-jvm-ből
• SPARK-49424 Encoders.scala konszolidálása
• SPARK-49574 Hibás delta-megosztási tesztek letiltása a főkiszolgálón
• SPARK-51409 Hibabesorolás hozzáadása a változásnapló-író létrehozási útvonalában
• SPARK-49568 Saját típus eltávolítása az adatkészletből
• SPARK-51433 A kiadási szkript módosítása a pyspark-client kibocsátásához
• SPARK-51422 A JVM-Python adatcsere megszüntetése a CrossValidatorban
• SPARK-51425 Ügyfél API hozzáadása egyéni beállításhoz operation_id
• SPARK-49284 Megosztott katalógusfelület létrehozása
• SPARK-50855 Spark Connect-támogatás a Scala TransformWithState szolgáltatásához
• SPARK-50694 Támogatás átnevezésre alkérdezésekben
• SPARK-50880 Új visitBinaryComparison metódus hozzáadása a V2ExpressionSQLBuilderhez
• SPARK-51282 A OneVsRestModel-átalakítás optimalizálása a JVM-Python adatcsere megszüntetésével
• SPARK-51079 Nagy változótípusok támogatása pandas UDF-ben, createDataFrame és toPandas with Arrow
• SPARK-51383 Kerülje az RPC-hívások indítását, ha az ügyfelek már le vannak állítva
• SPARK-51227 PySpark Connect _minimum_grpc_version javítása az 1.67.0-hoz
• SPARK-51362 Módosítsa a JSON-t a NextIterator API használatára a szomszédos rekordfüggőség megszüntetéséhez
• SPARK-51375 Naplóüzenetek letiltása SparkConnect(Execution|Session)Manager.periodicMaintenance
• SPARK-50393 A Klasszikus Spark és a Spark Connect általános TableArg-jának bemutatása
• SPARK-50133 A DataFrame táblaargumentumra konvertálásának támogatása a Spark Connect Python-ügyfélben
• SPARK-49574 Az ExpressionEncoder nyomon követi az azt létrehozó AgnosticEncodert
• SPARK-49422 GroupByKey hozzáadása az sql/api-hoz
• SPARK-51381 Jelenítse meg Session ID a Spark Connect Session lapon
• SPARK-51316 Engedélyezze az Arrow kötegeket bájtban, nem a sorok számában
• SPARK-50134 DataFrame API támogatás a SCALAR és EXISTS részlekérdezésekhez a Spark Connectben.
• SPARK-50392 DataFrame konvertálás táblaargumentumra a Klasszikus Sparkban
• SPARK-50553 Érvénytelen csomagüzenet küldése InvalidPlanInput
• SPARK-51322 Jobb hibaüzenet a folyamatos lekérdezések kifejezéseihez
• SPARK-51281 A DataFrameWriterV2-nek tiszteletben kell tartania az elérési utat
• SPARK-50856 Spark Connect-támogatás a TransformWithStateInPandashoz Pythonban
• SPARK-51333 Kibontás InvocationTargetException által dobva invokeMethod
• SPARK-50134 DataFrame API támogatása oldalirányú csatlakozáshoz a Spark Connectben
• SPARK-51083 JavaUtils módosítása a InterruptedExceptions nyelésének elmaradásához
• SPARK-49413 Megosztott RuntimeConfig-felület létrehozása (nyomon követés)
• SPARK-49413 Megosztott RuntimeConfig-felület létrehozása
• SPARK-50993 NullDataSourceOption áthelyezése a QueryCompilationErrors-ből a QueryExecutionErrors-be
• SPARK-51329 Adjon hozzá numFeatures a fürtözési modellekhez
• SPARK-51305 Javít SparkConnectPlanExecution.createObservedMetricsResponse
• SPARK-51097 Állapottár-példánymetrikák hozzáadása a legutóbb feltöltött pillanatkép-verzióhoz a RocksDB-ben
• SPARK-49425 Megosztott DataFrameWriter létrehozása
• SPARK-50655 Virtuális oszlopcsaládhoz kapcsolódó leképezés áthelyezése db-rétegbe kódoló helyett
• SPARK-48530 Helyi változók támogatása az SQL Scriptingben
• SPARK-51284 Az SQL-szkript végrehajtásának javítása üres eredmény esetén
• SPARK-49085 A Protobuf-függvények speciális burkolatának eltávolítása a Connectben
• SPARK-50881 Ha lehetséges, használjon gyorsítótárazott sémát a connect dataframe.py fájlban.
• SPARK-51275 Munkamenet propagálása a Python readwrite-ben
• SPARK-51109 CTE az al-lekérdezési kifejezésben csoportosítási oszlopként
• SPARK-50598 Paraméterek hozzáadása a rekurzív CT-k későbbi implementálásának engedélyezéséhez
• SPARK-51202 A munkamenet átadása meta-algoritmus python-írókban
• SPARK-51215 Segédfüggvény hozzáadása az attr segédmodell meghívásához
• SPARK-51214 Ne távolítsa el túl gyorsan a gyorsítótárazott modelleket a következőhöz: fit_transform
• SPARK-51237 API-részletek hozzáadása az új transformWithState segítő API-khoz
• SPARK-51192 Közzéteheti a következő processWithoutResponseObserverForTesting helyen: SparkConnectPlanner
• SPARK-51217 ML-modell segédkonstruktorának tisztítása
• SPARK-51218 Kerülje a map/flatMap használatát a NondeterministicExpressionCollection kifejezésgyűjteményben
• SPARK-50953 Nem literális elérési utak támogatásának hozzáadása a VariantGetben
• SPARK-50132 DataFrame API hozzáadása oldalirányú illesztésekhez
• SPARK-51190 TreeEnsembleModel.treeWeights javítása
• SPARK-50945 A Summarizer és az SummaryBuilder támogatása a Connecten
• SPARK-51142 ML (gépi tanulás) protobufs tisztítása
• SPARK-51139 Hibaosztály pontosítása MLAttributeNotAllowedException
• SPARK-51080 Mentés/betöltés javítása PowerIterationClustering
• SPARK-51100 Transzformátorburkolók cseréje segédmodell attribútumkapcsolatokkal
• SPARK-51091 A következő alapértelmezett paramjainak javítása: StopWordsRemover
• SPARK-51089 Támogatás VectorIndexerModel.categoryMaps csatlakozáshoz
• SPARK-50954 Támogatás a kliensoldali modellútvonal felülírásának metaalgoritmusokhoz
• SPARK-50975 Támogatás CountVectorizerModel.from_vocabulary csatlakozáshoz
• SPARK-50958 Támogatás Word2VecModel.findSynonymsArray csatlakozáshoz
• SPARK-50930 Támogatás PowerIterationClustering a Csatlakozás szolgáltatásban
• SPARK-51157 Hiányzó @varargs Scala annotáció hozzáadása a Scala függvény API-khoz
• SPARK-51155 Teljes futási idő megjelenítése a leállítás után
• SPARK-51143 Rögzítés plotly<6.0.0 és torch<2.6.0
• SPARK-50949 Támogatási segédmodell bemutatása StringIndexModel.from_labels_xxx
• SPARK-51131 Kivétel kiírása, ha az SQL-szkript a parancson belül EXECUTE IMMEDIATE található
• SPARK-51078 A py4j-hívás javítása StopWordsRemover
• SPARK-50944 Támogatás a Connect szolgáltatásban
• SPARK-50602 A transzponálás javítása, hogy megfelelő hibaüzenetet jelenítsen meg, amikor érvénytelen indexoszlopokat adnak meg.
• SPARK-50943 Támogatás a Connect szolgáltatásban
• SPARK-50234 A DataFrame API transzponálásának javítása és tesztelése
• SPARK-50942 Támogatás a Connect szolgáltatásban
• SPARK-48353 A kivételkezelési mechanizmus bemutatása az SQL Scriptingben
• SPARK-51043 Részletes felhasználói naplózás a Spark Connect foreachBatch szolgáltatáshoz
• SPARK-50799 Az rlike, a length, az octet_length, a bit_length és a transform docstring finomítása
• SPARK-51015 Az RFormulaModel.toString támogatása a Connecten
• SPARK-50843 Támogatja egy új modell létrehozását a meglévőből
• SPARK-50969 Javítás kapcsolat közben
• SPARK-50899 PrefixSpan támogatása csatlakozáskor
• SPARK-51060 Támogatás a Connect-en
• SPARK-50974 Támogatás hozzáadása a foldCol számára a CrossValidatorban a csatlakozás során
• SPARK-50922 A OneVsRest támogatása a Connecten
• SPARK-50812 Támogatás hozzáadása a polinomiális kiterjesztéshez
• SPARK-50923 FmClassifier és FMRegressor támogatása a Connecten
• SPARK-50918 Adattovábbítás olvasásának/írásának átalakítása
• SPARK-50938 A VectorSizeHint és a VectorSlicer támogatása a Connecten
• SPARK-51005 A VectorIndexer és az ElementwiseProduct támogatása a Connecten
• SPARK-51014 Az RFormula támogatása a csatlakozáshoz
• SPARK-50941 A TrainValidationSplit támogatásainak hozzáadása
• SPARK-51004 Támogatja az IndexStringet
• SPARK-51003 LSH-modellek támogatása a Connecten
• SPARK-50924 Az AFTSurvivalRegression és az IsotonicRegression támogatása a Connecten
• SPARK-50921 TöbbrétegűPerceptronClassifier támogatása a Connecten
• SPARK-50995 A KMeans és a BisectingKMeans támogatása clusterCenters
• SPARK-50940 Támogatja a CrossValidator/CrossValidatorModel kapcsolatot
• SPARK-50929 Támogatás LDA a Connect szolgáltatásban
• SPARK-50925 A GeneralizedLinearRegression támogatása a Connecten
• SPARK-50988 A becslő és modell uid-inkonzisztenciáinak javítása
• SPARK-50989 NGram, Normalizer és interakció támogatása csatlakozáskor
• SPARK-50937 Támogatás a Connect felületen
• SPARK-51049 S3A-vektor IO-küszöbértékének növelése a tartományegyesítéshez
• SPARK-50812 TargetEncoderModel támogatása a Connecten
• SPARK-50920 A NaiveBayes támogatása a Connecten
• SPARK-50936 A HashingTF, az IDF és a FeatureHasher támogatása csatlakozáskor
• SPARK-50934 A CountVectorizer és a OneHotEncoder támogatása a Connecten
• SPARK-49287 Streamosztályok áthelyezése az SQL/API-ba
• SPARK-50932 Támogatási gyűjtő a Connecten
• SPARK-50933 Támogatási funkcióválasztók a Connecten
• SPARK-50931 A Binarizer támogatása a csatlakozáshoz
• SPARK-50935 DCT támogatása a kapcsolódás során
• SPARK-50963 Tokenizerek, SQLTransform és StopWordsRemover támogatása a Connecten
• SPARK-50928 A GaussianMixture támogatása a Connecten
• SPARK-49383 A DataFrame API transzponálása támogatása
• SPARK-50939 A Word2Vec támogatása a Csatlakozás szolgáltatásban
• SPARK-49249 Új, címkével kapcsolatos API-k hozzáadása a Spark Core-hoz való visszacsatlakozásban
• SPARK-50919 LinearSVC támogatása csatlakozáshoz
• SPARK-50883 Több oszlop módosításának támogatása ugyanabban a parancsban
• SPARK-50918 Csatlakozási csővezeték támogatása
• SPARK-50826 A kezelés módjának újrabontása ALLOWED_ATTRIBUTES
• SPARK-49427 Megosztott felület létrehozása a MergeIntoWriterhez
• SPARK-49414 Megosztott DataFrameReader-felület hozzáadása
• SPARK-50948 StringIndexer/PCA támogatás hozzáadása a Connecthez
• SPARK-50901 Támogasson transzformátort VectorAssembler
• SPARK-50879 Funkcióskálázók támogatása a Connecten
• SPARK-50130 DataFrame API-k hozzáadása skalár és exist al-lekérdezésekhez
• SPARK-50075 DataFrame API-k hozzáadása táblaértékű függvényekhez
• SPARK-49426 Megosztott felület létrehozása a DataFrameWriterV2-hez
• SPARK-50898 Támogatás FPGrowth csatlakozáshoz
• SPARK-50844 A modellt a ServiceLoader tölti be a betöltés során.
• SPARK-50884 Az isLargerBetter támogatása az értékelőben
• SPARK-50959 A JavaWrapper kivételének elnyelése
• SPARK-50558 Egyszerű karakterlánc bevezetése az ExpressionSet számára
• SPARK-49422 Megosztott felület létrehozása a KeyValueGroupedDatasethez
• SPARK-50878 Az ALS támogatása a Connecten
• SPARK-50897 Példánylétrehozás elkerülése a ServiceLoaderben
• SPARK-50877 A KMeans & BisectingKMeans támogatása a Connecten
• SPARK-50876 Fa regresszorok támogatása a Connecten
• SPARK-50874 Támogatás LinearRegression csatlakozáshoz
• SPARK-50869 Támogatási kiértékelők az ML Connecten
• SPARK-50851 Fejezze ki az ML paramétereket proto.Expression.Literal
• SPARK-50825 Faosztályozók támogatása az ML Connectben
• SPARK-50827 Támogató beépülő modul
• SPARK-49907 Spark.ml támogatása a Connecten
• SPARK-50968 Javítsa ki a Column.__new__ használatát.
• SPARK-49028 Megosztott SparkSession létrehozása
• SPARK-49421 Megosztott RelationalGroupedDataset-felület létrehozása
• SPARK-50804 to_protobuf() nem dobhat MatchError-t
• SPARK-50900 VectorUDT és MatrixUDT hozzáadása a ProtoDataTypeshoz
• SPARK-50579 Javítás truncatedString
• SPARK-50875 RTRIM rendezési szabályok hozzáadása a TVF-hez
• SPARK-49420 Megosztott felület hozzáadása a DataFrameNaFunctionshez
• SPARK-50669 A TimestampAdd kifejezés aláírásának módosítása
• SPARK-46615 Az s.c.immutable.ArraySeq támogatása a ArrowDeserializersben
• SPARK-49423 Megfigyelés konszolidálása az SQL/API-ban
• SPARK-49086 Ml-függvényregisztráció áthelyezése a SparkSessionExtensions szolgáltatásba
• SPARK-49419 Megosztott DataFrameStatFunctions létrehozása
• SPARK-50735 Az ExecuteResponseObserver hibája végtelen újracsatlakozási kéréseket eredményez
• SPARK-50522 Határozatlan sorbarendezés támogatása
• SPARK-50893 A UDT.DataType megadható opcióként
• SPARK-50685 A Py4J teljesítményének javítása a getattr használatával
• SPARK-50742 Beállítás eltávolítása spark.hadoop.fs.s3a.connection.establish.timeout
• SPARK-50714 A TransformWithState sémafejlődésének engedélyezése Avro-kódolás használatakor
• SPARK-49029 Megosztott adathalmaz-felület létrehozása
• SPARK-50263 Csere erre System.currentTimeMillis : System.nanoTime
• SPARK-50525 InsertMapSortInRepartitionExpressions Optimizer-szabály definiálása
• SPARK-50561 Egységes SQL-függvény típuskényszerítésének és határellenőrzésének javítása
• SPARK-50707 Karakter/varchar típusú átalakítás engedélyezése
• SPARK-49027 Oszlop API megosztása a Class és a Connect között
• SPARK-49632 Távolítsa el az ANSI konfigurációs javaslatot a CANNOT_PARSE_TIMESTAMP üzenetből
• SPARK-50529 Karakter/varchar viselkedésének módosítása a konfiguráció alatt
• SPARK-50600 Halmaz elemzése elemzési hiba esetén
• SPARK-50789 A beírt aggregációk bemeneteit elemezni kell
• SPARK-49025 Oszlop implementálásának agnosztikussá tétele
• SPARK-50738 Frissítés feketére a 23.12.1-re
• SPARK-49883 State Store Checkpoint Structure V2 RocksDB-vel történő integráció
• SPARK-50778 MetadataColumn hozzáadása a PySpark DataFrame-hez
• SPARK-49565 Az automatikusan létrehozott kifejezési aliasok fejlesztése pipe SQL operátorokkal
• SPARK-50772 Tábla aliasainak megőrzése az EXTEND, DROP operátorok után SET
• SPARK-50690 Eltérés javítása a lekérdezés kimenetének idéző megjelenítésében DESCRIBE TABLE
• SPARK-50675 A táblázat- és nézetszintű rendezések támogatása
• SPARK-50480 CharType és VarcharType kiterjesztése a StringType-ból
• SPARK-50715SparkSession.Builder beállítja a konfigurációkat köteg módban
• SPARK-50693 A TypedScalaUdf bemeneteit elemezni kell
• SPARK-50710 Opcionális ügyfél-visszakapcsolódás támogatása a munkamenetekhez a kiadás után
• SPARK-50596 Py4J frissítése 0.10.9.7-ről 0.10.9.8-ra
• SPARK-50661 Adjon hozzá visszamenőleges kompatibilitást a régi ügyfél FEB-hez.
• SPARK-50515 Írásvédett felület hozzáadása SparkConf
• SPARK-50642 A FlatMapGroupsWithState állapotséma javítása spark connectben, ha nincs kezdeti állapot
• SPARK-50702 A regexp_count, regexp_extract és regexp_extract_all docstringjeinek pontosítása
• SPARK-50692 RPAD pushdown támogatás hozzáadása
• SPARK-50699 DDL-sztring elemzése és létrehozása egy megadott munkamenettel
• SPARK-50573 Állapotséma-azonosító hozzáadása állapotsorokhoz a sémaváltozás érdekében
• SPARK-50311 Támogat (add|remove|get|clear)Tag(s) API-k a PySpark számára
• SPARK-50661 A Spark Connect Scala foreachBatch implementációjának javítása. A Dataset[T] támogatására.
• SPARK-50696 Py4J-hívás optimalizálása DDL-elemzési metódushoz
• SPARK-50687 A logika optimalizálása a DataFrameQueryContext veremkövetkezéseinek lekéréséhez
• SPARK-50681 A MapInXXX és az ApplyInXXX esetében az elemzett séma gyorsítótárazása
• SPARK-50578 Az állapot metaadatainak új verziójának támogatása a TransformWithStateInPandashoz
• SPARK-50405 Összetett adattípusok rendezési típusának megfelelő kezelése
• SPARK-50615 Variáns átküldése az ellenőrzésre.
• SPARK-50599 Hozza létre a DataEncoder tulajdonságot, amely lehetővé teszi az Avro és unsafeRow kódolást
• SPARK-50076 Naplókulcsok javítása
• SPARK-50339 A változásnapló engedélyezése az életútadatok tárolásához
• SPARK-50540 Javítsd ki a StatefulProcessorHandle karaktersémát
• SPARK-50544 Megvalósít StructType.toDDL
• SPARK-50528 Váltás InvalidCommandInput a közös modulra
• SPARK-50063 A Variant támogatása a Spark Connect Scala-ügyfélben
• SPARK-50310 Jelző hozzáadása a DataFrameQueryContext letiltásához a PySparkban
• SPARK-50310 Jelző hozzáadása a DataFrameQueryContext letiltásához a PySparkban
• SPARK-50032 Teljesen megadott kollációs név használatának engedélyezése
• SPARK-50466 Karakterlánc függvények dokumentumszövegének finomítása – 1. rész
• SPARK-49676 Operátorok láncolásának támogatása a transformWithStateInPandas API-ban
• SPARK-50081 Codegen-támogatás ( XPath*az Invoke & RuntimeReplaceable szerint)
• SPARK-46725 DAYNAME függvény hozzáadása
• SPARK-50067 A SchemaOfCsv codegen-támogatása (az Invoke & RuntimeReplaceable szerint)
• Spark-49873 – Az egyesítés utáni hiba javítása hibateszteléskor
• SPARK-50270 Egyéni állapotmetrikák hozzáadva a TransformWithStateInPandashoz
• SPARK-50381 Támogat spark.master.rest.maxThreads
• SPARK-50427 Configure_logging nyilvános API-ként való közzététel
• SPARK-50173 A pandas-kifejezések további adattípusok elfogadásának kérése
• SPARK-50169 A teljesítmény javítása RegExpReplace
• SPARK-50238 Variant-támogatás hozzáadása a PySpark UDFs/UDTFs/UDAFs és Python UC UDF-jeiben
• SPARK-50190 A Numpy közvetlen függőségének eltávolítása a hisztogramból
• SPARK-50183 A Pandas API és a PySpark Plotting belső funkcióinak egységesítése
• SPARK-50170 Ugrás _invoke_internal_function_over_columns ide: pyspark.sql.utils
• SPARK-50036 SPARK_LOG_SCHEMA belefoglalása a REPL-rendszerhéj környezetében
• SPARK-50141 Oszloptípus argumentumainak létrehozása lpad és rpad elfogadása
• SPARK-49954 A SchemaOfJson codegen-támogatása (az Invoke &RuntimeReplaceable szerint)
• SPARK-50098 Frissítse a minimális verziót googleapis-common-protos az 1.65.0-ra
• SPARK-50059 API-kompatibilitás ellenőrzése strukturált streamelési I/O-hoz
• SPARK-50241 NullIntolerant Mixin cseréje az Expression.nullIntolerant Metódusra
• SPARK-49849 API-kompatibilitás ellenőrzése strukturált streamelési lekérdezéskezeléshez
• SPARK-49851 API-kompatibilitás ellenőrzése a Protobufhoz
• SPARK-49850 API-kompatibilitás ellenőrzése az Avro-hoz
• SPARK-50039 API-kompatibilitás ellenőrzése csoportosításhoz
• SPARK-50023 API-kompatibilitás ellenőrzése a Functionsben
• SPARK-50030 API-kompatibilitás ellenőrzése a Windowshoz
• SPARK-50002 API-kompatibilitás ellenőrzése az I/O-hoz
• SPARK-49848 API-kompatibilitás ellenőrzése katalógushoz
• SPARK-50022 Javítás MasterPage az alkalmazás felhasználói felületére mutató hivatkozások elrejtéséhez, ha a felhasználói felület le van tiltva
• SPARK-50021 Javítás ApplicationPage az alkalmazás felhasználói felületére mutató hivatkozások elrejtéséhez, ha a felhasználói felület le van tiltva
• SPARK-49990 A teljesítmény javítása randStr
• SPARK-50380 A ReorderAssociativeOperatornak tiszteletben kell tartania a szerződést a ConstantFoldingben
• SPARK-50330 Tippek hozzáadása rendezési és ablakelemekhez
• SPARK-49609 API-kompatibilitás-ellenőrzés hozzáadása a Klasszikus és a Connect között
• SPARK-49773 Nem kezelt Java-kivétel a make_timestamp() miatt rossz időzónával
• SPARK-49345 Győződjön meg arról, hogy az aktuálisan futó Spark-munkamenetet használja
• SPARK-49368 Kerülje a protobuf lite osztályok közvetlen elérését
• SPARK-50056 A ParseUrl codegen-támogatása (az Invoke &RuntimeReplaceable által)
• SPARK-49119 Az 1. és a 2. v közötti szintaxis show columns inkonzisztencia javítása
• SPARK-50144 A metrikaszámítás korlátozásának kezelése DSv1 streamelési forrásokkal
• SPARK-49962 Az AbstractStringTypes osztályhierarchiájának egyszerűsítése
• SPARK-50327 Az egyszeres analizátorban újra felhasználható függvényfeloldás faktorozása
• SPARK-48775 Az SQLContext cseréje SparkSession-ra az STS-ben
• SPARK-50325 Az egylépéses elemzőben újra felhasználható aliasfeloldás faktorozása
• SPARK-48123 Állandó táblaséma megadása strukturált naplók lekérdezéséhez
• SPARK-50055 TryMakeInterval alternatíva hozzáadása
• SPARK-49312 Hibaüzenet javítása a következőhöz: assertSchemaEqual
• SPARK-38912 A classmethod és a tulajdonság megjegyzésének eltávolítása
• SPARK-50112 Az Avro kódolás használatának engedélyezése a TransformWithState operátor számára
• SPARK-50260 Spark Connect-végrehajtás és -munkamenet-kezelés újrabontása és optimalizálása
• SPARK-50196 A Python hibakörnyezetének javítása a megfelelő környezet használatához
• SPARK-50167 A PySpark hibaüzenetek és importálások ábrázolásának javítása
• SPARK-50085 Készítsen lit(ndarray) np.int8 alkalmazásával, tiszteletben tartva a numpy adattípust.
• SPARK-50273 A RocksDB zárolási és kiadási eseteinek naplózásának javítása
• SPARK-50163 Kijavítottuk a RocksDB extra acquireLock kiadását a befejezési figyelő miatt
• SPARK-49770 A RocksDB SST-fájlleképezés kezelésének javítása, valamint az ugyanazon verzió meglévő pillanatképpel való újratöltésével kapcsolatos probléma megoldása
• SPARK-50232 "protobuf==5.28.3" hozzáadása a dev/requirements.txt
• SPARK-50231 Tegye a függvényt úgy, hogy elfogadjon egy oszlopot instr
• SPARK-50028 Globális zárolások cseréje a Spark Connect-kiszolgáló figyelőjében finomhangolt zárolásokra
• SPARK-50077 Új mintaobjektum bevezetése a LogicalRelationhoz az alapértelmezett teljes params minta elkerülése érdekében
• SPARK-50128 Állapotalapú processzorkezelő API-k hozzáadása implicit kódolókkal a Scalában
• SPARK-49411 Az állapottár ellenőrzőpont azonosítójának kommunikációja az illesztőprogram és az állapotalapú operátorok között
• SPARK-50054 Hisztogramdiagramok támogatása
• SPARK-49854 Ne másolja a klaszterkönyvtárakat az Artifact Manager klónozásakor
• SPARK-50071 Try_make_timestamp(_ltz és _ntz) és kapcsolódó tesztek hozzáadása
• SPARK-50024 Váltás a naplózó használatára a figyelmeztetések modul helyett az ügyfélben
• SPARK-50174 A UnresolvedCatalogRelation felbontás különválasztása
• SPARK-49734 Argumentum hozzáadása seed függvényhez shuffle
• SPARK-49943timestamp_ntz_to_long eltávolítása innen: PythonSQLUtils
• SPARK-49945 Alias hozzáadása a következőhöz: distributed_id
• SPARK-49755 Az avro-függvények speciális burkolatának eltávolítása a Connectben
• SPARK-49805 Privát[xxx] függvények eltávolítása function.scala
• SPARK-49929 Dobozdiagramok támogatása
• SPARK-49767 A belső függvényhívás újrabontása
• SPARK-49939 A json_object_keys kódgenerálási támogatása (az Invoke és RuntimeReplaceable használatával)
• SPARK-49854 Az összetevő-kezelő klónozása a munkamenet-klónozás során
• SPARK-49766 Codegen-támogatás (json_array_length> Invokeszerint RuntimeReplaceable )
• SPARK-49540 A használat egységesítése distributed_sequence_id
• SPARK-50046 Az EventTimeWatermark csomópont stabil sorrendjének használata a vízjel kiszámításához
• SPARK-50031 A TryParseUrl kifejezés hozzáadása
• SPARK-49202 Hisztogram alkalmazása ArrayBinarySearch
• SPARK-49811 StringTypeAnyCollation átnevezése
• SPARK-50106 Python-csomag frissítése protobuf 5.28.3-ra
• SPARK-49203 Kifejezés hozzáadása a következőhöz: java.util.Arrays.binarySearch
• SPARK-50090 A ResolveBinaryArithmetic újrabontása az egycsomópontos átalakítás elkülönítéséhez
• SPARK-49103 Támogat spark.master.rest.filters
• SPARK-49222 Használhatatlan metódusok törlése a QueryCompilationErrorsban
• SPARK-50062 Támogatási rendezések a következő szerint: InSet
• SPARK-50035 Támogatás hozzáadása az állapotalapú processzor explicit handleExpiredTimer függvényéhez
• SPARK-50050 Fogadja el a lit, str és bool típusú numpy ndarrayt
• SPARK-50051 Tegye lit kompatibilissé az üres numpy ndarray-vel
• SPARK-49857 StorageLevel hozzáadása a Dataset localCheckpoint API-hoz
• SPARK-48749 Egyszerűsítse le a UnaryPositive-t, és szüntesse meg a katalizátorszabályokat a RuntimeReplaceable használatával
• SPARK-50058 Tervezze meg a normalizálási függvényeket, hogy később használhassa azokat az egyáteresztő elemzési tesztelésben
• SPARK-50042 Numpy 2 frissítése Python linterhez
• SPARK-50052 A NumpyArrayConverter képessé tétele üres str ndarray támogatására.
• SPARK-49126 Konfigurációdefiníció áthelyezése spark.history.ui.maxApplications ide: History.scala
• SPARK-50044 Több matematikai függvény docstringjének finomítása
• SPARK-48782 Az eljárások katalógusokban való végrehajtásának támogatása
• SPARK-48773 Dokumentum konfiguráció "spark.default.parallelism" a konfigurációs builder keretrendszerrel
• SPARK-49876 Globális zárolások megszabadulása a Spark Connect service-ből
• SPARK-48480 A StreamQueryListenert nem érinti a spark.interrupt()
• SPARK-49978 SparkR-elavulással kapcsolatos figyelmeztetés áthelyezése a csomag csatolási idejére
• SPARK-48549 Az SQL-függvény fejlesztése sentences
• SPARK-49956 Letiltott rendezések collect_set kifejezéssel
• SPARK-49974 A resolveRelations(...) áthelyezése az Analyzer.scala-ból
• SPARK-49067 Az utf-8 literál áthelyezése az UrlCodec osztály belső metódusaiba
• SPARK-49393 Alapértelmezés szerint meghiúsul az elavult katalógus beépülő modul API-iban
• SPARK-49918 Használjon írásvédett hozzáférést a konfigurációkhoz, ahol alkalmazható SparkContext
• SPARK-49924containsNull cseréje után ArrayCompact megtartva
• SPARK-49895 Hibaüzenet javítása, amikor utólagos vessző található a SELECT záradékban
• SPARK-49890 A df.sample előkészítésének áthelyezése a szülőosztályhoz
• SPARK-49810 Az DataFrame.sort előkészítésének kinyerése a szülőosztályba
• SPARK-49405 Karakterkészletek korlátozása a JsonOptionsban
• SPARK-49542 A partícióátalakítás kivétele kiértékeli a hibát
• SPARK-47172 Támogatás hozzáadása az RPC-titkosításhoz AES-GCM számára
• SPARK-44914 A HadoopConfUtilsSuite javítása az xercesImpl elvetése után
• SPARK-47496 A Java SPI támogatása dinamikus JDBC-dialektus-regisztrációhoz
• SPARK-48961 A PySparkException paraméterelnevezésének konzisztenssé tétele a JVM-sel
• SPARK-47390 SQL-időbélyegek leképezésének kezelése a Postgreshez és a MySQL-hez
• SPARK-49824 Naplózás javítása a SparkConnectStreamingQueryCache-ben
• SPARK-49894 Az oszlopmezőműveletek sztringreprezentációjának finomítása
• SPARK-49836 Lehetséges hibás lekérdezés kijavítása, ha az ablak paraméter meg van adva a window/session_window függvényhez.
• SPARK-49531 Vonaldiagram támogatása Plotly háttérrendszerrel
• SPARK-48780 Hibák elhárítása a NamedParametersSupport generic fájlban a függvények és eljárások kezeléséhez
• SPARK-49026 Oszlopcsomópont hozzáadása a Protorra való átalakításhoz
• SPARK-49814 A Spark Connect-ügyfél indításakor jelenítse meg a spark versionconnect server
• SPARK-49246 A TableCatalog#loadTable jelezze, hogy írásra való-e
• SPARK-49749 Naplószint módosítása hibakeresésre a BlockManagerInfo-ban
• SPARK-48303 Újjászervez LogKeys
• SPARK-48112 Munkamenet elérhetővé helyezése a SparkConnectPlannerben beépülő modulok számára
• SPARK-45919 A Java 16 record használata a Java-osztálydefiníció egyszerűsítéséhez
• SPARK-48126 Hatékonyabbá tétele spark.log.structuredLogging.enabled
• SPARK-49656 Támogatás hozzáadása értékállapot-gyűjteménytípusokkal és olvasási változáscsatorna-beállításokkal rendelkező állapotváltozókhoz
• SPARK-49323 A MockObserver áthelyezése a Spark Connect Server tesztmappájából a kiszolgáló fő mappájába
• SPARK-49772 ColumnFamilyOptions eltávolítása és konfigurációk hozzáadása közvetlenül a dbOptionshoz a RocksDB-ben
• SPARK-49688 Adatverseny javítása a megszakítási és végrehajtási terv között
• SPARK-49585 A SessionHolderben lévő végrehajtási térkép cseréje műveletazonosító-készletre
• SPARK-49684 A munkamenet-visszaállítási zárolás élettartamának minimalizálása
• SPARK-48857 Karakterkészletek korlátozása a CSVOptionsban
• SPARK-48615 Teljesítményjavulás a hexadecimális sztring elemzéséhez
• SPARK-49719 Egész szám létrehozása UUID és SHUFFLE elfogadása seed
• SPARK-49713 Tegye lehetővé, hogy a függvény count_min_sketch elfogadjon számargumentumokat
• SPARK-48623 Strukturált naplózási migrálások [3. rész]
• SPARK-48541 Új kilépési kód hozzáadása a TaskReaper által megölt végrehajtókhoz
• SPARK-48627 A binárisról HEX_DISCRETE sztringre történő átalakítás teljesítményének javítása
• SPARK-49226 Az UDF-kódlétrehozás törlése
• SPARK-49673 A CONNECT_GRPC_ARROW_MAX_BATCH_SIZE növelése a CONNECT_GRPC_MAX_MESSAGE_SIZE maximális üzenetméretének 0,7-szeresére.
• SPARK-49307 Kryo szerializálás hozzáadása az agnosztikus kódoló keretrendszerhez
• SPARK-48601 Felhasználóbarátabb hibaüzenet küldése a JDBC-beállítás null értékének beállításakor
• SPARK-42252 Adja hozzá spark.shuffle.localDisk.file.output.buffer és elavulttá tesz spark.shuffle.unsafe.file.output.buffer
• SPARK-49505 Új "randstr" és "uniform" SQL-függvények létrehozása véletlenszerű sztringek vagy számok tartományon belüli létrehozásához
• SPARK-48341 A beépülő modulok használhatják a QueryTestet a tesztjeikben
• SPARK-48374 További PyArrow-táblaoszloptípusok támogatása
• SPARK-49412 Az összes meződiagram metrikáinak kiszámítása egyetlen feladatban
• SPARK-49684 Globális zárolások eltávolítása a munkamenet- és végrehajtási kezelőkből
• SPARK-49225 ColumnNode SQL hozzáadása és normalizálása
• SPARK-49274 Java szerializáláson alapuló kódolók támogatása
• SPARK-49089 Hardcoded Catalyst-kifejezések áthelyezése a belső függvényregisztrációs adatbázisba
• SPARK-48185 Javítás: "A szimbolikus referenciaosztály nem érhető el: a sun.util.calendar.ZoneInfo osztály"
• SPARK-48037 A SortShuffleWriter hiányzó, írással kapcsolatos metrikáinak javítása, ami potenciálisan pontatlan adatokat eredményezhet.
• SPARK-49534 Már nem kerül előtagként sql/hive és sql/hive-thriftserver hozzáadásra, ha spark-hive_xxx.jar nincs az osztályútvonalban
• SPARK-49502 Az NPE elkerülése a SparkEnv.get.shuffleManager.unregisterShuffle alkalmazásban
• SPARK-49567 Használja a classic a vanilla helyett a PySpark kódbázisban
• SPARK-49582 A "dispatch_window_method" segédprogram és a hozzá tartozó dokumentáció fejlesztése
• SPARK-49478 Null metrikák kezelése a ConnectProgressExecutionListenerben
• SPARK-49525 Kisebb naplófejlesztés a kiszolgálóoldali streamelési lekérdezés figyelő busza számára.
• SPARK-49544 A durva zár cseréje a SparkConnectExecutionManagerben a ConcurrentMap használatával
• SPARK-49548 A durva zárolás cseréje a SparkConnectSessionManagerben a ConcurrentMap-ra
• SPARK-49004 Különálló beállításjegyzék használata a Column API belső függvényeihez
• SPARK-49443 A to_variant_object kifejezés implementálása és schema_of_variant kifejezések nyomtatása OBJECT for Variant Objects
• SPARK-49595 Javítás DataFrame.unpivot/melt a Spark Connect Scala-ügyfélben
• SPARK-49526 Windows-stílusú elérési utak támogatása az ArtifactManagerben
• SPARK-49396 A CaseWhen kifejezés null értékességének ellenőrzésének módosítása
• SPARK-49024 Függvények támogatásának hozzáadása az oszlopcsomóponthoz
• SPARK-48985 Kompatibilis kifejezéskonstruktorok csatlakoztatása
• SPARK-49083 Engedélyezze, hogy a from_xml és a from_json funkciók natívan működjenek a JSON-sémákkal.
• SPARK-48986 Oszlopcsomópont közbenső reprezentációja
• SPARK-48960 Lehetővé teszi a spark-submit használatát a Spark Connecttel
• SPARK-49492 Inaktív végrehajtásiőrzőn megkísérelt újraattachálás
• SPARK-47307 Adjon hozzá egy konfigurációt a base64 karakterláncok opcionális darabolásához
• SPARK-49451 Ismétlődő kulcsok engedélyezése parse_json
• SPARK-49021 Az transformWithState értékállapot-változók olvasásának támogatása az állapotadat-olvasóval
• SPARK-49249 API hozzáadása addArtifact a Spark SQL Core-hoz
• SPARK-48693 Az Invoke és a StaticInvoke toString-jének egyszerűsítése és egységesítése
• SPARK-41982 A típussztring partícióit nem szabad numerikus típusokként kezelni
• SPARK-49216 Javítás, hogy ne naplózza az üzenetkörnyezetet explicit módon létrehozott LogEntry használatával, amikor a strukturált naplózási konferencia ki van kapcsolva
• SPARK-49459 Támogatás a Shuffle Checksumhoz CRC32C
• SPARK-49409 A CONNECT_SESSION_PLAN_CACHE_SIZE alapértelmezett értékének módosítása
• SPARK-49164 A NullSafeEqual nélküli egyenlőség javítása az SQL-lekérdezés predikátumában a JDBC relációban.
• SPARK-48344 SQL-szkriptek végrehajtása (beleértve a Spark Connectet)
• SPARK-49260 A modul osztályútvonalát már nem illesztjük előre a Spark Connect Shellben
• SPARK-49041 Megfelelő hiba jelzése történik, ha helytelen dropDuplicates van megadva subset esetén.
• SPARK-49300 A Hadoop-delegálási jogkivonat kiszivárgásának javítása, ha a tokenRenewalInterval nincs beállítva
• SPARK-48796 Oszlopcsalád-azonosító betöltése a RocksDBCheckpointMetadata for VCF-ből újraindításkor
• SPARK-49269 Lelkesen értékelje ki VALUES() a listát az AstBuilderben
• SPARK-49336 A beágyazási szint korlátozása protobuf-üzenet csonkolásakor
• SPARK-49245 Elemező szabályok újrabontása
• SPARK-48755 transformWithState pyspark base implementáció és ValueState támogatás
• SPARK-48762 A clusterBy DataFrameWriter API bevezetése Pythonhoz
• SPARK-48967 A " INTO ... INSERT"VALUES teljesítmény- és memóriaigényének javítása Nyilatkozatok
• SPARK-49195 Szkriptszintű elemzési logika beágyazása a SparkSubmitCommandBuilderbe
• SPARK-49173 A Spark Connect shell prompt módosítása @ -ról scala> -re
• SPARK-49198 A Spark Connect-rendszerhéjhoz szükséges JAR-ok csökkentése
• SPARK-48936 Lehetővé teszi a spark-shell működését a Spark Connecttel
• SPARK-49201 Ábrázolás újraimplementálása hist a Spark SQL-lel
• SPARK-49111 Áthelyezés aProjectAndFilterrel a DataSourceV2Strategy társobjektumára
• SPARK-49185 Ábrázolás újrailledése kde a Spark SQL-vel
• SPARK-48761 A ClusterBy DataFrameWriter API bemutatása a Scalához
• SPARK-48628 Feladat csúcsterhelésének hozzáadása a foglalton/foglalatlan halom memória metrikákhoz
• SPARK-48900 Mező hozzáadása reason az összes belső feladat-/szakaszlemondási híváshoz
• SPARK-49076 Az AstBuilder megjegyzéseiben szereplő elavult logical plan name hiba kijavítása
• SPARK-49059 Ugrás SessionHolder.forTesting(...) a tesztcsomagra
• SPARK-48658 Kódolási/dekódolási függvények a mojibake helyett kódolási hibákat jelentenek
• SPARK-45891 Intervallumtípusok támogatásának hozzáadása a Variant Specben
• SPARK-49032 Sémaútvonal hozzáadása metaadattábla-bejegyzéshez és kapcsolódó teszt a v2 operátori metaadat-formátumhoz
• SPARK-49009 Az oszlop API-k és függvények átalakítása, hogy támogassák az enumerációkat
• SPARK-49035 TypeVar eltávolítása ColumnOrName_
• SPARK-48849 OperatorStateMetadataV2 létrehozása a TransformWithStateExec operátorhoz
• SPARK-48974 Használja SparkSession.implicits helyett SQLContext.implicits
• SPARK-48996 Az oszlop __and__ és __or__ esetén engedélyezze a csupasz literálokat.
• SPARK-48928 Figyelmeztetés naplózása helyileg ellenőrzőponttal ellátott RDD-k .unpersist() függvényének hívásakor
• SPARK-48972 A függvények literális sztringkezelésének egyesítése
• SPARK-48891 A StateSchemaCompatibilityChecker újrabontása az összes állapotsémaformátum egységesítéséhez
• SPARK-48841 Belefoglalás collationName a következőbe:sql()Collate
• SPARK-48944 A JSON formátumú sémakezelés egységesítése a Connect Serverben
• SPARK-48945 Regex-függvények egyszerűsítése lit
• SPARK-48865 Try_url_decode függvény hozzáadása
• SPARK-48851 Változtassa meg a SCHEMA_NOT_FOUND értékét namespace-ről catalog.namespace-re
• SPARK-48510 Javítás az UDAF-API-hoz tesztek futtatásakor a Mavenben
• SPARK-45190 Tegye lehetővé a StructType séma támogatását from_xml
• SPARK-48900 Mező hozzáadása reason és cancelJobGroup mezőkhöz cancelJobsWithTag
• SPARK-48909 SparkSession használata SparkContext használatával metaadatok írásakor
• SPARK-48510 Az UDAF toColumn API támogatása a Spark Connectben
• SPARK-45155 API-dokumentáció hozzáadása a Spark Connect JVM/Scala klienshez
• SPARK-48794 df.mergeInto támogatás a Spark Connecthez (Scala és Python)
• SPARK-48714 Implementálás DataFrame.mergeInto a PySparkban
• SPARK-48726 A TransformWithStateExec operátor StateSchemaV3 fájlformátumának létrehozása
• SPARK-48834 Variáns bemenet/kimenet letiltása Python UDF-ekre, UDTF-ekre és UDAF-ekre a lekérdezés-fordítás során
• SPARK-48716 JobGroupId hozzáadása a SparkListenerSQLExecutionStarthoz
• SPARK-48888 A pillanatkép-létrehozás eltávolítása a changelog műveletek mérete alapján
• SPARK-48772 Állapotadatforrás változáscsatorna-olvasó üzemmódja
• SPARK-48742 Virtual Column Family for RocksDB
• SPARK-48852 Karakterlánc vágás funkció javítása a connectben
• SPARK-48343 Az SQL Scripting-értelmező bemutatása
• SPARK-48118 Támogatás SPARK_SQL_LEGACY_CREATE_HIVE_TABLE env változó
• SPARK-48804 Hozzáadás classIsLoadable és OutputCommitter.isAssignableFrom ellenőrzésének a kimeneti rögzítő osztály konfigurációinál
• SPARK-47577 A naplókulcs félrevezető használatának javítása TASK_ID
• SPARK-48798 Bevezetés spark.profile.render a SparkSession-alapú profilkészítéshez
• SPARK-48686 A ParserUtils.unescapeSQLString teljesítményének javítása
• SPARK-48611 Naplózza a TID-t a HadoopRDD és a NewHadoopRDD bemeneti felosztásához
• SPARK-48720 A parancs ALTER TABLE ... UNSET TBLPROPERTIES ... igazítása az 1. és a 2. verzióban
• SPARK-48710 NumPy 2.0-kompatibilis típusok használata
• SPARK-48810 A munkamenet-leállítás() API-nak idempotensnek kell lennie
• SPARK-48818 Függvények egyszerűsítése percentile
• SPARK-48638 ExecutionInfo-támogatás hozzáadása a DataFrame-hez
• SPARK-48799 Verziókezelés átszervezése az operátor metaadatainak olvasásához/írásához
• SPARK-46122spark.sql.legacy.createHiveTableByDefault beállítása false alapértelmezés szerint
• SPARK-48629 A reziduális kód migrálása strukturált naplózási keretrendszerbe
• SPARK-48320 A legújabb naplózási jellemzők és tesztelési esetek szinkronizálása az OSS Sparkból
• SPARK-48573 ICU-verzió frissítése
• SPARK-48687 Állapotséma-ellenőrzés és frissítés hozzáadása az illesztőprogramhoz az állapotalapú lekérdezések tervezési fázisában
• SPARK-47579 LogInfo migrálása változókkal strukturált naplózási keretrendszerbe (1–4. RÉSZ)
• SPARK-48713 Indextartomány-ellenőrzés hozzáadása az UnsafeRow.pointTo esetén, ha a baseObject bájttömb.
• SPARK-48498 Mindig a karakterpárnázást végezze el a predikátumokban
• SPARK-48598 A gyorsítótárazott séma propagálása az adatkeret-műveletek során
• SPARK-47599 MLLib: LogWarn migrálása változókkal a strukturált naplózási keretrendszerbe
• SPARK-48576 Az UTF8_BINARY_LCASE átnevezése UTF8_LCASE-re
• SPARK-48650 A megfelelő híváswebhely megjelenítése az IPython Notebookból
• SPARK-48059 Strukturált napló-keretrendszer a Java oldalán
• SPARK-48482 dropDuplicates és dropDuplicatesWithinWatermark változó hosszúságú argeket kell elfogadnia
• SPARK-48620 Belső nyers adatszivárgás javítása YearMonthIntervalType és CalendarIntervalType esetében
• SPARK-48555 Oszlopok több függvény paraméterként való használatának támogatása
• SPARK-48591 Segédfüggvény hozzáadása az egyszerűsítés érdekében Column.py
• SPARK-48459 DataFrameQueryContext implementálása a Spark Connectben
• SPARK-48610 Átalakítás: használjon segéd idMap-et az OP_ID_TAG helyett
• SPARK-47923 Az R-csomag minimális verziójának arrow frissítése 10.0.0-ra
• SPARK-48593 A lambda függvény sztringreprezentációjának javítása
• SPARK-46947 A memóriakezelő inicializálásának késleltetése az illesztőprogram beépülő modul betöltéséig
• SPARK-48220 PyArrow-tábla átadásának engedélyezéseDataFrame() létrehozásához
• SPARK-48564 Gyorsítótárazott séma propagálása a beállított műveletekben
• SPARK-48561 Nem támogatott ábrázolási függvények megjelenítése PandasNotImplementedError
• SPARK-48513 Hibaosztály hozzáadása az állapotséma kompatibilitásához
• SPARK-48553 Több tulajdonság gyorsítótárazása
• SPARK-48550 A szülőablak-osztály közvetlen használata
• SPARK-48504 Szülőablak-osztály a Spark Connecthez és a Klasszikus Sparkhoz
• SPARK-48508 A felhasználó által megadott séma gyorsítótárazása DataFrame.{to, mapInPandas, mapInArrow}
• SPARK-48496 Statikus regex mintapéldányok használata a JavaUtilsben
• SPARK-47578 Manuális backport: változókkal történő logWarning migrálása
• SPARK-47737 Bump PyArrow to 10.0.0
• SPARK-48159 Csoportosított sztringek támogatásának kiterjesztése datetime-kifejezéseken
• SPARK-48454 A szülő DataFrame-osztály közvetlen használata
• SPARK-48438 A szülőoszlop osztály közvetlen használata
• SPARK-47597 Manuális backport: logInfo migrálása változókkal
• SPARK-48434 Használja printSchema a gyorsítótárazott sémát
• SPARK-46998 AZ SQL-konfiguráció elavultra bontása spark.sql.legacy.allowZeroIndexInFormatString
• SPARK-46569 A SecureRandom ThreadLocal eltávolítása a JDK9 óta
• SPARK-46455 Redundáns típusátalakítás eltávolítása
• SPARK-46270 Java16-kifejezések instanceof használata
• SPARK-46479 A Commons-lang3 for Java verzióellenőrzés segédprogramjának használata
• SPARK-45998 Redundáns típuskonverziók eltávolítása
• SPARK-45533 A RocksDBIterator/LevelDBIterator véglegesítése helyett használja a j.l.r.Cleanert
• SPARK-45309 Távolítsa el az összes SystemUtils.isJavaVersionAtLeast 9/11/17 JDK-val
• SPARK-48295 Alapértelmezés szerint bekapcsolva compute.ops_on_diff_frames
• SPARK-47960 Más állapotalapú operátorok láncolásának engedélyezése az transformWithState után
• SPARK-48367 Lint-scala javítása a skalafmt fájlok felismeréséhez
• SPARK-48247 A MapType-séma következtetéséhez használja a diktálásban szereplő összes értéket
• SPARK-48370 Ellenőrzőpont és localCheckpoint a Scala Spark Connect-ügyfélben
• SPARK-48258 Ellenőrzőpont és localCheckpoint a Spark Connectben
• SPARK-48293 Teszt hozzáadása a ForeachBatchUserFuncException körbefuttatási megszakításához
• SPARK-48031 A viewSchemaMode konfiguráció részletezése; SHOW CREATE TABLE támogatás hozzáadása
• SPARK-48288 Forrásadat típus hozzáadása a csatlakozó típusátalakítási kifejezéséhez
• SPARK-48310 A gyorsítótárazott tulajdonságoknak másolatokat kell visszaadni
• SPARK-48287 Beépített timestamp_diff metódus alkalmazása
• SPARK-44444 ANSI SQL mód használata alapértelmezés szerint
• SPARK-48276 Hiányzó elem hozzáadása a következőhöz __repr__ : SQLExpression
• SPARK-46991 Cserélje le az IllegalArgumentException elemet SparkIllegalArgumentExceptionre a katalizátorban
• SPARK-48031 Nézeti sémafejlődés támogatása
• SPARK-48113 Lehetővé teszi a beépülő modulok integrálását a Spark Connecttel
• SPARK-47158 Név és sqlState hozzárendelése régi hibakódokhoz
• SPARK-47545 A Scala-ügyfél adatkészlet-támogatása observe
• SPARK-47993 A Python 3.8 elvetése
• SPARK-48260 Kimeneti véglegesítés koordinálásának letiltása a ParquetIOSuite-ban
• SPARK-47365 ToArrow() DataFrame metódus hozzáadása a PySparkhoz
• SPARK-47963 Strukturált naplózás engedélyezése külső Spark-ökoszisztémához
• SPARK-48045 Több aggregációs átnevezési eljárás javítása az as_index=False beállítás figyelmen kívül hagyásával
• SPARK-47719 A timeParserPolicy alapértelmezett értékének módosítása JAVÍTVA értékre
• SPARK-48075 PySpark avro-függvények típusellenőrzése
• SPARK-48102 Metrikák időtartamának nyomon követése a streamelési lekérdezés folyamatában
• SPARK-47858 DataFrame-hibakörnyezet újrabontása
• SPARK-48052 CI szülőosztályok szerinti helyreállítása pyspark-connect
• SPARK-45284 A SparkR minimális SystemRequirements frissítése Java 17-re
• SPARK-47933 Szülőoszloposztály a Spark Connecthez és a Klasszikushoz
• SPARK-48053 A SparkSession.createDataFrame figyelmeztetést ad a nem támogatott beállításokra
• SPARK-48044 Gyorsítótár DataFrame.isStreaming
• SPARK-47594 Strukturált naplómigrálások
• SPARK-47764 Shuffle-függőségek törlése a ShuffleCleanupMode használatával
• SPARK-45501 Mintamegfeleltetés használata típusellenőrzéshez és átalakításhoz
• SPARK-45515 Továbbfejlesztett switch kifejezések használata a normál switch utasítás helyére
• SPARK-47417 Kolláció támogatása: Ascii, Chr, Base64, UnBase64, Decode, StringDecode, Encode, ToBinary, FormatNumber, Sentences
• SPARK-47909 Szülő DataFrame-osztály a Spark Connecthez és a Klasszikus Sparkhoz
• SPARK-47602 Core/MLLib/Erőforrás-kezelők: strukturált naplózási migrálás
• SPARK-47390 PostgresDialect megkülönbözteti a TIMESTAMP és a TIMESTAMP_TZ értékeket
• SPARK-47868 Rekurziós korláthiba kijavítása a SparkConnectPlannerben és a SparkSessionban
• SPARK-45802 A már nem szükséges Java-ellenőrzések majorVersion eltávolítása Platform
• SPARK-47818 Terv-gyorsítótár bevezetése a SparkConnectPlanner-ben az elemzési kérések teljesítményének javítása érdekében
• SPARK-46031 Csere erre !Optional.isPresent() : Optional.isEmpty()
• SPARK-45659 Új mező hozzáadása since a Java API-hoz úgy, hogy @Deprecated
• SPARK-45596 A java.lang.ref.Cleaner használata a org.apache.spark.sql.connect.client.util.Cleaner helyett
• SPARK-47807 A pyspark.ml kompatibilis tétele a pyspark-connect szolgáltatással
• SPARK-45830 Refaktorálás StorageUtils#bufferCleaner
• SPARK-45578InaccessibleObjectException használatának eltávolítása a trySetAccessible használatával
• SPARK-44895 A ThreadStackTrace "démon" és "prioritás" hozzáadása
• SPARK-45295 A JDK 8 Utils.isMemberClass kerülő megoldásának eltávolítása
• SPARK-47081 A lekérdezés végrehajtásának előrehaladásának támogatása
• SPARK-45322 A pid közvetlen lekérése a ProcessHandle használatával
• SPARK-46812 Tedd lehetővé a mapInPandas / mapInArrow számára a ResourceProfile támogatását
• SPARK-47406 TIMESTAMP és DATETIME kezelése a MYSQLDialectben
• SPARK-47712 Adathalmazok létrehozásának és feldolgozásának engedélyezése a csatlakozó beépülő modulok számára
• SPARK-47720 Frissítés spark.speculation.multiplier 3-ra és spark.speculation.quantile 0.9-re
• SPARK-47665 ShortType írása a MYSQL-be a SMALLINT használatával
• SPARK-47722 Várjon, amíg a RocksDB háttérmunka befejeződik, mielőtt bezárul
• SPARK-47610 Mindig beállítva io.netty.tryReflectionSetAccessible=true
• SPARK-47372 Tartományvizsgálaton alapuló kulcsállapot-kódoló támogatásának hozzáadása az állapottároló-szolgáltatóhoz való használatra
• SPARK-44708 A test_reset_index assert_eq migrálása az assertDataFrameEqual függvény használatára
• SPARK-47346 Démon mód konfigurálása Python planner-feldolgozók létrehozásakor
• SPARK-47419 Ugrás log4j2-defaults.properties ide: common/utils
• SPARK-47380 Győződjön meg arról, hogy a kiszolgáló oldalán a SparkSession ugyanaz
• SPARK-47055 A MyPy 1.8.0 frissítése
• SPARK-46795 Csere a következővelUnsupportedOperationException:SparkUnsupportedOperationExceptionsql/core
• SPARK-46648 Használat zstd alapértelmezett ORC-tömörítésként
• SPARK-47322 Az oszlopnevek duplikálásának kezelése konzisztenssé tétele withColumnsRenamedwithColumnRenamed
• SPARK-47011 Elavult elemek eltávolítása BinaryClassificationMetrics.scoreLabelsWeight
• SPARK-46332 Migrálás CatalogNotFoundException a hibaosztályba CATALOG_NOT_FOUND
• SPARK-46975 Dedikált tartalék módszerek támogatása
• SPARK-47069 Bevezetés spark.profile.show/dump a SparkSession-alapú profilkészítéshez
• SPARK-47062 Beépülő modulok áthelyezése Java-ba kompatibilitás céljából
• SPARK-46833 Rendezések – A CollationFactory bemutatása, amely összehasonlítási és kivonatolási szabályokat biztosít a támogatott rendezésekhez
• SPARK-46984 Pyspark.copy_func eltávolítása
• SPARK-46849 Optimalizáló futtatása az CREATE TABLE oszlop alapértelmezett értékén
• SPARK-46976 Megvalósít DataFrameGroupBy.corr
• SPARK-46911 DeleteIfExists operátor hozzáadása a StatefulProcessorHandleImplhez
• SPARK-46955 Megvalósít Frame.to_stata
• SPARK-46936 Megvalósít Frame.to_feather
• SPARK-46655 A lekérdezési környezet kihagyása a DataFrame metódusokban
• SPARK-46926 Hozzáadás convert_dtypes, infer_objects és set_axis a tartaléklistába
• SPARK-46683 Allekérdezési generátor írása, amely allekérdezések permutációit generálja a tesztelési lefedettség növelése érdekében
• SPARK-46777 A katalizátor szerkezetének újrastrukturálása StreamingDataSourceV2Relation hogy jobban megfeleljen a batch verziónak.
• SPARK-46620 Alapszintű tartalék mechanizmus bevezetése keretmetelyekhez
• SPARK-46808 Hibaosztályok pontosítása a Pythonban automatikus rendezési függvénnyel
• SPARK-46686 A SparkSession-alapú Python UDF-profilkészítő alapszintű támogatása
• SPARK-46258 Hozzáad RocksDBPersistenceEngine
• SPARK-46665 Eltávolít assertPandasOnSparkEqual
• SPARK-46227 Áthelyezés withSQLConf a SQLHelper-ból/-ből SQLConfHelper-ba/-be
• SPARK-40876 Típus-promóciók bővítése a Parquet-olvasókban
• SPARK-46101 A veremmélység csökkentése a (string|array).size kicserélésével (string|array).length-re.
• SPARK-46170 Adaptív lekérdezés post tervezési stratégiai szabályok beillesztésének támogatása a SparkSessionExtensions-ben
• SPARK-46246EXECUTE IMMEDIATE SQL-támogatás
• SPARK-46466 A vektoros parquet-olvasónak soha nem szabad újrabázist végeznie az időbélyeg ntz-hez
• SPARK-46399 Kilépési állapot hozzáadása az Application End eseményhez a Spark-figyelő használatához
• SPARK-45506 Ivy URI támogatás hozzáadása a SparkConnect addArtifact funkcióhoz
• SPARK-45597 Tábla létrehozásának támogatása Python-adatforrás használatával az SQL-ben (DSv2 exec)
• SPARK-46402 GetMessageParameters és getQueryContext támogatás hozzáadása
• SPARK-46213 Bevezet PySparkImportError a hibakeretrendszerbe
• SPARK-46226 Az összes fennmaradó elemet migráljuk a PySpark hiba keretrendszerébe
• SPARK-45886 Adja ki a teljes veremkövetést a callSite DataFrame-környezetben
• SPARK-46256 Párhuzamos tömörítés támogatása a ZSTD-hez
• SPARK-46249 Példányzárolás megkövetelése a RocksDB-metrikák beszerzéséhez a háttérben futó verseny megakadályozása érdekében
• SPARK-45667 Az elavult API-használat törlése a következőhöz: IterableOnceExtensionMethods
• SPARK-46254 Elavult Python 3.8/3.7 verzióellenőrzés eltávolítása
• SPARK-46213 Bevezet PySparkImportError a hibakeretrendszerbe
• SPARK-46188 A Spark-dokumentum által létrehozott táblák CSS-jének javítása
• SPARK-45670 A SparkSubmit nem támogatja --total-executor-cores a K8-on való üzembe helyezést
• SPARK-46169 Megfelelő JIRA-számok hozzárendelése hiányzó paraméterekhez az API-ból DataFrame
• SPARK-45022 Az adathalmaz API-hibáinak kontextusának megadása
• SPARK-46062 Az isStreaming jelölő szinkronizálása a CTE-definíció és a referencia között
• SPARK-45698 Az elavult API-használat törlése a következőhöz: Buffer
• SPARK-45136 A ClosureCleaner továbbfejlesztése az Ammonite támogatásával
• SPARK-44442 Mesos-támogatás eltávolítása
• SPARK-45996 A Spark Connect megfelelő függőségi követelményüzeneteinek megjelenítése
• SPARK-45767TimeStampedHashMap és annak UT-jának törlése
• SPARK-45912 Az XSDToSchema API továbbfejlesztése: A HDFS API-ra váltás a felhőalapú tárolás akadálymentességéhez
• SPARK-45338 Csere erre scala.collection.JavaConverters : scala.jdk.CollectionConverters
• SPARK-45828 Elavult metódus eltávolítása a dsl-ben
• SPARK-45718 A Spark 3.4.0 fennmaradó elavult Pandas-funkcióinak eltávolítása
• SPARK-45990 Frissítés protobuf a 4.25.1-re a támogatás érdekében Python 3.11
• SPARK-45941 Frissítés pandas a 2.1.3-ra
• SPARK-45555 Hibakeresési objektumot biztosít sikertelen állítások esetére
• SPARK-45710 Nevek hozzárendelése a hibához _LEGACY_ERROR_TEMP_21[59,60,61,62]
• SPARK-45733 Több újrapróbálkozési szabályzat támogatása
• SPARK-45503 Konfiguráció hozzáadása a RocksDB-tömörítés beállításához
• SPARK-45614 Adjon nevet a _LEGACY_ERROR_TEMP_215[6,7,8] hibának
• SPARK-45680 Kiadási munkamenet
• SPARK-45620 A Python UDTF-hez kapcsolódó felhasználói API-k javítása a camelCase használatához
• SPARK-45634 Eltávolítás DataFrame.get_dtype_counts a Pandas API-ból a Sparkon
• SPARK-44752 XML: Spark-dokumentumok frissítése
• SPARK-45523 Hasznos hibaüzenetet ad vissza, ha az UDTF a None értéket adja vissza a nem null értékű oszlopokhoz
• SPARK-45558 Metaadatfájl bemutatása állapotalapú streamelési operátorhoz
• SPARK-45390 Távolítsa el a distutils használatát
• SPARK-45517 További kivételkonstruktorok bővítése a hibaelemzési keretrendszer paramétereinek támogatása érdekében
• SPARK-45427 RPC SSL-beállítások hozzáadása az SSLOptionshoz és a SparkTransportConfhoz
• SPARK-45581 Tegye kötelezővé az SQLSTATE-t.
• SPARK-44784 SBT-teszt hermetikussá tétele.
• SPARK-45550 Elavult API-k eltávolítása a Pandas API-ból a Sparkon
• SPARK-45415 A "fallocate" szelektív letiltásának engedélyezése a RocksDB statestore-ban
• SPARK-45487 SQLSTATES- és temp-hibák javítása
• SPARK-45505 Refaktorálás az analyzeInPython függvényen, hogy újrahasználható legyen
• SPARK-45451 Az adathalmaz-gyorsítótár alapértelmezett tárolási szintjének konfigurálhatóvá tétele
• SPARK-45065 A Pandas 2.1.0 támogatása
• SPARK-45450 Az importok javítása a PEP8 szabvány szerint: pyspark.pandas és pyspark (mag)
• SPARK-43299 StreamingQueryException konvertálása a Scala-ügyfélben
• SPARK-42617 A pandas 2.0.0 támogatása isocalendar
• SPARK-45441 További util függvények bevezetése a PythonWorkerUtilshez
• SPARK-43620 A Pandas API-k javítása a nem támogatott funkcióktól függ
• SPARK-45330 Ammonite frissítése a 2.5.11-re
• SPARK-45267 Módosítsa a numeric_only alapértelmezett értékét.
• SPARK-45303 JDK 8/11 kerülő megoldás eltávolítása a KryoSerializerBenchmarkban
• SPARK-43433 Viselkedés egyeztetése GroupBy.nth a legújabb Pandas-okkal
• SPARK-45166 A nem használt kód elérési útjainak törlése a következőhöz: pyarrow<4
• SPARK-44823 Frissítették a Black szoftvert 23.9.1-re, és javították a hibás ellenőrzést
• SPARK-45165 Paraméter eltávolítása inplace API-kból CategoricalIndex
• SPARK-45180 Távolítsa el a(z) inclusive paraméter logikai bemeneteit a(z) Series.between-ból/ből.
• SPARK-45164 Elavult Index API-k eltávolítása
• SPARK-45179 A Numpy minimális verziójának növelése 1.21-esre
• SPARK-45177 Paraméter eltávolítása col_space a to_latex
• SPARK-43241MultiIndex.append nem ellenőrzi a neveket az egyenlőség szempontjából
• SPARK-43123 Emeljen TypeErrorDataFrame.interpolate akkor, ha az összes oszlop objektum típusú.
• SPARK-43295 Sztring típusú oszlopok támogatása DataFrameGroupBy.sum
• SPARK-42619 Egy paraméter hozzáadása show_counts DataFrame.info-hoz
• SPARK-44863 Gomb hozzáadása a szálkép txt formátumban való letöltéséhez a Spark felhasználói felületén
• SPARK-44713 Megosztott osztályok áthelyezése az SQL/API-ba
• SPARK-44692 Trigger(ek) áthelyezése az sql/api-ba
• SPARK-43563 Távolítsa el squeeze és további tesztek engedélyezése read_csv.
• SPARK-43476 Pandas 2.0.0 és újabb verziók támogatása StringMethods
• SPARK-43872 Támogatás (DataFrame|Series).plot a pandas 2.0.0-s és újabb verziókkal.
• SPARK-42620 (DataFrame|Sorozat).between_time részére inclusive paraméter hozzáadása
• SPARK-44289 A pandas 2.0.0 támogatása és több teszt engedélyezése indexer_between_time.
• SPARK-42621 Inkluzív paraméter hozzáadása pd.date_range számára
• SPARK-43709 Távolítsa el a closed paramétert, és engedélyezze a tesztet a ps.date_range.
• SPARK-43568 A pandas 2 támogatási Categorical API-jai
• SPARK-44842 A pandas 2.0.0 stat függvényeinek támogatása és a tesztek engedélyezése.
• SPARK-43606 Eltávolítás &
• SPARK-43873 Engedélyezése FrameDescribeTests
• SPARK-44841 A pandas 2.0.0 és újabb verziók támogatása value_counts .
• SPARK-44686 Adja hozzá a RowEncodert az Encoders.scala-ban.
• SPARK-41400 Kapcsolati ügyfél katalizátor függőségének eltávolítása
• SPARK-44538 Row.jsonValue és hasonló funkciók visszaállítása
• SPARK-44507 AnalysisException áthelyezése az sql/api-ba
• SPARK-44531 Kódoló következtetésének áthelyezése az SQL/API-ba
• SPARK-43744 A kiszolgálói osztályúton nem található stub felhasználói osztályok által okozott osztálybetöltési probléma megoldása
• SPARK-36612 Bal oldali külső illesztés összeállításának támogatása balra vagy jobb oldali külső illesztés összeállítása jobbra az elfojtott kivonatos illesztésben
• SPARK-44541 Használhatatlan függvény hasRangeExprAgainstEventTimeCol eltávolítása UnsupportedOperationChecker
• SPARK-44059 A beépített függvények nevesített argumentumainak elemzői támogatásának hozzáadása
• SPARK-44216 Az assertSchemaEqual API nyilvánossá tétele
• SPARK-43755 Végrehajtás áthelyezése a SparkExecutePlanStreamHandlerből egy másik szálra
• SPARK-44201 Streamfigyelő támogatása a Scala for Spark Connectben
• SPARK-43965 Python UDTF támogatása a Spark Connectben
• SPARK-44398 Scala foreachBatch API
• SPARK-44044 Windows-függvények hibaüzenetének javítása streameléssel

Databricks ODBC/JDBC meghajtó támogatása

A Databricks támogatja az elmúlt 2 évben kiadott ODBC/JDBC-illesztőprogramokat. Töltse le a nemrég kiadott illesztőprogramokat és frissítsen (töltse le az ODBC-t, töltse le a JDBC-t).

Karbantartási frissítések

Lásd a Databricks Runtime 17.0 karbantartási frissítéseit.

Rendszerkörnyezet

• operációs rendszer: Ubuntu 24.04.2 LTS
• Java: Zulu17.54+21-CA
• Scala: 2.13.16
• Python: 3.12.3
• R: 4.4.2
• Delta Lake: 4.0.0

Telepített Python-kódtárak

Könyvtár	verzió	Könyvtár	verzió	Könyvtár	verzió
széljegyzetes típusok	0.7.0	anyio	4.6.2	argon2-cffi	21.3.0
argon2-cffi-bindings	21.2.0	nyíl	1.3.0	asttokens	2.0.5
astunparse	1.6.3	Aszinkron-LRU	2.0.4	attribútumok	24.3.0
automatikus parancs	2.2.2	azure-common	1.1.28	azure-core	1.34.0
azure-identity	1.20.0	azure-mgmt-core	1.5.0	azure-mgmt-web (web kezelési modul az Azure-hoz)	8.0.0
Azure-tároló-blob	12.23.0	Azure-tároló-fájl-adattó (Azure Storage File Data Lake)	12.17.0	babel	2.16.0
backports.tarfile	1.2.0	beautifulsoup4	4.12.3	fekete	24.10.0
fehérítő	6.2.0	villogó	1.7.0	boto3	1.36.2
botocore	1.36.3	Gyorstár-eszközök	5.5.1	tanúsítvány	2025.01.31
cffi	1.17.1	Chardet	4.0.0	karakterkészlet-normalizáló (charset-normalizer)	3.3.2
kattintás	8.1.7	Cloudpickle	3.0.0	kommunikáció	0.2.1
ContourPy	1.3.1	kriptográfia	43.0.3	biciklista	0.11.0
Cython	3.0.12	databricks SDK	0.49.0	dbus-python	1.3.2
debugpy hibakereső eszköz	1.8.11	dekorátor	5.1.1	defusedxml	0.7.1
Deprecated	1.2.13	distlib	0.3.9	docstring Markdown-formátummá alakítása	0.11
Végrehajtó	0.8.3	aspektusok áttekintése	1.1.1	fastapi	0.115.12
fastjsonschema	2.21.1	fájlzárolás	3.18.0	betűtípusok	4.55.3
FQDN	1.5.1	fsspec	2023.5.0	gitdb	4.0.11
GitPython	3.1.43	google-api-core	2.20.0	Google-autentikáció	2.40.0
google-cloud-core (Google felhő mag)	2.4.3	Google felhőtárhely	3.1.0	google-crc32c	1.7.1
google-resumable-media (Google újraindítható média)	2.7.2	googleapis-közös-protokollok	1.65.0	grpcio	1.67.0
grpcio-status	1.67.0	h11	0.14.0	httpcore	1.0.2
httplib2	0.20.4	httpx	0.27.0	Idna	3.7
importlib-metadata	6.6.0	importlib_resources	6.4.0	ragoz	7.3.1
iniconfig	1.1.1	ipyflow-core	0.0.209	ipykernel	6.29.5
ipython	8.30.0	ipython-genutils	0.2.0	ipywidgets	7.8.1
izodátum	0.6.1	izoduráció	20.11.0	jaraco.context	5.3.0
jaraco.functools	4.0.1	jaraco.text	3.12.1	jedi	0.19.2
Jinja2	3.1.5	jmespath	1.0.1	joblib	1.4.2
json5	0.9.25	jsonpointer	3.0.0	jsonschema	4.23.0
jsonschema-specifikációk	2023.07.01.	jupyter-események	0.10.0	jupyter-lsp	2.2.0
jupyter_kliens	8.6.3	jupyter_core	5.7.2	jupyter_server (Jupyter kiszolgáló)	2.14.1
jupyter szerver terminálok	0.4.4	jupyterlab	4.3.4	jupyterlab-pygments	0.1.2
JupyterLab-widgetek	1.0.0	jupyterlab_szerver	2.27.3	kiwisolver	1.4.8
launchpadlib	1.11.0	lazr.restfulclient	0.14.6	lazr.uri	1.0.6
markdown-it-py	2.2.0	MarkupSafe	3.0.2	matplotlib	3.10.0
matplotlib-inline	0.1.7	Mccabe	0.7.0	mdurl	0.1.0
félhangol	2.0.4	mlflow-skinny	2.22.0	mmh3	5.1.0
more-itertools	10.3.0	msal	1.32.3	msal-kiterjesztések	1.3.1
mypy kiterjesztések	1.0.0	nbclient	0.8.0	nbconvert	7.16.4
nbformat	5.10.4	nest-asyncio	1.6.0	nodeenv	1.9.1
jegyzetfüzet	7.3.2	notebook-shim	0.2.3	numpy	2.1.3
oauthlib	3.2.2	opentelemetry-api	1.32.1	opentelemetry-sdk	1.32.1
opentelemetry-szemantikai-konvenciók	0,53b1	Felülbírálja	7.4.0	csomagolás	24.1
Pandák	2.2.3	pandocfilters	1.5.0	parso	0.8.4
útvonal specifikáció (pathspec)	0.10.3	bűnbak	1.0.1	pexpect	4.8.0
párna	11.1.0	pipa	25.0.1	Platformdirs	3.10.0
ábrázolás	5.24.1	csatlakozós	1.5.0	prometheus_client	0.21.0
prompt-toolkit: parancssori eszközkészlet	3.0.43	proto-plus	1.26.1	protobuf	5.29.4
psutil	5.9.0	psycopg2	2.9.3	ptyprocess	0.7.0
pure-eval	0.2.2	pyarrow	19.0.1	pyasn1	0.4.8
pyasn1-modules	0.2.8	pyccolo	0.0.71	pycparser (C és C++ fájlok feldolgozására szolgáló parser)	2.21
pydantic (egy Python könyvtár)	2.10.6	pydantic_core	2.27.2	pyflakes (egy program vagy eszköz neve)	3.2.0
Pygments	2.15.1	PyGObject	3.48.2	pyiceberg	0.9.0
PyJWT	2.10.1	pyodbc (Python ODBC interfész)	5.2.0	pyparsing (egy Python könyvtár a szövegelemzéshez)	3.2.0
pyright	1.1.394	pytest	8.3.5	python-dateutil	Szoftver verzió: 2.9.0.post0
Python JSON naplózó	3.2.1	python-lsp-jsonrpc	1.1.2	python-lsp-server	1.12.0
pytool konfiguráció	1.2.6	pytz (egy Python könyvtár az időzóna számításokhoz)	2024.1	PyYAML	6.0.2
pyzmq	26.2.0	Hivatkozás	0.30.2	requests	2.32.3
rfc3339-validator	0.1.4	RFC3986-érvényesítő	0.1.1	gazdag	13.9.4
kötél	1.12.0	rpds-py	0.22.3	Rsa	4.9.1
s3transfer	0.11.3	scikit-learn (egy Python gépi tanulási könyvtár)	1.6.1	scipy (tudományos és műszaki számítási Python könyvtár)	1.15.1
tengerben született	0.13.2	Send2Trash	1.8.2	setuptools	74.0.0
hat	1.16.0	smmap	5.0.0	sniffio	1.3.0
sortedcontainers	2.4.0	levesszűrő	2.5	sqlparse	0.5.3
ssh-import-id	5.11	halmaz adatok	0.2.0	Starlette	0.46.2
statsmodels - statisztikai szoftvercsomag	0.14.4	strictyaml	1.7.3	Kitartás	9.0.0
befejezett	0.17.1	threadpoolctl	3.5.0	tinycss2	1.4.0
tokenize_rt	6.1.0	tomli	2.0.1	tornado	6.4.2
traitlets	5.14.3	típusőrző	4.3.0	types-python-dateutil	2.9.0.20241206
typing_extensions (gépelési kiterjesztések)	4.12.2	tzdata	2024.1	ujson (JSON-kezelő könyvtár a Pythonban)	5.10.0
felügyelet nélküli frissítések	0,1	uri-sablon	1.3.0	urllib3	2.3.0
uvicorn	0.34.2	virtualenv	20.29.3	wadllib	1.3.6
wcwidth	0.2.5	webszínek	24.11.1	webkódolások	0.5.1
websocket-klient	1.8.0	Mi a javítás?	1.0.2	wheel	0.45.1
widgetsnbextension	3.6.6	becsomagolva	1.17.0	yapf	0.40.2
cipzár	3.21.0

Telepített R-kódtárak

Az R-kódtárak a Posit Package Manager CRAN-pillanatképéből vannak telepítve 2025-03-20-án.

Könyvtár	verzió	Könyvtár	verzió	Könyvtár	verzió
nyíl	19.0.1	jelszókérés	1.2.1	Meggyőződj arról, hogy	0.2.1
háttérportolások	1.5.0	alapkép	4.4.2	base64enc	0.1-3
bigD	0.3.0	bit	4.6.0	bit 64	4.6.0-1
bitops	1.0-9	blob	1.2.4	boot - rendszerindítás	1.3-30
sört főz	1.0-10	Brio	1.1.5	seprű	1.0.7
bslib	0.9.0	gyorsítótár	1.1.0	hívásindító	3.7.6
caret	7.0-1	cellranger	1.1.0	kronométer	2.3-62
osztály	7.3-22	CLI	3.6.4	Clipr	0.8.0
óra	0.7.2	fürt	2.1.6	kódolási eszközök	0.2-20
színterület	2.1-1	commonmark	1.9.5	fordítóprogram	4.4.2
config	0.3.2	ellentmondásos	1.2.0	cpp11	0.5.2
crayon	1.5.3	azonosító adatok	2.0.2	göndörít	6.2.1
adat.táblázat	1.17.0	adatkészletek	4.4.2	DBI	1.2.3
dbplyr	2.5.0	Leírás	1.4.3	devtools	2.4.5
diagram	1.6.5	diffobj	0.3.5	kivonat	0.6.37
lefelé irányított világítású	0.4.4	dplyr (adatmanipulációs csomag az R programozási nyelvhez)	1.1.4	dtplyr	1.3.1
e1071	1.7-16	három pont	0.3.2	kiértékel	1.0.3
rajongók	1.0.6	színek	2.1.2	gyorstérkép	1.2.0
fontawesome	0.5.3	elveszettek	1.0.0	foreach	1.5.2
külföldi	0.8-86	kovácsol	0.2.0	fs	1.6.5
jövő	1.34.0	jövő.alkalmaz	1.11.3	gargarizál	1.5.2
általánosítás	0.1.3	gert	2.1.4	ggplot2	3.5.1
gh	1.4.1	git2r	0.35.0	gitcreds	0.1.2
glmnet	4.1-8	globálisok	0.16.3	ragasztó	1.8.0
googledrive	2.1.1	googlesheets4	1.1.1	Gower-hegység	1.0.2
grafika	4.4.2	grDevices	4.4.2	rács	4.4.2
gridExtra	2.3	gsubfn	0.7	gt	0.11.1
gtable	0.3.6	védősisak	1.4.1	kikötő	2.5.4
magasabb	0.11	HMS	1.1.3	HTML-eszközök	0.5.8.1
HTML-widgetek	1.6.4	httpuv	1.6.15	httr	1.4.7
httr2	1.1.1	Azonosítók	1.0.1	ini	0.3.1
iPred	0.9-15	izoband	0.2.7	iterátorok	1.0.14
jquerylib	0.1.4	jsonlite	1.9.1	juicyjuice	0.1.0
KernSmooth	2.23-22	knitr	1,50	címkézés	0.4.3
később	1.4.1	rácsszerkezet	0.22-5	láva	1.8.1
életciklus	1.0.4	hallgatás	0.9.1	lubridate	1.9.4
magrittr	2.0.3	Markdown	1.13	Tömeg	7.3-60.0.1
Mátrix	1.6-5	memorizálás	2.0.1	módszerek	4.4.2
mgcv	1.9-1	pantomimázás	0,13	miniUI	0.1.1.1
mlflow	2.20.4	ModelMetrics	1.2.2.2	modellező	0.1.11
munsell	0.5.1	nlme	3.1-164	nnet	7.3-19
„numDeriv”	2016. augusztus - 1.1	openssl (nyílt forráskódú titkosító szoftver)	2.3.2	párhuzamos	4.4.2
párhuzamosan	1.42.0	pillér	1.10.1	pkgbuild	1.4.6
pkgconfig	2.0.3	pkgdown	2.1.1	csomag betöltése	1.4.0
plogr	0.2.0	plyr	1.8.9	dicséret	1.0.0
prettyunits	1.2.0	pROC	1.18.5	Processx	3.8.6
prodlim	2024.06.25	profvis	0.4.0	haladás	1.2.3
progressr	0.15.1	ígéretek	1.3.2	Próto	1.0.0
közvetít	0.4-27	P.S.	1.9.0	purrr	1.0.4
R6	2.6.1	ragg	1.3.3	véletlen erdő (randomForest)	4.7-1.2
rappdirs	0.3.3	rcmdcheck	1.4.0	RColorBrewer (egy szoftvercsomag neve)	1.1-3
Rcpp	1.0.14	RcppEigen	0.3.4.0.2	reakcióképes	0.4.4
reactR	0.6.1	Readr	2.1.5	readxl (Excel fájlokat olvasó programcsomag)	1.4.5
Receptek	1.2.0	Visszavágó	2.0.0	visszavágó2	2.1.2
Távvezérlők	2.5.0	megismételhető példa	2.1.1	újraformázás2	1.4.4
rlang	1.1.5	rmarkdown	2.29.	RODBC	1.3-26
roxygen2	7.3.2	rpart	4.1.23	rprojroot	2.0.4
Rserve	1.8-15	RSQLite	2.3.9	rstudioapi	0.17.1
változatok	2.1.2	Szüret	1.0.4	Sass	0.4.9
mérlegek	1.3.0	szelekciós eszköz	0.4-2	munkamenet-információk	1.2.3
alakzat	1.4.6.1	Fényes	1.10.0	sourcetools	0.1.7-1
sparklyr	1.9.0	SparkR	4.0.0	sparsevctrs	0.3.1
térbeli	7.3-17	splinek	4.4.2	sqldf	0.4-11
SQUAREM	2021.1	statisztika	4.4.2	statisztikák4	4.4.2
string	1.8.4	stringr	1.5.1	túlélés	3.5-8
magabiztosság	5.17.14.1	sys	3.4.3	systemfonts	1.2.1
Tcl/Tk programozási nyelv és eszközkészlet.	4.4.2	testthat	3.2.3	szövegformázás	1.0.0
tibble	3.2.1	tidyr	1.3.1	tidyselect	1.2.1
tidyverse	2.0.0	időváltás	0.3.0	idődátum	4041.110
tinytex	0.56	eszközök	4.4.2	tzdb	0.5.0
URL-ellenőrző	1.0.1	ezt használd	3.1.0	utf8	1.2.4
segédprogramok	4.4.2	univerzálisan egyedi azonosító (UUID)	1.2-1	V8	6.0.2
vctrs	0.6.5	viridisLite	0.4.2	bruum	1.6.5
Waldo	0.6.1	szőrszál	0.4.1	valamivel	3.0.2
xfun	0.51	xml2	1.3.8	xopen	1.0.1
xtable	1.8-4	YAML (adat-szerializációs formátum)	2.3.10	zeallot	0.1.0
zip fájl	2.3.2

Telepített Java- és Scala-kódtárak (Scala 2.13 klaszterverzió)

Csoportazonosító	A tárgy azonosítója	verzió
ANTLR (Egy másik eszköz a nyelvi felismeréshez)	ANTLR (Egy másik eszköz a nyelvi felismeréshez)	2.7.7
com.amazonaws	Amazon Kinesis kliens	1.12.0
com.amazonaws	AWS Java SDK - Automatikus Skálázás	1.12.638
com.amazonaws	aws-java-sdk-cloudformation	1.12.638
com.amazonaws	aws-java-sdk-cloudfront	1.12.638
com.amazonaws	aws-java-sdk-cloudhsm	1.12.638
com.amazonaws	aws-java-sdk-cloudsearch	1.12.638
com.amazonaws	aws-java-sdk-cloudtrail	1.12.638
com.amazonaws	aws-java-sdk-cloudwatch	1.12.638
com.amazonaws	aws-java-sdk-cloudwatchmetrics	1.12.638
com.amazonaws	aws-java-sdk-codedeploy	1.12.638
com.amazonaws	aws-java-sdk-cognitoidentity (Java SDK az Amazon Cognito Identitás kezeléséhez)	1.12.638
com.amazonaws	aws-java-sdk-cognitosync	1.12.638
com.amazonaws	aws-java-sdk-config (AWS Java SDK konfiguráció)	1.12.638
com.amazonaws	aws-java-sdk-core	1.12.638
com.amazonaws	aws-java-sdk-datapipeline	1.12.638
com.amazonaws	aws-java-sdk-directconnect	1.12.638
com.amazonaws	aws-java-sdk-directory	1.12.638
com.amazonaws	aws-java-sdk-dynamodb	1.12.638
com.amazonaws	aws-java-sdk-ec2	1.12.638
com.amazonaws	aws-java-sdk-ecs	1.12.638
com.amazonaws	aws-java-sdk-efs	1.12.638
com.amazonaws	aws-java-sdk-elasticache	1.12.638
com.amazonaws	aws-java-sdk-elasticbeanstalk (Java SDK az Elastic Beanstalk számára)	1.12.638
com.amazonaws	aws-java-sdk-elasticloadbalancing (AWS Java SDK az elasztikus terheléselosztáshoz)	1.12.638
com.amazonaws	aws-java-sdk-elastictranscoder	1.12.638
com.amazonaws	aws-java-sdk-emr	1.12.638
com.amazonaws	aws-java-sdk-glacier	1.12.638
com.amazonaws	aws-java-sdk-glue	1.12.638
com.amazonaws	aws-java-sdk-iam	1.12.638
com.amazonaws	AWS Java SDK importexport modul	1.12.638
com.amazonaws	aws-java-sdk-kinesis	1.12.638
com.amazonaws	aws-java-sdk-kms (Amazon Web Services Java SDK KMS)	1.12.638
com.amazonaws	aws-java-sdk-lambda	1.12.638
com.amazonaws	aws-java-sdk-logs	1.12.638
com.amazonaws	aws-java-sdk-gépi tanulás	1.12.638
com.amazonaws	aws-java-sdk-opsworks	1.12.638
com.amazonaws	aws-java-sdk-rds	1.12.638
com.amazonaws	aws-java-sdk-redshift	1.12.638
com.amazonaws	aws-java-sdk-route53	1.12.638
com.amazonaws	aws-java-sdk-s3	1.12.638
com.amazonaws	aws-java-sdk-ses (AWS Java SDK az Amazon SES-hez)	1.12.638
com.amazonaws	aws-java-sdk-simpledb	1.12.638
com.amazonaws	aws-java-sdk-simpleworkflow	1.12.638
com.amazonaws	aws-java-sdk-sns	1.12.638
com.amazonaws	aws-java-sdk-sqs	1.12.638
com.amazonaws	aws-java-sdk-ssm	1.12.638
com.amazonaws	aws-java-sdk-storagegateway	1.12.638
com.amazonaws	aws-java-sdk-sts	1.12.638
com.amazonaws	AWS Java SDK Támogatás	1.12.638
com.amazonaws	aws-java-sdk-swf könyvtárak	1.11.22
com.amazonaws	aws-java-sdk-munkaterületek	1.12.638
com.amazonaws	jmespath-java	1.12.638
com.clearspring.analytics	adatfolyam	2.9.8
com.databricks	Rserve	1.8-3
com.databricks	databricks-sdk-java (Databricks Java SDK)	0.27.0
com.databricks	jets3t	0.7.1-0
com.databricks.scalapb	scalapb-runtime_2.13	0.4.15-11
com.esotericsoftware	kryo-árnyékolt	4.0.3
com.esotericsoftware	minlog	1.3.0
com.fasterxml	osztálytárs	1.5.1
com.fasterxml.jackson.core	jackson-annotációk	2.18.2
com.fasterxml.jackson.core	jackson-core	2.18.2
com.fasterxml.jackson.core	jackson-databind	2.18.2
com.fasterxml.jackson.dataformat	jackson-dataformat-cbor (adatformátum CBOR)	2.18.2
com.fasterxml.jackson.dataformat	jackson-dataformat-yaml	2.15.2
com.fasterxml.jackson.datatype	Jackson adattípus - Joda	2.18.2
com.fasterxml.jackson.datatype	jackson-datatype-jsr310	2.18.2
com.fasterxml.jackson.module	jackson-module-paranamer	2.18.2
com.fasterxml.jackson.module	jackson-module-scala_2.13	2.18.2
com.github.ben-manes.koffein	koffein	2.9.3
com.github.blemale	scaffeine_2.13	4.1.0
com.github.fommil	jniloader	1.1
com.github.fommil.netlib	Java natív hivatkozás	1.1
com.github.fommil.netlib	Java natív hivatkozás	1.1-őslakosok
com.github.fommil.netlib	natív rendszer-java	1.1
com.github.fommil.netlib	natív rendszer-java	1.1-őslakosok
com.github.fommil.netlib	netlib-native_ref-linux-x86_64	1.1-őslakosok
com.github.fommil.netlib	netlib-natív_rendszer-linux-x86_64	1.1-őslakosok
com.github.luben	zstd-jni	1.5.6-10
com.github.virtuald	curvesapi	1.08
com.github.wendykierp	JTransforms	3.1
com.google.api.grpc	proto-google-common-protos	2.5.1
com.google.code.findbugs	jsr305	3.0.0
com.google.code.gson	gson	2.11.0
com.google.crypto.tink	tink	1.16.0
com.google.errorprone	hibára hajlamos annotációk	2.36.0
com.google.flatbuffers	flatbuffers-java	24.3.25
com.google.guava	hozzáférési hiba	1.0.2
com.google.guava	guáva	33.4.0-jre
com.google.guava	hallgatható jövő	9999.0-üres-az-ütközés-elkerülése-miatt-guava-val
com.google.j2objc	j2objc-annotations	3.0.0
com.google.protobuf	protobuf-java	3.25.5
com.google.protobuf	protobuf-java-util	3.25.5
com.helger	profilkészítő	1.1.1
com.ibm.icu	icu4j	75.1
com.jcraft	jsch	0.1.55
com.lihaoyi	forráskód_2.13	0.1.9
com.microsoft.azure	Azure Data Lake Store SDK	2.3.10
com.microsoft.sqlserver	mssql-jdbc	12.8.0.jre11
com.microsoft.sqlserver	mssql-jdbc	12.8.0.jre8
com.ning	compress-lzf (kompressziós algoritmus)	1.1.2
com.sun.mail	javax.mail	1.5.2
com.sun.xml.bind	jaxb-core	2.2.11
com.sun.xml.bind	jaxb-impl (JAXB implementáció)	2.2.11
com.tdunning	JSON formátum	1.8
com.thoughtworks.paranamer	paranamer	2.8
com.trueaccord.lenses	lencsék_2.13	0.4.13
com.twitter	chill-java	0.10.0
com.twitter	chill_2.13	0.10.0
com.twitter	util-app_2.13	19.8.1
com.twitter	util-core_2.13	19.8.1
com.twitter	util-function_2.13	19.8.1
com.twitter	util-jvm_2.13	19.8.1
com.twitter	util-lint_2.13	19.8.1
com.twitter	util-registry_2.13	19.8.1
com.twitter	util-stats_2.13	19.8.1
com.typesafe	config	1.4.3
com.typesafe.scala-logging	scala-logging_2.13	3.9.2
com.uber	h3	3.7.3
com.univocity	univocity-elemzők	2.9.1
com.zaxxer	HikariCP	4.0.3
com.zaxxer	SparseBitSet	1.3
commons-cli	commons-cli	1.9.0
„commons-codec”	„commons-codec”	1.17.2
commons-collections (közös gyűjtemények könyvtár)	commons-collections (közös gyűjtemények könyvtár)	3.2.2
commons-dbcp	commons-dbcp	1.4
Commons-fájlfeltöltés	Commons-fájlfeltöltés	1.5
commons-httpclient	commons-httpclient	3.1
commons-io	commons-io	2.18.0
commons-lang	commons-lang	2.6
közös naplózás	közös naplózás	1.1.3
közös medence	közös medence	1.5.4
dev.ludovic.netlib	arpack	3.0.3
dev.ludovic.netlib	Blas	3.0.3
dev.ludovic.netlib	LAPACK	3.0.3
info.ganglia.gmetric4j	gmetric4j	1.0.10
io.airlift	légkompresszor	2.0.2
io.delta	delta-sharing-client_2.13	1.3.0
io.dropwizard.metrics	metrikák annotációja	4.2.30
io.dropwizard.metrics	metrikai magrész	4.2.30
io.dropwizard.metrics	metrics-graphite	4.2.30
io.dropwizard.metrics	mutatók-egészségügyi ellenőrzések	4.2.30
io.dropwizard.metrics	metrics-jetty9	4.2.30
io.dropwizard.metrics	Metrics-JMX	4.2.30
io.dropwizard.metrics	metrics-json (metrikák JSON formátumban)	4.2.30
io.dropwizard.metrics	JVM-metrikák	4.2.30
io.dropwizard.metrics	Metrikai szervletek	4.2.30
io.github.java-diff-utils	java-diff-utils	4.15
io.netty	netty-all csomag	4.1.118.Final
io.netty	Netty-buffer	4.1.118.Final
io.netty	netty-codec	4.1.118.Final
io.netty	Netty HTTP kodek	4.1.118.Final
io.netty	netty-codec-http2	4.1.118.Final
io.netty	netty-codec-zokni	4.1.118.Final
io.netty	netty-közös	4.1.118.Final
io.netty	netty-handler	4.1.118.Final
io.netty	netty-handler-proxy	4.1.118.Final
io.netty	netty-resolver	4.1.118.Final
io.netty	netty-tcnative-boringssl-static	2.0.70.Final-db-r0-linux-aarch_64
io.netty	netty-tcnative-boringssl-static	2.0.70.Final-db-r0-linux-x86_64
io.netty	netty-tcnative-boringssl-static	2.0.70.Final-db-r0-osx-aarch_64
io.netty	netty-tcnative-boringssl-static	2.0.70.Final-db-r0-osx-x86_64
io.netty	netty-tcnative-boringssl-static	Verziószám: 2.0.70.Final-db-r0-windows-x86_64
io.netty	netty-tcnative-osztályok	2.0.70.Final
io.netty	Netty-transport	4.1.118.Final
io.netty	netty-szállítási-osztályok-epoll	4.1.118.Final
io.netty	Netty szállítási osztályok - kqueue	4.1.118.Final
io.netty	netty-transport-native-epoll	4.1.118.Final
io.netty	netty-transport-native-epoll	4.1.118.Final-linux-aarch_64
io.netty	netty-transport-native-epoll	4.1.118.Final-linux-riscv64
io.netty	netty-transport-native-epoll	4.1.118.Final-linux-x86_64
io.netty	netty-transport-native-kqueue	4.1.118.Final-osx-aarch_64
io.netty	netty-transport-native-kqueue	4.1.118.Final-osx-x86_64
io.netty	netty-transport-native-unix-common (Unix-alapú közös natív szállítás)	4.1.118.Final
io.prometheus	simpleclient	0.16.1-databricks
io.prometheus	egyszerűkliens_általános	0.16.1-databricks
io.prometheus	simpleclient_dropwizard	0.16.1-databricks
io.prometheus	simpleclient_pushgateway (egyszerű kliens tolókapu)	0.16.1-databricks
io.prometheus	simpleclient_servlet	0.16.1-databricks
io.prometheus	egyszerűgaming_kliens_szervlet_általános	0.16.1-databricks
io.prometheus	egyszerű kliens nyomkövető közös	0.16.1-databricks
io.prometheus	egyszerűkliens_nyomkövető_otel	0.16.1-databricks
io.prometheus	simpleclient_tracer_otel_agent	0.16.1-databricks
io.prometheus.jmx	gyűjtő	0.18.0
jakarta.annotation	jakarta.annotation-api	1.3.5
jakarta.servlet	jakarta.servlet-api	4.0.3
jakarta.validation	jakarta.validation-api	2.0.2
jakarta.ws.rs	jakarta.ws.rs-api	2.1.6
javax.activation	aktiválás	1.1.1
javax.annotation	javax.annotation-api	1.3.2
javax.el	javax.el-api	2.2.4
javax.jdo	jdo-api	3.0.1
javax.transaction	jta	1.1
javax.transaction	transaction-api	1.1
javax.xml.bind	jaxb-api	2.2.11
Javolution	Javolution	5.5.1
jline	jline	2.14.6
joda-time	joda-time	2.13.0
net.java.dev.jna	jna	5.8.0
net.razorvine	savanyított zöldség	1.5
net.sf.jpam	jpam	1.1
net.sf.opencsv	opencsv (egy CSV-fájlokat kezelő könyvtár)	2.3
net.sf.supercsv	super-csv	2.2.0
net.snowflake	snowflake-ingest-szoftverfejlesztőkészlet (SDK)	0.9.6
net.sourceforge.f2j	arpack_combined_all	0,1
org.acplt.remotetea	TávoliTea-oncrpc	1.1.2
org.antlr	ST4	4.0.4
org.antlr	antlr-runtime	3.5.2
org.antlr	antlr4-runtime	4.13.1
org.antlr	karakterláncsablon	3.2.1
org.apache.ant	hangya	1.10.11
org.apache.ant	ant-jsch	1.10.11
org.apache.ant	ant-launcher	1.10.11
org.apache.arrow	nyíl alakú formátum	18.2.0
org.apache.arrow	nyíl memóriaegység	18.2.0
org.apache.arrow	Arrow-Memória-Netty	18.2.0
org.apache.arrow	arrow-memory-netty-buffer-korrekció	18.2.0
org.apache.arrow	irányvektor	18.2.0
org.apache.avro	Avro	1.12.0
org.apache.avro	avro-ipc	1.12.0
org.apache.avro	avro-mapred	1.12.0
org.apache.commons	commons-kollekciók4	4.4
org.apache.commons	commons-compress	1.27.1
org.apache.commons	commons-crypto	1.1.0
org.apache.commons	commons-lang3	3.17.0
org.apache.commons	commons-math3	3.6.1
org.apache.commons	commons-text (közös szöveg)	1.13.0
org.apache.curator	kurátor-ügyfél	5.7.1
org.apache.curator	kurátor-keretrendszer	5.7.1
org.apache.curator	receptek kurátortól	5.7.1
org.apache.datasketches	datasketches-java	6.1.1
org.apache.datasketches	adatvázlatok-memória	3.0.2
org.apache.derby	derbi	10.14.2.0
org.apache.hadoop	hadoop kliens futásideje	3.4.1
org.apache.hive	hive-beeline (eszköz)	2.3.10
org.apache.hive	hive-cli	2.3.10
org.apache.hive	hive-jdbc	2.3.10
org.apache.hive	hive-llap-kliens	2.3.10
org.apache.hive	hive-llap-common	2.3.10
org.apache.hive	hive-serde (sorozatok és deserializáció)	2.3.10
org.apache.hive	hive-shims (hive kiegészítő modulok)	2.3.10
org.apache.hive	hive-storage-api (hive tárolási API)	2.8.1
org.apache.hive.shims	hive-shims-0.23	2.3.10
org.apache.hive.shims	hive-shims-common	2.3.10
org.apache.hive.shims	hive-shims-scheduler (méhkas-behúzási-ütemező)	2.3.10
org.apache.httpcomponents	httpclient	4.5.14
org.apache.httpcomponents	httpcore	4.4.16
org.apache.ivy	borostyánkő	2.5.3
org.apache.logging.log4j	log4j-1.2-api	2.24.3
org.apache.logging.log4j	log4j-api	2.24.3
org.apache.logging.log4j	log4j-core	2.24.3
org.apache.logging.log4j	log4j-elrendezés-sablon-json	2.24.3
org.apache.logging.log4j	log4j-slf4j2-impl	2.24.3
org.apache.orc	orc-core	2.1.1-shaded-protobuf
org.apache.orc	orc-formátum	1.1.0-shaded-protobuf
org.apache.orc	orc-mapreduce	2.1.1-shaded-protobuf
org.apache.orc	orc-illesztékek	2.1.1
org.apache.poi	Poi	5.4.1
org.apache.poi	poi-ooxml	5.4.1
org.apache.poi	poi-ooxml-full	5.4.1
org.apache.poi	poi-ooxml-lite	5.4.1
org.apache.thrift	libfb303	0,9,3
org.apache.thrift	libthrift	0.16.0
org.apache.ws.xmlschema	xmlschema-core	2.3.1
org.apache.xbean	xbean-asm9-shaded	4.26
org.apache.xmlbeans	xmlbeans	5.3.0
org.apache.yetus	célközönség megjegyzései	0.13.0
org.apache.zookeeper	állatkerti gondozó	3.9.3
org.apache.zookeeper	zookeeper-jute	3.9.3
org.checkerframework	ellenőr-képzettség	3.43.0
org.codehaus.janino	közösségi fordítóprogram	3.0.16
org.codehaus.janino	janino	3.0.16
org.datanucleus	datanucleus-api-jdo	4.2.4
org.datanucleus	datanucleus-core	4.1.17
org.datanucleus	datanucleus-rdbms	4.1.19
org.datanucleus	javax.jdo	3.2.0-m3
org.eclipse.jetty	jetty-client	9.4.53.v20231009
org.eclipse.jetty	Jetty-kontinuáció	9.4.53.v20231009
org.eclipse.jetty	jetty-http (egy Java HTTP szerver implementáció)	9.4.53.v20231009
org.eclipse.jetty	jetty-io	9.4.53.v20231009
org.eclipse.jetty	jetty-jndi	9.4.53.v20231009
org.eclipse.jetty	Jetty Plus	9.4.53.v20231009
org.eclipse.jetty	jetty proxy	9.4.53.v20231009
org.eclipse.jetty	jetty-security (egy biztonsági modul a Jetty kiszolgálóhoz)	9.4.53.v20231009
org.eclipse.jetty	Jetty webszerver	9.4.53.v20231009
org.eclipse.jetty	jetty-servlet	9.4.53.v20231009
org.eclipse.jetty	jetty-servlets	9.4.53.v20231009
org.eclipse.jetty	jetty-util	9.4.53.v20231009
org.eclipse.jetty	jetty-util-ajax	9.4.53.v20231009
org.eclipse.jetty	Jetty webalkalmazás	9.4.53.v20231009
org.eclipse.jetty	jetty-xml	9.4.53.v20231009
org.eclipse.jetty.websocket	websocket API	9.4.53.v20231009
org.eclipse.jetty.websocket	websocket-klient	9.4.53.v20231009
org.eclipse.jetty.websocket	websocket-kommon	9.4.53.v20231009
org.eclipse.jetty.websocket	WebSocket-szerver	9.4.53.v20231009
org.eclipse.jetty.websocket	websocket-servlet	9.4.53.v20231009
org.fusesource.leveldbjni	leveldbjni-all	1.8
org.glassfish.hk2	hk2-api	2.6.1
org.glassfish.hk2	hk2-lokátor	2.6.1
org.glassfish.hk2	hk2-utils	2.6.1
org.glassfish.hk2	OSGi erőforrás-kereső	1.0.3
org.glassfish.hk2.external	aopalliance-újracsomagolt	2.6.1
org.glassfish.hk2.external	jakarta.inject	2.6.1
org.glassfish.jersey.containers	jersey-container-servlet (Jersey konténer szervlet)	2.41.
org.glassfish.jersey.containers	jersey-container-servlet-core	2.41.
org.glassfish.jersey.core	jersey-ügyfél	2.41.
org.glassfish.jersey.core	jersey-közös	2.41.
org.glassfish.jersey.core	jersey-szerver	2.41.
org.glassfish.jersey.inject	jersey-hk2	2.41.
org.hibernate.validator	hibernate-validator (a Hibernate hitelesítő)	6.2.5.Final
org.ini4j	ini4j	0.5.4
org.javassist	javassist	3.29.2-GA
org.jboss.logging	jboss-logging (naplózó rendszer)	3.4.1.Végleges
org.jdbi	jdbi	2.63.1
org.jetbrains	Széljegyzetek	17.0.0
org.jline	jline	3.27.1-jdk8
org.joda	joda-convert	1.7
org.jodd	jodd-core	3.5.2
org.json4s	json4s-ast_2.13	4.0.7
org.json4s	json4s-core_2.13	4.0.7
org.json4s	json4s-jackson-core_2.13	4.0.7
org.json4s	json4s-jackson_2.13	4.0.7
org.json4s	json4s-scalap_2.13	4.0.7
org.lz4	lz4-java	1.8.0-databricks-1
org.mlflow	mlflow-spark_2.13	2.9.1
org.objenesis	objenesis	3.3
org.postgresql	PostgreSQL	42.6.1
org.roaringbitmap	RoaringBitmap	1.2.1
org.rocksdb	rocksdbjni	9.8.4
org.rosuda.REngine	REngine	2.1.0
org.scala-lang	scala-compiler_2.13	2.13.16
org.scala-lang	scala-library_2.13	2.13.16
org.scala-lang	scala-reflect_2.13	2.13.16
org.scala-lang.modules	scala-collection-compat_2.13	2.11.0
org.scala-lang.modules	scala-java8-compat_2.13	0.9.1
org.scala-lang.modules	scala-parallel-collections_2.13	1.2.0
org.scala-lang.modules	scala-parser-combinators_2.13	2.4.0
org.scala-lang.modules	scala-xml_2.13	2.3.0
org.scala-sbt	teszt-interfész	1.0
org.scalacheck	scalacheck_2.13	1.18.0
org.scalactic	scalactic_2.13	3.2.19
org.scalanlp	breeze-macros_2.13	2.1.0
org.scalanlp	breeze_2.13	2.1.0
org.scalatest	scalatest tesztelési keretrendszerrel kompatibilis	3.2.19
org.scalatest	scalatest-core_2.13	3.2.19
org.scalatest	scalatest-diagrams_2.13	3.2.19
org.scalatest	scalatest-featurespec_2.13	3.2.19
org.scalatest	scalatest-flatspec_2.13	3.2.19
org.scalatest	scalatest-freespec_2.13	3.2.19
org.scalatest	scalatest-funspec_2.13	3.2.19
org.scalatest	scalatest-funsuite_2.13	3.2.19
org.scalatest	scalatest-matchers-core_2.13	3.2.19
org.scalatest	scalatest-mustmatchers_2.13	3.2.19
org.scalatest	scalatest-propspec_2.13	3.2.19
org.scalatest	scalatest-refspec_2.13	3.2.19
org.scalatest	scalatest-shouldmatchers_2.13	3.2.19
org.scalatest	scalatest-wordspec_2.13	3.2.19
org.scalatest	scalatest_2.13	3.2.19
org.slf4j	jcl-over-slf4j	2.0.16
org.slf4j	jul-to-slf4j	2.0.16
org.slf4j	slf4j-api	2.0.16
org.slf4j	slf4j-simple	1.7.25
org.threeten	threeten-extra	1.8.0
org.tukaani	xz	1.10
org.typelevel	algebra_2.13	2.8.0
org.typelevel	cats-kernel_2.13	2.8.0
org.typelevel	spire-macros_2.13	0.18.0
org.typelevel	spire-platform_2.13	0.18.0
org.typelevel	spire-util_2.13	0.18.0
org.typelevel	spire_2.13	0.18.0
org.wildfly.openssl	wildfly-openssl (nyílt forráskódú szoftver)	1.1.3.Final
org.xerial	sqlite-jdbc	3.42.0.0
org.xerial.snappy	snappy-java	1.1.10.3
org.yaml	snakeyaml	2.0
oro	oro	2.0.8
pl.edu.icm	JLargeArrays	1.5
software.amazon.cryptools	AmazonCorrettoCryptoProvider	2.4.1-linux-x86_64
Stax	stax-api	1.0.1

Jótanács

Ha szeretné látni azoknak a Databricks Runtime-verzióknak a kiadási megjegyzéseit, amelyek elérték a támogatás megszűnését (EoS), tekintse meg a Támogatás megszűnéséhez kapcsolódó Databricks Runtime kiadási megjegyzéseit. Az EoS Databricks Runtime-verziók ki lettek állítva, és előfordulhat, hogy nem frissülnek.