Megosztás a következőn keresztül:

Databricks Runtime 14.0 (EoS)

  • Cikk

Feljegyzés

A Databricks Runtime-verzió támogatása véget ért. A támogatás megszűnésének dátumáról lásd a támogatási előzményeket. Az összes támogatott Databricks Runtime-verziót lásd : Databricks Runtime release notes versions and compatibility.

A következő kibocsátási megjegyzések az Apache Spark 3.5.0 által működtetett Databricks Runtime 14.0-ról nyújtanak információkat.

A Databricks 2023 szeptemberében adta ki ezeket a képeket.

Új funkciók és fejlesztések

A frissítések prediktív I/O-jához ga

Általánosan elérhető a prediktív I/O a frissítésekhez. Lásd : Mi a prediktív I/O?.

A törlési vektorok ga

A törlési vektorok már általánosan elérhetők. Lásd: Mik azok a törlési vektorok?.

A Spark 3.5.0 ga

Az Apache Spark 3.5.0 már általánosan elérhető. Lásd: Spark Release 3.5.0.

Nyilvános előzetes verzió a Python felhasználó által definiált táblafüggvényeihez

A felhasználó által definiált táblafüggvények (UDTF-ek) lehetővé teszik olyan függvények regisztrálását, amelyek skaláris értékek helyett táblákat ad vissza. Lásd: Python felhasználó által definiált táblafüggvények (UDTF-ek).

Nyilvános előzetes verzió a sorszintű egyidejűséghez

A sorszintű egyidejűség csökkenti az egyidejű írási műveletek közötti ütközéseket azáltal, hogy észleli a sorszintű változásokat, és automatikusan feloldja az egyidejű írások egymással versengő módosításait, amelyek ugyanazon adatfájl különböző sorait frissítik vagy törlik. Lásd: Írási ütközések sorszintű egyidejűséggel.

Az alapértelmezett aktuális munkakönyvtár megváltozott

A helyileg végrehajtott kód alapértelmezett aktuális munkakönyvtára (CWD) most az a könyvtár, amely a futtatott jegyzetfüzetet vagy szkriptet tartalmazza. Ide tartoznak például a %sh Sparkot nem használó Python- vagy R-kódok. Lásd : Mi az alapértelmezett aktuális munkakönyvtár?.

Ismert probléma a sparklyrrel

A csomag telepített verziója sparklyr (1.8.1-es verzió) nem kompatibilis a Databricks Runtime 14.0-val. A használatához sparklyrtelepítse az 1.8.3-s vagy újabb verziót.

A Spark Connect bemutatása a megosztott fürtarchitektúrában

A Databricks Runtime 14.0-s vagy újabb verziója esetén a megosztott fürtök alapértelmezés szerint a Spark Connectet használják a Python REPL Spark-illesztőprogramjával. A belső Spark API-k már nem érhetők el a felhasználói kódból.

A Spark Connect mostantól az örökölt REPL-integráció helyett a REPL-ből használja a Spark-illesztőprogramot.

Elérhető Spark-verziók API-frissítésének listázása

Engedélyezze a Photont a beállítással runtime_engine = PHOTON, és engedélyezze aarch64 a gravitonpéldány-típus kiválasztásával. Az Azure Databricks a databricks runtime megfelelő verzióját állítja be. Korábban a Spark verzió API implementációspecifikus futtatókörnyezeteket adott vissza az egyes verziókhoz. Lásd: GET /api/2.0/clusters/spark-versions a REST API-referenciaban.

Kompatibilitástörő változások

A Databricks Runtime 14.0-s és újabb verziókban a megosztott hozzáférési módban lévő fürtök a Spark Connectet használják az ügyfél-kiszolgáló kommunikációhoz. Ez a következő módosításokat foglalja magában.

A megosztott hozzáférési mód korlátairól további információt a Unity Catalog számítási hozzáférési módra vonatkozó korlátozásai című témakörben talál.

Python megosztott hozzáférési módú fürtökön

  • sqlContext nem érhető el. Az Azure Databricks a változó használatát spark javasolja a SparkSession példányhoz.
  • A Spark-környezet (sc) már nem érhető el a jegyzetfüzetekben, vagy ha a Databricks Connectet megosztott hozzáférési móddal rendelkező fürtön használja. A következő sc függvények már nem érhetők el:
    • emptyRDD, range, init_batched_serializer, parallelize, pickleFile, textFilewholeTextFiles, binaryFiles, binaryRecords, sequenceFile, , newAPIHadoopFile, newAPIHadoopRDD, hadoopFile, hadoopRDD, , union, setSystemProperty, uiWebUrlstopsetJobGroupsetLocalPropertyrunJobgetConf
  • Az Adathalmaz adatai funkció már nem támogatott.
  • Az Apache Spark lekérdezésekor már nincs függőség a JVM-hez, és ennek következtében a JVM-hez kapcsolódó belső API-k, például _jsc, _jconf, _jvm, _jc_jdf_jreader_jseq_jsparkSession,_jmap_jcols, már nem támogatottak.
  • Ha csak dinamikus futtatókörnyezeti konfigurációs értékekkel fér hozzá a konfigurációs értékekhez spark.conf , az elérhető.
  • A Delta Live Tables elemzési parancsai egyelőre nem támogatottak a megosztott fürtöken.

Változás megosztott hozzáférési módú fürtökön

  • A Pythonban már nincs függőség a JVM-hez az Apache Spark lekérdezésekor. A JVM-hez kapcsolódó belső API-k, például DeltaTable._jdta , DeltaTableBuilder._jbuilder, DeltaMergeBuilder._jbuilderés DeltaOptimizeBuilder._jbuilder már nem támogatottak.

SQL megosztott hozzáférési móddal rendelkező fürtökön

  • DBCACHE és DBUNCACHE a parancsok már nem támogatottak.
  • A ritka használati esetek, például cache table db as show databases már nem támogatottak.

Könyvtárfrissítések

  • Frissített Python-kódtárak:
    • asttokens 2.2.1 és 2.0.5 között
    • attrs 21.4.0-tól 22.1.0-ra
    • botocore 1.27.28-tól 1.27.96-osig
    • minősítés 2022.9.14-től 2022.12.7-ig
    • titkosítás 37.0.1–39.0.1 között
    • hibakeresés 1.6.0 és 1.6.7 között
    • docstring-to-markdown 0,12 és 0,11 között
    • végrehajtás 1.2.0-tól 0.8.3-ra
    • aspektusok áttekintése 1.0.3 és 1.1.1 között
    • googleapis-common-protos 1.56.4-től 1.60.0-ra
    • grpcio 1.48.1 és 1.48.2 között
    • idna 3,3 és 3,4 között
    • ipykernel 6.17.1-től 6.25.0-ra
    • ipython 8.10.0-tól 8.14.0-ig
    • Jinja2 2.11.3 és 3.1.2 között
    • jsonschema 4.16.0 és 4.17.3 között
    • jupyter_core 4.11.2-től 5.2.0-ra
    • kiwisolver 1.4.2 és 1.4.4 között
    • MarkupSafe 2.0.1 és 2.1.1 között
    • matplotlib 3.5.2 és 3.7.0 között
    • nbconvert 6.4.4-től 6.5.4-ig
    • nbformat 5.5.0-ról 5.7.0-ra
    • nest-asyncio 1.5.5-től 1.5.6-osig
    • jegyzetfüzet 6.4.12-től 6.5.2-től
    • numpy 1.21.5 és 1.23.5 között
    • csomagolás 21,3-tól 22,0-ra
    • pandas 1.4.4-től 1.5.3-ra
    • pathspec 0.9.0 és 0.10.3 között
    • patsy 0.5.2-től 0.5.3-ra
    • Párna 9.2.0 és 9.4.0 között
    • pip 22.2.2 és 22.3.1 között
    • protobuf 3.19.4-től 4.24.0-ra
    • pytoolconfig 1.2.2 és 1.2.5 között
    • pytz 2022.1 és 2022.7 között
    • s3transfer 0.6.0 és 0.6.1 között
    • tengeri 0.11.2-től 0.12.2-ig
    • setuptools 63.4.1-től 65.6.3-ra
    • levessieve 2.3.1-től 2.3.2.post1
    • stack-data from 0.6.2 to 0.2.0
    • 0.13.2 és 0.13.5 közötti állapotok
    • terminado 0.13.1 és 0.17.1 között
    • 5.1.1–5.7.1.
    • typing_extensions 4.3.0-ról 4.4.0-ra
    • urllib3 1.26.11 és 1.26.14 között
    • virtualenv 20.16.3 és 20.16.7 között
    • 0.37.1 és 0.38.4 közötti kerék
  • Frissített R-kódtárak:
    • nyíl a 10.0.1-től a 12.0.1-hez
    • alap: 4.2.2–4.3.1
    • blob 1.2.3 és 1.2.4 között
    • seprű 1.0.3 és 1.0.5 között
    • bslib 0.4.2-től 0.5.0-ra
    • gyorsítótár 1.0.6-tól 1.0.8-ra
    • 6.0-93-tól 6.0-94-hez
    • chron 2.3-59-től 2.3-61-hez
    • osztály 7,3-21-7,3-22
    • cli 3.6.0 és 3.6.1 között
    • 0.6.1 és 0.7.0 közötti óra
    • commonmark from 1.8.1 to 1.9.0
    • fordító a 4.2.2-től a 4.3.1-hez
    • cpp11 0.4.3 és 0.4.4 között
    • curl 5.0.0-ról 5.0.1-re
    • data.table 1.14.6–1.14.8
    • 4.2.2 és 4.3.1 közötti adatkészletek
    • dbplyr 2.3.0 és 2.3.3 között
    • kivonat 0.6.31-ről 0.6.33-ra
    • 0.4.2-ről 0.4.3-ra csökkentve
    • dplyr 1.1.0 és 1.1.2 között
    • dtplyr 1.2.2-től 1.3.1-esig
    • kiértékelés 0,20 és 0,21 között
    • gyorstérkép 1.1.0 és 1.1.1 között
    • fontawesome 0.5.0 és 0.5.1 között
    • fs 1.6.1 és 1.6.2 között
    • 1.31.0-tól 1.33.0-ra
    • future.apply from 1.10.0 to 1.11.0
    • gargle 1.3.0-1.5.1
    • ggplot2 3.4.0 és 3.4.2 között
    • gh 1.3.1 és 1.4.0 között
    • glmnet 4.1-6-tól 4.1-7-hez
    • googledrive 2.0.0 és 2.1.1 között
    • googlesheets4 1.0.1 és 1.1.1 között
    • 4.2.2 és 4.3.1 közötti grafikus elemek
    • grDevices 4.2.2 és 4.3.1 között
    • rács 4.2.2 és 4.3.1 között
    • 0.3.1-től 0.3.3-ra
    • hardhat 1.2.0-tól 1.3.0-ra
    • 2.5.1-től 2.5.3-ra
    • hms 1.1.2 és 1.1.3 között
    • htmltoolok 0,5,4 és 0,5,5 között
    • htmlwidgets 1.6.1 és 1.6.2 között
    • httpuv 1.6.8-tól 1.6.11-ig
    • httr 1.4.4-től 1.4.6-osig
    • ipred 0,9-13-0,9-14
    • jsonlite 1.8.4 és 1.8.7 között
    • KernSmooth 2.23-20-tól 2.23-21-hez
    • knitr 1,42-től 1,43-ig
    • 1.3.0 és 1.3.1 között
    • Rács 0,20-45-től 0,21-8-ra
    • láva 1.7.1-től 1.7.2.1-től
    • lubridate 1.9.1 és 1.9.2 között
    • markdown 1,5 és 1,7 között
    • TÖMEG 7,3-58,2 és 7,3-60 között
    • Mátrix 1,5-1 és 1,5-4,1 között
    • 4.2.2–4.3.1.
    • mgcv 1,8-41 és 1,8-42 között
    • modellező 0.1.10 és 0.1.11 között
    • nnet 7.3-18-tól 7.3-19-hez
    • 2.0.5-től 2.0.6-os verzióig
    • 4.2.2 és 4.3.1 közötti párhuzamos
    • párhuzamosan az 1.34.0-ról az 1.36.0-ra
    • oszlop 1.8.1–1.9.0
    • pkgbuild 1.4.0-1.4.2
    • pkgload 1.3.2-től 1.3.2.1-re
    • pROC 1.18.0 és 1.18.4 között
    • processx 3.8.0 és 3.8.2 között
    • prodlim 2019.11.13-tól 2023.03.31-ig
    • profvis 0.3.7-től 0.3.8-ra
    • ps 1.7.2 és 1.7.5 között
    • Rcpp 1.0.10 és 1.0.11 között
    • olvasó a 2.1.3-tól a 2.1.4-hez
    • readxl 1.4.2 és 1.4.3 között
    • receptek 1.0.4-től 1.0.6-osig
    • rlang 1.0.6-tól 1.1.1-ig
    • rmarkdown 2.20-tól 2.23-ig
    • Rserve 1,8-12-től 1,8-11-ig
    • RSQLite 2.2.20-tól 2.3.1-esig
    • rstudioapi 0,14-től 0,15,0-ra
    • sass 0.4.5-től 0.4.6-osig
    • fényes 1.7.4 és 1.7.4.1 között
    • sparklyr 1.7.9 és 1.8.1 között
    • SparkR 3.4.1 és 3.5.0 között
    • splines from 4.2.2 to 4.3.1
    • 4.2.2 és 4.3.1 közötti statisztikák
    • stats4 from 4.2.2 to 4.3.1
    • túlélés 3,5-3 és 3,5-5 között
    • sys 3.4.1-től 3.4.2-re
    • tcltk 4.2.2 és 4.3.1 között
    • testthat 3.1.6-tól 3.1.10-ig
    • 3.1.8–3.2.1
    • 1.3.2 és 2.0.0 közötti rend
    • tinytex 0,44 és 0,45 között
    • 4.2.2 és 4.3.1 közötti eszközök
    • tzdb 0.3.0 és 0.4.0 között
    • usethis 2.1.6-tól 2.2.2-ig
    • utils from 4.2.2 to 4.3.1
    • vctrs 0.5.2-től 0.6.3-ra
    • viridisLite 0.4.1 és 0.4.2 között
    • vroom 1.6.1 és 1.6.3 között
    • waldo 0.4.0 és 0.5.1 között
    • xfun 0,37 és 0,39 között
    • xml2 1.3.3-tól 1.3.5-ösig
    • zip 2.2.2-től 2.3.0-ra
  • Frissített Java-kódtárak:
    • com.fasterxml.jackson.core.jackson-annotations from 2.14.2 to 2.15.2
    • com.fasterxml.jackson.core.jackson-core 2.14.2 és 2.15.2 között
    • com.fasterxml.jackson.core.jackson-databind 2.14.2 és 2.15.2 között
    • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor from 2.14.2 to 2.15.2
    • com.fasterxml.jackson.datatype.jackson-datatype-joda 2.14.2 és 2.15.2 között
    • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 2.13.4 és 2.15.1 között
    • com.fasterxml.jackson.module.jackson-module-paranamer 2.14.2 és 2.15.2 között
    • com.fasterxml.jackson.module.jackson-module-scala_2.12 2.14.2 és 2.15.2 között
    • com.github.luben.zstd-jni 1.5.2-5-től 1.5.5-4-ig
    • com.google.code.gson.gson 2.8.9 és 2.10.1 között
    • com.google.crypto.tink.tink.tink 1.7.0 és 1.9.0 között
    • commons-codec.commons-codec 1.15–1.16.0
    • commons-io.commons-io 2.11.0 és 2.13.0 között
    • io.airlift.aircompressor 0,21 és 0,24 között
    • io.dropwizard.metrics.metrics-core 4.2.10 és 4.2.19 között
    • io.dropwizard.metrics.metrics-graphite 4.2.10 és 4.2.19 között
    • io.dropwizard.metrics.metrics-healthchecks 4.2.10 és 4.2.19 között
    • io.dropwizard.metrics.metrics-jetty9 4.2.10 és 4.2.19 között
    • io.dropwizard.metrics.metrics-jmx 4.2.10 és 4.2.19 között
    • io.dropwizard.metrics.metrics-json 4.2.10 és 4.2.19 között
    • io.dropwizard.metrics.metrics-jvm 4.2.10 és 4.2.19 között
    • io.dropwizard.metrics.metrics-servlets 4.2.10 és 4.2.19 között
    • io.netty.netty-all 4.1.87.Final-4.1.93.Final
    • io.netty.netty-puffer 4.1.87.Final-tól 4.1.93.Final
    • io.netty.netty-codec 4.1.87.Final-4.1.93.Final
    • io.netty.netty-codec-http 4.1.87.Final-4.1.93.Final
    • io.netty.netty-codec-http2 4.1.87.Final-4.1.93.Final
    • io.netty.netty-codec-socks 4.1.87.Final-4.1.93.Final
    • io.netty.netty-common 4.1.87.Final-4.1.93.Final
    • io.netty.netty-handler 4.1.87.Final-4.1.93.Final
    • io.netty.netty-handler-proxy 4.1.87.Final-4.1.93.Final
    • io.netty.netty-resolver 4.1.87.Final–4.1.93.Final
    • io.netty.netty-transport 4.1.87.Final-4.1.93.Final
    • io.netty.netty-transport-classes-epoll 4.1.87.Final-4.1.93.Final
    • io.netty.netty-transport-classes-kqueue 4.1.87.Final-4.1.93.Final
    • io.netty.netty-transport-native-epoll 4.1.87.Final-linux-x86_64-4.1.93.Final-linux-x86_64
    • io.netty.netty-transport-native-kqueue 4.1.87.Final-osx-x86_64 4.1.93.Final-osx-x86_64
    • io.netty.netty-transport-native-unix-common 4.1.87.Final-4.1.93.Final
    • org.apache.arrow.arrow-format 11.0.0-tól 12.0.1-től
    • org.apache.arrow.arrow-memory-core 11.0.0 és 12.0.1 között
    • org.apache.arrow.arrow-memory-netty 11.0.0 és 12.0.1 között
    • org.apache.arrow.arrow-vector 11.0.0 és 12.0.1 között
    • org.apache.avro.avro 1.11.1-től 1.11.2-től
    • org.apache.avro.avro-ipc 1.11.1 és 1.11.2 között
    • org.apache.avro.avro-mapred 1.11.1-től 1.11.2-re
    • org.apache.commons.commons-compress from 1.21 to 1.23.0
    • org.apache.hadoop.hadoop-client-runtime 3.3.4-től 3.3.6-osig
    • org.apache.logging.log4j.log4j-1.2-api 2.19.0 és 2.20.0 között
    • org.apache.logging.log4j.log4j-api 2.19.0 és 2.20.0 között
    • org.apache.logging.log4j.log4j-core 2.19.0 és 2.20.0 között
    • org.apache.logging.log4j.log4j-slf4j2-impl 2.19.0 és 2.20.0 között
    • org.apache.orc.orc-core 1.8.4-shaded-protobuf 1.9.0-shaded-protobuf
    • org.apache.orc.orc-mapreduce 1.8.4-shaded-protobuf-1.9.0-shaded-protobuf
    • org.apache.orc.orc-shims 1.8.4 és 1.9.0 között
    • org.apache.xbean.xbean-asm9-shaded from 4.22 to 4.23
    • org.checkerframework.checker-qual 3.19.0 és 3.31.0 között
    • org.glassfish.jersey.containers.jersey-container-servlet 2,36-2,40
    • org.glassfish.jersey.containers.jersey-container-servlet-core 2,36-2,40
    • org.glassfish.jersey.core.jersey-client 2,36-2,40
    • org.glassfish.jersey.core.jersey-common 2,36-2,40
    • org.glassfish.jersey.core.jersey-server 2.36 és 2.40 között
    • org.glassfish.jersey.inject.jersey-hk2 2,36-2,40
    • org.javassist.javassist 3.25.0-GA-tól 3.29.2-GA-ra
    • org.mariadb.jdbc.mariadb-java-client 2.7.4-től 2.7.9-ig
    • org.postgresql.postgresql 42.3.8-tól 42.6.0-ig
    • org.roaringbitmap.RoaringBitmap 0.9.39 és 0.9.45 között
    • org.roaringbitmap.shims 0.9.39 és 0.9.45 között
    • org.rocksdb.rocksdbjni 7.8.3 és 8.3.2 között
    • org.scala-lang.modules.scala-collection-compat_2.12 2.4.3-tól 2.9.0-ra
    • org.slf4j.jcl-over-slf4j 2.0.6 és 2.0.7 között
    • org.slf4j.jul-to-slf4j 2.0.6 és 2.0.7 között
    • org.slf4j.slf4j-api 2.0.6-tól 2.0.7-esig
    • org.xerial.snappy.snappy-java 1.1.10.1-től 1.1.10.3-ra
    • org.yaml.snakeyaml 1,33-tól 2,0-ra

Apache Spark

Databricks Runtime 14.0. Ez a kiadás tartalmazza a Databricks Runtime 13.3 LTS-ben található összes Spark-javítást és -fejlesztést, valamint a Spark következő további hibajavításait és fejlesztéseit:

  • Most már beállíthatja, hogy a fürt környezeti változója SNOWFLAKE_SPARK_CONNECTOR_VERSION=2.12 a Spark-snowflake összekötő 2.12.0-s verziót használja.
  • [SPARK-44877] [DBRRM-482] [SC-140437] [CONNECT] [PYTHON] Python Protobuf-függvények támogatása a Spark Connecthez
  • [SPARK-44882] [DBRRM-463] [SC-140430] [PYTHON] [CONNECT] Függvény uuid/random/chr eltávolítása a PySparkból
  • [SPARK-44740] [DBRRM-462] [SC-140320] [CONNECT] [KÖVETÉS] Az összetevők metaadat-értékeinek javítása
  • [SPARK-44822] [DBRRM-464] [PYTHON] [SQL] Python UDTF-ek létrehozása alapértelmezés szerint nem determinisztikus
  • [SPARK-44836] [DBRRM-468] [SC-140228] [PYTHON] Arrow Python UDTF újrabontása
  • [SPARK-44738] [DBRRM-462] [SC-139347] [PYTHON] [CONNECT] Hiányzó ügyfél-metaadatok hozzáadása hívásokhoz
  • [SPARK-44722] [DBRRM-462] [SC-139306] [CONNECT] ExecutePlanResponseReattachableIterator._call_iter: AttributeError: A "NoneType" objektum nem rendelkezik "message" attribútummal
  • [SPARK-44625] [DBRRM-396] [SC-139535] [CONNECT] SparkConnectExecutionManager az összes végrehajtás nyomon követéséhez
  • [SPARK-44663] [SC-139020] [DBRRM-420] [PYTHON] A Python UDTF-ek nyíloptimalizálásának letiltása alapértelmezés szerint
  • [SPARK-44709] [DBRRM-396] [SC-139250] [CONNECT] Az ExecuteGrpcResponseSender futtatása újraalkotható végrehajtással új szálon a folyamatvezérlés javításához
  • [SPARK-44656] [DBRRM-396] [SC-138924] [CONNECT] Az összes iterátor closeableIteratorssá tétele
  • [SPARK-44671] [DBRRM-396] [SC-138929] [PYTHON] [CONNECT] Próbálkozzon újra az ExecutePlan használatával, ha a kezdeti kérés nem érte el a kiszolgálót a Python-ügyfélben
  • [SPARK-44624] [DBRRM-396] [SC-138919] [CONNECT] Az ExecutePlan újrapróbálkozva, ha a kezdeti kérés nem érte el a kiszolgálót
  • [SPARK-44574] [DBRRM-396] [SC-138288] [SQL] [CONNECT] Az sq/api-ba áthelyezett hibáknak az AnalysisExceptionet is használniuk kell
  • [SPARK-44613] [DBRRM-396] [SC-138473] [CONNECT] Kódolók objektum hozzáadása
  • [SPARK-44626] [DBRRM-396] [SC-138828] [SS] [CONNECT] Nyomon követés a streamelési lekérdezés leállításakor, ha az ügyfél munkamenete időtúllépést végez a Spark Connect esetében
  • [SPARK-44642] [DBRRM-396] [SC-138882] [CONNECT] ReleaseExecute az ExecutePlanResponseReattachableIterator alkalmazásban, miután hibát kap a kiszolgálótól
  • [SPARK-41400] [DBRRM-396] [SC-138287] [CONNECT] Kapcsolati ügyfél katalizátor függőségének eltávolítása
  • [SPARK-44664] [DBRRM-396] [PYTHON] [CONNECT] A végrehajtás feloldása az iterátor Python-ügyfélben való bezárásakor
  • [SPARK-44631] [DBRRM-396] [SC-138823] [CONNECT] [CORE] [14.0.0] A munkamenet-alapú címtár eltávolítása az izolált munkamenet-gyorsítótár kiürítésekor
  • [SPARK-42941] [DBRRM-396] [SC-138389] [SS] [CONNECT] Python StreamingQueryListener
  • [SPARK-44636] [DBRRM-396] [SC-138570] [CONNECT] Ne hagyjon csonkoló iterátorokat
  • [SPARK-44424] [DBRRM-396] [CONNECT] [PYTHON] [14.0.0] Python-ügyfél a Meglévő végrehajtáshoz való újracsatlakozáshoz a Spark Connectben
  • [SPARK-44637] [SC-138571] Az ExecuteResponseObserver hozzáféréseinek szinkronizálása
  • [SPARK-44538] [SC-138178] [CONNECT] [SQL] Row.jsonValue és barátainak visszaállítása
  • [SPARK-44421] [SC-138434] [SPARK-44423] [CONNECT] Újracsatlakoztatható végrehajtás a Spark Connectben
  • [SPARK-44418] [SC-136807] [PYTHON] [CONNECT] A protobuf frissítése 3.19.5-ről 3.20.3-ra
  • [SPARK-44587] [SC-138315] [SQL] [CONNECT] Protobuf marshaller rekurziós korlátjának növelése
  • [SPARK-44591] [SC-138292] [CONNECT] [SQL] Feladatcímkék hozzáadása a SparkListenerSQLExecutionStarthoz
  • [SPARK-44610] [SC-138368] [SQL] A deduplikátumrelációknak meg kell őriznie az alias metaadatait egy új példány létrehozásakor
  • [SPARK-44542] [SC-138323] [CORE] A SparkExitCode osztály lelkes betöltése a kivételkezelőben
  • [SPARK-44264] [SC-138143] [PYTHON] E2E-tesztelés a Deepspeedhez
  • [SPARK-43997] [SC-138347] [CONNECT] Támogatás hozzáadása Java UDF-ekhez
  • [SPARK-44507] [SQL] [CONNECT] [14.x] [14.0] Az AnalysisException áthelyezése az sql/api-ba
  • [SPARK-44453] [SC-137013] [PYTHON] Hibák megjelenítése az assertDataFrameEqual alkalmazásban a difflib használatával
  • [SPARK-44394] [SC-138291] [CONNECT] [WEBUI] [14.0] Spark-felhasználói felület hozzáadása a Spark Connecthez
  • [SPARK-44611] [SC-138415] [CONNECT] Ne zárja ki a scala-xml fájlt
  • [SPARK-44531] [SC-138044] [CONNECT] [SQL] [14.x] [14.0] Kódoló következtetésének áthelyezése az SQL/API-ba
  • [SPARK-43744] [SC-138289] [CONNECT] [14.x] [14.0] Osztálybetöltési probléma kijavítása...
  • [SPARK-44590] [SC-138296] [SQL] [CONNECT] Az SqlCommandResult nyíl kötegrekordkorlátjának eltávolítása
  • [SPARK-43968] [SC-138115] [PYTHON] A nem megfelelő számú kimenettel rendelkező Python UDTF-ek hibaüzeneteinek javítása
  • [SPARK-44432] [SC-138293] [SS] [CONNECT] Streamelési lekérdezések leállása, ha egy munkamenet túllépi az időkorlátot a Spark Connectben
  • [SPARK-44584] [SC-138295] [CONNECT] Az AddArtifactsRequest és az ArtifactStatusesRequest client_type adatainak beállítása a Scala-ügyfélben
  • [SPARK-44552] [14.0] [SC-138176] [SQL] Definíció eltávolítása private object ParseStateIntervalUtils
  • [SPARK-43660] [SC-136183] [CONNECT] [PS] Engedélyezés resample a Spark Connect használatával
  • [SPARK-44287] [SC-136223] [SQL] Használja a PartitionEvaluator API-t a RowToColumnarExec & ColumnarToRowExec SQL-operátorokban.
  • [SPARK-39634] [SC-137566] [SQL] Fájlfelosztás engedélyezése sorindex-létrehozással kombinálva
  • [SPARK-44533] [SC-138058] [PYTHON] Az akkumulátor, a közvetítés és a Spark-fájlok támogatásának hozzáadása a Python UDTF elemzésében
  • [SPARK-44479] [SC-138146] [PYTHON] A ArrowStreamPandasUDFSerializer javítása oszlop nélküli pandas DataFrame elfogadásához
  • [SPARK-44425] [SC-138177] [CONNECT] Ellenőrizze, hogy a felhasználó által megadott sessionId egy UUID-e
  • [SPARK-44535] [SC-138038] [CONNECT] [SQL] A szükséges Stream API áthelyezése az SQL/API-ba
  • [SPARK-44264] [SC-136523] [ML] [PYTHON] Deepspeed Distributed Learning Class DeepspeedTorchDistributor írása
  • [SPARK-42098] [SC-138164] [SQL] A ResolveInlineTables javítása nem kezelhető RuntimeReplaceable kifejezéssel
  • [SPARK-44060] [SC-135693] [SQL] Code-gen a buildoldali külső elfojtott kivonat illesztéséhez
  • [SPARK-44496] [SC-137682] [SQL] [CONNECT] Az SCSC által igényelt felületek áthelyezése az sql/api-ba
  • [SPARK-44532] [SC-137893] [CONNECT] [SQL] ArrowUtils áthelyezése az sql/api-ba
  • [SPARK-44413] [SC-137019] [PYTHON] A nem támogatott arg adattípus hibáinak tisztázása az assertDataFrameEqual alkalmazásban
  • [SPARK-44530] [SC-138036] [CORE] [CONNECT] SparkBuildInfo áthelyezése a common/util fájlba
  • [SPARK-36612] [SC-133071] [SQL] Bal oldali külső illesztés összeállításának támogatása balra vagy jobb oldali külső illesztés összeállítása jobbra az elfojtott kivonatos illesztésben
  • [SPARK-44519] [SC-137728] [CONNECT] A SparkConnectServerUtils helytelen paramétereket hozott létre a jarshoz
  • [SPARK-44449] [SC-137818] [CONNECT] Közvetlen nyíl deszerializálásának felcímkésítése
  • [SPARK-44131] [SC-136346] [SQL] Call_function hozzáadása és elavult call_udf a Scala API-hoz
  • [SPARK-44541] [SQL] Használhatatlan függvény hasRangeExprAgainstEventTimeCol eltávolítása UnsupportedOperationChecker
  • [SPARK-44523] [SC-137859] [SQL] A szűrő maxRows/maxRowsPerPartition értéke 0, ha a feltétel FalseLiteral
  • [SPARK-44540] [SC-137873] [Felhasználói felület] A jsonFormatter nem használt stíluslap- és JavaScript-fájljainak eltávolítása
  • [SPARK-44466] [SC-137856] [SQL] A konfigurációk kizárása a módosított konfigurációkkal SPARK_DRIVER_PREFIX kezdődően és SPARK_EXECUTOR_PREFIX a módosított konfigurációkból
  • [SPARK-44477] [SC-137508] [SQL] A TYPE_CHECK_FAILURE_WITH_HINT hiba alosztályként való kezelése
  • [SPARK-44509] [SC-137855] [PYTHON] [CONNECT] Feladattörlési API-készlet hozzáadása a Spark Connect Python-ügyfélben
  • [SPARK-44059] [SC-137023] A beépített függvények nevesített argumentumainak elemzői támogatásának hozzáadása
  • [SPARK-38476] [SC-136448] [CORE] Hibaosztály használata az org.apache.spark.storage-ban
  • [SPARK-44486] [SC-137817] [PYTHON] [CONNECT] PyArrow-funkció self_destruct implementálása a következőhöz: toPandas
  • [SPARK-44361] [SC-137200] [SQL] PartitionEvaluator API használata a MapInBatchExecben
  • [SPARK-44510] [SC-137652] [Felhasználói felület] Frissítse a dataTables-t az 1.13.5-ös verzióra, és távolítsa el a nem elérhető png fájlokat
  • [SPARK-44503] [SC-137808] [SQL] SQL-nyelvhelyesség hozzáadása a PARTITION BY és AZ ORDER BY záradékhoz a TVF-hívások TABLE argumentumai után
  • [SPARK-38477] [SC-136319] [CORE] Hibaosztály használata az org.apache.spark.shuffle-ben
  • [SPARK-44299] [SC-136088] [SQL] Nevek hozzárendelése a _LEGACY_ERROR_TEMP_227 hibaosztályhoz[4-6,8]
  • [SPARK-44422] [SC-137567] [CONNECT] Spark Connect – részletes megszakítás
  • [SPARK-44380] [SC-137415] [SQL] [PYTHON] Python UDTF-támogatás a Pythonban történő elemzéshez
  • [SPARK-43923] [SC-137020] [CONNECT] Post listenerBus események durin...
  • [SPARK-44303] [SC-136108] [SQL] Nevek hozzárendelése a LEGACY_ERROR_TEMP hibaosztályhoz[2320-2324]
  • [SPARK-44294] [SC-135885] [Felhasználói felület] A HeapHistogram oszlop javítása váratlanul w/ select-all-box
  • [SPARK-44409] [SC-136975] [SQL] Karakter/varchar kezelése a Dataset.to a többiekkel való konzisztensség érdekében
  • [SPARK-44334] [SC-136576] [SQL] [Felhasználói felület] A feladatokat nem tartalmazó sikertelen DDL/DML REST API-válaszában szereplő állapot nem fejezhető be, hanem SIKERTELEN
  • [SPARK-42309] [SC-136703] [SQL] Bevezetés INCOMPATIBLE_DATA_TO_TABLE és alosztályok.
  • [SPARK-44367] [SC-137418] [SQL] [Felhasználói felület] Hibaüzenet megjelenítése a felhasználói felületen minden sikertelen lekérdezéshez
  • [SPARK-44474] [SC-137195] [CONNECT] A SparkConnectServiceSuite újrakondenzálható "Megfigyelési válasz tesztelése"
  • [SPARK-44320] [SC-136446] [SQL] Nevek hozzárendelése a LEGACY_ERROR_TEMP hibaosztályhoz[1067,1150,1220,1265,1277]
  • [SPARK-44310] [SC-136055] [CONNECT] A Connect Server indítási naplójának meg kell jelenítenie a gazdagépnevet és a portot
  • [SPARK-44309] [SC-136193] [Felhasználói felület] A Végrehajtók lap Végrehajtók hozzáadása/eltávolítása lapjának megjelenítése
  • [SPARK-42898] [SC-137556] [SQL] Jelölje meg, hogy a sztring/dátum leadásoknak nincs szükségük időzóna-azonosítóra
  • [SPARK-44475] [SC-137422] [SQL] [CONNECT] DataType és Parser áthelyezése sql/api-ba
  • [SPARK-44484] [SC-137562] [SS] BatchDuration hozzáadása a StreamingQueryProgress json metódushoz
  • [SPARK-43966] [SC-137559] [SQL] [PYTHON] Nem determinisztikus táblaértékű függvények támogatása
  • [SPARK-44439] [SC-136973] [CONNECT] [SS] Kijavítottuk a listListenereket, hogy csak azonosítókat küldjenek vissza az ügyfélnek
  • [SPARK-44341] [SC-137054] [SQL] [PYTHON] Határozza meg a számítási logikát a PartitionEvaluator API-val, és használja a WindowExecben és a WindowInPandasExecben
  • [SPARK-43839] [SC-132680] [SQL] Konvertálás _LEGACY_ERROR_TEMP_1337UNSUPPORTED_FEATURE.TIME_TRAVEL
  • [SPARK-44244] [SC-135703] [SQL] Nevek hozzárendelése a LEGACY_ERROR_TEMP hibaosztályhoz[2305-2309]
  • [SPARK-44201] [SC-136778] [CONNECT] [SS] Streamfigyelő támogatása a Scala for Spark Connectben
  • [SPARK-44260] [SC-135618] [SQL] Rendeljen neveket a LEGACY_ERROR_TEMP[1215-1245-2329] hibaosztályhoz. A kivétel ellenőrzéséhez használja a checkError() függvényt _CharVarchar_Suite
  • [SPARK-42454] [SC-136913] [SQL] SPJ: az SPJ-vel kapcsolatos összes paraméter beágyazása a BatchScanExecben
  • [SPARK-44292] [SC-135844] [SQL] Nevek hozzárendelése a LEGACY_ERROR_TEMP hibaosztályhoz[2315-2319]
  • [SPARK-44396] [SC-137221] [Csatlakozás] Közvetlen nyíl deszerializálása
  • [SPARK-44324] [SC-137172] [SQL] [CONNECT] CaseInsensitiveMap áthelyezése sql/api-ba
  • [SPARK-44395] [SC-136744] [SQL] Teszt hozzáadása a StreamingTableSuite-hoz
  • [SPARK-44481] [SC-137401] [CONNECT] [PYTHON] Pyspark.sql.is_remote API-vá alakítás
  • [SPARK-44278] [SC-137400] [CONNECT] GrPC-kiszolgálói elfogó implementálása, amely megtisztítja a szál helyi tulajdonságait
  • [SPARK-44264] [SC-137211] [ML] [PYTHON] Függvények elosztott betanításának támogatása a Deepspeed használatával
  • [SPARK-44430] [SC-136970] [SQL] Ok hozzáadása az AnalysisException érvénytelen beállításhoz
  • [SPARK-44264] [SC-137167] [ML] [PYTHON] A FunctionPickler beépítése a TorchDistributorba
  • [SPARK-44216] [SC-137046] [PYTHON] Az assertSchemaEqual API nyilvánossá tétele
  • [SPARK-44398] [SC-136720] [CONNECT] Scala foreachBatch API
  • [SPARK-43203] [SC-134528] [SQL] Az összes Drop Table-eset áthelyezése a DataSource V2-be
  • [SPARK-43755] [SC-137171] [CONNECT] [AL] Megnyitás AdaptiveSparkPlanHelper.allChildren a másolás helyett MetricGenerator
  • [SPARK-44264] [SC-137187] [ML] [PYTHON] A TorchDistributor újrabontása az egyéni "run_training_on_file" függvénymutató engedélyezéséhez
  • [SPARK-43755] [SC-136838] [CONNECT] Végrehajtás áthelyezése a SparkExecutePlanStreamHandlerből egy másik szálra
  • [SPARK-44411] [SC-137198] [SQL] PartitionEvaluator API használata az ArrowEvalPythonExec és a BatchEvalPythonExec alkalmazásban
  • [SPARK-44375] [SC-137197] [SQL] PartitionEvaluator API használata a DebugExecben
  • [SPARK-43967] [SC-137057] [PYTHON] Normál Python UDTF-ek támogatása üres visszatérési értékekkel
  • [SPARK-43915] [SC-134766] [SQL] Nevek hozzárendelése a LEGACY_ERROR_TEMP hibaosztályhoz[2438-2445]
  • [SPARK-43965] [SC-136929] [PYTHON] [CONNECT] Python UDTF támogatása a Spark Connectben
  • [SPARK-44154] [SC-137050] [SQL] További egységtesztek hozzáadva a BitmapExpressionUtilsSuite-hoz, és kisebb fejlesztéseket hajtottak végre a Bitmap-összesítő kifejezéseken
  • [SPARK-44169] [SC-135497] [SQL] Nevek hozzárendelése a LEGACY_ERROR_TEMP hibaosztályhoz[2300-2304]
  • [SPARK-44353] [SC-136578] [CONNECT] [SQL] StructType.toAttributes eltávolítása
  • [SPARK-43964] [SC-136676] [SQL] [PYTHON] A nyíloptimalizált Python UDTF-ek támogatása
  • [SPARK-44321] [SC-136308] [CONNECT] ParseException leválasztása az AnalysisExceptionről
  • [SPARK-44348] [SAS-1910] [SC-136644] [CORE] [CONNECT] [PYTHON] Reenable test_artifact releváns módosításokkal
  • [SPARK-44145] [SC-136698] [SQL] Visszahívás, ha készen áll a végrehajtásra
  • [SPARK-43983] [SC-136404] [PYTHON] [ML] [CONNECT] Kereszt-érvényesítő becslési teszt engedélyezése
  • [SPARK-44399] [SC-136669] [PYHTON] [CONNECT] SparkSession importálása Python UDF-ben csak akkor, ha a useArrow nincs
  • [SPARK-43631] [SC-135300] [CONNECT] [PS] Series.interpolate engedélyezése a Spark Connecttel
  • [SPARK-44374] [SC-136544] [PYTHON] [ML] Példakód hozzáadása elosztott ml-hez a Spark Connecthez
  • [SPARK-44282] [SC-135948] [CONNECT] DataType-elemzés előkészítése a Spark Connect Scala-ügyfélben való használatra
  • [SPARK-44052] [SC-134469] [CONNECT] [PS] Adjon hozzá util-t a Spark Connect megfelelő oszlop- vagy DataFrame-osztályának beszerzéséhez.
  • [SPARK-43983] [SC-136404] [PYTHON] [ML] [CONNECT] Kereszt-érvényesítő becslő implementálása
  • [SPARK-44290] [SC-136300] [CONNECT] Munkamenet-alapú fájlok és archívumok a Spark Connectben
  • [SPARK-43710] [SC-134860] [PS] [CONNECT] A Spark Connect támogatása functions.date_part
  • [SPARK-44036] [SC-134036] [CONNECT] [PS] A feladatok egyszerűsítése érdekében törölje a jegyeket és összesítse a jegyeket.
  • [SPARK-44150] [SC-135790] [PYTHON] [CONNECT] Explicit nyílkiosztás eltérő visszatérési típushoz a Arrow Python UDF-ben
  • [SPARK-43903] [SC-134754] [PYTHON] [CONNECT] A ArrayType bemeneti támogatásának javítása a Arrow Python UDF-ben
  • [SPARK-44250] [SC-135819] [ML] [PYTHON] [CONNECT] Besorolás-kiértékelő implementálása
  • [SPARK-44255] [SC-135704] [SQL] StorageLevel áthelyezése a common/utils szolgáltatásba
  • [SPARK-42169] [SC-135735] [SQL] Kódgenerálás implementálása to_csv függvényhez (StructsToCsv)
  • [SPARK-44249] [SC-135719] [SQL] [PYTHON] A PythonUDTFRunner újrabontása a visszatérési típus külön-külön történő elküldéséhez
  • [SPARK-43353] [SC-132734] [PYTHON] Fennmaradó munkamenethibák migrálása hibaosztályba
  • [SPARK-44133] [SC-134795] [PYTHON] A MyPy frissítése 0,920-ról 0,982-re
  • [SPARK-42941] [SC-134707] [SS] [CONNECT] [1/2] StreamingQueryListener – Event Serde JSON formátumban
  • [SPARK-43353] "[SC-132734][ES-729763][PYTHON] Fennmaradó munkamenethibák migrálása hibaosztályba"
  • [SPARK-44100] [SC-134576] [ML] [CONNECT] [PYTHON] Névtér pyspark.mlv2 áthelyezése pyspark.ml.connect
  • [SPARK-44220] [SC-135484] [SQL] StringConcat áthelyezése sql/api-ba
  • [SPARK-43992] [SC-133645] [SQL] [PYTHON] [CONNECT] Választható minta hozzáadása a Catalog.listFunctionshez
  • [SPARK-43982] [SC-134529] [ML] [PYTHON] [CONNECT] Folyamatbecslő implementálása az ML-hez spark connecten
  • [SPARK-43888] [SC-132893] [CORE] Naplózás áthelyezése a common/utils szolgáltatásba
  • [SPARK-42941] "[SC-134707][SS][CONNECT][1/2] StreamingQueryListener – Event Serde JSON formátumban"
  • [SPARK-43624] [SC-134557] [PS] [CONNECT] Hozzáadás EWM a SparkConnectPlannerhez.
  • [SPARK-43981] [SC-134137] [PYTHON] [ML] Alapvető mentési/betöltési implementáció az ML-hez Spark Connecten
  • [SPARK-43205] [SC-133371] [SQL] az SQLQueryTestSuite javítása
  • [SPARK-43376] "[SC-130433][SQL] Az újrahasználat javítása a táblagyorsítótár használatával"
  • [SPARK-44040] [SC-134366] [SQL] Számítási statisztikák javítása a QueryStageExec fölötti AggregateExec csomópont esetén
  • [SPARK-43919] [SC-133374] [SQL] JSON-funkciók kinyerése sorból
  • [SPARK-42618] [SC-134433] [PYTHON] [PS] Figyelmeztetés a pandashoz kapcsolódó viselkedésváltozásokra a következő fő kiadásban
  • [SPARK-43893] [SC-133381] [PYTHON] [CONNECT] Nem atomi adattípus támogatása a Nyíloptimalizált Python UDF-ben
  • [SPARK-43627] [SC-134290] [SPARK-43626] [PS] [CONNECT] Engedélyezés pyspark.pandas.spark.functions.{kurt, skew} a Spark Connectben.
  • [SPARK-43798] [SC-133990] [SQL] [PYTHON] Python felhasználó által definiált táblafüggvények támogatása
  • [SPARK-43616] [SC-133849] [PS] [CONNECT] Engedélyezés pyspark.pandas.spark.functions.mode a Spark Connectben
  • [SPARK-43133] [SC-133728] Scala Client DataStreamWriter Foreach támogatása
  • [SPARK-43684] [SC-134107] [SPARK-43685] [SPARK-43686] [SPARK-43691] [CONNECT] [PS] Javítás (NullOps|NumOps).(eq|ne) a Spark Connecthez.
  • [SPARK-43645] [SC-134151] [SPARK-43622] [PS] [CONNECT] Engedélyezés pyspark.pandas.spark.functions.{var, stddev} a Spark Connectben
  • [SPARK-43617] [SC-133893] [PS] [CONNECT] Engedélyezés pyspark.pandas.spark.functions.product a Spark Connectben
  • [SPARK-43610] [SC-133832] [CONNECT] [PS] Engedélyezés InternalFrame.attach_distributed_column a Spark Connectben.
  • [SPARK-43621] [SC-133852] [PS] [CONNECT] Engedélyezés pyspark.pandas.spark.functions.repeat a Spark Connectben
  • [SPARK-43921] [SC-133461] [PROTOBUF] Protobuf leírófájlok létrehozása a létrehozáskor
  • [SPARK-43613] [SC-133727] [PS] [CONNECT] Engedélyezés pyspark.pandas.spark.functions.covar a Spark Connectben
  • [SPARK-43376] [SC-130433] [SQL] A táblagyorsítótár újrahasználatának javítása
  • [SPARK-43612] [SC-132011] [CONNECT] [PYTHON] SparkSession.addArtifact(ok) implementálása Python-ügyfélben
  • [SPARK-43920] [SC-133611] [SQL] [CONNECT] SQL/API-modul létrehozása
  • [SPARK-43097] [SC-133372] [ML] Új pyspark ML logisztikai regressziós becslési eszköz implementálása a forgalmazón felül
  • [SPARK-43783] [SC-133240] [SPARK-43784] [SPARK-43788] [ML] Az MLv2 (ml spark connecten) támogatja a pandas >= 2,0
  • [SPARK-43024] [SC-132716] [PYTHON] Pandas frissítése 2.0.0-ra
  • [SPARK-43881] [SC-133140] [SQL] [PYTHON] [CONNECT] Választható minta hozzáadása a Catalog.listDatabaseshez
  • [SPARK-39281] [SC-131422] [SQL] Az időbélyeg típusának következtetésének felgyorsítása örökölt formátumban JSON-/CSV-adatforrásban
  • [SPARK-43792] [SC-132887] [SQL] [PYTHON] [CONNECT] Választható minta hozzáadása a Catalog.listCatalogshoz
  • [SPARK-43132] [SC-131623] [SS] [CONNECT] Python Client DataStreamWriter foreach() API
  • [SPARK-43545] [SC-132378] [SQL] [PYTHON] Beágyazott időbélyeg típus támogatása
  • [SPARK-43353] [SC-132734] [PYTHON] Fennmaradó munkamenethibák migrálása hibaosztályba
  • [SPARK-43304] [SC-129969] [CONNECT] [PYTHON] Migrálás NotImplementedError a PySparkNotImplementedError
  • [SPARK-43516] [SC-132202] [ML] [PYTHON] [CONNECT] SparkML alapillesztői a spark3.5-höz: becslő/átalakító/modell/kiértékelő
  • [SPARK-43128] "[SC-131628][CONNECT][SS] A natív Scala Api-val konzisztenssé tétele recentProgress és lastProgress visszatérése StreamingQueryProgress "
  • [SPARK-43543] [SC-131839] [PYTHON] Beágyazott MapType-viselkedés javítása a Pandas UDF-ben
  • [SPARK-38469] [SC-131425] [CORE] Hibaosztály használata a org.apache.spark.network webhelyen
  • [SPARK-43309] [SC-129746] [SPARK-38461] [CORE] INTERNAL_ERROR kiterjesztése kategóriákkal és hibaosztály hozzáadása INTERNAL_ERROR_BROADCAST
  • [SPARK-43265] [SC-129653] Hiba keretrendszer áthelyezése egy közös utils modulba
  • [SPARK-43440] [SC-131229] [PYTHON] [CONNECT] Nyíloptimalizált Python UDF regisztrációjának támogatása
  • [SPARK-43528] [SC-131531] [SQL] [PYTHON] Duplikált mezőnevek támogatása a createDataFrame-ben a pandas DataFrame használatával
  • [SPARK-43412] [SC-130990] [PYTHON] [CONNECT] Az EvalType bemutatása SQL_ARROW_BATCHED_UDF nyíloptimalizált Python UDF-ekhez
  • [SPARK-40912] [SC-130986] [CORE] A KryoDeserializationStream kivételeinek többletterhelése
  • [SPARK-39280] [SC-131206] [SQL] A JSON/CSV adatforrás felhasználó által megadott formátumával felgyorsíthatja az időbélyeg típusú következtetést
  • [SPARK-43473] [SC-131372] [PYTHON] Támogatásstruktúratípus a createDataFrame-ben a pandas DataFrame-ből
  • [SPARK-43443] [SC-131024] [SQL] Teljesítménymutató hozzáadása időbélyeg típusú következtetéshez érvénytelen érték használata esetén
  • [SPARK-41532] [SC-130523] [CONNECT] [ÜGYFÉL] Több adatkeretet tartalmazó műveletek ellenőrzése
  • [SPARK-43296] [SC-130627] [CONNECT] [PYTHON] Spark Connect-munkamenet hibáinak migrálása hibaosztályba
  • [SPARK-43324] [SC-130455] [SQL] Frissítési parancsok kezelése delta-alapú forrásokhoz
  • [SPARK-43347] [SC-130148] [PYTHON] A Python 3.7 támogatásának eltávolítása
  • [SPARK-43292] [SC-130525] [CORE] [CONNECT] Ugrás ExecutorClassLoader a modulra core és egyszerűsítés Executor#addReplClassLoaderIfNeeded
  • [SPARK-43081] [SC-129900] [ML] [CONNECT] Olyan fáklyaelosztó adatbetöltő hozzáadása, amely a Spark partíció adataiból tölt be adatokat
  • [SPARK-43331] [SC-130061] [CONNECT] Spark Connect SparkSession.interruptAll hozzáadása
  • [SPARK-43306] [SC-130320] [PYTHON] Migrálás ValueError Spark SQL-típusokból hibaosztályba
  • [SPARK-43261] [SC-129674] [PYTHON] Migrálás TypeError Spark SQL-típusokból hibaosztályba.
  • [SPARK-42992] [SC-129465] [PYTHON] A PySparkRuntimeError bemutatása
  • [SPARK-16484] [SC-129975] [SQL] A Datasketches HllSketch támogatásának hozzáadása
  • [SPARK-43165] [SC-128823] [SQL] CanWrite áthelyezése a DataTypeUtils szolgáltatásba
  • [SPARK-43082] [SC-129112] [CONNECT] [PYTHON] Nyíloptimalizált Python UDF-ek a Spark Connectben
  • [SPARK-43084] [SC-128654] [SS] ApplyInPandasWithState támogatás hozzáadása spark connecthez
  • [SPARK-42657] [SC-128621] [CONNECT] Ügyféloldali REPL-osztályfájlok keresése és átvitele a kiszolgálóra összetevőként
  • [SPARK-43098] [SC-77059] [SQL] Kijavítottuk a helyességi DARAB hibát, ha a skaláris subquery záradék szerint csoportosítva van
  • [SPARK-42884] [SC-126662] [CONNECT] Ammonite REPL-integráció hozzáadása
  • [SPARK-42994] [SC-128333] [ML] [CONNECT] A PyTorch-forgalmazó támogatja a helyi módot
  • [SPARK-41498] [SC-125343] "Metaadatok propagálása az Unión keresztül" visszaállítása
  • [SPARK-42993] [SC-127829] [ML] [CONNECT] A PyTorch-forgalmazó kompatibilissé tétele a Spark Connecttel
  • [SPARK-42683] [LC-75] Ütköző metaadatoszlopok automatikus átnevezése
  • [SPARK-42874] [SC-126442] [SQL] Új golden file test framework engedélyezése az összes bemeneti fájl elemzéséhez
  • [SPARK-42779] [SC-126042] [SQL] A V2 írásának engedélyezése a tanácsadási shuffle partíció méretének jelzéséhez
  • [SPARK-42891] [SC-126458] [CONNECT] [PYTHON] A CoGrouped Map API implementálása
  • [SPARK-42791] [SC-126134] [SQL] Új arany fájltesztelési keretrendszer létrehozása elemzéshez
  • [SPARK-42615] [SC-124237] [CONNECT] [PYTHON] Az AnalyzePlan RPC újrabontása és hozzáadása session.version
  • [SPARK-41302] "[MINDEN TESZT][SC-122423][SQL] Név hozzárendelése _LEGACY_ERROR_TEMP_1185"
  • [SPARK-40770] [SC-122652] [PYTHON] Továbbfejlesztett hibaüzenetek az applyInPandas esetében a sémaeltéréshez
  • [SPARK-40770] "[MINDEN TESZT][SC-122652][PYTHON] Továbbfejlesztett hibaüzenetek az applyInPandas sémaeltéréshez"
  • [SPARK-42398] [SC-123500] [SQL] Az alapértelmezett oszlopérték pontosítása DS v2 interfész
  • [SPARK-40770] [MINDEN TESZT] [SC-122652] [PYTHON] Továbbfejlesztett hibaüzenetek az applyInPandas esetében a sémaeltéréshez
  • [SPARK-40770] "[SC-122652][PYTHON] Továbbfejlesztett hibaüzenetek az applyInPandas esetében a sémaeltéréshez"
  • [SPARK-40770] [SC-122652] [PYTHON] Továbbfejlesztett hibaüzenetek az applyInPandas esetében a sémaeltéréshez
  • [SPARK-42038] [MINDEN TESZT] "Revert "[SC-122533][SQL] SPJ: Részben fürtözött disztribúció támogatása"
  • [SPARK-42038] "[SC-122533][SQL] SPJ: Részben fürtözött disztribúció támogatása"
  • [SPARK-42038] [SC-122533] [SQL] SPJ: Részben fürtözött disztribúció támogatása
  • [SPARK-40550] [SC-120989] [SQL] DataSource V2: DELETE-parancsok kezelése delta-alapú forrásokhoz
  • [SPARK-40770] "[SC-122652][PYTHON] Továbbfejlesztett hibaüzenetek az applyInPandas esetében a sémaeltéréshez"
  • [SPARK-40770] [SC-122652] [PYTHON] Továbbfejlesztett hibaüzenetek az applyInPandas esetében a sémaeltéréshez
  • [SPARK-41302] "[SC-122423][SQL] Név hozzárendelése _LEGACY_ERROR_TEMP_1185"
  • [SPARK-40550] "[SC-120989][SQL] DataSource V2: Delete parancsok kezelése delta-alapú forrásokhoz"
  • [SPARK-42123] Visszatérés "[SC-121453][SQL] Oszlop alapértelmezett értékeinek belefoglalása a DESCRIBE és a SHOW CREATE TABLE kimenetbe"
  • [SPARK-42146] [SC-121172] [CORE] Újrabontás Utils#setStringField a maven buildelési sikerességéhez, amikor az SQL-modul ezt a módszert használja
  • [SPARK-42119] "[SC-121342][SQL] Beépített táblaértékű függvények hozzáadása beágyazott és inline_outer"

Legfontosabb tudnivalók

Spark Connect

  • Az sql-modul újrabontása az SQL-be és az sql-API-ba, hogy létrehozhassa a Scala Spark Connect-ügyfél és a Spark között megosztható minimális függőségeket, és elkerülheti az összes Spark-tranzitív függőség lekérését. SPARK-44273
  • A Spark Connect SPARK-42554 Scala-ügyfélének bemutatása
  • Pandas API-támogatás a Python Spark Connect-ügyfél SPARK-42497-hez
  • PyTorch-alapú elosztott ml-támogatás a Spark Connect SPARK-42471-hez
  • Strukturált streamelés támogatása a Spark Connecthez Pythonban és Scala SPARK-42938-ban
  • A Go-ügyfél SPARK-43351 kezdeti verziója
  • Számos kompatibilitási fejlesztés a Spark natív és a Spark Connect-ügyfelek között a Python és a Scala között
  • Továbbfejlesztett hibakeresés és kéréskezelés ügyfélalkalmazásokhoz (aszinkron feldolgozás, újrapróbálkozás, hosszú élettartamú lekérdezések)

Spark SQL

Funkciók

  • Metaadatoszlop-fájlblokk indítása és hossza SPARK-42423
  • Pozícióparaméterek támogatása a Scala/Java sql() SPARK-44066-ban
  • Elnevezett paramétertámogatás hozzáadása az elemzőben a SPARK-43922 függvényhívásokhoz
  • A SELECT DEFAULT támogatása ORDER BY, LIMIT, OFFSET for INSERT forrásreláció SPARK-43071
  • SQL-nyelvhelyesség hozzáadása PARTITION BY és ORDER BY záradékhoz a SPARK-44503 TVF-hívások TABLE argumentumai után
  • Oszlop alapértelmezett értékeinek belefoglalása a DESCRIBE és a CREATE TABLE kimenet spark-42123-ban
  • Választható minta hozzáadása a Catalog.listCatalogs SPARK-43792-hez
  • Választható minta hozzáadása a Catalog.listDatabases SPARK-43881-hez
  • Visszahívás, ha készen áll a SPARK-44145 végrehajtására
  • Támogatás beszúrása név szerint utasítás SPARK-42750
  • Call_function hozzáadása Scala API SPARK-44131-hez
  • Stabil származtatott oszlop aliasok SPARK-40822
  • Általános konstanskifejezések támogatása SPARK-43529 CREATE/REPLACE TABLE OPTIONS értékekként
  • Az INTERSECT/KIVÉVE SPARK-36124 közötti korrelációval rendelkező al lekérdezések támogatása
  • AZONOSÍTÓ záradék SPARK-43205
  • ANSI MÓD: A konvernek hibát kell visszaadnia, ha a belső átalakítás túlcsordul a SPARK-42427-en

Függvények

Adatforrások

Lekérdezésoptimalizálás

Kódlétrehozás és lekérdezés végrehajtása

  • A futásidejű szűrőnek támogatja a többszintű shuffle join oldalt a spark-41674 szűrőlétrehozási oldalként
  • Codegen-támogatás a HiveSimpleUDF SPARK-42052-hez
  • Codegen-támogatás a HiveGenericUDF SPARK-42051-hez
  • Codegen support for build side outer shuffled hash join SPARK-44060
  • Kódgenerálás implementálása to_csv függvényhez (StructsToCsv) SPARK-42169
  • Az AQE támogatása az InMemoryTableScanExec SPARK-42101-ben
  • Bal oldali külső illesztés összeállításának támogatása balra vagy jobb oldali külső illesztés összeállítása jobbra a SPARK-36612 összekapcsolt kivonatos illesztésben
  • Respect RequiresDistributionAndOrdering in CTAS/RTAS SPARK-43088
  • A spark-43107-hez csatlakozó streamoldalon alkalmazott összeillesztés gyűjtői
  • Null értékű helyes beállítása a szénerősített illesztési kulcson teljes külső USING join SPARK-44251
  • In subquery ListQuery nullability SPARK-43413 javítása

Egyéb jelentős változások

  • Null értékű helyes beállítás a KULCSOK ESETÉBEN a SPARK-43718-illesztésekben
  • A COUNT(*) javítása nullhiba a SPARK-43156 korrelált skaláris alqueryben
  • Dataframe.joinWith külső illesztés esetén null értéket kell visszaadnia a SPARK-37829 nem egyező sorhoz
  • Ütköző metaadatoszlopok automatikus átnevezése SPARK-42683
  • A Spark SQL hibaosztályainak dokumentálása a spark-42706 felhasználói dokumentációban

PySpark

Funkciók

Egyéb jelentős változások

  • A df[|] automatikus kiegészítési támogatásának hozzáadása a pyspark.sql.dataframe.DataFrame-ben [SPARK-43892]
  • Elavult > távolítsa el a pandas 2.0-ban eltávolítandó API-kat [SPARK-42593]
  • A Python első lapjának létrehozása példakódokhoz – Spark SQL, DataFrames és Adathalmazok útmutató SPARK-42493
  • A Fennmaradó Spark dokumentációs kód példáinak frissítése a Python alapértelmezett SPARK-42642 megjelenítéséhez
  • Deduplikált mezőnevek használata a Nyílrekordbatch létrehozásakor [SPARK-41971]
  • Duplikált mezőnevek támogatása a createDataFrame-ben a pandas DataFrame használatával [SPARK-43528]
  • Oszlopparaméter engedélyezése Adatkeret sorozattal történő létrehozásakor [SPARK-42194]

Alapvető

Strukturált streamelés

  • Támogatás hozzáadása a rögzített blokkok memóriahasználatának nyomon követéséhez a Spark-43120 RocksDB állapottárolóhoz
  • A Spark-43311 RocksDB állapottároló-szolgáltató memóriakezelési fejlesztéseinek hozzáadása
  • DropDuplicatesWithinWatermark SPARK-42931 bemutatása
  • Új visszahívás bevezetése a StreamQueryListener SPARK-43183-ra
  • A véglegesítési koordinátor kihagyásának lehetősége a StreamWrite API részeként DSv2-forrásokhoz/-fogadókhoz SPARK-42968-hoz
  • Új "onQueryIdle" visszahívás bevezetése a StreamingQueryListener SPARK-43183-ra
  • Changelog-alapú ellenőrzőpont-készítés implementálása a RocksDB State Store-szolgáltató spark-43421-hez
  • A Spark-42792 streamelési állapotú operátorokban használt RocksDB WRITE_FLUSH_BYTES támogatása
  • Támogatás hozzáadása a Spark-42819 streameléséhez használt RocksDB max_write_buffer_number és write_buffer_size beállításához
  • A RocksDB StateStore zárolási beszerzésének akkor kell történnie, ha bemeneti iterátort kap az inputRDD SPARK-42566-ból
  • Vízjel propagálásának bevezetése a SPARK-42376 operátorok között
  • Árva sst- és naplófájlok törlése a Spark-42353 RocksDB ellenőrzőpont könyvtárában
  • Bontsa ki a QueryTerminatedEvent elemet, hogy hibaosztályt tartalmazzon, ha az a SPARK-43482 kivételben létezik

ML

Felhasználói felület

  • Spark-felhasználói felület hozzáadása a Spark Connect SPARK-44394-hez
  • A Heap Hisztogram oszlop támogatása a Végrehajtók lapon SPARK-44153
  • Hibaüzenet megjelenítése a felhasználói felületen az egyes sikertelen spark-44367 lekérdezésekhez
  • Végrehajtók hozzáadása/eltávolítása a Végrehajtók lapon SPARK-44309

Build és egyéb

Eltávolítások, viselkedésváltozások és elavulások

Közelgő eltávolítás

A következő Spark-főverzióban a következő funkciók el lesznek távolítva

  • A Java 8 és a Java 11 támogatása, a minimálisan támogatott Java-verzió pedig a Java 17 lesz
  • A Scala 2.12 támogatása és a minimálisan támogatott Scala-verzió 2.13

Migrálási útmutatók

Databricks ODBC/JDBC illesztőprogram támogatása

A Databricks támogatja az elmúlt 2 évben kiadott ODBC/JDBC-illesztőprogramokat. Töltse le a nemrég kiadott illesztőprogramokat és frissítsen (töltse le az ODBC-t, töltse le a JDBC-t).

Rendszerkörnyezet

  • Operációs rendszer: Ubuntu 22.04.3 LTS
  • Java: Zulu 8.70.0.23-CA-linux64
  • Scala: 2.12.15
  • Python: 3.10.12
  • R: 4.3.1
  • Delta Lake: 2.4.0

Telepített Python-kódtárak

Könyvtár Verzió Könyvtár Verzió Könyvtár Verzió
anyio 3.5.0 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
asttokens 2.0.5 attrs 22.1.0 backcall 0.2.0
beautifulsoup4 4.11.1 fekete 22.6.0 fehérítő 4.1.0
villogó 1.4 boto3 1.24.28 botocore 1.27.96
minősítés 2022.12.7 cffi 1.15.1 karakterkészlet 4.0.0
charset-normalizer 2.0.4 kattintás 8.0.4 Comm 0.1.2
contourpy 1.0.5 kriptográfia 39.0.1 biciklista 0.11.0
Cython 0.29.32 databricks-sdk 0.1.6 dbus-python 1.2.18
hibakeresés 1.6.7 lakberendező 5.1.1 defusedxml 0.7.1
distlib 0.3.7 docstring-to-markdown 0,11 belépési pontok 0,4
Végrehajtó 0.8.3 aspektusok áttekintése 1.1.1 fastjsonschema 2.18.0
filelock 3.12.2 betűtípusok 4.25.0 GCC futtatókörnyezeti kódtár 1.10.0
googleapis-common-protos 1.60.0 grpcio 1.48.2 grpcio-status 1.48.1
httplib2 0.20.2 idna 3.4 importlib-metadata 4.6.4
ipykernel 6.25.0 ipython 8.14.0 ipython-genutils 0.2.0
ipywidgets 7.7.2 jedi 0.18.1 Jeepney 0.7.1
Jinja2 3.1.2 jmespath 0.10.0 joblib 1.2.0
jsonschema 4.17.3 jupyter-client 7.3.4 jupyter-server 1.23.4
jupyter_core 5.2.0 jupyterlab-pygments 0.1.2 jupyterlab-widgetek 1.0.0
kulcstartó 23.5.0 kiwisolver 1.4.4 launchpadlib 1.10.16
lazr.restfulclient 0.14.4 lazr.uri 1.0.6 lxml 4.9.1
MarkupSafe 2.1.1 matplotlib 3.7.0 matplotlib-inline 0.1.6
Mccabe 0.7.0 mistune 0.8.4 more-itertools 8.10.0
mypy-extensions 0.4.3 nbclassic 0.5.2 nbclient 0.5.13
nbconvert 6.5.4 nbformat 5.7.0 nest-asyncio 1.5.6
nodeenv 1.8.0 jegyzetfüzet 6.5.2 notebook_shim 0.2.2
numpy 1.23.5 oauthlib 3.2.0 csomagolás 22,0
pandas 1.5.3 pandocfilters 1.5.0 parso 0.8.3
pathspec 0.10.3 Patsy 0.5.3 pexpect 4.8.0
pickleshare 0.7.5 Párna 9.4.0 mag 22.3.1
platformdirs 2.5.2 ábrázolás 5.9.0 pluggy 1.0.0
prometheus-client 0.14.1 prompt-toolkit 3.0.36 protobuf 4.24.0
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 pyarrow 8.0.0 pycparser 2.21
pydantic 1.10.6 pyflakes 3.0.1 Pygments 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.32
pyparsing 3.0.9 pyright 1.1.294 pyrsistent 0.18.0
python-dateutil 2.8.2 python-lsp-jsonrpc 1.0.0 python-lsp-server 1.7.1
pytoolconfig 1.2.5 pytz 2022.7 pyzmq 23.2.0
kérelmek 2.28.1 kötél 1.7.0 s3transfer 0.6.1
scikit-learn 1.1.1 tengeri 0.12.2 SecretStorage 3.3.1
Send2Trash 1.8.0 setuptools 65.6.3 Hat 1.16.0
sniffio 1.2.0 levessieve 2.3.2.post1 ssh-import-id 5,11
veremadatok 0.2.0 statsmodels 0.13.5 Kitartás 8.1.0
terminado 0.17.1 threadpoolctl 2.2.0 tinycss2 1.2.1
tokenize-rt 4.2.1 tomli 2.0.1 tornádó 6.1
árulók 5.7.1 typing_extensions 4.4.0 ujson 5.4.0
felügyelet nélküli frissítések 0,1 urllib3 1.26.14 virtualenv 20.16.7
wadllib 1.3.6 wcwidth 0.2.5 webencodings 0.5.1
websocket-client 0.58.0 whatthepatch 1.0.2 kerék 0.38.4
widgetsnbextension 3.6.1 yapf 0.31.0 zipp 1.0.0

Telepített R-kódtárak

Az R-kódtárak a Posit Csomagkezelő CRAN-pillanatképből vannak telepítve 2023-07-13-án.

Könyvtár Verzió Könyvtár Verzió Könyvtár Verzió
nyíl 12.0.1 askpass 1,1 assertthat 0.2.1
backports 1.4.1 alap 4.3.1 base64enc 0.1-3
bit 4.0.5 bit64 4.0.5 blob 1.2.4
indítás 1.3-28 főz 1.0-8 Brio 1.1.3
seprű 1.0.5 bslib 0.5.0 gyorsítótár 1.0.8
hívó 3.7.3 kalap 6.0-94 cellranger 1.1.0
chron 2.3-61 osztály 7.3-22 Cli 3.6.1
clipr 0.8.0 óra 0.7.0 fürt 2.1.4
kódtoolok 0.2-19 színtér 2.1-0 commonmark 1.9.0
fordítóprogram 4.3.1 config 0.3.1 Ütközött 1.2.0
cpp11 0.4.4 zsírkréta 1.5.2 hitelesítő adatok 1.3.2
csavarodik 5.0.1 data.table 1.14.8 adatkészletek 4.3.1
DBI 1.1.3 dbplyr 2.3.3 Desc 1.4.2
devtools 2.4.5 diagram 1.6.5 diffobj 0.3.5
emészt 0.6.33 levilágított 0.4.3 dplyr 1.1.2
dtplyr 1.3.1 e1071 1.7-13 három pont 0.3.2
evaluate 0.21 fani 1.0.4 farver 2.1.1
gyorstérkép 1.1.1 fontawesome 0.5.1 forcats 1.0.0
foreach 1.5.2 külföldi 0.8-82 kovácsol 0.2.0
Fs 1.6.2 jövő 1.33.0 future.apply 1.11.0
gargarizál 1.5.1 Generikus 0.1.3 Gert 1.9.2
ggplot2 3.4.2 Gh 1.4.0 gitcreds 0.1.2
glmnet 4.1-7 globális 0.16.2 ragasztó 1.6.2
googledrive 2.1.1 googlesheets4 1.1.1 Gower 1.0.1
grafika 4.3.1 grDevices 4.3.1 rács 4.3.1
gridExtra 2.3 gsubfn 0,7 gtable 0.3.3
hardhat 1.3.0 kikötő 2.5.3 highr 0.10
Hms 1.1.3 htmltoolok 0.5.5 htmlwidgets 1.6.2
httpuv 1.6.11 httr 1.4.6 httr2 0.2.3
Azonosítók 1.0.1 ini 0.3.1 ipred 0.9-14
izoband 0.2.7 iterátorok 1.0.14 jquerylib 0.1.4
jsonlite 1.8.7 KernSmooth 2.23-21 knitr 1,43
címkézés 0.4.2 később 1.3.1 rács 0.21-8
láva 1.7.2.1 életciklus 1.0.3 figyelő 0.9.0
lubridate 1.9.2 magrittr 2.0.3 markdown 1,7
TÖMEG 7.3-60 Mátrix 1.5-4.1 memoise 2.0.1
metódusok 4.3.1 mgcv 1.8-42 MIME 0,12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modellező 0.1.11
munsell 0.5.0 nlme 3.1-162 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.0.6 parallel 4.3.1
párhuzamosan 1.36.0 pillér 1.9.0 pkgbuild 1.4.2
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2.1
plogr 0.2.0 rétegelt 1.8.8 dicséret 1.0.0
prettyunits 1.1.1 Proc 1.18.4 processx 3.8.2
prodlim 2023.03.31 profvis 0.3.8 haladás 1.2.2
progressr 0.13.0 Ígér 1.2.0.1 Proto 1.0.0
helyettes 0.4-27 Ps 1.7.5 purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.11 RcppEigen 0.3.3.9.3
olvasó 2.1.4 readxl 1.4.3 receptek 1.0.6
Visszavágót 1.0.1 visszavágó2 2.1.2 Távirányító 2.4.2
reprex 2.0.2 újraformázás2 1.4.4 rlang 1.1.1
rmarkdown 2.23 RODBC 1.3-20 roxygen2 7.2.3
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-11
RSQLite 2.3.1 rstudioapi 0.15.0 rversions 2.1.2
rvest 1.0.3 Sass 0.4.6 mérleg 1.2.1
választó 0.4-2 sessioninfo 1.2.2 alak 1.4.6
Fényes 1.7.4.1 sourcetools 0.1.7-1 sparklyr 1.8.1
SparkR 3.5.0 térbeli 7.3-15 splines 4.3.1
sqldf 0.4-11 NÉGYZET 2021.1 statisztika 4.3.1
statisztikák4 4.3.1 stringi 1.7.12 sztring 1.5.0
túlélés 3.5-5 sys 3.4.2 systemfonts 1.0.4
tcltk 4.3.1 testthat 3.1.10 szövegformázás 0.3.6
tibble 3.2.1 tidyr 1.3.0 tidyselect 1.2.0
tidyverse 2.0.0 timechange 0.2.0 timeDate 4022.108
tinytex 0,45 eszközök 4.3.1 tzdb 0.4.0
urlchecker 1.0.1 usethis 2.2.2 utf8 1.2.3
eszközök 4.3.1 uuid 1.1-0 vctrs 0.6.3
viridisLite 0.4.2 vroom 1.6.3 Waldo 0.5.1
bajusz 0.4.1 withr 2.5.0 xfun 0,39
xml2 1.3.5 xopen 1.0.0 xtable 1.8-4
yaml 2.3.7 fütyülés 2.3.0

Telepített Java- és Scala-kódtárak (Scala 2.12-fürtverzió)

Csoportazonosító Összetevő azonosítója Verzió
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics patak 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.2.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml osztálytárs 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.15.1
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.koffein koffein 2.9.3
com.github.fommil jniloader 1,1
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java 1.1-natívok
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java 1.1-natívok
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natívok
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natívok
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink Csellengő 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava gujávafa 15,0
com.google.protobuf protobuf-java 2.6.1
com.helger Profiler 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1,5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-naplózás commons-naplózás 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib Blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,24
io.delta delta-sharing-spark_2.12 0.7.1
io.dropwizard.metrics metrics-annotation 4.2.19
io.dropwizard.metrics metrikamag 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.93.Final
io.netty netty-buffer 4.1.93.Final
io.netty netty-codec 4.1.93.Final
io.netty netty-codec-http 4.1.93.Final
io.netty netty-codec-http2 4.1.93.Final
io.netty netty-codec-zokni 4.1.93.Final
io.netty netty-common 4.1.93.Final
io.netty netty-handler 4.1.93.Final
io.netty netty-handler-proxy 4.1.93.Final
io.netty netty-resolver 4.1.93.Final
io.netty netty-transport 4.1.93.Final
io.netty netty-transport-classes-epoll 4.1.93.Final
io.netty netty-transport-classes-kqueue 4.1.93.Final
io.netty netty-transport-native-epoll 4.1.93.Final
io.netty netty-transport-native-epoll 4.1.93.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.93.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.93.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.93.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.93.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx gyűjtő 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktiválás 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pác 1.3
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.33
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow nyílformátum 12.0.1
org.apache.arrow nyíl-memóriamag 12.0.1
org.apache.arrow nyíl-memória-netty 12.0.1
org.apache.arrow nyíl-vektor 12.0.1
org.apache.avro avro 1.11.2
org.apache.avro avro-ipc 1.11.2
org.apache.avro avro-mapred 1.11.2
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator kurátor-ügyfél 2.13.0
org.apache.curator kurátor-keretrendszer 2.13.0
org.apache.curator kurátor-receptek 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby keménykalap 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy borostyán 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.20.0
org.apache.logging.log4j log4j-api 2.20.0
org.apache.logging.log4j log4j-core 2.20.0
org.apache.logging.log4j log4j-slf4j2-impl 2.20.0
org.apache.mesos mesos 1.11.0-shaded-protobuf
org.apache.orc orc-core 1.9.0-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.0-shaded-protobuf
org.apache.orc orc-shims 1.9.0
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus célközönség-széljegyzetek 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-juta 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.51.v20230217
org.eclipse.jetty móló-folytatás 9.4.51.v20230217
org.eclipse.jetty jetty-http 9.4.51.v20230217
org.eclipse.jetty jetty-io 9.4.51.v20230217
org.eclipse.jetty jetty-jndi 9.4.51.v20230217
org.eclipse.jetty móló plusz 9.4.51.v20230217
org.eclipse.jetty jetty-proxy 9.4.51.v20230217
org.eclipse.jetty jetty-security 9.4.51.v20230217
org.eclipse.jetty jetty-server 9.4.51.v20230217
org.eclipse.jetty jetty-servlet 9.4.51.v20230217
org.eclipse.jetty jetty-servlets 9.4.51.v20230217
org.eclipse.jetty jetty-util 9.4.51.v20230217
org.eclipse.jetty jetty-util-ajax 9.4.51.v20230217
org.eclipse.jetty jetty-webapp 9.4.51.v20230217
org.eclipse.jetty jetty-xml 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-api 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-client 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-common 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-server 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-servlet 9.4.51.v20230217
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-lokátor 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Végleges
org.jdbi jdbi 2.63.1
org.jetbrains Széljegyzetek 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.9
org.mlflow mlflow-spark 2.2.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.0
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap Alátéteket 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.9.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt teszt-interfész 1,0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-kompatibilis 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.threeten három-extra 1.7.1
org.tukaani xz 1,9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2,0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1,5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1