Databricks Runtime 15.0

  • Cikk

Az alábbi kibocsátási megjegyzések az Apache Spark 3.5.0 által működtetett Databricks Runtime 15.0-ról nyújtanak információkat.

A Databricks 2024 márciusában adta ki ezeket a képeket.

Kompatibilitástörő változások

Érvénytelen argumentumtípusok esetén a PySpark spark.sql() függvény nem működik

A Databricks Runtime 15.0-s és újabb verzióiban a args függvénynek átadott spark.sql() elnevezett vagy pozícióparaméterek paraméterének szótárnak vagy listának kell lennie. Ha bármilyen más objektumtípust ad át, a következő hibaüzenet jelenik meg: PySparkTypeError: [INVALID_TYPE] Argument `args` should not be a <arg_type>.

A tárak dbFS-gyökérben való tárolása alapértelmezés szerint elavult és le van tiltva

Az Azure Databricks-munkaterületen lévő kódtárak biztonságának javítása érdekében a tárfájlok dbFS-gyökérben való tárolása alapértelmezés szerint elavult és le van tiltva a Databricks Runtime 15.0-s verziójától kezdve. A Databricks azt javasolja, hogy töltse fel az összes kódtárat, beleértve a Python-kódtárakat, a JAR-fájlokat és a Spark-összekötőket, munkaterületfájlokba, Unity Catalog-kötetekbe vagy csomagtárakba. A kódtárak feltöltésével kapcsolatban lásd a Javaslatok.

A kódtárak DBFS-gyökérben való ismételt engedélyezéséhez állítsa be a következő Spark-konfigurációs paramétert: spark.databricks.driver.dbfsLibraryInstallationAllowed true.

Az alapértelmezett Python-verzió 3.10-ről 3.11-re frissül

A Databricks Runtime 15.0-s verziójával az alapértelmezett Python-verzió a 3.11.0. A frissített Python-kódtárak listáját a Kódtár frissítései című témakörben találja.

A JDK 11 el lett távolítva

A korábban bejelentett módon a JDK 11 el lesz távolítva a Databricks Runtime 15.0-s és újabb verzióiból. A Databricks azt javasolja, hogy a Databricks Runtime 15.0-s vagy újabb verziójára való frissítéskor frissítsen a JDK 17-re. Lásd: Databricks SDK for Java.

A Python REPL mostantól kecsesen leáll

A Databricks Runtime 15.0-val a jegyzetfüzet Python REPL-folyamata a kilépéskor kecsesen leáll. Ez az atexit horgok tiszteletét okozza. Egy több Python-jegyzetfüzetfeladatot tartalmazó munkafolyamatban például az első feladatban regisztrált atexit-horgok végrehajtása a második Python-jegyzetfüzet-feladat futtatása előtt történik.

Új funkciók és fejlesztések

A * (csillag) záradék mostantól támogatott a WHERE záradékban

Mostantól a záradékban szereplő WHERE csillag (*) záradék használatával hivatkozhat a SELECT lista összes oszlopára. Például: SELECT * FROM VALUES(1, 2) AS T(a1, a2) WHERE 1 IN(T.*).

A spark.sql.json.enablePartialResults konfiguráció alapértelmezés szerint engedélyezve van

A Spark-konfiguráció spark.sql.json.enablePartialResults alapértelmezés szerint engedélyezve van, így a JSON-elemző megfelelően kezelheti az olyan összetett típusok elemzési hibáit, mint a strukturálás, a leképezés és a tömb, a fennmaradó mezők elvetése nélkül. Ez a módosítás kijavít egy konzisztenciaproblémát az oszlopmetszettel rendelkező JSON-adatforrások esetében.

A fürttárak mostantól támogatják requirements.txt fájlokat

Most már telepítheti a fürttárakat egy requirements.txt munkaterületfájlban vagy Unity Catalog-kötetben tárolt fájl használatával. Az egyfelhasználós és a megosztott elérésű fürtökben a requirements.txt fájl hivatkozhat más fájlokra. Nincs elkülönítve megosztott hozzáférési módú fürt, csak a PyPI-csomagok támogatottak. Lásd: Fürtkódtárak.

A Databricks CLI már elérhető a webes terminálban

Most már használhatja a Databricks parancssori felületét a webes terminálból a jegyzetfüzetben. A jegyzetfüzetet egy fürthöz kell csatolni egyetlen felhasználóvalvagy nincs elkülönítési megosztott hozzáférési módban. További részletekért lásd: Webes terminál és Databricks parancssori felület használata.

Alapértelmezett Python-adattárak hozzáadása fürtkonfigurációkhoz

A Databricks Runtime 15.0-s és újabb verzióiban fürtök és jegyzetfüzetek hatókörébe tartozó kódtárak telepítésének globális pip index-url és extra-index-url paraméterei konfigurálhatók fürt konfigurálásakor vagy fürtszabályzat definiálásakor. Ehhez állítsa be a környezeti változókat DATABRICKS_PIP_INDEX_URL és DATABRICKS_PIP_EXTRA_INDEX_URLa .

Könyvtárfrissítések

  • Frissített Python-kódtárak:
    • fekete 22.6.0-tól 23.3.0-ra
    • boto3 1.24.28 és 1.34.39 között
    • botocore 1.27.96-tól 1.34.39-ig
    • minősítés 2022.12.7-től 2023.7.22-ig
    • titkosítás 39.0.1-től 41.0.3-ra
    • databricks-sdk 0.1.6-tól 0.20.0-ra
    • eloszlás 0,3,7-ről 0,3,8-ra
    • googleapis-common-protos 1.62.0 és 1.63.0 között
    • grpcio 1.48.2-től 1.60.0-ra
    • grpcio-status from 1.48.1 to 1.60.0
    • importlib-metadata 4.6.4-ről 6.0.0-ra
    • ipykernel 6.25.0 és 6.25.1 között
    • ipython 8.14.0-tól 8.15.0-ig
    • ipywidgets 7.7.2 és 8.0.4 között
    • jupyter_core 5.2.0-ról 5.3.0-ra
    • jupyterlab-widgetek 1.0.0 és 3.0.5 között
    • matplotlib 3.7.0 és 3.7.2 között
    • pandas 1.5.3-tól 2.0.3-ra
    • pip 22.3.1 és 23.2.1 között
    • platformdirs 2.5.2-től 3.10.0-ra
    • protobuf 4.24.0 és 4.24.1 között
    • pyarrow 8.0.0 és 14.0.1 között
    • Pygments 2.11.2-től 2.15.1-től
    • pyodbc 4.0.32-től 4.0.38-ig
    • 2.28.1 és 2.31.0 közötti kérelmek
    • s3transfer 0.6.2-től 0.10.0-ra
    • scikit-learn 1.1.1-től 1.3.0-ra
    • scipy from 1.10.0 to 1.11.1
    • setuptools 65.6.3-tól 68.0.0-ra
    • 0.13.5 és 0.14.0 közötti állapotok
    • 8.1.0 és 8.2.2 közötti kitartás
    • tornádó 6.1 és 6.3.2 között
    • typing_extensions 4.4.0 és 4.7.1 között
    • urllib3 1.26.14-től 1.26.16-osig
    • virtualenv 20.16.7-től 20.24.2-től
    • widgetsnbextension 3.6.1 és 4.0.5 között
    • zipp 1.0.0-ról 3.11.0-ra
  • Frissített R-kódtárak:
    • nyíl a 12.0.1-től a 14.0.0.2-hez
    • askpass 1.1 és 1.2.0 között
    • alap: 4.3.1–4.3.2
    • sör 1,0-8-1,0-10
    • brio 1.1.3 és 1.1.4 között
    • bslib 0.5.0 és 0.6.1 között
    • cli 3.6.1 és 3.6.2 között
    • commonmark from 1.9.0 to 1.9.1
    • fordító 4.3.1 és 4.3.2 között
    • config from 0.3.1 to 0.3.2
    • cpp11 0.4.4 és 0.4.7 között
    • hitelesítő adatok 1.3.2 és 2.0.1 között
    • curl 5.0.1-től 5.2.0-ra
    • data.table 1.14.8–1.15.0
    • 4.3.1 és 4.3.2 közötti adatkészletek
    • DBI 1.1.3 és 1.2.1 között
    • dbplyr 2.3.3-tól 2.4.0-ra
    • desc 1.4.2-től 1.4.3-ra
    • kivonat 0.6.33-tól 0.6.34-ig
    • dplyr 1.1.2 és 1.1.4 között
    • e1071 1,7-13-tól 1,7-14-hez
    • kiértékelés 0,21-ről 0,23-ra
    • fani 1.0.4-től 1.0.6-osig
    • fontawesome 0.5.1 és 0.5.2 között
    • fs 1.6.2–1.6.3
    • 1.33.0 és 1.33.1 között
    • future.apply from 1.11.0 to 1.11.1
    • gargle 1.5.1-től 1.5.2-től
    • gert 1.9.2 és 2.0.1 között
    • ggplot2 3.4.2 és 3.4.4 között
    • glmnet 4.1-7-től 4.1-8-ra
    • 1.6.2-ről 1.7.0-ra
    • 4.3.1 és 4.3.2 közötti grafikus elemek
    • grDevices 4.3.1 és 4.3.2 között
    • rács 4.3.1 és 4.3.2 között
    • 0.3.3-tól 0.3.4-ig
    • hardhat 1.3.0 és 1.3.1 között
    • 2.5.3 és 2.5.4 között
    • htmltoolok 0,5,5 és 0,5,7 között
    • htmlwidgets 1.6.2 és 1.6.4 között
    • httpuv 1.6.11-től 1.6.14-ig
    • httr 1.4.6–1.4.7
    • httr2 0.2.3–1.0.0
    • jsonlite 1.8.7-től 1.8.8-ra
    • knitr 1,43-tól 1,45-ig
    • címkézés 0.4.2-től 0.4.3-ra
    • 1.3.1 és 1.3.2 között
    • láva 1.7.2.1-től 1.7.3-ra
    • életciklus 1.0.3 és 1.0.4 között
    • figyelő 0.9.0-ról 0.9.1-re
    • lubridate 1.9.2-től 1.9.3-ra
    • markdown 1,7 és 1,12 között
    • 4.3.1–4.3.2.
    • 2.0.6 és 2.1.1 közötti megnyitás
    • 4.3.1 és 4.3.2 közötti párhuzamos
    • pkgbuild 1.4.2-től 1.4.3-ra
    • pkgload 1.3.2.1 és 1.3.4 között
    • 1.8.8 és 1.8.9 közötti rétegelt
    • prettyunits 1.1.1-től 1.2.0-ra
    • pROC 1.18.4 és 1.18.5 között
    • processx 3.8.2 és 3.8.3 között
    • prodlim 2023.03.31-től 2023.08.28-ra
    • előrehaladás 1.2.2-től 1.2.3-ra
    • progressr 0.13.0-ról 0.14.0-ra
    • ígéretek 1.2.0.1-től 1.2.1-ig
    • ps 1.7.5-től 1.7.6-osig
    • purrr 1.0.1 és 1.0.2 között
    • ragg 1.2.5 és 1.2.7 között
    • Rcpp 1.0.11 és 1.0.12 között
    • RcppEigen 0.3.3.9.3 és 0.3.3.9.4 között
    • olvasó a 2.1.4-től a 2.1.5-ösig
    • receptek 1.0.6-tól 1.0.9-ig
    • 1.0.1 és 2.0.0 közötti visszavágó
    • 2.4.2-től 2.4.2.1-hez
    • reprex 2.0.2-től 2.1.0-ra
    • rlang 1.1.1-től 1.1.3-ig
    • rmarkdown 2.23-tól 2.25-ig
    • RODBC 1.3-20-tól 1.3-23-ig
    • roxygen2 7.2.3-tól 7.3.1-ig
    • rprojroot 2.0.3-tól 2.0.4-ig
    • 1,8-11-től 1,8-13-ig
    • RSQLite 2.3.1 és 2.3.5 között
    • sass 0.4.6 és 0.4.8 között
    • skálázás 1.2.1-ről 1.3.0-ra
    • fényes 1.7.4.1-től 1.8.0-ra
    • sparklyr 1.8.1 és 1.8.4 között
    • splines from 4.3.1 to 4.3.2
    • 4.3.1 és 4.3.2 közötti statisztikák
    • stats4 from 4.3.1 to 4.3.2
    • stringi 1.7.12–1.8.3
    • sztring 1.5.0 és 1.5.1 között
    • systemfonts 1.0.4-től 1.0.5-ösig
    • tcltk 4.3.1 és 4.3.2 között
    • testthat 3.1.10–3.2.1
    • szövegformázás 0.3.6-tól 0.3.7-ig
    • 1.3.0-tól 1.3.1-től 1.3.1-től
    • timechange 0.2.0-ról 0.3.0-ra
    • timeDate 4022.108 és 4032.109 között
    • tinytex 0,45 és 0,49 között
    • 4.3.1 és 4.3.2 közötti eszközök
    • utf8 1.2.3 és 1.2.4 között
    • utils from 4.3.1 to 4.3.2
    • uuid 1.1-0-tól 1.2-0-ra
    • 0.6.3 és 0.6.5 közötti vctrs
    • vroom 1.6.3 és 1.6.5 között
    • waldo 0.5.1-től 0.5.2-től
    • 2.5.0-tól 3.0.0-ra
    • xfun 0,39 és 0,41 között
    • xml2 1.3.5-től 1.3.6-osig
    • yaml 2.3.7–2.3.8
    • zip 2.3.0 és 2.3.1 között
  • Frissített Java-kódtárak:
    • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 2.15.1-től 2.16.0-ra
    • com.google.flatbuffers.flatbuffers-java 1.12.0 és 23.5.26 között
    • com.typesafe.config 1.2.1 és 1.4.3 között
    • org.apache.ant.ant 1.9.16 és 1.10.11 között
    • org.apache.ant.ant-jsch 1.9.16 és 1.10.11 között
    • org.apache.ant.ant-launcher 1.9.16 és 1.10.11 között
    • org.apache.arrow.arrow-format 12.0.1–15.0.0
    • org.apache.arrow.arrow-memory-core 12.0.1 és 15.0.0 között
    • org.apache.arrow.arrow-memory-netty 12.0.1 és 15.0.0 között
    • org.apache.arrow.arrow-vector 12.0.1 és 15.0.0 között
    • org.apache.avro.avro 1.11.2 és 1.11.3 között
    • org.apache.avro.avro-ipc 1.11.2 és 1.11.3 között
    • org.apache.avro.avro-mapred from 1.11.2 to 1.11.3
    • org.apache.logging.log4j.log4j-1.2-api 2.20.0-tól 2.22.1-esig
    • org.apache.logging.log4j.log4j-api 2.20.0-tól 2.22.1-esig
    • org.apache.logging.log4j.log4j-core 2.20.0 és 2.22.1 között
    • org.apache.logging.log4j.log4j-slf4j2-impl 2.20.0 és 2.22.1 között
    • org.postgresql.postgresql 42.6.0-tól 42.6.1-ig

Apache Spark

A Databricks Runtime 15.0 tartalmazza az Apache Spark 3.5.0-t. Ez a kiadás tartalmazza a Databricks Runtime 14.3 LTS-ben található összes Spark-javítást és fejlesztést, valamint a Spark következő további hibajavításait és fejlesztéseit:

  • [SPARK-45527] [DBRRM-805] [ES-1073714] "[SC-151626][CORE] Az erőforrás-számításhoz használja a törtet"
  • [SPARK-47102] [DBRRM-803] [SC-158253] [SQL] A COLLATION_ENABLED konfigurációjelző hozzáadása
  • [SPARK-46973] [SC-158140] [DBRRM-777] [SQL] V2-tábla keresésének kihagyása, ha egy tábla az 1. V. tábla gyorsítótárában van
  • [SPARK-46808] [SC-154113] [PYTHON] Hibaosztályok pontosítása a Pythonban automatikus rendezési függvénnyel
  • [SPARK-47251] [SC-158291] [PYTHON] Érvénytelen típusok letiltása a args parancs argumentumából sql
  • [SPARK-47251] [SC-158121] [PYTHON] Érvénytelen típusok letiltása a args parancs argumentumából sql
  • [SPARK-47108] [SC-157204] [CORE] Beállítás derby.connection.requireAuthentication explicit false módon a CLI-kben
  • [SPARK-45599] [SC-157537] [CORE] Objektumegyenlőség használata az OpenHashSetben
  • [SPARK-47099] [SC-157352] [SQL] A ordinalNumber hibaosztály értékének paramIndex egységes beállítása UNEXPECTED_INPUT_TYPE
  • [SPARK-46558] [SC-151363] [CONNECT] Segédfüggvény kinyerése a beolvasott MessageParametersErrorParams duplikált kód eltávolításához GrpcExceptionConverter
  • [SPARK-43117] [SC-156177] [CONNECT] Ismétlődő ProtoUtils.abbreviate mezők támogatása
  • [SPARK-46342] [SC-150283] [SQL] Csere IllegalStateException az SparkException.internalError SQL-ben
  • [SPARK-47123] [SC-157412] [CORE] A JDBCRDD nem kezeli megfelelően a getQueryOutputSchema hibáit
  • [SPARK-47189] [SC-157667] [SQL] Oszlophibák neveinek és szövegének finomhangolása
  • [SPARK-45789] [SC-157101] [SQL] A DESCRIBE TABLE támogatása fürtözési oszlopokhoz
  • [SPARK-43256] [SC-157699] [SQL] _LEGACY_ERROR_TEMP_2021 hibaosztály eltávolítása
  • [SPARK-47201] [SC-157782] [PYTHON] [CONNECT] sameSemantics bemeneti típusok ellenőrzése
  • [SPARK-47183] [SC-157660] [PYTHON] Kijavítottuk a hibaosztályt a következőhöz: sameSemantics
  • [SPARK-47179] [SC-157663] [SQL] A SparkThrowableSuite hibaüzenetének javítása a jobb hibakeresés érdekében
  • [SPARK-46965] [SC-155791] [CORE] Bejelentkezés logTypeUtils.getLog
  • [SPARK-46832] [SC-156774] [SQL] A rendezési és rendezési kifejezések bemutatása
  • [SPARK-46946] [SC-155721] [SQL] Több szűrési kulcs közvetítésének támogatása a DynamicPruningben
  • [SPARK-47079] [VARIANT-22] [SC-157598] [PYTHON] [SQL] [CONNECT] Variant-típusadatok hozzáadása a PySparkhoz
  • [SPARK-47101] [SC-157360] [SQL] Vessző használatának engedélyezése felső szintű oszlopnevekben, és a beágyazott típusdefiníció eltávolítása a következőben: HiveExternalCatalog.verifyDataSchema
  • [SPARK-47173] [SC-157571] [SS] [Felhasználói felület] Elírás javítása a streamelési felhasználói felület magyarázatában
  • [SPARK-47113] [SC-157348] [CORE] A SPARK-35878 S3A végpontjavítási logikájának visszaállítása
  • [SPARK-47130] [SC-157462] [CORE] A listStatus használatával megkerülheti a blokk helyadatait az illesztőprogram-naplók tisztítása során
  • [SPARK-43259] [SC-157368] [SQL] Név hozzárendelése a _LEGACY_ERROR_TEMP_2024 hibaosztályhoz
  • [SPARK-47104] [SC-157355] [SQL] TakeOrderedAndProjectExec inicializálnia kell a nem biztonságos előrejelzést
  • [SPARK-47137] [SC-157463] [PYTHON] [CONNECT] GetAll hozzáadása a spark.conf szolgáltatás paritásához a Scalával
  • [SPARK-46924] [SC-154905] [CORE] Javítás Load New gomb a Master/HistoryServer Napló felhasználói felületén
  • [SPARK-47069] [SC-157370] [PYTHON] [CONNECT] Bevezetés spark.profile.show/dump a SparkSession-alapú profilkészítéshez
  • [SPARK-46812] [SC-157075] [SQL] [PYTHON] MapInPandas / mapInArrow támogatása ResourceProfile
  • [SPARK-46833] [SC-155866] [SQL] Rendezések – A CollationFactory bemutatása, amely összehasonlítási és kivonatolási szabályokat biztosít a támogatott rendezésekhez
  • [SPARK-47057] [SC-157036] [PYTHON] MyPy-adatteszt ismételt vizsgálata
  • [SPARK-46934] [SC-157084] [SQL] Olvasási/írási kerekítés speciális karakterekkel rendelkező struktúratípushoz HMS-sel
  • [SPARK-46727] [SC-153472] [SQL] Port classifyException() a JDBC-dialektusokban hibaosztályokon
  • [SPARK-46964] [SC-155740] [SQL] A hllInvalidLgK lekérdezés-végrehajtási hiba aláírásának módosítása egész szám 4. argumentumként való beírásához
  • [SPARK-46949] [SC-155719] [SQL] Char/VARCHAR támogatása a ResolveDefaultColumns segítségével
  • [SPARK-46972] [SC-155888] [SQL] A karakter/varchar aszimmetrikus pótlásának javítása a V2SessionCatalog.createTable alkalmazásban
  • [SPARK-47014] [SC-156778] [PYTHON] [CONNECT] A SparkSession dumpPerfProfiles és dumpMemoryProfiles metódusainak implementálása
  • [SPARK-46689] [SC-156221] [SPARK-46690] [PYTHON] [CONNECT] V2-profilkészítés támogatása a csoport/csoport applyInPandas/applyInArrow csoport-/társcsoportban
  • [SPARK-47040] [SC-156773] [CONNECT] A Spark Csatlakozás kiszolgálói szkript várakozásának engedélyezése
  • [SPARK-46688] [SC-156113] [SPARK-46691] [PYTHON] [CONNECT] V2-profilkészítés támogatása összesített Pandas UDF-ekben
  • [SPARK-47004] [SC-156499] [CONNECT] További tesztek hozzáadva a ClientStreamingQuerySuite-hoz a Scala ügyfélteszt-lefedettségének növelése érdekében
  • [SPARK-46994] [SC-156169] [PYTHON] A PythonWrite újrabontása a Python-adatforrások írásának támogatásához
  • [SPARK-46979] [SC-156587] [SS] A kulcs- és értékkódoló külön-külön, valamint a RocksDB állapottároló-szolgáltató minden colcsaládjának támogatásának hozzáadása
  • [SPARK-46960] [SC-155940] [SS] Több bemeneti adatfolyamok tesztelése TransformWithState operátorral
  • [SPARK-46966] [SC-156112] [Python] Adja hozzá az UDTF API-t az "elemzési" módszerhez a kiválasztott bemeneti táblaoszlopok részhalmazának jelzéséhez
  • [SPARK-46895] [SC-155950] [CORE] Időzítő cseréje egyszálas ütemezett végrehajtóra
  • [SPARK-46967] [SC-155815] [CORE] [Felhasználói felület] Végrehajtók elrejtése Thread Dump a Heap HistogramDead felhasználói felületen Executors
  • [SPARK-46512] [SC-155826] [CORE] A rendezés és az összevonás használatakor optimalizálhatja az elegyes olvasást.
  • [SPARK-46958] [SC-155942] [SQL] Hiányzó időzónák hozzáadása az alapértelmezett értékek kényszerítéséhez
  • [SPARK-46754] [SC-153830] [SQL] [AVRO] Tömörítési kódfeloldás javítása az avro tábladefinícióban és írási beállításokban
  • [SPARK-46728] [SC-154207] [PYTHON] Ellenőrizze a Pandas megfelelő telepítését
  • [SPARK-43403] [SC-154216] [Felhasználói felület] Győződjön meg arról, hogy a régi SparkUI leválasztva lett a HistoryServerben, mielőtt betöltené az újat
  • [SPARK-39910] [SC-156203] [SQL] Elérési út minősítésének delegálása fájlrendszerbe a DataSource-fájl elérési útjának lecsúszása során
  • [SPARK-47000] [SC-156123] Visszaállítás "[SC-156123][CORE] Használja getTotalMemorySize...
  • [SPARK-46819] [SC-154560] [CORE] Hibakategóriák és állapotok áthelyezése JSON-ba
  • [SPARK-46997] [SC-156175] [CORE] Engedélyezés spark.worker.cleanup.enabled alapértelmezés szerint
  • [SPARK-46865] [SC-156168] [SS] Batch-támogatás hozzáadása a TransformWithState operátorhoz
  • [SPARK-46987] [SC-156040] [CONNECT] ProtoUtils.abbreviate a szükségtelen setField művelet elkerülése
  • [SPARK-46970] [SC-155816] [CORE] Újraírás OpenHashSet#hasher a pattern matching
  • [SPARK-46984] [SC-156024] [PYTHON] Pyspark.copy_func eltávolítása
  • [SPARK-47000] [SC-156123] [CORE] Használat a következőben getTotalMemorySize : WorkerArguments
  • [SPARK-46980] [SC-155914] [SQL] [AL] Kerülje a belső API-k használatát a dataframe végpontok közötti tesztekben
  • [SPARK-46931] "[SC-155661][PS] Implementálás {Frame, Series}.to_hdf" visszaállítása
  • [SPARK-46618] [SC-153828] [SQL] DATA_SOURCE_NOT_FOUND hiba esetén megjelenő hibaüzenetek javítása
  • [SPARK-46849] [SC-154586] [SQL] Az optimalizáló futtatása a CREATE TABLE oszlop alapértelmezett értékén
  • [SPARK-46911] [SC-155724] [SS] DeleteIfExists operátor hozzáadása a StatefulProcessorHandleImplhez
  • [SPARK-43273] [SQL] A Parquet tömörítési kodekének támogatása lz4raw
  • [SPARK-47002] [SC-156223] [Python] Jobb hibaüzenetet ad vissza, ha az UDTF "analyze" metódus "orderBy" mezője véletlenül visszaadja a sztringek listáját
  • [SPARK-46890] [SC-155802] [SQL] A CSV-elemzési hiba javítása a létezés alapértelmezett értékeivel és az oszlopmetszettel
  • [SPARK-46977] [SC-155892] [CORE] Egy névcsomópont jogkivonatának lekérésére vonatkozó sikertelen kérés nem hagyhatja ki a további jogkivonat-kéréseket
  • [SPARK-46608] [SC-151806] [SQL] A rendszer visszamenőleges kompatibilitásának visszaállítása JdbcDialect.classifyException
  • [SPARK-46908] [SC-155702] [SQL] Támogatási csillag záradék a WHERE záradékban
  • [SPARK-46908] [SC-155702] [SQL] Támogatási csillag záradék a WHERE záradékban
  • [SPARK-46852] [SC-155665] [SS] Távolítsa el az explicit kulcskódoló használatát, és implicit módon adja át az operátornak a transformWithState operátor számára
  • [SPARK-46864] [SC-155669] [SS] Tetszőleges StateV2 előkészítése új hibaosztály-keretrendszerre
  • [SPARK-45807] [SC-155706] [SQL] Visszatérési nézet a replaceView(..) hívása után
  • [SPARK-46899] [SC-154651] [CORE] API-k eltávolítása POST a spark.ui.killEnabledMasterWebUIfalse
  • [SPARK-46868] [SC-154539] [CORE] Spark-feldolgozói napló felhasználói felületének támogatása
  • [SPARK-46931] [SC-155661] [PS] Végrehajtása {Frame, Series}.to_hdf
  • [SPARK-46940] [SC-155667] [CORE] A nem használt updateSparkConfigFromProperties és isAbsoluteURI a o.a.s.u.Utils
  • [SPARK-46929] [SC-155659] [CORE] [CONNECT] [SS] Szálkészletek bezárása a ThreadUtils.shutdown használatával
  • [SPARK-46400] [SC-155658] [CORE] [SQL] Ha sérült fájlok találhatók a helyi maven-adattárban, hagyja ki ezt a gyorsítótárat, és próbálkozzon újra
  • [SPARK-46932] [SC-155655] A behozatal törlése a következő helyen: pyspark.pandas.test_*
  • [SPARK-46683] [SC-154120] Allekérdezési generátor írása, amely allekérdezések permutációit generálja a tesztelési lefedettség növelése érdekében
  • [SPARK-46914] [SC-154776] [Felhasználói felület] Az alkalmazás nevének rövidítése az Előzmények lap összefoglaló táblájában
  • [SPARK-46831] [SC-154699] [SQL] Rendezések – StringType és PhysicalStringType kiterjesztése collationId mezővel
  • [SPARK-46816] [SC-154415] [SS] Alaptámogatás hozzáadása új tetszőleges állapotkezelő operátorhoz, egyetlen értékState-típushoz, több állapotváltozóhoz és a RocksDBStateStoreProvider oszlopcsaládjaihoz a változásnapló-ellenőrzőpontokkal vagy anélkül
  • [SPARK-46925] [SC-154890] [PYTHON] [CONNECT] Figyelmeztetés hozzáadása, amely arra utasítja, hogy telepítse a memory_profiler memóriaprofilozáshoz
  • [SPARK-46927] [SC-154904] [PYTHON] Megfelelő munka a assertDataFrameEqual PyArrow nélkül
  • [SPARK-46021] [SC-148987] [CORE] Támogatás egy feladatcsoporthoz tartozó jövőbeli feladatok megszakításához
  • [SPARK-46747] [SC-154789] [SQL] A getTableExistsQuery for JDBC dialects vizsgálatának elkerülése
  • [SPARK-46904] [SC-154704] [Felhasználói felület] Az előzmények felhasználói felületének összegzésével kapcsolatos megjelenítési probléma javítása
  • [SPARK-46870] [SC-154541] [CORE] Spark-főnapló felhasználói felületének támogatása
  • [SPARK-46893] [SC-154780] [Felhasználói felület] Beágyazott szkriptek eltávolítása a felhasználói felület leírásából
  • [SPARK-46910] [SC-154760] [PYTHON] A JDK-követelmény kiküszöbölése a PySpark telepítésében
  • [SPARK-46907] [SC-154736] [CORE] Illesztőprogram-napló helyének megjelenítése a Spark History Serverben
  • [SPARK-46902] [SC-154661] [Felhasználói felület] A Spark History Server felhasználói felületének javítása a nem exportált setAppLimit használatához
  • [SPARK-46687] [SC-154725] [PYTHON] [CONNECT] A SparkSession-alapú memóriaprofilozó alapszintű támogatása
  • [SPARK-46623] [SC-153831] [CORE] [MLLIB] [SQL] A SimpleDateFormat cseréje DateTimeFormatterre
  • [SPARK-46875] [SC-154627] [SQL] mode Null érték esetén a NullPointExceptionnot
  • [SPARK-46872] [SC-154543] [CORE] Helyreállítás log-view.js modulon kívülire
  • [SPARK-46883] [SC-154629] [CORE] Támogatási /json/clusterutilization API
  • [SPARK-46886] [SC-154630] [CORE] Engedélyezés spark.ui.prometheus.enabled alapértelmezés szerint
  • [SPARK-46873] [SC-154638] [SS] Ne hozza létre újra az új StreamingQueryManagert ugyanahhoz a Spark-munkamenethez
  • [SPARK-46829] [SC-154419] [CORE] CreateExecutorEnv eltávolítása a SparkEnvből
  • [SPARK-46827] [SC-154280] [CORE] Szimbolikus RocksDBPersistenceEngine hivatkozás támogatása
  • [SPARK-46903] [SC-154662] [CORE] A Spark-előzmények kiszolgálói napló felhasználói felületének támogatása
  • [SPARK-46874] [SC-154646] [PYTHON] Függőség eltávolítása pyspark.pandas a assertDataFrameEqual
  • [SPARK-46889] [SC-154639] [CORE] Beállítás ellenőrzése spark.master.ui.decommission.allow.mode
  • [SPARK-46850] [SC-154443] [SQL] Konvertálás _LEGACY_ERROR_TEMP_2102 UNSUPPORTED_DATATYPE
  • [SPARK-46704] [SC-153323] [CORE] [Felhasználói felület] Javítás MasterPage a táblázat oszlop szerinti Duration megfelelő rendezéséhez Running Drivers
  • [SPARK-46796] [SC-154279] [SS] Győződjön meg arról, hogy a megfelelő távoli fájlokat (metadata.zip) használják a RocksDB-verzió betöltésekor
  • [SPARK-46888] [SC-154636] [CORE] Javítás Master a kérelmek elutasításához /workers/kill/ , ha a leszerelés le van tiltva
  • [SPARK-46818] [SC-154422] [SQL] A tartomány hibaüzeneteinek javítása nem összecsukható bemenetekkel
  • [SPARK-46898] [SC-154649] [CONNECT] A protobuf függvény transzformációjának egyszerűsítése a Plannerben
  • [SPARK-46828] [SC-154413] [SQL] A Spark SQL Shell távoli üzemmódjának érvénytelen állításának eltávolítása
  • [SPARK-46733] [SC-154274] [CORE] A BlockManager egyszerűsítése a kilépési művelettel csak a megszakítási száltól függ.
  • [SPARK-46777] [SC-154016] [SS] A katalizátor szerkezetének újrabontása StreamingDataSourceV2Relation a batch-verzióval való jobban megfeleltethető
  • [SPARK-46515] [SC-151716] MONTHNAME függvény hozzáadása
  • [SPARK-46823] [SC-154276] [CONNECT] [PYTHON] LocalDataToArrowConversion ellenőriznie kell a nullitást
  • [SPARK-46787] [SC-154404] [CONNECT] bloomFilter függvénynek érvénytelen bemenetet kell megadnia AnalysisException
  • [SPARK-46779] [SC-154045] [SQL] InMemoryRelation ugyanazon gyorsítótárazott csomag példányainak szemantikailag egyenértékűnek kell lenniük
  • [SPARK-45827] [SC-153973] Particionálás letiltása a Variant oszlopban
  • [SPARK-46797] [SC-154085] [CORE] Átnevezés spark.deploy.spreadOut : spark.deploy.spreadOutApps
  • [SPARK-46094] [SC-153421] A végrehajtó JVM-profilkészítésének támogatása
  • [SPARK-46746] [SC-153557] [SQL] [AVRO] Kodekkiterjesztés csatolása avro-adatforrásfájlokhoz
  • [SPARK-46698] [SC-153288] [CORE] Cserélje le az időzítőt egyszálas ütemezett végrehajtóra a ConsoleProgressBarhoz.
  • [SPARK-46629] [SC-153835] Javítás a STRUCT típusú DDL-hez, amely nem veszi fel a null értéket és a megjegyzést
  • [SPARK-46750] [SC-153772] [CONNECT] [PYTHON] DataFrame API-k kód törlése
  • [SPARK-46769] [SC-153979] [SQL] Időbélyeggel kapcsolatos sémakövetkeztetés pontosítása
  • [SPARK-46765] [SC-153904] [PYTHON] [CONNECT] Adja meg shuffle a következő adattípust: seed
  • [SPARK-46579] [SC-151481] [SQL] JDBC URL-címének újbóli létrehozása hibákban és naplókban
  • [SPARK-46686] [SC-153875] [PYTHON] [CONNECT] A SparkSession-alapú Python UDF-profilkészítő alapszintű támogatása
  • [SPARK-46748] "[SC-153800][CORE] A scri eltávolítása *slave*.sh ...
  • [SPARK-46707] [SC-153833] [SQL] Dobható mező hozzáadva a kifejezésekhez a predikátum leküldésének javítása érdekében
  • [SPARK-46519] [SC-151278] [SQL] Nem használt hibaosztályok törlése a fájlból error-classes.json
  • [SPARK-46677] [SC-153426] [SQL] [CONNECT] Megoldás javítása dataframe["*"]
  • [SPARK-46317] [SC-150184] [PYTHON] [CONNECT] Kisebb viselkedések egyeztetése a SparkSessionben teljes tesztelési lefedettséggel
  • [SPARK-46748] [SC-153800] [CORE] Szkriptek eltávolítása *slave*.sh
  • [SPARK-46663] [SC-153490] [PYTHON] Memóriaprofilozó letiltása pandas UDF-ekhez iterátorokkal
  • [SPARK-46410] [SC-150776] [SQL] Hibaosztályok/alosztályok hozzárendelése a JdbcUtils.classifyExceptionhez
  • [SPARK-46277] [SC-150126] [PYTHON] Indítási URL-címek ellenőrzése a beállított konfigurációval
  • [SPARK-46612] [SC-153536] [SQL] Ne konvertálja a jdbc-illesztőből lekért tömbtípus-sztringet
  • [SPARK-46254] [SC-149788] [PYTHON] Elavult Python 3.8/3.7 verzióellenőrzés eltávolítása
  • [SPARK-46490] [SC-151335] [SQL] Hibaosztályok megkövetelése alosztályokban SparkThrowable
  • [SPARK-46383] [SC-153274] [SC-147443] [WARMFIX] Az illesztőprogram halomhasználatának csökkentése a TaskInfo.accumulables()
  • [SPARK-46541] [SC-153109] [SQL] [CONNECT] A nem egyértelmű oszlophivatkozás javítása az önillesztés során
  • [SPARK-46381] [SC-150495] [SQL] Alosztályok migrálása AnalysisException hibaosztályokra
  • [SPARK-46351] [SC-150335] [SQL] Hibaosztály megkövetelése a következőben: AnalysisException
  • [SPARK-46220] [SC-149689] [SQL] A karakterkészletek korlátozása a következőben: decode()
  • [SPARK-46369] [SC-150340] [CORE] Hivatkozás eltávolítása kill az illesztőprogramokból RELAUNCHING a következőben: MasterPage
  • [SPARK-46052] [SC-153284] [CORE] A TaskScheduler.killAllTaskAttempts függvény eltávolítása
  • [SPARK-46536] [SC-153164] [SQL] A GROUP BY calendar_interval_type támogatása
  • [SPARK-46675] [SC-153209] [SQL] A parquetReadSupport nem használt inferTimestampNTZ eltávolítása
  • [SPARK-46717] [SC-153423] [CORE] A kilépési művelet egyszerűsítése ReloadingX509TrustManager csak a megszakítási száltól függ.
  • [SPARK-46722] [SC-153438] [CONNECT] A StreamQueryListener visszafelé való kompatibilitásának ellenőrzésére vonatkozó teszt hozzáadása a Spark Csatlakozás -ban (Scala/PySpark)
  • [SPARK-46187] [SC-149580] [SQL] Kodenáris és nem codegen implementáció igazítása StringDecode
  • [SPARK-46258] [SC-149799] [CORE] Hozzáadása RocksDBPersistenceEngine
  • [SPARK-46216] [SC-149676] [CORE] Fejlesztés FileSystemPersistenceEngine a tömörítések támogatásához
  • [SPARK-46189] [SC-149567] [PS] [SQL] Különböző Pandas-összesítő függvények azonos típusai közötti összehasonlítások és aritmetika végrehajtása az értelmezett mód hibáinak elkerülése érdekében
  • [SPARK-46184] [SC-149563] [CORE] [SQL] [CONNECT] [MLLIB] A veremmélység csökkentése az Option.isDefined alt.isEmpty helyére
  • [SPARK-46700] [SC-153329] [CORE] A bájtokat kiömlő shuffle lemez utolsó kiömlésével kapcsolatos metrika megszámlálása
  • [SPARK-45642] [SC-150286] [CORE] [SQL] Erősít FileSystem.isFile & FileSystem.isDirectory is deprecated
  • [SPARK-46640] [SC-153272] [SQL] A RemoveRedundantAlias javítása a subquery attribútumok kizárásával
  • [SPARK-46681] [SC-153287] [CORE] Újrabontás ExecutorFailureTracker#maxNumExecutorFailures a számítás defaultMaxNumExecutorFailures elkerülése érdekében, ha MAX_EXECUTOR_FAILURES konfigurálva van
  • [SPARK-46695] [SC-153289] [SQL] [HIVE] A hive.execution.engine beállítása mindig mr értékre
  • [SPARK-46325] [SC-150228] [CONNECT] Szükségtelen felülbírálási WrappedCloseableIterator függvények eltávolítása a ResponseValidator#wrapIterator
  • [SPARK-46232] [SC-149699] [PYTHON] Migrálja az összes fennmaradó ValueErrort a PySpark hibakeretébe.
  • [SPARK-46547] [SC-153174] [SS] A karbantartási feladat nem végzetes kivételének lenyelése a karbantartási szál és a streamelési aggregációs operátor közötti holtpont elkerülése érdekében
  • [SPARK-46169] [SC-149373] [PS] Rendeljen hozzá megfelelő JIRA-számokat az API-ból DataFrame hiányzó paraméterekhez.
  • [SPARK-45857] [SC-148096] [SQL] A hibaosztályok kényszerítése a következő alosztályokban: AnalysisException

Databricks ODBC/JDBC illesztőprogram támogatása

A Databricks támogatja az elmúlt 2 évben kiadott ODBC/JDBC-illesztőprogramokat. Töltse le a nemrég kiadott illesztőprogramokat és frissítsen (töltse le az ODBC-t, töltse le a JDBC-t).

Rendszerkörnyezet

  • Operációs rendszer: Ubuntu 22.04.4 LTS
  • Java: Zulu 8.74.0.17-CA-linux64
  • Scala: 2.12.15
  • Python: 3.11.0
  • R: 4.3.2
  • Delta Lake: 3.1.0

Telepített Python-kódtárak

Könyvtár Verzió Könyvtár Verzió Könyvtár Verzió
asttokens 2.0.5 astunparse 1.6.3 azure-core 1.30.1
azure-storage-blob 12.19.1 azure-storage-file-datalake 12.14.0 backcall 0.2.0
Fekete 23.3.0 villogó 1.4 boto3 1.34.39
botocore 1.34.39 cachetools 5.3.3 minősítés 2023.7.22
cffi 1.15.1 karakterkészlet 4.0.0 charset-normalizer 2.0.4
kattintás 8.0.4 cloudpickle 2.2.1 Comm 0.1.2
contourpy 1.0.5 Titkosítás 41.0.3 cycler 0.11.0
Cython 0.29.32 databricks-sdk 0.20.0 dbus-python 1.2.18
hibakeresés 1.6.7 Dekoratőr 5.1.1 distlib 0.3.8
belépési pontok 0,4 Végrehajtó 0.8.3 aspektusok áttekintése 1.1.1
filelock 3.13.1 betűtípusok 4.25.0 gitdb 4.0.11
GitPython 3.1.42 google-api-core 2.17.1 google-hitelesítés 2.28.2
google-cloud-core 2.4.1 google-cloud-storage 2.15.0 google-crc32c 1.5.0
google-resumable-media 2.7.0 googleapis-common-protos 1.63.0 grpcio 1.60.0
grpcio-status 1.60.0 httplib2 0.20.2 idna 3.4
importlib-metadata 6.0.0 ipyflow-core 0.0.198 ipykernel 6.25.1
ipython 8.15.0 ipywidgets 8.0.4 isodate 0.6.1
Jedi 0.18.1 Jeepney 0.7.1 jmespath 0.10.0
joblib 1.2.0 jupyter_client 7.4.9 jupyter_core 5.3.0
jupyterlab-widgetek 3.0.5 Kulcstartó 23.5.0 kiwisolver 1.4.4
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
matplotlib 3.7.2 matplotlib-inline 0.1.6 mlflow-skinny 2.11.1
more-itertools 8.10.0 mypy-extensions 0.4.3 nest-asyncio 1.5.6
numpy 1.23.5 oauthlib 3.2.0 Csomagolás 23.2
pandas 2.0.3 parso 0.8.3 pathspec 0.10.3
Patsy 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Párna 9.4.0 Pip 23.2.1 platformdirs 3.10.0
ábrázolás 5.9.0 prompt-toolkit 3.0.36 protobuf 4.24.1
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 pyarrow 14.0.1 pyasn1 0.4.8
pyasn1-modules 0.2.8 pyccolo 0.0.52 pycparser 2.21
pydantic 1.10.6 Pygments 2.15.1 PyGObject 3.42.1
PyJWT 2.3.0 pyodbc 4.0.38 pyparsing 3.0.9
python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1 pytz 2022.7
PyYAML 6,0 pyzmq 23.2.0 kérelmek 2.31.0
Rsa 4.9 s3transfer 0.10.0 scikit-learn 1.3.0
scipy 1.11.1 tengeri 0.12.2 SecretStorage 3.3.1
setuptools 68.0.0 Hat 1.16.0 smmap 5.0.1
sqlparse 0.4.4 ssh-import-id 5,11 veremadatok 0.2.0
statsmodels 0.14.0 Kitartás 8.2.2 threadpoolctl 2.2.0
tokenize-rt 4.2.1 Tornádó 6.3.2 árulók 5.7.1
typing_extensions 4.7.1 tzdata 2022.1 ujson 5.4.0
felügyelet nélküli frissítések 0,1 urllib3 1.26.16 virtualenv 20.24.2
wadllib 1.3.6 wcwidth 0.2.5 Kerék 0.38.4
widgetsnbextension 4.0.5 zipp 3.11.0

Telepített R-kódtárak

Az R-kódtárak a Posit Csomagkezelő CRAN-pillanatképből vannak telepítve 2023.02.10-én.

Könyvtár Verzió Könyvtár Verzió Könyvtár Verzió
nyíl 14.0.0.2 askpass 1.2.0 assertthat 0.2.1
Backports 1.4.1 alap 4.3.2 base64enc 0.1-3
bigD 0.2.0 Kicsit 4.0.5 bit64 4.0.5
bitops 1.0-7 blob 1.2.4 indítás 1.3-28
Sört 1.0-10 Brio 1.1.4 Seprű 1.0.5
bslib 0.6.1 gyorsítótár 1.0.8 hívó 3.7.3
Billentyűzettel 6.0-94 cellranger 1.1.0 chron 2.3-61
osztály 7.3-22 Cli 3.6.2 clipr 0.8.0
Óra 0.7.0 Fürt 2.1.4 kódtoolok 0.2-19
színtér 2.1-0 commonmark 1.9.1 Fordító 4.3.2
config 0.3.2 Ütközött 1.2.0 cpp11 0.4.7
Zsírkréta 1.5.2 hitelesítő adatok 2.0.1 Curl 5.2.0
data.table 1.15.0 adatkészletek 4.3.2 DBI 1.2.1
dbplyr 2.4.0 Desc 1.4.3 devtools 2.4.5
diagram 1.6.5 diffobj 0.3.5 Digest 0.6.34
levilágított 0.4.3 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 három pont 0.3.2 evaluate 0.23
fani 1.0.6 farver 2.1.1 gyorstérkép 1.1.1
fontawesome 0.5.2 forcats 1.0.0 foreach 1.5.2
Külföldi 0.8-85 Forge 0.2.0 Fs 1.6.3
Jövőben 1.33.1 future.apply 1.11.1 Gargarizál 1.5.2
Generikus 0.1.3 Gert 2.0.1 ggplot2 3.4.4
Gh 1.4.0 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 Globals 0.16.2 Ragasztó 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 Gower 1.0.1
grafika 4.3.2 grDevices 4.3.2 Rács 4.3.2
gridExtra 2.3 gsubfn 0,7 Gt 0.10.1
gtable 0.3.4 hardhat 1.3.1 Haven 2.5.4
highr 0.10 Hms 1.1.3 htmltoolok 0.5.7
htmlwidgets 1.6.4 httpuv 1.6.14 httr 1.4.7
httr2 1.0.0 Azonosítók 1.0.1 Ini 0.3.1
ipred 0.9-14 izoband 0.2.7 iterátorok 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 juicyjuice 0.1.0
KernSmooth 2.23-21 knitr 1.45 Címkézés 0.4.3
Később 1.3.2 Rács 0.21-8 Láva 1.7.3
életciklus 1.0.4 figyelő 0.9.1 lubridate 1.9.3
magrittr 2.0.3 markdown 1.12 MASS 7.3-60
Mátrix 1.5-4.1 memoise 2.0.1 metódusok 4.3.2
mgcv 1.8-42 Mime 0,12 miniUI 0.1.1.1
mlflow 2.10.0 ModelMetrics 1.2.2.2 modellező 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8-1.1 Openssl 2.1.1 parallel 4.3.2
párhuzamosan 1.36.0 Pillér 1.9.0 pkgbuild 1.4.3
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.4
plogr 0.2.0 rétegelt 1.8.9 Dicséret 1.0.0
prettyunits 1.2.0 Proc 1.18.5 processx 3.8.3
prodlim 2023.08.28 profvis 0.3.8 Haladás 1.2.3
progressr 0.14.0 Ígér 1.2.1 Proto 1.0.0
Proxy 0.4-27 Ps 1.7.6 purrr 1.0.2
R6 2.5.1 ragg 1.2.7 randomForest 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.12 RcppEigen 0.3.3.9.4 Reactable 0.4.4
reactR 0.5.0 olvasó 2.1.5 readxl 1.4.3
receptek 1.0.9 Visszavágót 2.0.0 visszavágó2 2.1.2
Távirányító 2.4.2.1 reprex 2.1.0 újraformázás2 1.4.4
rlang 1.1.3 rmarkdown 2.25 RODBC 1.3-23
roxygen2 7.3.1 rpart 4.1.21 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.5 rstudioapi 0.15.0
rversions 2.1.2 rvest 1.0.3 Sass 0.4.8
Mérlegek 1.3.0 választó 0.4-2 sessioninfo 1.2.2
Alakzat 1.4.6 Fényes 1.8.0 sourcetools 0.1.7-1
sparklyr 1.8.4 Térbeli 7.3-15 splines 4.3.2
sqldf 0.4-11 NÉGYZET 2021.1 Statisztika 4.3.2
statisztikák4 4.3.2 stringi 1.8.3 sztring 1.5.1
Túlélési 3.5-5 swagger 3.33.1 sys 3.4.2
systemfonts 1.0.5 tcltk 4.3.2 testthat 3.2.1
szövegformázás 0.3.7 tibble 3.2.1 tidyr 1.3.1
tidyselect 1.2.0 tidyverse 2.0.0 timechange 0.3.0
timeDate 4032.109 tinytex 0,49 eszközök 4.3.2
tzdb 0.4.0 urlchecker 1.0.1 usethis 2.2.2
utf8 1.2.4 eszközök 4.3.2 uuid 1.2-0
V8 4.4.1 vctrs 0.6.5 viridisLite 0.4.2
vroom 1.6.5 Waldo 0.5.2 bajusz 0.4.1
withr 3.0.0 xfun 0.41 xml2 1.3.6
xopen 1.0.0 xtable 1.8-4 Yaml 2.3.8
zeallot 0.1.0 Zip 2.3.1

Telepített Java- és Scala-kódtárak (Scala 2.12-fürtverzió)

Csoportazonosító Összetevő azonosítója Verzió
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics Patak 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.17.1
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml Osztálytárs 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.koffein Koffein 2.9.3
com.github.fommil jniloader 1,1
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java 1.1-natívok
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java 1.1-natívok
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natívok
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natívok
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink Csellengő 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 23.5.26
com.google.guava Guava 15,0
com.google.protobuf protobuf-java 2.6.1
com.helger Profiler 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEA Standard kiadás
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1,5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-naplózás commons-naplózás 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib Blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,25
io.delta delta-sharing-client_2.12 1.0.4
io.dropwizard.metrics metrics-annotation 4.2.19
io.dropwizard.metrics metrikamag 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-zokni 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Kollektor 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktiválás 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine Lé 1.3
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow nyílformátum 15.0.0
org.apache.arrow nyíl-memóriamag 15.0.0
org.apache.arrow nyíl-memória-netty 15.0.0
org.apache.arrow nyíl-vektor 15.0.0
org.apache.avro avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator kurátor-ügyfél 2.13.0
org.apache.curator kurátor-keretrendszer 2.13.0
org.apache.curator kurátor-receptek 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy Ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus célközönség-széljegyzetek 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-juta 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-collections 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty móló-folytatás 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty móló plusz 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-lokátor 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Végleges
org.jdbi jdbi 2.63.1
org.jetbrains Széljegyzetek 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap Alátéteket 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt teszt-interfész 1,0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-kompatibilis 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten három-extra 1.7.1
org.tukaani xz 1,9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2,0
Oro Oro 2.0.8
pl.edu.icm JLargeArrays 1,5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1