Databricks Runtime 14.0 (stöds inte)

  • Artikel

Följande viktig information innehåller information om Databricks Runtime 14.0, som drivs av Apache Spark 3.5.0.

Databricks släppte dessa bilder i september 2023.

Nya funktioner och förbättringar

Förutsägande I/O för uppdateringar är GA

Prediktiv I/O för uppdateringar är nu allmänt tillgängligt. Se Vad är förutsägande I/O?.

Borttagningsvektorer är GA

Borttagningsvektorer är nu allmänt tillgängliga. Se Vad är borttagningsvektorer?.

Spark 3.5.0 är GA

Apache Spark 3.5.0 är nu allmänt tillgängligt. Se Spark Version 3.5.0.

Offentlig förhandsversion för användardefinierade tabellfunktioner för Python

Med användardefinierade tabellfunktioner (UDF: er) kan du registrera funktioner som returnerar tabeller i stället för skalära värden. Se Vad är användardefinierade tabellfunktioner i Python?.

Offentlig förhandsversion för samtidighet på radnivå

Samtidighet på radnivå minskar konflikterna mellan samtidiga skrivåtgärder genom att identifiera ändringar på radnivå och automatiskt matcha konkurrerande ändringar i samtidiga skrivningar som uppdaterar eller tar bort olika rader i samma datafil. Se Skriva konflikter med samtidighet på radnivå.

Den aktuella arbetskatalogen har ändrats som standard

Standardkatalogen för aktuell arbetskatalog (CWD) för kod som körs lokalt är nu katalogen som innehåller anteckningsboken eller skriptet som körs. Detta inkluderar kod som och Python- eller R-kod som %sh inte använder Spark. Se Vad är standardkatalogen för aktuell arbetskatalog?.

Känt problem med sparklyr

Den installerade versionen av sparklyr paketet (version 1.8.1) är inte kompatibel med Databricks Runtime 14.0. Om du vill använda sparklyrinstallerar du version 1.8.3 eller senare.

Introduktion till Spark Anslut i arkitektur för delat kluster

Med Databricks Runtime 14.0 och senare använder delade kluster nu Spark Anslut med Spark-drivrutinen från Python REPL som standard. Interna Spark-API:er är inte längre tillgängliga från användarkoden.

Spark Anslut interagerar nu med Spark-drivrutinen från REPL i stället för den äldre REPL-integreringen.

Visa en lista över tillgängliga API-uppdateringar för Spark-versioner

Aktivera Photon genom att ange runtime_engine = PHOTONoch aktivera aarch64 genom att välja en gravitoninstanstyp. Azure Databricks anger rätt Databricks Runtime-version. Tidigare skulle Spark-versions-API:et returnera implementeringsspecifika körningar för varje version. Se GET /api/2.0/clusters/spark-versions i REST API-referensen.

Icke-bakåtkompatibla ändringar

I Databricks Runtime 14.0 och senare använder kluster med läget för delad åtkomst Spark Anslut för kommunikation mellan klient och server. Detta inkluderar följande ändringar.

Mer information om begränsningar i läget för delad åtkomst finns i Begränsningar för beräkningsåtkomstläge för Unity Catalog.

Python i kluster med läget för delad åtkomst

  • sqlContext är inte tillgängligt. Azure Databricks rekommenderar att du använder variabeln spark för instansen SparkSession .
  • Spark-kontext (sc) är inte längre tillgängligt i notebook-filer eller när du använder Databricks Anslut i ett kluster med läget för delad åtkomst. Följande sc funktioner är inte längre tillgängliga:
    • emptyRDD, range, init_batched_serializer, parallelize, pickleFile, textFile, wholeTextFiles, binaryFiles, binaryRecords, sequenceFile, newAPIHadoopFile, , newAPIHadoopRDD, hadoopFile, hadoopRDD, union, runJob, , setSystemProperty, uiWebUrlstop, setJobGroup, , setLocalPropertygetConf
  • Funktionen Datamängdsinformation stöds inte längre.
  • Det finns inte längre något beroende av JVM när du kör frågor mot Apache Spark och därför stöds inte längre interna API:er relaterade _jsctill JVM, till exempel , _jconf, _jvm, _jsparkSession, _jc_jreader, _jseq, _jdf, _jmap, och _jcols stöds inte längre.
  • När du kommer åt konfigurationsvärden med spark.conf endast dynamiska körningskonfigurationsvärden är tillgängliga.
  • Delta Live Tables-analyskommandon stöds inte i delade kluster ännu.

Delta i kluster med läget för delad åtkomst

  • I Python finns det inte längre något beroende av JVM när du kör frågor mot Apache Spark. Interna API:er relaterade till JVM, till exempel DeltaTable._jdt, DeltaTableBuilder._jbuilder, DeltaMergeBuilder._jbuilderoch DeltaOptimizeBuilder._jbuilder stöds inte längre.

SQL på kluster med läget för delad åtkomst

  • DBCACHE och DBUNCACHE kommandon stöds inte längre.
  • Sällsynta användningsfall som cache table db as show databases stöds inte längre.

Biblioteksuppgraderingar

  • Uppgraderade Python-bibliotek:
    • asttokens från 2.2.1 till 2.0.5
    • attrs från 21.4.0 till 22.1.0
    • botocore från 1.27.28 till 1.27.96
    • certifi från 2022.9.14 till 2022.12.7
    • kryptografi från 37.0.1 till 39.0.1
    • felsökning från 1.6.0 till 1.6.7
    • docstring-to-markdown från 0.12 till 0.11
    • körs från 1.2.0 till 0.8.3
    • facets-overview från 1.0.3 till 1.1.1
    • googleapis-common-protos från 1.56.4 till 1.60.0
    • grpcio från 1.48.1 till 1.48.2
    • idna från 3.3 till 3.4
    • ipykernel från 6.17.1 till 6.25.0
    • ipython från 8.10.0 till 8.14.0
    • Jinja2 från 2.11.3 till 3.1.2
    • jsonschema från 4.16.0 till 4.17.3
    • jupyter_core från 4.11.2 till 5.2.0
    • kiwisolver från 1.4.2 till 1.4.4
    • Markering Valv från 2.0.1 till 2.1.1
    • matplotlib från 3.5.2 till 3.7.0
    • nbconvert från 6.4.4 till 6.5.4
    • nbformat från 5.5.0 till 5.7.0
    • nest-asyncio från 1.5.5 till 1.5.6
    • notebook-fil från 6.4.12 till 6.5.2
    • numpy från 1.21.5 till 1.23.5
    • förpackning från 21.3 till 22.0
    • pandas från 1.4.4 till 1.5.3
    • pathspec från 0.9.0 till 0.10.3
    • patsy från 0.5.2 till 0.5.3
    • Kudde från 9.2.0 till 9.4.0
    • pip från 22.2.2 till 22.3.1
    • protobuf från 3.19.4 till 4.24.0
    • pytoolconfig från 1.2.2 till 1.2.5
    • pytz från 2022.1 till 2022.7
    • s3transfer från 0.6.0 till 0.6.1
    • seaborn från 0.11.2 till 0.12.2
    • setuptools från 63.4.1 till 65.6.3
    • soupsieve från 2.3.1 till 2.3.2.post1
    • stack-data från 0.6.2 till 0.2.0
    • statsmodels från 0.13.2 till 0.13.5
    • terminado från 0.13.1 till 0.17.1
    • drag från 5.1.1 till 5.7.1
    • typing_extensions från 4.3.0 till 4.4.0
    • urllib3 från 1.26.11 till 1.26.14
    • virtualenv från 20.16.3 till 20.16.7
    • hjul från 0.37.1 till 0.38.4
  • Uppgraderade R-bibliotek:
    • pil från 10.0.1 till 12.0.1
    • bas från 4.2.2 till 4.3.1
    • blob från 1.2.3 till 1.2.4
    • kvast från 1.0.3 till 1.0.5
    • bslib från 0.4.2 till 0.5.0
    • cachem från 1.0.6 till 1.0.8
    • caret från 6.0-93 till 6.0-94
    • chron från 2.3-59 till 2.3-61
    • klass från 7.3-21 till 7.3-22
    • cli från 3.6.0 till 3.6.1
    • klockan från 0.6.1 till 0.7.0
    • commonmark från 1.8.1 till 1.9.0
    • kompilator från 4.2.2 till 4.3.1
    • cpp11 från 0.4.3 till 0.4.4
    • curl från 5.0.0 till 5.0.1
    • data.table från 1.14.6 till 1.14.8
    • datauppsättningar från 4.2.2 till 4.3.1
    • dbplyr från 2.3.0 till 2.3.3
    • sammanfatta från 0.6.31 till 0.6.33
    • från 0,4,2 till 0,4,3
    • dplyr från 1.1.0 till 1.1.2
    • dtplyr från 1.2.2 till 1.3.1
    • utvärdera från 0,20 till 0,21
    • fastmap från 1.1.0 till 1.1.1
    • fontawesome från 0.5.0 till 0.5.1
    • fs från 1.6.1 till 1.6.2
    • från 1.31.0 till 1.33.0
    • future.apply från 1.10.0 till 1.11.0
    • gargle från 1.3.0 till 1.5.1
    • ggplot2 från 3.4.0 till 3.4.2
    • gh från 1.3.1 till 1.4.0
    • glmnet från 4.1-6 till 4.1-7
    • googledrive från 2.0.0 till 2.1.1
    • googlesheets4 från 1.0.1 till 1.1.1
    • grafik från 4.2.2 till 4.3.1
    • grDevices från 4.2.2 till 4.3.1
    • rutnät från 4.2.2 till 4.3.1
    • gtable från 0.3.1 till 0.3.3
    • hardhat från 1.2.0 till 1.3.0
    • haven från 2.5.1 till 2.5.3
    • hms från 1.1.2 till 1.1.3
    • htmltools från 0.5.4 till 0.5.5
    • htmlwidgets från 1.6.1 till 1.6.2
    • httpuv från 1.6.8 till 1.6.11
    • httr från 1.4.4 till 1.4.6
    • ipred från 0,9-13 till 0,9-14
    • jsonlite från 1.8.4 till 1.8.7
    • KernSmooth från 2.23-20 till 2.23-21
    • stickning från 1,42 till 1,43
    • senare från 1.3.0 till 1.3.1
    • lattice från 0.20-45 till 0.21-8
    • lava från 1.7.1 till 1.7.2.1
    • lubridat från 1.9.1 till 1.9.2
    • markdown från 1,5 till 1,7
    • MASS från 7.3-58.2 till 7.3-60
    • Matris från 1,5-1 till 1,5-4,1
    • metoder från 4.2.2 till 4.3.1
    • mgcv från 1,8-41 till 1,8-42
    • modelr från 0.1.10 till 0.1.11
    • nnet från 7.3-18 till 7.3-19
    • openssl från 2.0.5 till 2.0.6
    • parallell från 4.2.2 till 4.3.1
    • parallellt från 1.34.0 till 1.36.0
    • pelare från 1.8.1 till 1.9.0
    • pkgbuild från 1.4.0 till 1.4.2
    • pkgload från 1.3.2 till 1.3.2.1
    • pROC från 1,18,0 till 1,18,4
    • processx från 3.8.0 till 3.8.2
    • prodlim från 2019.11.13 till 2023.03.31
    • profvis från 0.3.7 till 0.3.8
    • ps från 1.7.2 till 1.7.5
    • Rcpp från 1.0.10 till 1.0.11
    • readr från 2.1.3 till 2.1.4
    • readxl från 1.4.2 till 1.4.3
    • recept från 1.0.4 till 1.0.6
    • rlang från 1.0.6 till 1.1.1
    • rmarkdown från 2.20 till 2.23
    • Rserve från 1,8-12 till 1,8-11
    • RSQLite från 2.2.20 till 2.3.1
    • rstudioapi från 0,14 till 0,15,0
    • sass från 0.4.5 till 0.4.6
    • glänsande från 1.7.4 till 1.7.4.1
    • sparklyr från 1.7.9 till 1.8.1
    • SparkR från 3.4.1 till 3.5.0
    • splines från 4.2.2 till 4.3.1
    • statistik från 4.2.2 till 4.3.1
    • stats4 från 4.2.2 till 4.3.1
    • överlevnad från 3,5-3 till 3,5-5
    • sys från 3.4.1 till 3.4.2
    • tcltk från 4.2.2 till 4.3.1
    • testthat från 3.1.6 till 3.1.10
    • tibble från 3.1.8 till 3.2.1
    • tidyverse från 1.3.2 till 2.0.0
    • tinytex från 0,44 till 0,45
    • verktyg från 4.2.2 till 4.3.1
    • tzdb från 0.3.0 till 0.4.0
    • usethis från 2.1.6 till 2.2.2
    • från 4.2.2 till 4.3.1
    • vctrs från 0.5.2 till 0.6.3
    • viridisLite från 0.4.1 till 0.4.2
    • vroom från 1.6.1 till 1.6.3
    • waldo från 0.4.0 till 0.5.1
    • xfun från 0,37 till 0,39
    • xml2 från 1.3.3 till 1.3.5
    • zip från 2.2.2 till 2.3.0
  • Uppgraderade Java-bibliotek:
    • com.fasterxml.jackson.core.jackson-anteckningar från 2.14.2 till 2.15.2
    • com.fasterxml.jackson.core.jackson-core från 2.14.2 till 2.15.2
    • com.fasterxml.jackson.core.jackson-databind från 2.14.2 till 2.15.2
    • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor från 2.14.2 till 2.15.2
    • com.fasterxml.jackson.datatype.jackson-datatype-joda från 2.14.2 till 2.15.2
    • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 från 2.13.4 till 2.15.1
    • com.fasterxml.jackson.module.jackson-module-paranamer från 2.14.2 till 2.15.2
    • com.fasterxml.jackson.module.jackson-module-scala_2.12 från 2.14.2 till 2.15.2
    • com.github.luben.zstd-jni från 1.5.2-5 till 1.5.5-4
    • com.google.code.gson.gson från 2.8.9 till 2.10.1
    • com.google.crypto.tink.tink från 1.7.0 till 1.9.0
    • commons-codec.commons-codec från 1.15 till 1.16.0
    • commons-io.commons-io från 2.11.0 till 2.13.0
    • io.airlift.aircompressor från 0,21 till 0,24
    • io.dropwizard.metrics.metrics-core från 4.2.10 till 4.2.19
    • io.dropwizard.metrics.metrics-graphite från 4.2.10 till 4.2.19
    • io.dropwizard.metrics.metrics-healthchecks från 4.2.10 till 4.2.19
    • io.dropwizard.metrics.metrics-jetty9 från 4.2.10 till 4.2.19
    • io.dropwizard.metrics.metrics-jmx från 4.2.10 till 4.2.19
    • io.dropwizard.metrics.metrics-json från 4.2.10 till 4.2.19
    • io.dropwizard.metrics.metrics-jvm från 4.2.10 till 4.2.19
    • io.dropwizard.metrics.metrics-servlets från 4.2.10 till 4.2.19
    • io.netty.netty-all från 4.1.87.Final till 4.1.93.Final
    • io.netty.netty-buffert från 4.1.87.Final till 4.1.93.Final
    • io.netty.netty-codec från 4.1.87.Final till 4.1.93.Final
    • io.netty.netty-codec-http från 4.1.87.Final till 4.1.93.Final
    • io.netty.netty-codec-http2 från 4.1.87.Final till 4.1.93.Final
    • io.netty.netty-codec-socks från 4.1.87.Final till 4.1.93.Final
    • io.netty.netty-common från 4.1.87.Final till 4.1.93.Final
    • io.netty.netty-handler från 4.1.87.Final till 4.1.93.Final
    • io.netty.netty-handler-proxy från 4.1.87.Final till 4.1.93.Final
    • io.netty.netty-resolver från 4.1.87.Final till 4.1.93.Final
    • io.netty.netty-transport från 4.1.87.Final till 4.1.93.Final
    • io.netty.netty-transport-classes-epoll från 4.1.87.Final till 4.1.93.Final
    • io.netty.netty-transport-classes-kqueue från 4.1.87.Final till 4.1.93.Final
    • io.netty.netty-transport-native-epoll från 4.1.87.Final-linux-x86_64 till 4.1.93.Final-linux-x86_64
    • io.netty.netty-transport-native-kqueue från 4.1.87.Final-osx-x86_64 till 4.1.93.Final-osx-x86_64
    • io.netty.netty-transport-native-unix-common från 4.1.87.Final till 4.1.93.Final
    • org.apache.arrow.arrow-format från 11.0.0 till 12.0.1
    • org.apache.arrow.arrow-memory-core från 11.0.0 till 12.0.1
    • org.apache.arrow.arrow-memory-netty från 11.0.0 till 12.0.1
    • org.apache.arrow.arrow-vector från 11.0.0 till 12.0.1
    • org.apache.avro.avro från 1.11.1 till 1.11.2
    • org.apache.avro.avro-ipc från 1.11.1 till 1.11.2
    • org.apache.avro.avro-mapred från 1.11.1 till 1.11.2
    • org.apache.commons.commons-compress från 1.21 till 1.23.0
    • org.apache.hadoop.hadoop-client-runtime från 3.3.4 till 3.3.6
    • org.apache.logging.log4j.log4j-1.2-api från 2.19.0 till 2.20.0
    • org.apache.logging.log4j.log4j-api från 2.19.0 till 2.20.0
    • org.apache.logging.log4j.log4j-core från 2.19.0 till 2.20.0
    • org.apache.logging.log4j.log4j-slf4j2-impl från 2.19.0 till 2.20.0
    • org.apache.orc.orc-core från 1.8.4-shaded-protobuf till 1.9.0-shaded-protobuf
    • org.apache.orc.orc-mapreduce från 1.8.4-shaded-protobuf till 1.9.0-shaded-protobuf
    • org.apache.orc.orc-shims från 1.8.4 till 1.9.0
    • org.apache.xbean.xbean-asm9-shaded från 4.22 till 4.23
    • org.checkerframework.checker-qual från 3.19.0 till 3.31.0
    • org.glassfish.jersey.containers.jersey-container-servlet från 2.36 till 2.40
    • org.glassfish.jersey.containers.jersey-container-servlet-core från 2.36 till 2.40
    • org.glassfish.jersey.core.jersey-client från 2.36 till 2.40
    • org.glassfish.jersey.core.jersey-common från 2.36 till 2.40
    • org.glassfish.jersey.core.jersey-server från 2.36 till 2.40
    • org.glassfish.jersey.inject.jersey-hk2 från 2.36 till 2.40
    • org.javassist.javassist från 3.25.0-GA till 3.29.2-GA
    • org.mariadb.jdbc.mariadb-java-client från 2.7.4 till 2.7.9
    • org.postgresql.postgresql från 42.3.8 till 42.6.0
    • org.roaringbitmap.RoaringBitmap från 0.9.39 till 0.9.45
    • org.roaringbitmap.shims från 0.9.39 till 0.9.45
    • org.rocksdb.rocksdbjni från 7.8.3 till 8.3.2
    • org.scala-lang.modules.scala-collection-compat_2.12 från 2.4.3 till 2.9.0
    • org.slf4j.jcl-over-slf4j från 2.0.6 till 2.0.7
    • org.slf4j.jul-to-slf4j från 2.0.6 till 2.0.7
    • org.slf4j.slf4j-api från 2.0.6 till 2.0.7
    • org.xerial.snappy.snappy-java från 1.1.10.1 till 1.1.10.3
    • org.yaml.snakeyaml från 1.33 till 2.0

Apache Spark

Databricks Runtime 14.0. Den här versionen innehåller alla Spark-korrigeringar och förbättringar som ingår i Databricks Runtime 13.3 LTS, samt följande ytterligare felkorrigeringar och förbättringar som gjorts i Spark:

  • Nu kan du ställa in klustermiljövariabeln SNOWFLAKE_SPARK_CONNECTOR_VERSION=2.12 för att använda Spark-snowflake Connector v2.12.0.
  • [SPARK-44877] [DBRRM-482] [SC-140437] [ANSLUT] [PYTHON] Stöd för python protobuf-funktioner för Spark Anslut
  • [SPARK-44882] [DBRRM-463] [SC-140430] [PYTHON] [ANSLUT] Ta bort funktionen uuid/random/chr från PySpark
  • [SPARK-44740] [DBRRM-462] [SC-140320] [ANSLUT] [FÖLJ] Åtgärda metadatavärden för artefakter
  • [SPARK-44822] [DBRRM-464] [PYTHON] [SQL] Gör Python-UDF:er som standard icke-deterministiska
  • [SPARK-44836] [DBRRM-468] [SC-140228] [PYTHON] Refaktorpil Python UDTF
  • [SPARK-44738] [DBRRM-462] [SC-139347] [PYTHON] [ANSLUT] Lägga till saknade klientmetadata i anrop
  • [SPARK-44722] [DBRRM-462] [SC-139306] [ANSLUT] ExecutePlanResponseReattachableIterator._call_iter: AttributeError: Objektet NoneType saknar attributet "message"
  • [SPARK-44625] [DBRRM-396] [SC-139535] [ANSLUT] Spark Anslut ExecutionManager för att spåra alla körningar
  • [SPARK-44663] [SC-139020] [DBRRM-420] [PYTHON] Inaktivera piloptimering som standard för Python-UDF:er
  • [SPARK-44709] [DBRRM-396] [SC-139250] [ANSLUT] Kör ExecuteGrpcResponseSender i reattachable execute in new thread to fix flow control (Kör ExecuteGrpcResponseSender i reattachable execute in new thread to fix flow control)
  • [SPARK-44656] [DBRRM-396] [SC-138924] [ANSLUT] Gör alla iteratorer CloseableIterators
  • [SPARK-44671] [DBRRM-396] [SC-138929] [PYTHON] [ANSLUT] Försök köra om ExecutePlan om den första begäran inte nådde servern i Python-klienten
  • [SPARK-44624] [DBRRM-396] [SC-138919] [ANSLUT] Försök köra om ExecutePlan om den första begäran inte nådde servern
  • [SPARK-44574] [DBRRM-396] [SC-138288] [SQL] [ANSLUT] Fel som har flyttats till sq/api bör också använda AnalysisException
  • [SPARK-44613] [DBRRM-396] [SC-138473] [ANSLUT] Lägg till kodarobjekt
  • [SPARK-44626] [DBRRM-396] [SC-138828] [SS] [ANSLUT] Uppföljning av frågeavslut för direktuppspelning när klientsessionen överskrids för Spark-Anslut
  • [SPARK-44642] [DBRRM-396] [SC-138882] [ANSLUT] ReleaseExecute i ExecutePlanResponseReattachableIterator när det får fel från servern
  • [SPARK-41400] [DBRRM-396] [SC-138287] [ANSLUT] Ta bort Anslut-klientkatalysatorberoende
  • [SPARK-44664] [DBRRM-396] [PYTHON] [ANSLUT] Släpp körningen när iteratorn stängs i Python-klienten
  • [SPARK-44631] [DBRRM-396] [SC-138823] [ANSLUT] [CORE] [14.0.0] Ta bort sessionsbaserad katalog när den isolerade sessionscachen tas bort
  • [SPARK-42941] [DBRRM-396] [SC-138389] [SS] [ANSLUT] Python StreamingQueryListener
  • [SPARK-44636] [DBRRM-396] [SC-138570] [ANSLUT] Lämna inga dinglande iteratorer
  • [SPARK-44424] [DBRRM-396] [ANSLUT] [PYTHON] [14.0.0] Python-klient för återkoppling till befintlig körning i Spark Anslut
  • [SPARK-44637] [SC-138571] Synkronisera åtkomster till ExecuteResponseObserver
  • [SPARK-44538] [SC-138178] [ANSLUT] [SQL] Återställ Row.jsonValue och vänner
  • [SPARK-44421] [SC-138434] [SPARK-44423] [ANSLUT] Återaktiveringsbar körning i Spark Anslut
  • [SPARK-44418] [SC-136807] [PYTHON] [ANSLUT] Uppgradera protobuf från 3.19.5 till 3.20.3
  • [SPARK-44587] [SC-138315] [SQL] [ANSLUT] Öka rekursionsgränsen för protobuf marshaller
  • [SPARK-44591] [SC-138292] [ANSLUT] [SQL] Lägg till jobTags i SparkListenerSQLExecutionStart
  • [SPARK-44610] [SC-138368] [SQL] DeduplicateRelations bör behålla aliasmetadata när du skapar en ny instans
  • [SPARK-44542] [SC-138323] [CORE] Läs ivrigt in Klassen SparkExitCode i undantagshanteraren
  • [SPARK-44264] [SC-138143] [PYTHON] E2E-testning för Deepspeed
  • [SPARK-43997] [SC-138347] [ANSLUT] Lägga till stöd för Java-UDF:er
  • [SPARK-44507] [SQL] [ANSLUT] [14.x] [14.0] Flytta AnalysisException till sql/api
  • [SPARK-44453] [SC-137013] [PYTHON] Använda difflib för att visa fel i assertDataFrameEqual
  • [SPARK-44394] [SC-138291] [ANSLUT] [WEBUI] [14.0] Lägg till en Spark-användargränssnittssida för Spark Anslut
  • [SPARK-44611] [SC-138415] [ANSLUT] Exkludera inte scala-xml
  • [SPARK-44531] [SC-138044] [ANSLUT] [SQL] [14.x] [14.0] Flytta kodarinferens till sql/api
  • [SPARK-43744] [SC-138289] [ANSLUT] [14.x] [14.0] Åtgärda problem med klassinläsning...
  • [SPARK-44590] [SC-138296] [SQL] [ANSLUT] Ta bort pilens batchpostgräns för SqlCommandResult
  • [SPARK-43968] [SC-138115] [PYTHON] Förbättra felmeddelanden för Python-UDF:er med fel antal utdata
  • [SPARK-44432] [SC-138293] [SS] [ANSLUT] Avsluta strömmande frågor när en session överskrider tidsgränsen i Spark Anslut
  • [SPARK-44584] [SC-138295] [ANSLUT] Ange client_type information för AddArtifactsRequest och ArtifactStatusesRequest i Scala-klienten
  • [SPARK-44552] [14.0] [SC-138176] [SQL] Ta bort private object ParseState definition från IntervalUtils
  • [SPARK-43660] [SC-136183] [ANSLUT] [PS] Aktivera resample med Spark Anslut
  • [SPARK-44287] [SC-136223] [SQL] Använd PartitionEvaluator API i RowToColumnarExec & ColumnarToRowExec SQL-operatorer.
  • [SPARK-39634] [SC-137566] [SQL] Tillåt fildelning i kombination med radindexgenerering
  • [SPARK-44533] [SC-138058] [PYTHON] Lägga till stöd för ackumulator-, broadcast- och Spark-filer i Python UDTF:s analys
  • [SPARK-44479] [SC-138146] [PYTHON] Åtgärda ArrowStreamPandasUDFSerializer för att acceptera pandas-dataram utan kolumn
  • [SPARK-44425] [SC-138177] [ANSLUT] Verifiera att användardefinerat sessionId är ett UUID
  • [SPARK-44535] [SC-138038] [ANSLUT] [SQL] Flytta obligatoriskt API för direktuppspelning till sql/api
  • [SPARK-44264] [SC-136523] [ML] [PYTHON] Skriva en Deepspeed Distributed Learning Class DeepspeedTorchDistributor
  • [SPARK-42098] [SC-138164] [SQL] Lös ResolveInlineTables kan inte hantera med RuntimeReplaceable-uttryck
  • [SPARK-44060] [SC-135693] [SQL] Kod-gen för yttre blandad hash-koppling på byggsidan
  • [SPARK-44496] [SC-137682] [SQL] [ANSLUT] Flytta gränssnitt som krävs av SCSC till sql/api
  • [SPARK-44532] [SC-137893] [ANSLUT] [SQL] Flytta ArrowUtils till sql/api
  • [SPARK-44413] [SC-137019] [PYTHON] Klargöra fel för arg-datatypen som inte stöds i assertDataFrameEqual
  • [SPARK-44530] [SC-138036] [CORE] [ANSLUT] Flytta SparkBuildInfo till common/util
  • [SPARK-36612] [SC-133071] [SQL] Stöd vänster yttre koppling skapa vänster eller höger yttre koppling bygga höger i blandade hash koppling
  • [SPARK-44519] [SC-137728] [ANSLUT] Spark Anslut ServerUtils genererade felaktiga parametrar för jars
  • [SPARK-44449] [SC-137818] [ANSLUT] Upcasting för direct Arrow Deserialization
  • [SPARK-44131] [SC-136346] [SQL] Lägg till call_function och inaktuella call_udf för Scala API
  • [SPARK-44541] [SQL] Ta bort värdelös funktion hasRangeExprAgainstEventTimeCol från UnsupportedOperationChecker
  • [SPARK-44523] [SC-137859] [SQL] Filtrets maxRows/maxRowsPerPartition är 0 om villkoret är FalseLiteral
  • [SPARK-44540] [SC-137873] [Användargränssnitt] Ta bort oanvända formatmallar och javascript-filer i jsonFormatter
  • [SPARK-44466] [SC-137856] [SQL] Exkludera konfigurationer som börjar med SPARK_DRIVER_PREFIX och SPARK_EXECUTOR_PREFIX från modifiedConfigs
  • [SPARK-44477] [SC-137508] [SQL] Behandla TYPE_CHECK_FAILURE_WITH_HINT som en felunderklass
  • [SPARK-44509] [SC-137855] [PYTHON] [ANSLUT] Lägg till api för uppsägning av jobb i Spark Anslut Python-klient
  • [SPARK-44059] [SC-137023] Lägga till analysstöd för namngivna argument för inbyggda funktioner
  • [SPARK-38476] [SC-136448] [CORE] Använda felklassen i org.apache.spark.storage
  • [SPARK-44486] [SC-137817] [PYTHON] [ANSLUT] Implementera PyArrow-funktionen self_destruct för toPandas
  • [SPARK-44361] [SC-137200] [SQL] Använda PartitionEvaluator-API i MapInBatchExec
  • [SPARK-44510] [SC-137652] [Användargränssnitt] Uppdatera dataTables till 1.13.5 och ta bort några ej åtkomliga png-filer
  • [SPARK-44503] [SC-137808] [SQL] Lägg till SQL-grammatik för PARTITION BY- och ORDER BY-satsen efter TABLE-argument för TVF-anrop
  • [SPARK-38477] [SC-136319] [CORE] Använda felklassen i org.apache.spark.shuffle
  • [SPARK-44299] [SC-136088] [SQL] Tilldela namn till felklassen _LEGACY_ERROR_TEMP_227[4-6,8]
  • [SPARK-44422] [SC-137567] [ANSLUT] Spark-Anslut detaljerade avbrott
  • [SPARK-44380] [SC-137415] [SQL] [PYTHON] Stöd för Python UDTF att analysera i Python
  • [SPARK-43923] [SC-137020] [ANSLUT] Post listenerBus events durin...
  • [SPARK-44303] [SC-136108] [SQL] Tilldela namn till felklassen LEGACY_ERROR_TEMP[2320-2324]
  • [SPARK-44294] [SC-135885] [Användargränssnitt] Kolumnen Korrigera heapHistogram visar oväntat w/ select-all-box
  • [SPARK-44409] [SC-136975] [SQL] Hantera tecken/varchar i Dataset.to för att hålla sig konsekvent med andra
  • [SPARK-44334] [SC-136576] [SQL] [Användargränssnitt] Status i REST API-svaret för en misslyckad DDL/DML utan jobb bör vara MISSLYCKAD i stället för SLUTFÖRD
  • [SPARK-42309] [SC-136703] [SQL] Introducera INCOMPATIBLE_DATA_TO_TABLE och underklasser.
  • [SPARK-44367] [SC-137418] [SQL] [Användargränssnitt] Visa felmeddelande i användargränssnittet för varje misslyckad fråga
  • [SPARK-44474] [SC-137195] [ANSLUT] Återaktivera "Test observera svar" på Spark Anslut ServiceSuite
  • [SPARK-44320] [SC-136446] [SQL] Tilldela namn till felklassen LEGACY_ERROR_TEMP[1067 1150 1220 1265 1277]
  • [SPARK-44310] [SC-136055] [ANSLUT] Startloggen för Anslut Server ska visa värdnamnet och porten
  • [SPARK-44309] [SC-136193] [Användargränssnitt] Visa lägg till/ta bort tid för utförare på fliken Körbara filer
  • [SPARK-42898] [SC-137556] [SQL] Markera att sträng/datum-casts inte behöver tidszons-ID
  • [SPARK-44475] [SC-137422] [SQL] [ANSLUT] Flytta DataType och Parser till sql/api
  • [SPARK-44484] [SC-137562] [SS] Lägg till batchDuration i StreamingQueryProgress json-metoden
  • [SPARK-43966] [SC-137559] [SQL] [PYTHON] Stöd för icke-deterministiska tabellvärdesfunktioner
  • [SPARK-44439] [SC-136973] [ANSLUT] [SS] ListListeners har åtgärdats för att endast skicka tillbaka ID:er till klienten
  • [SPARK-44341] [SC-137054] [SQL] [PYTHON] Definiera databehandlingslogiken via PartitionEvaluator-API:et och använd den i WindowExec och WindowInPandasExec
  • [SPARK-43839] [SC-132680] [SQL] Konvertera _LEGACY_ERROR_TEMP_1337 till UNSUPPORTED_FEATURE.TIME_TRAVEL
  • [SPARK-44244] [SC-135703] [SQL] Tilldela namn till felklassen LEGACY_ERROR_TEMP[2305-2309]
  • [SPARK-44201] [SC-136778] [ANSLUT] [SS] Lägg till stöd för strömningslyssnare i Scala för Spark Anslut
  • [SPARK-44260] [SC-135618] [SQL] Tilldela namn till felklassen LEGACY_ERROR_TEMP[1215-1245-2329] & Använd checkError() för att kontrollera undantag i _CharVarchar_Suite
  • [SPARK-42454] [SC-136913] [SQL] SPJ: Kapsla in alla SPJ-relaterade parametrar i BatchScanExec
  • [SPARK-44292] [SC-135844] [SQL] Tilldela namn till felklassen LEGACY_ERROR_TEMP[2315-2319]
  • [SPARK-44396] [SC-137221] [Anslut] Direct Arrow Deserialization
  • [SPARK-44324] [SC-137172] [SQL] [ANSLUT] Flytta CaseInsensitiveMap till sql/api
  • [SPARK-44395] [SC-136744] [SQL] Lägg till test i StreamingTableSuite
  • [SPARK-44481] [SC-137401] [ANSLUT] [PYTHON] Gör pyspark.sql.is_remote till ett API
  • [SPARK-44278] [SC-137400] [ANSLUT] Implementera en GRPC-serveravlyssnare som rensar lokala egenskaper för tråd
  • [SPARK-44264] [SC-137211] [ML] [PYTHON] Stöd för distribuerad träning av funktioner med deepspeed
  • [SPARK-44430] [SC-136970] [SQL] Lägg till orsak till AnalysisException när alternativet är ogiltigt
  • [SPARK-44264] [SC-137167] [ML] [PYTHON] Införliva FunctionPickler i TorchDistributor
  • [SPARK-44216] [SC-137046] [PYTHON] Göra assertSchemaEqual API offentligt
  • [SPARK-44398] [SC-136720] [ANSLUT] Scala foreachBatch API
  • [SPARK-43203] [SC-134528] [SQL] Flytta alla drop table-skiftläge till DataSource V2
  • [SPARK-43755] [SC-137171] [ANSLUT] [MINOR] Öppna AdaptiveSparkPlanHelper.allChildren i stället för att använda kopiera i MetricGenerator
  • [SPARK-44264] [SC-137187] [ML] [PYTHON] Omstrukturera TorchDistributor för att tillåta anpassad funktionspekare för "run_training_on_file"
  • [SPARK-43755] [SC-136838] [ANSLUT] Flytta körning från SparkExecutePlanStreamHandler och till en annan tråd
  • [SPARK-44411] [SC-137198] [SQL] Använda PartitionEvaluator API i ArrowEvalPythonExec och BatchEvalPythonExec
  • [SPARK-44375] [SC-137197] [SQL] Använda PartitionEvaluator API i DebugExec
  • [SPARK-43967] [SC-137057] [PYTHON] Stöd för vanliga Python-UDF:er med tomma returvärden
  • [SPARK-43915] [SC-134766] [SQL] Tilldela namn till felklassen LEGACY_ERROR_TEMP[2438-2445]
  • [SPARK-43965] [SC-136929] [PYTHON] [ANSLUT] Stöd för Python UDTF i Spark Anslut
  • [SPARK-44154] [SC-137050] [SQL] Fler enhetstester har lagts till i BitmapExpressionUtilsSuite och gjort mindre förbättringar av Bitmap Aggregate Expressions
  • [SPARK-44169] [SC-135497] [SQL] Tilldela namn till felklassen LEGACY_ERROR_TEMP[2300-2304]
  • [SPARK-44353] [SC-136578] [ANSLUT] [SQL] Ta bort StructType.toAttributes
  • [SPARK-43964] [SC-136676] [SQL] [PYTHON] Stöd för piloptimerade Python-UDF:er
  • [SPARK-44321] [SC-136308] [ANSLUT] Frikoppla ParseException från AnalysisException
  • [SPARK-44348] [SAS-1910] [SC-136644] [CORE] [ANSLUT] [PYTHON] Återanvändbara test_artifact med relevanta ändringar
  • [SPARK-44145] [SC-136698] [SQL] Återanrop när det är klart för körning
  • [SPARK-43983] [SC-136404] [PYTHON] [ML] [ANSLUT] Aktivera korsverifierarberäknaretest
  • [SPARK-44399] [SC-136669] [PYHTON] [ANSLUT] Importera SparkSession endast i Python UDF när useArrow är Ingen
  • [SPARK-43631] [SC-135300] [ANSLUT] [PS] Aktivera Series.interpolate med Spark Anslut
  • [SPARK-44374] [SC-136544] [PYTHON] [ML] Lägg till exempelkod för distribuerad ML för Spark Connect
  • [SPARK-44282] [SC-135948] [ANSLUT] Förbereda DataType-parsning för användning i Spark Anslut Scala-klienten
  • [SPARK-44052] [SC-134469] [ANSLUT] [PS] Lägg till util för att hämta rätt kolumn- eller DataFrame-klass för Spark Anslut.
  • [SPARK-43983] [SC-136404] [PYTHON] [ML] [ANSLUT] Implementera korsverifierare
  • [SPARK-44290] [SC-136300] [ANSLUT] Sessionsbaserade filer och arkiv i Spark Anslut
  • [SPARK-43710] [SC-134860] [PS] [ANSLUT] Stöd functions.date_part för Spark Anslut
  • [SPARK-44036] [SC-134036] [ANSLUT] [PS] Rensa och konsolidera biljetter för att förenkla uppgifterna.
  • [SPARK-44150] [SC-135790] [PYTHON] [ANSLUT] Explicit pilgjutning för felmatchad returtyp i Arrow Python UDF
  • [SPARK-43903] [SC-134754] [PYTHON] [ANSLUT] Förbättra ArrayType-indatastöd i Arrow Python UDF
  • [SPARK-44250] [SC-135819] [ML] [PYTHON] [ANSLUT] Implementera klassificeringsutvärdering
  • [SPARK-44255] [SC-135704] [SQL] Flytta StorageLevel till common/utils
  • [SPARK-42169] [SC-135735] [SQL] Implementera kodgenerering för funktionen to_csv (StructsToCsv)
  • [SPARK-44249] [SC-135719] [SQL] [PYTHON] Omstrukturera PythonUDTFRunner för att skicka sin returtyp separat
  • [SPARK-43353] [SC-132734] [PYTHON] Migrera återstående sessionsfel till felklass
  • [SPARK-44133] [SC-134795] [PYTHON] Uppgradera MyPy från 0,920 till 0,982
  • [SPARK-42941] [SC-134707] [SS] [ANSLUT] [1/2] StreamingQueryListener – Event Serde i JSON-format
  • [SPARK-43353] Återställ "[SC-132734][ES-729763][PYTHON] Migrera återstående sessionsfel till felklass"
  • [SPARK-44100] [SC-134576] [ML] [ANSLUT] [PYTHON] Flytta namnområdet från pyspark.mlv2 till pyspark.ml.connect
  • [SPARK-44220] [SC-135484] [SQL] Flytta StringConcat till sql/api
  • [SPARK-43992] [SC-133645] [SQL] [PYTHON] [ANSLUT] Lägg till valfritt mönster för Catalog.listFunctions
  • [SPARK-43982] [SC-134529] [ML] [PYTHON] [ANSLUT] Implementera pipelineestimator för ML på Spark Connect
  • [SPARK-43888] [SC-132893] [CORE] Flytta loggning till common/utils
  • [SPARK-42941] Återställ "[SC-134707][SS][CONNECT][1/2] StreamingQueryListener – Händelseserde i JSON-format"
  • [SPARK-43624] [SC-134557] [PS] [ANSLUT] Lägg till EWM i Spark Anslut Planner.
  • [SPARK-43981] [SC-134137] [PYTHON] [ML] Grundläggande implementering av sparande/inläsning för ML på Spark Connect
  • [SPARK-43205] [SC-133371] [SQL] korrigera SQLQueryTestSuite
  • [SPARK-43376] Återställ "[SC-130433][SQL] Förbättra återanvändningsunderfrågan med tabellcachen"
  • [SPARK-44040] [SC-134366] [SQL] Åtgärda beräkningsstatistik när AggregateExec-noden ovanför QueryStageExec
  • [SPARK-43919] [SC-133374] [SQL] Extrahera JSON-funktioner från rad
  • [SPARK-42618] [SC-134433] [PYTHON] [PS] Varning för pandas-relaterade beteendeändringar i nästa större version
  • [SPARK-43893] [SC-133381] [PYTHON] [ANSLUT] Stöd för icke-atomiska datatyper i Piloptimerad Python UDF
  • [SPARK-43627] [SC-134290] [SPARK-43626] [PS] [ANSLUT] Aktivera pyspark.pandas.spark.functions.{kurt, skew} i Spark Anslut.
  • [SPARK-43798] [SC-133990] [SQL] [PYTHON] Stöd för användardefinierade tabellfunktioner i Python
  • [SPARK-43616] [SC-133849] [PS] [ANSLUT] Aktivera pyspark.pandas.spark.functions.mode i Spark Anslut
  • [SPARK-43133] [SC-133728] Stöd för Scala Client DataStreamWriter Foreach
  • [SPARK-43684] [SC-134107] [SPARK-43685] [SPARK-43686] [SPARK-43691] [ANSLUT] [PS] Korrigering (NullOps|NumOps).(eq|ne) för Spark Anslut.
  • [SPARK-43645] [SC-134151] [SPARK-43622] [PS] [ANSLUT] Aktivera pyspark.pandas.spark.functions.{var, stddev} i Spark Anslut
  • [SPARK-43617] [SC-133893] [PS] [ANSLUT] Aktivera pyspark.pandas.spark.functions.product i Spark Anslut
  • [SPARK-43610] [SC-133832] [ANSLUT] [PS] Aktivera InternalFrame.attach_distributed_column i Spark Anslut.
  • [SPARK-43621] [SC-133852] [PS] [ANSLUT] Aktivera pyspark.pandas.spark.functions.repeat i Spark Anslut
  • [SPARK-43921] [SC-133461] [PROTOBUF] Generera Protobuf-beskrivningsfiler vid bygget
  • [SPARK-43613] [SC-133727] [PS] [ANSLUT] Aktivera pyspark.pandas.spark.functions.covar i Spark Anslut
  • [SPARK-43376] [SC-130433] [SQL] Förbättra återanvändning av underfrågor med tabellcache
  • [SPARK-43612] [SC-132011] [ANSLUT] [PYTHON] Implementera SparkSession.addArtifact(er) i Python-klienten
  • [SPARK-43920] [SC-133611] [SQL] [ANSLUT] Skapa sql/api-modul
  • [SPARK-43097] [SC-133372] [ML] Ny pyspark ML logistic regression estimator implementerad ovanpå distributören
  • [SPARK-43783] [SC-133240] [SPARK-43784] [SPARK-43788] [ML] Make MLv2 (ML on spark connect) stöder Pandas >= 2.0
  • [SPARK-43024] [SC-132716] [PYTHON] Uppgradera Pandas till 2.0.0
  • [SPARK-43881] [SC-133140] [SQL] [PYTHON] [ANSLUT] Lägg till valfritt mönster för Catalog.listDatabases
  • [SPARK-39281] [SC-131422] [SQL] Påskynda slutsatsdragning av tidsstämpeltyp med äldre format i JSON/CSV-datakälla
  • [SPARK-43792] [SC-132887] [SQL] [PYTHON] [ANSLUT] Lägg till valfritt mönster för Catalog.listCatalogs
  • [SPARK-43132] [SC-131623] [SS] [ANSLUT] Python Client DataStreamWriter foreach() API
  • [SPARK-43545] [SC-132378] [SQL] [PYTHON] Stöd för kapslad tidsstämpeltyp
  • [SPARK-43353] [SC-132734] [PYTHON] Migrera återstående sessionsfel till felklass
  • [SPARK-43304] [SC-129969] [ANSLUT] [PYTHON] Migrera NotImplementedError till PySparkNotImplementedError
  • [SPARK-43516] [SC-132202] [ML] [PYTHON] [ANSLUT] Basgränssnitt för sparkML för spark3.5: estimator/transformer/model/evaluator
  • [SPARK-43128] Återställ "[SC-131628][CONNECT][SS] Gör recentProgress och lastProgress returnera överensstämmer StreamingQueryProgress med det interna Scala Api"
  • [SPARK-43543] [SC-131839] [PYTHON] Åtgärda kapslat MapType-beteende i Pandas UDF
  • [SPARK-38469] [SC-131425] [CORE] Använda felklassen i org.apache.spark.network
  • [SPARK-43309] [SC-129746] [SPARK-38461] [CORE] Utöka INTERNAL_ERROR med kategorier och lägg till felklass INTERNAL_ERROR_BROADCAST
  • [SPARK-43265] [SC-129653] Flytta felramverket till en vanlig verktygsmodul
  • [SPARK-43440] [SC-131229] [PYTHON] [ANSLUT] Stöd för registrering av en Piloptimerad Python UDF
  • [SPARK-43528] [SC-131531] [SQL] [PYTHON] Stöd för duplicerade fältnamn i createDataFrame med Pandas DataFrame
  • [SPARK-43412] [SC-130990] [PYTHON] [ANSLUT] Introducera SQL_ARROW_BATCHED_UDF EvalType för piloptimerade Python-UDF:er
  • [SPARK-40912] [SC-130986] [CORE] Omkostnader för undantag i KryoDeserializationStream
  • [SPARK-39280] [SC-131206] [SQL] Påskynda slutsatsdragning av tidsstämpeltyp med användarformat i JSON/CSV-datakälla
  • [SPARK-43473] [SC-131372] [PYTHON] Stöd för structtyp i createDataFrame från Pandas DataFrame
  • [SPARK-43443] [SC-131024] [SQL] Lägg till benchmark för slutsatsdragning av tidsstämpeltyp när ogiltigt värde används
  • [SPARK-41532] [SC-130523] [ANSLUT] [KLIENT] Lägg till kontroll av åtgärder som omfattar flera dataramar
  • [SPARK-43296] [SC-130627] [ANSLUT] [PYTHON] Migrera Spark Anslut-sessionsfel till felklass
  • [SPARK-43324] [SC-130455] [SQL] Hantera UPDATE-kommandon för deltabaserade källor
  • [SPARK-43347] [SC-130148] [PYTHON] Ta bort Python 3.7-stöd
  • [SPARK-43292] [SC-130525] [CORE] [ANSLUT] Flytta ExecutorClassLoader till core modulen och förenkla Executor#addReplClassLoaderIfNeeded
  • [SPARK-43081] [SC-129900] [ML] [CONNECT] Lägg till fackeldistributörsdatainläsare som läser in data från Spark-partitionsdata
  • [SPARK-43331] [SC-130061] [ANSLUT] Lägg till Spark Anslut SparkSession.interruptAll
  • [SPARK-43306] [SC-130320] [PYTHON] Migrera ValueError från Spark SQL-typer till felklass
  • [SPARK-43261] [SC-129674] [PYTHON] Migrera TypeError från Spark SQL-typer till felklass.
  • [SPARK-42992] [SC-129465] [PYTHON] Presentera PySparkRuntimeError
  • [SPARK-16484] [SC-129975] [SQL] Lägga till stöd för Datasketches HllSketch
  • [SPARK-43165] [SC-128823] [SQL] Flytta canWrite till DataTypeUtils
  • [SPARK-43082] [SC-129112] [ANSLUT] [PYTHON] Piloptimerade Python-UDF:er i Spark Anslut
  • [SPARK-43084] [SC-128654] [SS] Lägg till applyInPandasWithState-stöd för Spark Connect
  • [SPARK-42657] [SC-128621] [ANSLUT] Stöd för att hitta och överföra REPL-klassfiler på klientsidan till servern som artefakter
  • [SPARK-43098] [SC-77059] [SQL] Åtgärda felet COUNT för korrekthet när skalär underfråga har gruppera efter-sats
  • [SPARK-42884] [SC-126662] [ANSLUT] Lägg till Ammonite REPL-integrering
  • [SPARK-42994] [SC-128333] [ML] [ANSLUT] PyTorch-distributören stöder lokalt läge
  • [SPARK-41498] [SC-125343] Återställ " Sprid metadata via Union"
  • [SPARK-42993] [SC-127829] [ML] [ANSLUT] Gör PyTorch-distributören kompatibel med Spark Anslut
  • [SPARK-42683] [LC-75] Byta namn på metadatakolumner som är i konflikt automatiskt
  • [SPARK-42874] [SC-126442] [SQL] Aktivera nytt golden file-testramverk för analys för alla indatafiler
  • [SPARK-42779] [SC-126042] [SQL] Tillåt V2-skrivningar för att indikera rådgivande blandningspartitionsstorlek
  • [SPARK-42891] [SC-126458] [ANSLUT] [PYTHON] Implementera API för grupperad karta
  • [SPARK-42791] [SC-126134] [SQL] Skapa ett nytt golden file-testramverk för analys
  • [SPARK-42615] [SC-124237] [ANSLUT] [PYTHON] Omstrukturera AnalyzePlan RPC och lägg till session.version
  • [SPARK-41302] Återställ "[ALLA TESTER][SC-122423][SQL] Tilldela namn till _LEGACY_ERROR_TEMP_1185"
  • [SPARK-40770] [SC-122652] [PYTHON] Förbättrade felmeddelanden för applyInPandas för schemamatchning
  • [SPARK-40770] Återställ "[ALLA TESTER][SC-122652][PYTHON] Förbättrade felmeddelanden för applyInPandas för schemamatchningsfel"
  • [SPARK-42398] [SC-123500] [SQL] Förfina standardkolumnvärdet DS v2-gränssnitt
  • [SPARK-40770] [ALLA TESTER] [SC-122652] [PYTHON] Förbättrade felmeddelanden för applyInPandas för schemamatchning
  • [SPARK-40770] Återställ "[SC-122652][PYTHON] Förbättrade felmeddelanden för applyInPandas för schemamatchningsfel"
  • [SPARK-40770] [SC-122652] [PYTHON] Förbättrade felmeddelanden för applyInPandas för schemamatchning
  • [SPARK-42038] [ALLA TESTER] Återställ "Återställ "[SC-122533][SQL] SPJ: Stöd för delvis klustrad distribution""
  • [SPARK-42038] Återställ "[SC-122533][SQL] SPJ: Stöd för delvis klustrad distribution"
  • [SPARK-42038] [SC-122533] [SQL] SPJ: Stöd för delvis klustrad distribution
  • [SPARK-40550] [SC-120989] [SQL] DataSource V2: Hantera DELETE-kommandon för deltabaserade källor
  • [SPARK-40770] Återställ "[SC-122652][PYTHON] Förbättrade felmeddelanden för applyInPandas för schemamatchningsfel"
  • [SPARK-40770] [SC-122652] [PYTHON] Förbättrade felmeddelanden för applyInPandas för schemamatchning
  • [SPARK-41302] Återställ "[SC-122423][SQL] Tilldela namn till _LEGACY_ERROR_TEMP_1185"
  • [SPARK-40550] Återställ "[SC-120989][SQL] DataSource V2: Hantera DELETE-kommandon för deltabaserade källor"
  • [SPARK-42123] Återställ "[SC-121453][SQL] Inkludera kolumnstandardvärden i DESCRIBE och SHOW CREATE TABLE output"
  • [SPARK-42146] [SC-121172] [CORE] Utils#setStringField Omstrukturera för att göra maven build pass när sql-modulen använder den här metoden
  • [SPARK-42119] Återställ "[SC-121342][SQL] Lägg till inbyggda tabellvärdesfunktioner infogade och inline_outer"

Höjdpunkter

  • Åtgärda aes_decrypt och ln funktioner i Anslut SPARK-45109
  • Åtgärda ärvda namngivna tupplar för att fungera i createDataFrame SPARK-44980
  • CodeGenerator Cache är nu klassladdarspecifik [SPARK-44795]
  • Lade till SparkListenerConnectOperationStarted.planRequest[SPARK-44861]
  • Få strömningsfrågor att fungera med Anslut artefakthantering [SPARK-44794]
  • ArrowDeserializer fungerar med REPL-genererade klasser [SPARK-44791]
  • Fast Piloptimerad Python UDF på Spark Anslut [SPARK-44876]
  • Stöd för Scala- och Go-klienter i Spark Anslut SPARK-42554SPARK-43351
  • PyTorch-baserat distribuerat ML-stöd för Spark Anslut SPARK-42471
  • Stöd för strukturerad strömning för Spark Anslut i Python och Scala SPARK-42938
  • Stöd för Pandas API för Python Spark Anslut Client SPARK-42497
  • Introducera Arrow Python UDFs SPARK-40307
  • Stöd för användardefinierade Python-tabellfunktioner SPARK-43798
  • Migrera PySpark-fel till felklasserna SPARK-42986
  • PySpark Test Framework SPARK-44042
  • Lägga till stöd för Datasketches HllSketch SPARK-16484
  • Inbyggd SQL Function Improvement SPARK-41231
  • IDENTIFIER-sats SPARK-43205
  • Lägga till SQL-funktioner i Scala, Python och R API SPARK-43907
  • Lägg till stöd för namngivna argument för SQL-funktioner SPARK-43922
  • Undvik onödiga omkörningar av inaktiverade utförare om blanda data migreras SPARK-41469
  • Distribuerad ML <> spark connect SPARK-42471
  • DeepSpeed Distributor SPARK-44264
  • Implementera kontrollpunkter för ändringsloggar för RocksDB-tillståndsarkivet SPARK-43421
  • Introducera vattenstämpelspridning bland operatörerna SPARK-42376
  • Introducera dropDuplicatesWithinWatermark SPARK-42931
  • RocksDB state store provider memory management enhancements SPARK-43311

Spark Anslut

  • Omstrukturera sql-modulen till sql och sql-api för att skapa en minsta uppsättning beroenden som kan delas mellan Scala Spark-Anslut-klienten och Spark och undviker att hämta alla Spark-transitiva beroenden. SPARK-44273
  • Introduktion till Scala-klienten för Spark Anslut SPARK-42554
  • Stöd för Pandas API för Python Spark Anslut Client SPARK-42497
  • PyTorch-baserat distribuerat ML-stöd för Spark Anslut SPARK-42471
  • Stöd för strukturerad strömning för Spark Anslut i Python och Scala SPARK-42938
  • Första versionen av Go-klienten SPARK-43351
  • Många kompatibilitetsförbättringar mellan Inbyggda Spark- och Spark-Anslut-klienter i Python och Scala
  • Förbättrad felsökning och hantering av begäranden för klientprogram (asynkron bearbetning, återförsök, långvariga frågor)

Spark SQL

Funktioner

Functions

  • Lägga till stöd för Datasketches HllSketch SPARK-16484
  • Stöd för CBC-läget med aes_encrypt()/aes_decrypt() SPARK-43038
  • Stöd för tabellargumentparserregel för TableValuedFunction SPARK-44200
  • Implementera bitmappsfunktioner SPARK-44154
  • Lägg till funktionen try_aes_decrypt() SPARK-42701
  • array_insert bör misslyckas med 0-indexet SPARK-43011
  • Lägg till to_varchar alias för to_char SPARK-43815
  • Funktion med hög ordning: array_compact implementering av SPARK-41235
  • Lägga till analysstöd för namngivna argument för inbyggda funktioner SPARK-44059
  • Lägg till NULLs för INSERTs med användardefinierade listor med färre kolumner än måltabellen SPARK-42521
  • Lägger till stöd för aes_encrypt IV:er och AAD SPARK-43290
  • DECODE-funktionen returnerar fel resultat när null SPARK-41668 skickades
  • Stöd för udf "luhn_check" SPARK-42191
  • Stöd för implicit lateral kolumnaliasmatchning på Aggregerad SPARK-41631
  • Stöd för implicit lateralt kolumnalias i frågor med Window SPARK-42217
  • Lägg till 3-args-funktionsalias DATE_ADD och DATE_DIFF SPARK-43492

Datakällor

  • Char/Varchar-stöd för JDBC-katalog SPARK-42904
  • Stöd för att hämta SQL-nyckelord dynamiskt via JDBC API och TVF SPARK-43119
  • DataSource V2: Hantera MERGE-kommandon för deltabaserade källor SPARK-43885
  • DataSource V2: Hantera MERGE-kommandon för gruppbaserade källor SPARK-43963
  • DataSource V2: Hantera UPDATE-kommandon för gruppbaserade källor SPARK-43975
  • DataSource V2: Tillåt att uppdateringar representeras som borttagningar och infogar SPARK-43775
  • Tillåt jdbc-dialekter att åsidosätta frågan som används för att skapa en tabell SPARK-41516
  • SPJ: Stöd för delvis klustrad distribution SPARK-42038
  • DSv2 tillåter CTAS/RTAS att reservera schemats nullability SPARK-43390
  • Lägg till spark.sql.files.maxPartitionNum SPARK-44021
  • Hantera UPDATE-kommandon för deltabaserade källor SPARK-43324
  • Tillåt V2-skrivningar för att indikera rådgivande blandningspartitionsstorlek SPARK-42779
  • Stöd för komprimeringskodc för lz4raw för Parquet SPARK-43273
  • Avro: skriva komplexa fackföreningar SPARK-25050
  • Påskynda slutsatsdragning av tidsstämpeltyp med användarformat i JSON/CSV-datakällan SPARK-39280
  • Avro to Support custom decimal type backed by Long SPARK-43901
  • Undvik att blanda i Lagringspartitionerad koppling när partitionsnycklar matchar fel, men kopplingsuttryck är kompatibla SPARK-41413
  • Ändra binär till dataType som inte stöds i CSV-format SPARK-42237
  • Tillåt att Avro konverterar unionstyp till SQL med fältnamnet stabilt med typen SPARK-43333
  • Påskynda slutsatsdragning av tidsstämpeltyp med äldre format i JSON/CSV-datakällan SPARK-39281

Frågeoptimering

  • Underuttryckseliminering stöder genvägsuttrycket SPARK-42815
  • Förbättra uppskattningen av kopplingsstatistik om ena sidan kan behålla unikheten SPARK-39851
  • Introducera gruppgränsen för Window för rankningsbaserat filter för att optimera top-k-beräkningen SPARK-37099
  • Åtgärda beteendet för null IN (tom lista) i optimeringsregler SPARK-44431
  • Härled och tryck ned fönstergränsen genom fönstret om partitionSpec är tom SPARK-41171
  • Ta bort den yttre kopplingen om de alla är distinkta mängdfunktioner SPARK-42583
  • Dölj två intilliggande fönster med samma partition/ordning i underfrågan SPARK-42525
  • Push-ned gränsen via Python UDFs SPARK-42115
  • Optimera ordningen på filtreringspredikaten SPARK-40045

Kodgenerering och frågekörning

  • Körningsfilter bör ha stöd för multinivå shuffle join side as filter creation side SPARK-41674
  • Codegen-stöd för HiveSimpleUDF SPARK-42052
  • Codegen-stöd för HiveGenericUDF SPARK-42051
  • Codegen-stöd för genereringssidans yttre blandade hashkoppling SPARK-44060
  • Implementera kodgenerering för to_csv funktion (StructsToCsv) SPARK-42169
  • Skapa AQE-stöd för InMemoryTableScanExec SPARK-42101
  • Stöd vänster yttre koppling bygga vänster eller höger yttre koppling bygga höger i blandade hash koppling SPARK-36612
  • Respekt kräverDistributionAndOrdering i CTAS/RTAS SPARK-43088
  • Sammanslagningshinkar i koppling tillämpas på sändningsanslutningsströmsidan SPARK-43107
  • Ange nullable korrekt på sammansvetsad kopplingsnyckel i fullständig yttre USING-koppling SPARK-44251
  • Åtgärda IN-underfrågan ListQuery nullability SPARK-43413

Andra anmärkningsvärda ändringar

  • Ange nullable korrekt för nycklar i USING-kopplingar SPARK-43718
  • Fix COUNT(*) är null-bugg i korrelerad skalär underfråga SPARK-43156
  • Dataframe.joinWith outer-join ska returnera ett null-värde för omatchad rad SPARK-37829
  • Byta namn på motstridiga metadatakolumner automatiskt SPARK-42683
  • Dokumentera Spark SQL-felklasserna i den användarinriktade dokumentationen SPARK-42706

PySpark

Funktioner

  • Stöd för positionsparametrar i Python sql() SPARK-44140
  • Stöd för parameteriserad SQL med sql() SPARK-41666
  • Stöd för användardefinierade Python-tabellfunktioner SPARK-43797
  • Stöd för att ställa in Körbar Python för UDF- och Pandas-funktions-API:er i arbetare under körning spark-43574
  • Lägg till DataFrame.offset i PySpark SPARK-43213
  • Implementera dir() i pyspark.sql.dataframe.DataFrame för att inkludera kolumnerna SPARK-43270
  • Lägg till alternativ för att använda stora variabelbreddsvektorer för pilens UDF-åtgärder SPARK-39979
  • Gör mapInPandas /mapInArrow stöd för körning av barriärläge SPARK-42896
  • Lägga till JobTag-API:er i PySpark SparkContext SPARK-44194
  • Stöd för Python UDTF för att analysera i Python SPARK-44380
  • Exponera tidsstämpelNTZType i pyspark.sql.types SPARK-43759
  • Stöd för kapslad tidsstämpeltyp SPARK-43545
  • Stöd för UserDefinedType i createDataFrame från Pandas DataFrame och toPandas [SPARK-43817][SPARK-43702]https://issues.apache.org/jira/browse/SPARK-43702)
  • Lägg till ett binärt deskriptoralternativ i Pyspark Protobuf API SPARK-43799
  • Acceptera generics-tuppeln som att skriva tips om Pandas UDF SPARK-43886
  • Lägg till array_prepend funktionen SPARK-41233
  • Lägg till assertDataFrameEqual util-funktionen SPARK-44061
  • Stöd för piloptimerade Python UDTFs SPARK-43964
  • Tillåt anpassad precision för fp ca likhet SPARK-44217
  • Göra assertSchemaEqual API offentligt SPARK-44216
  • Stöd fill_value för ps. Serie SPARK-42094
  • Stöd för structtyp i createDataFrame från Pandas DataFrame SPARK-43473

Andra anmärkningsvärda ändringar

  • Lägg till stöd för automatisk komplettering för df[|] i pyspark.sql.dataframe.DataFrame [SPARK-43892]
  • Ta bort de API:er som ska tas bort i Pandas 2.0 [SPARK-42593]
  • Gör Python till den första fliken för kodexempel – Spark SQL, DataFrames och Datasets Guide SPARK-42493
  • Uppdatera återstående Kodexempel för Spark-dokumentation för att visa Python som standard SPARK-42642
  • Använd deduplicerade fältnamn när du skapar Arrow RecordBatch [SPARK-41971]
  • Stöd för duplicerade fältnamn i createDataFrame med Pandas DataFrame [SPARK-43528]
  • Parametern Tillåt kolumner när du skapar DataFrame med serie [SPARK-42194]

Kärna

  • Schemalägg sammanslagningSluts när push-sammanslagning shuffleMapStage försöker igen men inga aktiviteter som körs SPARK-40082
  • Introducera PartitionEvaluator för SQL-operatorkörning SPARK-43061
  • Tillåt ShuffleDriverComponent att deklarera om shuffle-data lagras på ett tillförlitligt sätt SPARK-42689
  • Lägg till maxförsöksbegränsning för steg för att undvika potentiellt oändligt nytt försök med SPARK-42577
  • Stöd för konfiguration på loggnivå med statisk Spark conf SPARK-43782
  • Optimera PercentileHeap SPARK-42528
  • Lägg till orsaksargument i TaskScheduler.cancelTasks SPARK-42602
  • Undvik onödiga omkörningar av inaktiverade utförare om blanda data migreras SPARK-41469
  • Åtgärda ackumulatorns underkonto när det gäller återförsöksaktiviteten med RDD-cachen SPARK-41497
  • Använd RocksDB för spark.history.store.hybridStore.diskBackend som standard SPARK-42277
  • NonFateSharingCache wrapper för Guava Cache SPARK-43300
  • Förbättra prestanda för MapOutputTracker.updateMapOutput SPARK-43043
  • Låta appar styra om deras metadata sparas i databasen av den externa shuffle-tjänsten SPARK-43179
  • Lägg till SPARK_DRIVER_POD_IP env-variabel i körpoddar SPARK-42769
  • Monterar hadoop-konfigurationskartan på executor-podden SPARK-43504

Strukturerad direktuppspelning

  • Lägg till stöd för spårning av fästa block minnesanvändning för RocksDB-tillståndsarkivet SPARK-43120
  • Lägg till rocksDB-tillståndslagringsproviderns minneshanteringsförbättringar SPARK-43311
  • Introducera dropDuplicatesWithinWatermark SPARK-42931
  • Introducera ett nytt återanrop påQueryIdle() till StreamingQueryListener SPARK-43183
  • Lägg till alternativ för att hoppa över incheckningskoordinatorn som en del av StreamingWrite API för DSv2-källor/mottagare SPARK-42968
  • Introducera ett nytt återanrop "onQueryIdle" till StreamingQueryListener SPARK-43183
  • Implementera ändringsloggbaserad kontrollpunkt för RocksDB State Store Provider SPARK-43421
  • Lägg till stöd för WRITE_FLUSH_BYTES för RocksDB som används i strömningstillståndskänsliga operatorer SPARK-42792
  • Lägg till stöd för att ange max_write_buffer_number och write_buffer_size för RocksDB som används i spark-42819-strömning
  • RocksDB StateStore-låsförvärv bör ske efter att indata-iteratorn hämtats från INPUTRDD SPARK-42566
  • Introducera vattenstämpelspridning bland operatörerna SPARK-42376
  • Rensa överblivna sst- och loggfiler i RocksDB-kontrollpunktskatalogen SPARK-42353
  • Expandera QueryTerminatedEvent för att innehålla felklass om den finns i undantaget SPARK-43482

ML

  • Stöd för distribuerad utbildning av funktioner med djupleds SPARK-44264
  • Basgränssnitt för sparkML för spark3.5: estimator/transformer/model/evaluator SPARK-43516
  • Gör MLv2 (ML på Spark Connect) stöder Pandas >= 2.0 SPARK-43783
  • Uppdatera MLv2 Transformer-gränssnitten SPARK-43516
  • Ny pyspark ML logistic regression estimator implementerad ovanpå distributören SPARK-43097
  • Lägg till Classifier.getNumClasses tillbaka SPARK-42526
  • Skriva en Deepspeed Distributed Learning Class DeepspeedTorchDistributor SPARK-44264
  • Grundläggande implementering av sparande/inläsning för ML på Spark Connect SPARK-43981
  • Förbättra logistic regression model saving SPARK-43097
  • Implementera pipelineberäknare för ML på Spark Connect SPARK-43982
  • Implementera korsverifieraren spark-43983
  • Implementera klassificeringsutvärderaren SPARK-44250
  • Gör PyTorch-distributör kompatibel med Spark Anslut SPARK-42993

UI

Skapa och andra

Borttagningar, beteendeändringar och utfasningar

Kommande borttagning

Följande funktioner tas bort i nästa spark-huvudversion

  • Stöd för Java 8 och Java 11 och den lägsta Java-versionen som stöds är Java 17
  • Stöd för Scala 2.12 och den minimala Scala-versionen som stöds är 2.13

Migreringsguider

Stöd för Databricks ODBC/JDBC-drivrutin

Databricks har stöd för ODBC/JDBC-drivrutiner som släppts under de senaste två åren. Ladda ned de nyligen släppta drivrutinerna och uppgradera (ladda ned ODBC, ladda ned JDBC).

Systemmiljö

  • Operativsystem: Ubuntu 22.04.3 LTS
  • Java: Zulu 8.70.0.23-CA-linux64
  • Scala: 2.12.15
  • Python: 3.10.12
  • R: 4.3.1
  • Deltasjön: 2.4.0

Installerade Python-bibliotek

Bibliotek Version Bibliotek Version Bibliotek Version
anyio 3.5.0 argon2-cffi 21.3.0 argon2-cffi-bindningar 21.2.0
asttokens 2.0.5 attrs 22.1.0 backcall 0.2.0
beautifulsoup4 4.11.1 svart 22.6.0 Blekmedel 4.1.0
blinker 1.4 boto3 1.24.28 botocore 1.27.96
Certifi 2022.12.7 Cffi 1.15.1 Chardet 4.0.0
charset-normalizer 2.0.4 klicka 8.0.4 Comm 0.1.2
contourpy 1.0.5 Kryptografi 39.0.1 Apparat 0.11.0
Cython 0.29.32 databricks-sdk 0.1.6 dbus-python 1.2.18
felsökning 1.6.7 Dekoratör 5.1.1 defusedxml 0.7.1
distlib 0.3.7 docstring-to-markdown 0,11 entrypoints 0,4
Verkställande 0.8.3 facets-overview 1.1.1 fastjsonschema 2.18.0
filelock 3.12.2 Fonttools 4.25.0 GCC-körningsbibliotek 1.10.0
googleapis-common-protos 1.60.0 grpcio 1.48.2 grpcio-status 1.48.1
httplib2 0.20.2 idna 3.4 importlib-metadata 4.6.4
ipykernel 6.25.0 Ipython 8.14.0 ipython-genutils 0.2.0
ipywidgets 7.7.2 Jedi 0.18.1 Jeepney 0.7.1
Jinja2 3.1.2 jmespath 0.10.0 joblib 1.2.0
jsonschema 4.17.3 jupyter-client 7.3.4 jupyter-server 1.23.4
jupyter_core 5.2.0 jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0
Keyring 23.5.0 kiwisolver 1.4.4 Launchpadlib 1.10.16
Lazr.restfulclient 0.14.4 Lazr.uri 1.0.6 Lxml 4.9.1
Markering Valv 2.1.1 matplotlib 3.7.0 matplotlib-inline 0.1.6
Mccabe 0.7.0 mistune 0.8.4 more-itertools 8.10.0
mypy-extensions 0.4.3 nbclassic 0.5.2 nbclient 0.5.13
nbconvert 6.5.4 nbformat 5.7.0 nest-asyncio 1.5.6
nodeenv 1.8.0 notebook-fil 6.5.2 notebook_shim 0.2.2
Numpy 1.23.5 oauthlib 3.2.0 Förpackning 22,0
Pandas 1.5.3 pandocfilter 1.5.0 parso 0.8.3
pathspec 0.10.3 Patsy 0.5.3 Pexpect 4.8.0
pickleshare 0.7.5 Kudde 9.4.0 Pip 22.3.1
platformdirs 2.5.2 plotly 5.9.0 pluggy 1.0.0
prometheus-client 0.14.1 prompt-toolkit 3.0.36 protobuf 4.24.0
Psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 pyarrow 8.0.0 pycparser 2.21
pydantisk 1.10.6 Pyflakes 3.0.1 Pygments 2.11.2
Pygobject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.32
Pyparsing 3.0.9 pyright 1.1.294 pyrsistent 0.18.0
python-dateutil 2.8.2 python-lsp-jsonrpc 1.0.0 python-lsp-server 1.7.1
pytoolconfig 1.2.5 pytz 2022.7 pyzmq 23.2.0
begäranden 2.28.1 Rep 1.7.0 s3transfer 0.6.1
scikit-learn 1.1.1 seaborn 0.12.2 SecretStorage 3.3.1
Send2Trash 1.8.0 Setuptools 65.6.3 Sex 1.16.0
sniffio 1.2.0 soupsieve 2.3.2.post1 ssh-import-id 5,11
stack-data 0.2.0 statsmodels 0.13.5 Uthållighet 8.1.0
terminado 0.17.1 threadpoolctl 2.2.0 tinycss2 1.2.1
tokenize-rt 4.2.1 tomli 2.0.1 Tornado 6.1
traitlets 5.7.1 typing_extensions 4.4.0 ujson 5.4.0
obevakade uppgraderingar 0,1 urllib3 1.26.14 Virtualenv 20.16.7
Wadllib 1.3.6 wcwidth 0.2.5 webencodings 0.5.1
websocket-client 0.58.0 whatthepatch 1.0.2 Hjul 0.38.4
widgetsnbextension 3.6.1 yapf 0.31.0 Zipp 1.0.0

Installerade R-bibliotek

R-bibliotek installeras från Posit Package Manager CRAN-ögonblicksbilden 2023-07-13.

Bibliotek Version Bibliotek Version Bibliotek Version
arrow 12.0.1 Askpass 1,1 assertthat 0.2.1
Backports 1.4.1 bas 4.3.1 base64enc 0.1-3
bit 4.0.5 bit64 4.0.5 blob 1.2.4
start 1.3-28 Brygga 1.0-8 Brio 1.1.3
Kvast 1.0.5 bslib 0.5.0 cachem 1.0.8
anropare 3.7.3 textmarkör 6.0-94 cellranger 1.1.0
Chron 2.3-61 klass 7.3-22 cli 3.6.1
clipr 0.8.0 Klocka 0.7.0 cluster 2.1.4
Codetools 0.2-19 Färgrymd 2.1-0 commonmark 1.9.0
Kompilator 4.3.1 config 0.3.1 Konflikt 1.2.0
cpp11 0.4.4 Krita 1.5.2 autentiseringsuppgifter 1.3.2
Curl 5.0.1 data.table 1.14.8 datauppsättningar 4.3.1
DBI 1.1.3 dbplyr 2.3.3 Desc 1.4.2
Devtools 2.4.5 diagram 1.6.5 diffobj 0.3.5
Digest 0.6.33 downlit 0.4.3 dplyr 1.1.2
dtplyr 1.3.1 e1071 1.7-13 ellips 0.3.2
evaluate (utvärdera) 0.21 fansi 1.0.4 farver 2.1.1
fastmap 1.1.1 fontawesome 0.5.1 forcats 1.0.0
foreach 1.5.2 Utländska 0.8-82 Forge 0.2.0
Fs 1.6.2 Framtiden 1.33.0 future.apply 1.11.0
Gurgla 1.5.1 Generika 0.1.3 Gert 1.9.2
ggplot2 3.4.2 Gh 1.4.0 gitcreds 0.1.2
glmnet 4.1-7 Globals 0.16.2 Lim 1.6.2
googledrive 2.1.1 googlesheets4 1.1.1 Gower 1.0.1
grafik 4.3.1 grDevices 4.3.1 Rutnät 4.3.1
gridExtra 2.3 gsubfn 0,7 gtable 0.3.3
hardhat 1.3.0 Tillflyktsort 2.5.3 highr 0.10
Hms 1.1.3 htmltools 0.5.5 htmlwidgets 1.6.2
httpuv 1.6.11 httr 1.4.6 httr2 0.2.3
Id 1.0.1 Ini 0.3.1 Ipred 0.9-14
isoband 0.2.7 Iteratorer 1.0.14 jquerylib 0.1.4
jsonlite 1.8.7 Kernsmooth 2.23-21 stickning 1,43
Märkning 0.4.2 Senare 1.3.1 Galler 0.21-8
Lava 1.7.2.1 livscykel 1.0.3 lyssna 0.9.0
lubridate 1.9.2 magrittr 2.0.3 Markdown 1,7
MASSACHUSETTS 7.3-60 Matris 1.5-4.1 pmise 2.0.1
metoder 4.3.1 Mgcv 1.8-42 Mime 0,12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 Nlme 3.1-162 Nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.0.6 parallel 4.3.1
parallellt 1.36.0 Pelaren 1.9.0 pkgbuild 1.4.2
Pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2.1
plogr 0.2.0 plyr 1.8.8 Beröm 1.0.0
prettyunits 1.1.1 Proc 1.18.4 processx 3.8.2
prodlim 2023.03.31 profvis 0.3.8 Förlopp 1.2.2
progressr 0.13.0 Löften 1.2.0.1 Proto 1.0.0
Proxy 0.4-27 Ps 1.7.5 Purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
Rcolorbrewer 1.1-3 Rcpp 1.0.11 RcppEigen 0.3.3.9.3
readr 2.1.4 readxl 1.4.3 recept 1.0.6
Returmatch 1.0.1 rematch2 2.1.2 Fjärrkontroller 2.4.2
reprex 2.0.2 omforma2 1.4.4 rlang 1.1.1
rmarkdown 2.23 RODBC 1.3-20 roxygen2 7.2.3
Rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-11
RSQLite 2.3.1 rstudioapi 0.15.0 rversioner 2.1.2
rvest 1.0.3 Sass 0.4.6 Skalor 1.2.1
väljare 0.4-2 sessioninfo 1.2.2 Form 1.4.6
Blanka 1.7.4.1 sourcetools 0.1.7-1 sparklyr 1.8.1
SparkR 3.5.0 Rumsliga 7.3-15 Splines 4.3.1
sqldf 0.4-11 SQUAREM 2021.1 Statistik 4.3.1
stats4 4.3.1 stringi 1.7.12 stringr 1.5.0
Överlevnad 3.5-5 sys 3.4.2 systemfonts 1.0.4
Tcltk 4.3.1 testthat 3.1.10 textshaping 0.3.6
Tibble 3.2.1 tidyr 1.3.0 avmarkera 1.2.0
tidyverse 2.0.0 timechange 0.2.0 Timedate 4022.108
tinytex 0,45 verktyg 4.3.1 tzdb 0.4.0
urlchecker 1.0.1 usethis 2.2.2 utf8 1.2.3
verktyg 4.3.1 uuid 1.1-0 vctrs 0.6.3
viridisLite 0.4.2 Vroom 1.6.3 Waldo 0.5.1
Morrhår 0.4.1 withr 2.5.0 xfun 0,39
xml2 1.3.5 xopen 1.0.0 xtable 1.8-4
Yaml 2.3.7 Zip 2.3.0

Installerade Java- och Scala-bibliotek (Scala 2.12-klusterversion)

Grupp-ID Artefakt-ID Version
Antlr Antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics Stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.2.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-skuggad 4.0.2
com.esotericsoftware Minlog 1.3.0
com.fasterxml Klasskamrat 1.3.4
com.fasterxml.jackson.core jackson-anteckningar 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.15.1
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.koffein Koffein 2.9.3
com.github.fommil jniloader 1,1
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink Tingeling 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava Guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger profilerare 1.1.1
com.jcraft Jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2,6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib Arpack 3.0.3
dev.ludovic.netlib Blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,24
io.delta delta-sharing-spark_2.12 0.7.1
io.dropwizard.metrics metrics-annotation 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.93.Final
io.netty netty-buffert 4.1.93.Final
io.netty netty-codec 4.1.93.Final
io.netty netty-codec-http 4.1.93.Final
io.netty netty-codec-http2 4.1.93.Final
io.netty netty-codec-socks 4.1.93.Final
io.netty netty-common 4.1.93.Final
io.netty netty-handler 4.1.93.Final
io.netty netty-handler-proxy 4.1.93.Final
io.netty netty-resolver 4.1.93.Final
io.netty netty-transport 4.1.93.Final
io.netty netty-transport-classes-epoll 4.1.93.Final
io.netty netty-transport-classes-kqueue 4.1.93.Final
io.netty netty-transport-native-epoll 4.1.93.Final
io.netty netty-transport-native-epoll 4.1.93.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.93.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.93.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.93.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.93.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Samlare 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktivering 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction Jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
Jline Jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine Ättikslag 1.3
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.33
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant Ant 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow pilformat 12.0.1
org.apache.arrow arrow-memory-core 12.0.1
org.apache.arrow arrow-memory-netty 12.0.1
org.apache.arrow pilvektor 12.0.1
org.apache.avro Avro 1.11.2
org.apache.avro avro-ipc 1.11.2
org.apache.avro avro-mapred 1.11.2
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recept 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy Ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.20.0
org.apache.logging.log4j log4j-api 2.20.0
org.apache.logging.log4j log4j-core 2.20.0
org.apache.logging.log4j log4j-slf4j2-impl 2.20.0
org.apache.mesos mesos 1.11.0-shaded-protobuf
org.apache.orc orc-core 1.9.0-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.0-shaded-protobuf
org.apache.orc orc-shims 1.9.0
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus åhörarkommentarer 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino Janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.51.v20230217
org.eclipse.jetty jetty-fortsättning 9.4.51.v20230217
org.eclipse.jetty jetty-http 9.4.51.v20230217
org.eclipse.jetty brygga-io 9.4.51.v20230217
org.eclipse.jetty jetty-jndi 9.4.51.v20230217
org.eclipse.jetty brygga plus 9.4.51.v20230217
org.eclipse.jetty jetty-proxy 9.4.51.v20230217
org.eclipse.jetty jetty-security 9.4.51.v20230217
org.eclipse.jetty brygga-server 9.4.51.v20230217
org.eclipse.jetty brygga-servlet 9.4.51.v20230217
org.eclipse.jetty jetty-servlets 9.4.51.v20230217
org.eclipse.jetty brygga-util 9.4.51.v20230217
org.eclipse.jetty jetty-util-ajax 9.4.51.v20230217
org.eclipse.jetty jetty-webapp 9.4.51.v20230217
org.eclipse.jetty jetty-xml 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-api 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-client 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-common 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-server 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-servlet 9.4.51.v20230217
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator vilolägesverifierare 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Anteckningar 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.9
org.mlflow mlflow-spark 2.2.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.0
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap Shims 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.9.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-kompatibel 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.threeten threeten-extra 1.7.1
org.tukaani Xz 1,9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1