Databricks Runtime 14.0 (niet ondersteund)

  • Artikel

De volgende releaseopmerkingen bevatten informatie over Databricks Runtime 14.0, mogelijk gemaakt door Apache Spark 3.5.0.

Databricks heeft deze afbeeldingen uitgebracht in september 2023.

Nieuwe functies en verbeteringen

Voorspellende I/O voor updates is algemeen beschikbaar

Voorspellende I/O voor updates is nu algemeen beschikbaar. Zie Wat is voorspellende I/O?.

Verwijderingsvectoren zijn ALGEMENE beschikbaarheid

Verwijderingsvectoren zijn nu algemeen beschikbaar. Zie Wat zijn verwijderingsvectoren?

Spark 3.5.0 is algemeen beschikbaar

Apache Spark 3.5.0 is nu algemeen beschikbaar. Zie Spark Release 3.5.0.

Openbare preview voor door de gebruiker gedefinieerde tabelfuncties voor Python

Met door de gebruiker gedefinieerde tabelfuncties (UDDF's) kunt u functies registreren die tabellen retourneren in plaats van scalaire waarden. Zie Wat zijn door de gebruiker gedefinieerde Tabelfuncties van Python?

Openbare preview voor gelijktijdigheid op rijniveau

Gelijktijdigheid op rijniveau vermindert conflicten tussen gelijktijdige schrijfbewerkingen door wijzigingen op rijniveau te detecteren en automatisch concurrerende wijzigingen in gelijktijdige schrijfbewerkingen op te lossen die verschillende rijen in hetzelfde gegevensbestand bijwerken of verwijderen. Zie Schrijfconflicten met gelijktijdigheid op rijniveau.

De standaard huidige werkmap is gewijzigd

De standaard huidige werkmap (CWD) voor code die lokaal wordt uitgevoerd, is nu de map met het notebook of script dat wordt uitgevoerd. Dit omvat code zoals %sh python- of R-code die geen gebruik maakt van Spark. Zie Wat is de standaard huidige werkmap?

Bekend probleem met sparklyr

De geïnstalleerde versie van het sparklyr pakket (versie 1.8.1) is niet compatibel met Databricks Runtime 14.0. Installeer versie 1.8.3 of hoger om te gebruiken sparklyr.

Inleiding tot Spark-Verbinding maken in een gedeelde clusterarchitectuur

Met Databricks Runtime 14.0 en hoger maken gedeelde clusters nu standaard gebruik van Spark Verbinding maken met het Spark-stuurprogramma van de Python REPL. Interne Spark-API's zijn niet langer toegankelijk vanuit gebruikerscode.

Spark Verbinding maken communiceert nu met het Spark-stuurprogramma van de REPL, in plaats van de verouderde REPL-integratie.

Beschikbare API-update voor Spark-versies weergeven

Schakel Photon in door de instelling in te stellen runtime_engine = PHOTONen in te schakelen aarch64 door een type graviton-instantie te kiezen. Azure Databricks stelt de juiste Databricks Runtime-versie in. Voorheen retourneert de Spark-versie-API implementatiespecifieke runtimes voor elke versie. Zie GET /api/2.0/clusters/spark-versions in de REST API Reference.

Wijzigingen die fouten veroorzaken

In Databricks Runtime 14.0 en hoger maken clusters met de modus voor gedeelde toegang gebruik van Spark Verbinding maken voor communicatie met clientservers. Dit omvat de volgende wijzigingen.

Zie Beperkingen voor de compute-toegangsmodus voor Unity Catalog voor meer informatie over beperkingen voor gedeelde toegangsmodus.

Python op clusters met de modus voor gedeelde toegang

  • sqlContext is niet beschikbaar. Azure Databricks raadt aan de spark variabele voor het SparkSession exemplaar te gebruiken.
  • Spark-context (sc) is niet meer beschikbaar in notebooks of wanneer u Databricks gebruikt Verbinding maken op een cluster met de modus voor gedeelde toegang. De volgende sc functies zijn niet meer beschikbaar:
    • emptyRDD, , range, , , pickleFile, , textFile, wholeTextFiles, , newAPIHadoopFilesetJobGrouprunJobstophadoopFilehadoopRDDunionuiWebUrlsetLocalPropertysequenceFilesetSystemPropertybinaryRecordsnewAPIHadoopRDDbinaryFilesparallelizeinit_batched_serializergetConf
  • De functie Gegevenssetgegevens wordt niet meer ondersteund.
  • Er is geen afhankelijkheid meer van de JVM bij het uitvoeren van query's op Apache Spark en als gevolg hiervan worden interne API's met betrekking tot de JVM, zoals _jsc, _jconf, _jsparkSession_jvm, _jreader, _jc, , _jseq, , _jdfen _jmap_jcols niet meer ondersteund.
  • Wanneer u configuratiewaarden opent met behulp van spark.conf alleen dynamische runtime-configuratiewaarden, zijn ze toegankelijk.
  • Analyseopdrachten voor Delta Live Tables worden nog niet ondersteund op gedeelde clusters.

Delta op clusters met modus voor gedeelde toegang

  • In Python is er geen afhankelijkheid meer van JVM bij het uitvoeren van query's op Apache Spark. Interne API's met betrekking tot JVM, zoals DeltaTable._jdt, DeltaTableBuilder._jbuilderen DeltaMergeBuilder._jbuilderDeltaOptimizeBuilder._jbuilder worden niet meer ondersteund.

SQL op clusters met de modus voor gedeelde toegang

  • DBCACHE en DBUNCACHE opdrachten worden niet meer ondersteund.
  • Zeldzame gebruiksvoorbeelden zoals cache table db as show databases worden niet meer ondersteund.

Bibliotheekupgrades

  • Bijgewerkte Python-bibliotheken:
    • asttokens van 2.2.1 tot 2.0.5
    • attrs van 21.4.0 tot 22.1.0
    • botocore van 1.27.28 tot 1.27.96
    • certifi van 2022.9.14 tot 2022.12.7
    • cryptografie van 37.0.1 tot 39.0.1
    • foutopsporing van 1.6.0 tot 1.6.7
    • docstring-to-markdown van 0.12 tot 0.11
    • uitvoeren van 1.2.0 tot 0.8.3
    • facetten-overzicht van 1.0.3 tot 1.1.1
    • googleapis-common-protos van 1.56.4 tot 1.60.0
    • grpcio van 1.48.1 tot 1.48.2
    • idna van 3.3 tot 3.4
    • ipykernel van 6.17.1 tot 6.25.0
    • ipython van 8.10.0 tot 8.14.0
    • Jinja2 van 2.11.3 tot 3.1.2
    • jsonschema van 4.16.0 tot 4.17.3
    • jupyter_core van 4.11.2 tot 5.2.0
    • kiwisolver van 1.4.2 tot 1.4.4
    • MarkupSafe van 2.0.1 tot 2.1.1
    • matplotlib van 3.5.2 tot 3.7.0
    • nbconvert van 6.4.4 tot 6.5.4
    • nbformat van 5.5.0 tot 5.7.0
    • nest-asyncio van 1.5.5 tot 1.5.6
    • notebook van 6.4.12 tot 6.5.2
    • numpy van 1.21.5 tot 1.23.5
    • verpakking van 21.3 tot 22.0
    • pandas van 1.4.4 tot 1.5.3
    • pathspec van 0.9.0 tot 0.10.3
    • patsy van 0.5.2 tot 0.5.3
    • Kussen van 9.2.0 tot 9.4.0
    • pip van 22.2.2 tot 22.3.1
    • protobuf van 3.19.4 tot 4.24.0
    • pytoolconfig van 1.2.2 tot 1.2.5
    • pytz van 2022.1 tot 2022.7
    • s3transfer van 0.6.0 tot 0.6.1
    • seaborn van 0.11.2 tot 0.12.2
    • setuptools van 63.4.1 tot 65.6.3
    • soepsieve van 2.3.1 tot 2.3.2.post1
    • stack-data van 0.6.2 tot 0.2.0
    • statsmodels van 0.13.2 tot 0.13.5
    • terminado van 0.13.1 tot 0.17.1
    • traitlets van 5.1.1 tot 5.7.1
    • typing_extensions van 4.3.0 tot 4.4.0
    • urllib3 van 1.26.11 tot 1.26.14
    • virtualenv van 20.16.3 tot 20.16.7
    • wiel van 0.37.1 tot 0.38.4
  • Bijgewerkte R-bibliotheken:
    • pijl van 10.0.1 tot 12.0.1
    • basis van 4.2.2 tot 4.3.1
    • blob van 1.2.3 tot 1.2.4
    • bezem van 1.0.3 tot 1.0.5
    • bslib van 0.4.2 tot 0.5.0
    • cachem van 1.0.6 tot 1.0.8
    • caret van 6,0-93 tot 6,0-94
    • chron van 2.3-59 tot 2.3-61
    • klasse van 7.3-21 tot 7.3-22
    • cli van 3.6.0 naar 3.6.1
    • klok van 0.6.1 tot 0.7.0
    • commonmark van 1.8.1 tot 1.9.0
    • compiler van 4.2.2 tot 4.3.1
    • cpp11 van 0.4.3 tot 0.4.4
    • curl van 5.0.0 tot 5.0.1
    • data.table van 1.14.6 tot 1.14.8
    • gegevenssets van 4.2.2 tot 4.3.1
    • dbplyr van 2.3.0 tot 2.3.3
    • digest van 0.6.31 tot 0.6.33
    • downlit van 0.4.2 tot 0.4.3
    • dplyr van 1.1.0 tot 1.1.2
    • dtplyr van 1.2.2 tot 1.3.1
    • evalueren van 0,20 tot 0,21
    • fastmap van 1.1.0 tot 1.1.1
    • fontawesome van 0.5.0 tot 0.5.1
    • fs van 1.6.1 tot 1.6.2
    • toekomst van 1.31.0 tot 1.33.0
    • future.apply from 1.10.0 to 1.11.0
    • slingeren van 1.3.0 tot 1.5.1
    • ggplot2 van 3.4.0 tot 3.4.2
    • gh van 1.3.1 tot 1.4.0
    • glmnet van 4.1-6 tot 4.1-7
    • googledrive van 2.0.0 tot 2.1.1
    • googlesheets4 van 1.0.1 tot 1.1.1
    • afbeeldingen van 4.2.2 tot 4.3.1
    • grDevices van 4.2.2 tot 4.3.1
    • raster van 4.2.2 tot 4.3.1
    • gtable from 0.3.1 to 0.3.3
    • hardhat van 1.2.0 tot 1.3.0
    • haven van 2.5.1 tot 2.5.3
    • hms van 1.1.2 tot 1.1.3
    • htmltools van 0.5.4 tot 0.5.5
    • htmlwidgets van 1.6.1 tot 1.6.2
    • httpuv van 1.6.8 tot 1.6.11
    • httr van 1.4.4 tot 1.4.6
    • ipred van 0.9-13 tot 0,9-14
    • jsonlite van 1.8.4 tot 1.8.7
    • KernSmooth van 2.23-20 tot 2.23-21
    • breiwerk van 1,42 tot 1,43
    • hoger van 1.3.0 tot 1.3.1
    • rooster van 0,20-45 tot 0,21-8
    • lava van 1.7.1 tot 1.7.2.1
    • lubridate van 1.9.1 tot 1.9.2
    • markdown van 1,5 tot 1,7
    • MASSA van 7.3-58.2 tot 7,3-60
    • Matrix van 1,5-1 tot 1,5-4.1
    • methoden van 4.2.2 tot 4.3.1
    • mgcv van 1,8-41 tot 1,8-42
    • modelr van 0.1.10 tot 0.1.11
    • nnet van 7.3-18 tot 7.3-19
    • openssl van 2.0.5 tot 2.0.6
    • parallel van 4.2.2 tot 4.3.1
    • parallel van 1.34.0 tot 1.36.0
    • pijler van 1.8.1 tot 1.9.0
    • pkgbuild van 1.4.0 tot 1.4.2
    • pkgload van 1.3.2 tot 1.3.2.1
    • pROC van 1.18.0 tot 1.18.4
    • processx van 3.8.0 tot 3.8.2
    • prodlim van 2019.11.13 tot 2023.03.31
    • profvis van 0.3.7 tot 0.3.8
    • ps van 1.7.2 tot 1.7.5
    • Rcpp van 1.0.10 tot 1.0.11
    • leesbewerking van 2.1.3 tot 2.1.4
    • readxl van 1.4.2 tot 1.4.3
    • recepten van 1.0.4 tot 1.0.6
    • rlang van 1.0.6 tot 1.1.1
    • rmarkdown van 2.20 tot 2.23
    • Rserve van 1,8-12 tot 1,8-11
    • RSQLite van 2.2.20 tot 2.3.1
    • rstudioapi van 0.14 tot 0.15.0
    • sass van 0.4.5 tot 0.4.6
    • glanzend van 1.7.4 tot 1.7.4.1
    • sparklyr van 1.7.9 tot 1.8.1
    • SparkR van 3.4.1 tot 3.5.0
    • splines van 4.2.2 tot 4.3.1
    • statistieken van 4.2.2 tot 4.3.1
    • stats4 van 4.2.2 tot 4.3.1
    • overleving van 3,5-3 tot 3,5-5
    • sys from 3.4.1 to 3.4.2
    • tcltk van 4.2.2 tot 4.3.1
    • testthat van 3.1.6 tot 3.1.10
    • tibble van 3.1.8 tot 3.2.1
    • tidyverse van 1.3.2 tot 2.0.0
    • tinytex van 0,44 tot 0,45
    • hulpprogramma's van 4.2.2 tot 4.3.1
    • tzdb van 0.3.0 tot 0.4.0
    • usethis from 2.1.6 to 2.2.2
    • hulpmiddelen van 4.2.2 tot 4.3.1
    • vctrs van 0.5.2 tot 0.6.3
    • viridisLite van 0.4.1 tot 0.4.2
    • vroom van 1.6.1 tot 1.6.3
    • waldo van 0.4.0 tot 0.5.1
    • xfun van 0,37 tot 0,39
    • xml2 van 1.3.3 tot 1.3.5
    • zip van 2.2.2 tot 2.3.0
  • Bijgewerkte Java-bibliotheken:
    • com.fasterxml.jackson.core.jackson-aantekeningen van 2.14.2 tot 2.15.2
    • com.fasterxml.jackson.core.jackson-core van 2.14.2 tot 2.15.2
    • com.fasterxml.jackson.core.jackson-databind van 2.14.2 tot 2.15.2
    • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor van 2.14.2 tot 2.15.2
    • com.fasterxml.jackson.datatype.jackson-datatype-joda van 2.14.2 tot 2.15.2
    • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 van 2.13.4 tot 2.15.1
    • com.fasterxml.jackson.module.jackson-module-paranamer van 2.14.2 tot 2.15.2
    • com.fasterxml.jackson.module.jackson-module-scala_2.12 van 2.14.2 tot 2.15.2
    • com.github.luben.zstd-jni van 1.5.2-5 tot 1.5.5-4
    • com.google.code.gson.gson van 2.8.9 tot 2.10.1
    • com.google.crypto.tink.tink van 1.7.0 tot 1.9.0
    • commons-codec.commons-codec van 1.15 tot 1.16.0
    • commons-io.commons-io van 2.11.0 tot 2.13.0
    • io.airlift.aircompressor van 0.21 tot 0.24
    • io.dropwizard.metrics.metrics-core van 4.2.10 tot 4.2.19
    • io.dropwizard.metrics.metrics-graphite van 4.2.10 tot 4.2.19
    • io.dropwizard.metrics.metrics-healthchecks van 4.2.10 tot 4.2.19
    • io.dropwizard.metrics.metrics-jetty9 van 4.2.10 tot 4.2.19
    • io.dropwizard.metrics.metrics-jmx van 4.2.10 tot 4.2.19
    • io.dropwizard.metrics.metrics-json van 4.2.10 tot 4.2.19
    • io.dropwizard.metrics.metrics-jvm van 4.2.10 tot 4.2.19
    • io.dropwizard.metrics.metrics-servlets van 4.2.10 tot 4.2.19
    • io.netty.netty-all van 4.1.87.Final tot 4.1.93.Final
    • io.netty.netty-buffer van 4.1.87.Final tot 4.1.93.Final
    • io.netty.netty-codec van 4.1.87.Final tot 4.1.93.Final
    • io.netty.netty-codec-http van 4.1.87.Final tot 4.1.93.Final
    • io.netty.netty-codec-http2 van 4.1.87.Final tot 4.1.93.Final
    • io.netty.netty-codec-socks van 4.1.87.Final tot 4.1.93.Final
    • io.netty.netty-common van 4.1.87.Final tot 4.1.93.Final
    • io.netty.netty-handler van 4.1.87.Final tot 4.1.93.Final
    • io.netty.netty-handler-proxy van 4.1.87.Final tot 4.1.93.Final
    • io.netty.netty-resolver van 4.1.87.Final tot 4.1.93.Final
    • io.netty.netty-transport van 4.1.87.Final tot 4.1.93.Final
    • io.netty.netty-transport-classes-epoll van 4.1.87.Final tot 4.1.93.Final
    • io.netty.netty-transport-classes-kqueue van 4.1.87.Final tot 4.1.93.Final
    • io.netty.netty-transport-native-epoll van 4.1.87.Final-linux-x86_64 tot 4.1.93.Final-linux-x86_64
    • io.netty.netty-transport-native-kqueue van 4.1.87.Final-osx-x86_64 tot 4.1.93.Final-osx-x86_64
    • io.netty.netty-transport-native-unix-common van 4.1.87.Final tot 4.1.93.Final
    • org.apache.arrow.arrow-format van 11.0.0 tot 12.0.1
    • org.apache.arrow.arrow-memory-core van 11.0.0 tot 12.0.1
    • org.apache.arrow.arrow-memory-netty van 11.0.0 tot 12.0.1
    • org.apache.arrow.arrow-vector van 11.0.0 tot 12.0.1
    • org.apache.avro.avro van 1.11.1 tot 1.11.2
    • org.apache.avro.avro-ipc van 1.11.1 tot 1.11.2
    • org.apache.avro.avro-mapred van 1.11.1 tot 1.11.2
    • org.apache.commons.commons-compress van 1.21 tot 1.23.0
    • org.apache.hadoop.hadoop-client-runtime van 3.3.4 tot 3.3.6
    • org.apache.logging.log4j.log4j-1.2-api van 2.19.0 tot 2.20.0
    • org.apache.logging.log4j.log4j-api van 2.19.0 tot 2.20.0
    • org.apache.logging.log4j.log4j-core van 2.19.0 tot 2.20.0
    • org.apache.logging.log4j.log4j-slf4j2-impl van 2.19.0 tot 2.20.0
    • org.apache.orc.orc-core van 1.8.4-shaded-protobuf tot 1.9.0-shaded-protobuf
    • org.apache.orc.orc-mapreduce van 1.8.4-shaded-protobuf naar 1.9.0-shaded-protobuf
    • org.apache.orc.orc-shims van 1.8.4 tot 1.9.0
    • org.apache.xbean.xbean-asm9-shaded van 4.22 tot 4.23
    • org.checkerframework.checker-qual van 3.19.0 tot 3.31.0
    • org.glassfish.jersey.containers.jersey-container-servlet van 2.36 tot 2.40
    • org.glassfish.jersey.containers.jersey-container-servlet-core van 2.36 tot 2.40
    • org.glassfish.jersey.core.jersey-client van 2.36 tot 2.40
    • org.glassfish.jersey.core.jersey-common van 2.36 tot 2.40
    • org.glassfish.jersey.core.jersey-server van 2.36 tot 2.40
    • org.glassfish.jersey.inject.jersey-hk2 van 2.36 tot 2.40
    • org.javassist.javassist van 3.25.0-GA naar 3.29.2-GA
    • org.mariadb.jdbc.mariadb-java-client van 2.7.4 tot 2.7.9
    • org.postgresql.postgresql van 42.3.8 tot 42.6.0
    • org.roaringbitmap.RoaringBitmap van 0.9.39 tot 0.9.45
    • org.roaringbitmap.shims van 0.9.39 tot 0.9.45
    • org.rocksdb.rocksdbjni van 7.8.3 tot 8.3.2
    • org.scala-lang.modules.scala-collection-compat_2.12 van 2.4.3 tot 2.9.0
    • org.slf4j.jcl-over-slf4j van 2.0.6 tot 2.0.7
    • org.slf4j.jul-to-slf4j van 2.0.6 tot 2.0.7
    • org.slf4j.slf4j-api van 2.0.6 tot 2.0.7
    • org.xerial.snappy.snappy-java van 1.1.10.1 tot 1.1.10.3
    • org.yaml.snakeyaml van 1.33 tot 2.0

Apache Spark

Databricks Runtime 14.0. Deze release bevat alle Spark-fixes en verbeteringen die zijn opgenomen in Databricks Runtime 13.3 LTS, evenals de volgende aanvullende bugfixes en verbeteringen in Spark:

  • U kunt nu een clusteromgevingsvariabele SNOWFLAKE_SPARK_CONNECTOR_VERSION=2.12 instellen voor het gebruik van Spark-snowflake-connector v2.12.0.
  • [SPARK-44877] [DBRRM-482] [SC-140437] [VERBINDING MAKEN] [PYTHON] Ondersteuning voor Python protobuf-functies voor Spark-Verbinding maken
  • [SPARK-44882] [DBRRM-463] [SC-140430] [PYTHON] [VERBINDING MAKEN] Functie uuid/random/chr verwijderen uit PySpark
  • [SPARK-44740] [DBRRM-462] [SC-140320] [VERBINDING MAKEN] [VOLGEN] Metagegevenswaarden voor artefacten herstellen
  • [SPARK-44822] [DBRRM-464] [PYTHON] [SQL] Python UDFS standaard niet-deterministisch maken
  • [SPARK-44836] [DBRRM-468] [SC-140228] [PYTHON] Pijl herstructureren Python UDTF
  • [SPARK-44738] [DBRRM-462] [SC-139347] [PYTHON] [VERBINDING MAKEN] Ontbrekende clientmetagegevens toevoegen aan aanroepen
  • [SPARK-44722] [DBRRM-462] [SC-139306] [VERBINDING MAKEN] ExecutePlanResponseReattachableIterator._call_iter: AttributeError: 'NoneType'-object heeft geen kenmerk 'bericht'
  • [SPARK-44625] [DBRRM-396] [SC-139535] [VERBINDING MAKEN] Spark Verbinding maken ExecutionManager om alle uitvoeringen bij te houden
  • [SPARK-44663] [SC-139020] [DBRRM-420] [PYTHON] Pijloptimalisatie standaard uitschakelen voor Python UDFS
  • [SPARK-44709] [DBRRM-396] [SC-139250] [VERBINDING MAKEN] ExecuteGrpcResponseSender uitvoeren in een nieuwe thread die opnieuw kan worden uitgevoerd om stroombeheer te herstellen
  • [SPARK-44656] [DBRRM-396] [SC-138924] [VERBINDING MAKEN] Alle iterators CloseableIterators maken
  • [SPARK-44671] [DBRRM-396] [SC-138929] [PYTHON] [VERBINDING MAKEN] ExecutePlan opnieuw proberen in het geval de eerste aanvraag de server niet heeft bereikt in de Python-client
  • [SPARK-44624] [DBRRM-396] [SC-138919] [VERBINDING MAKEN] ExecutePlan opnieuw proberen in het geval de eerste aanvraag de server niet heeft bereikt
  • [SPARK-44574] [DBRRM-396] [SC-138288] [SQL] [VERBINDING MAKEN] Fouten die zijn verplaatst naar sq/api, moeten ook AnalysisException gebruiken
  • [SPARK-44613] [DBRRM-396] [SC-138473] [VERBINDING MAKEN] Encoders-object toevoegen
  • [SPARK-44626] [DBRRM-396] [SC-138828] [SS] [VERBINDING MAKEN] Opvolgen van beëindiging van streamingquery's wanneer er een time-out optreedt voor de clientsessie voor Spark-Verbinding maken
  • [SPARK-44642] [DBRRM-396] [SC-138882] [VERBINDING MAKEN] ReleaseExecute in ExecutePlanResponseReattachableIterator nadat de fout van de server is opgetreden
  • [SPARK-41400] [DBRRM-396] [SC-138287] [VERBINDING MAKEN] Verbinding maken Client Catalyst-afhankelijkheid verwijderen
  • [SPARK-44664] [DBRRM-396] [PYTHON] [VERBINDING MAKEN] De uitvoering vrijgeven bij het sluiten van de iterator in de Python-client
  • [SPARK-44631] [DBRRM-396] [SC-138823] [VERBINDING MAKEN] [CORE] [14.0.0] Verwijder de map op basis van sessies wanneer de geïsoleerde sessiecache wordt verwijderd
  • [SPARK-42941] [DBRRM-396] [SC-138389] [SS] [VERBINDING MAKEN] Python StreamingQueryListener
  • [SPARK-44636] [DBRRM-396] [SC-138570] [VERBINDING MAKEN] Laat geen zwevende iterators staan
  • [SPARK-44424] [DBRRM-396] [VERBINDING MAKEN] [PYTHON] [14.0.0] Python-client voor het opnieuw koppelen van bestaande uitvoeringen in Spark Verbinding maken
  • [SPARK-44637] [SC-138571] Toegangsrechten synchroniseren met ExecuteResponseObserver
  • [SPARK-44538] [SC-138178] [VERBINDING MAKEN] [SQL] Rij.jsonValue en vrienden opnieuw instellen
  • [SPARK-44421] [SC-138434] [SPARK-44423] [VERBINDING MAKEN] Uitvoering kan opnieuw worden uitgevoerd in Spark Verbinding maken
  • [SPARK-44418] [SC-136807] [PYTHON] [VERBINDING MAKEN] Protobuf upgraden van 3.19.5 naar 3.20.3
  • [SPARK-44587] [SC-138315] [SQL] [VERBINDING MAKEN] Verhoging protobuf marshaller recursielimiet
  • [SPARK-44591] [SC-138292] [VERBINDING MAKEN] [SQL] JobTags toevoegen aan SparkListenerSQLExecutionStart
  • [SPARK-44610] [SC-138368] [SQL] DeduplicateRelations moeten aliasmetagegevens behouden bij het maken van een nieuw exemplaar
  • [SPARK-44542] [SC-138323] [CORE] SparkExitCode-klasse gretig laden in uitzonderingshandler
  • [SPARK-44264] [SC-138143] [PYTHON] E2E-tests voor deepspeed
  • [SPARK-43997] [SC-138347] [VERBINDING MAKEN] Ondersteuning toevoegen voor Java UDF's
  • [SPARK-44507] [SQL] [VERBINDING MAKEN] [14.x] [14.0] AnalysisException verplaatsen naar sql/api
  • [SPARK-44453] [SC-137013] [PYTHON] Difflib gebruiken om fouten weer te geven in assertDataFrameEqual
  • [SPARK-44394] [SC-138291] [VERBINDING MAKEN] [WEBUI] [14.0] Een Spark UI-pagina toevoegen voor Spark Verbinding maken
  • [SPARK-44611] [SC-138415] [VERBINDING MAKEN] Scala-xml niet uitsluiten
  • [SPARK-44531] [SC-138044] [VERBINDING MAKEN] [SQL] [14.x] [14.0] Encoderdeductie verplaatsen naar sql/api
  • [SPARK-43744] [SC-138289] [VERBINDING MAKEN] [14.x] [14.0] Probleem met klasse laden oplossen...
  • [SPARK-44590] [SC-138296] [SQL] [VERBINDING MAKEN] De limiet voor de pijlbatchrecord voor SqlCommandResult verwijderen
  • [SPARK-43968] [SC-138115] [PYTHON] Foutberichten voor Python UDFS verbeteren met een onjuist aantal uitvoer
  • [SPARK-44432] [SC-138293] [SS] [VERBINDING MAKEN] Streamingquery's beëindigen wanneer er een time-out optreedt voor een sessie in Spark Verbinding maken
  • [SPARK-44584] [SC-138295] [VERBINDING MAKEN] Client_type informatie instellen voor AddArtifactsRequest en ArtifactStatusesRequest in Scala Client
  • [SPARK-44552] [14.0] [SC-138176] [SQL] Definitie verwijderen private object ParseState uit IntervalUtils
  • [SPARK-43660] [SC-136183] [VERBINDING MAKEN] [PS] Inschakelen resample met Spark-Verbinding maken
  • [SPARK-44287] [SC-136223] [SQL] PartitionEvaluator-API gebruiken in RowToColumnarExec & ColumnarToRowExec SQL-operators.
  • [SPARK-39634] [SC-137566] [SQL] Bestandssplitsing toestaan in combinatie met het genereren van rijindexen
  • [SPARK-44533] [SC-138058] [PYTHON] Ondersteuning toevoegen voor accumulator-, broadcast- en Spark-bestanden in de analyse van Python UDTF
  • [SPARK-44479] [SC-138146] [PYTHON] ArrowStreamPandasUDFSerializer herstellen om pandas-dataframe zonder kolom te accepteren
  • [SPARK-44425] [SC-138177] [VERBINDING MAKEN] Controleer of de door de gebruiker opgegeven sessionId een UUID is
  • [SPARK-44535] [SC-138038] [VERBINDING MAKEN] [SQL] Vereiste streaming-API verplaatsen naar sql/api
  • [SPARK-44264] [SC-136523] [ML] [PYTHON] Een Deepspeed Distributed Learning Class DeepspeedTorchDistributor schrijven
  • [SPARK-42098] [SC-138164] [SQL] Fix ResolveInlineTables kan niet worden verwerkt met runtimeReplaceable-expressie
  • [SPARK-44060] [SC-135693] [SQL] Code-gen voor build side outer shuffled hash join
  • [SPARK-44496] [SC-137682] [SQL] [VERBINDING MAKEN] Interfaces verplaatsen die nodig zijn voor SCSC naar sql/api
  • [SPARK-44532] [SC-137893] [VERBINDING MAKEN] [SQL] ArrowUtils verplaatsen naar sql/api
  • [SPARK-44413] [SC-137019] [PYTHON] Fout verduidelijken voor niet-ondersteund arggegevenstype in assertDataFrameEqual
  • [SPARK-44530] [SC-138036] [CORE] [VERBINDING MAKEN] SparkBuildInfo verplaatsen naar common/util
  • [SPARK-36612] [SC-133071] [SQL] Ondersteuning voor left outer join build left of right outer join build right in shuffled hash join
  • [SPARK-44519] [SC-137728] [VERBINDING MAKEN] Spark Verbinding maken ServerUtils heeft onjuiste parameters gegenereerd voor JAR's
  • [SPARK-44449] [SC-137818] [VERBINDING MAKEN] Upcasting voor directe pijldeserialisatie
  • [SPARK-44131] [SC-136346] [SQL] Call_function toevoegen en call_udf voor Scala-API verwijderen
  • [SPARK-44541] [SQL] Nutteloze functie hasRangeExprAgainstEventTimeCol verwijderen uit UnsupportedOperationChecker
  • [SPARK-44523] [SC-137859] [SQL] MaxRows/maxRowsPerPartition van filter is 0 als de voorwaarde FalseLiteral is
  • [SPARK-44540] [SC-137873] [UI] Ongebruikt opmaakmodel en Javascript-bestanden van jsonFormatter verwijderen
  • [SPARK-44466] [SC-137856] [SQL] Configuraties uitsluiten die beginnen met SPARK_DRIVER_PREFIX en SPARK_EXECUTOR_PREFIX van gewijzigde configuraties
  • [SPARK-44477] [SC-137508] [SQL] TYPE_CHECK_FAILURE_WITH_HINT behandelen als een foutsubklasse
  • [SPARK-44509] [SC-137855] [PYTHON] [VERBINDING MAKEN] Taakannulerings-API-set toevoegen in Spark Verbinding maken Python-client
  • [SPARK-44059] [SC-137023] Analyseondersteuning van benoemde argumenten toevoegen voor ingebouwde functies
  • [SPARK-38476] [SC-136448] [CORE] Foutklasse gebruiken in org.apache.spark.storage
  • [SPARK-44486] [SC-137817] [PYTHON] [VERBINDING MAKEN] PyArrow-functie self_destruct implementeren voor toPandas
  • [SPARK-44361] [SC-137200] [SQL] PartitionEvaluator-API gebruiken in MapInBatchExec
  • [SPARK-44510] [SC-137652] [UI] DataTables bijwerken naar 1.13.5 en enkele onbereikbare PNG-bestanden verwijderen
  • [SPARK-44503] [SC-137808] [SQL] SQL-grammatica toevoegen voor PARTITION BY- en ORDER BY-component na TABLE-argumenten voor TVF-aanroepen
  • [SPARK-38477] [SC-136319] [CORE] Foutklasse gebruiken in org.apache.spark.shuffle
  • [SPARK-44299] [SC-136088] [SQL] Namen toewijzen aan de foutklasse _LEGACY_ERROR_TEMP_227[4-6,8]
  • [SPARK-44422] [SC-137567] [VERBINDING MAKEN] Spark Verbinding maken fijnmazige interrupt
  • [SPARK-44380] [SC-137415] [SQL] [PYTHON] Ondersteuning voor Python UDTF voor analyse in Python
  • [SPARK-43923] [SC-137020] [VERBINDING MAKEN] Post listenerBus events durin...
  • [SPARK-44303] [SC-136108] [SQL] Namen toewijzen aan de foutklasse LEGACY_ERROR_TEMP[2320-2324]
  • [SPARK-44294] [SC-135885] [UI] De kolom HeapHistogram wordt onverwacht weergegeven met select-all-box
  • [SPARK-44409] [SC-136975] [SQL] Handle char/varchar in Dataset.to om consistent te blijven met anderen
  • [SPARK-44334] [SC-136576] [SQL] [UI] Status in het REST API-antwoord voor een mislukte DDL/DML zonder taken mag NIET WORDEN UITGEVOERD in plaats van VOLTOOID
  • [SPARK-42309] [SC-136703] [SQL] Introduceer INCOMPATIBLE_DATA_TO_TABLE en subklassen.
  • [SPARK-44367] [SC-137418] [SQL] [UI] Foutbericht weergeven in de gebruikersinterface voor elke mislukte query
  • [SPARK-44474] [SC-137195] [VERBINDING MAKEN] 'Test observe response' opnieuw in Spark Verbinding maken ServiceSuite
  • [SPARK-44320] [SC-136446] [SQL] Namen toewijzen aan de foutklasse LEGACY_ERROR_TEMP[1067.1150.1220.1265.1277]
  • [SPARK-44310] [SC-136055] [VERBINDING MAKEN] Het opstartlogboek van de Verbinding maken Server moet de hostnaam en poort weergeven
  • [SPARK-44309] [SC-136193] [UI] Tijd voor toevoegen/verwijderen van uitvoerders weergeven op het tabblad Uitvoerders
  • [SPARK-42898] [SC-137556] [SQL] Markeren dat tekenreeks/datumcasts geen tijdzone-id nodig hebben
  • [SPARK-44475] [SC-137422] [SQL] [VERBINDING MAKEN] DataType en Parser verplaatsen naar sql/api
  • [SPARK-44484] [SC-137562] [SS] BatchDuration toevoegen aan de json-methode StreamingQueryProgress
  • [SPARK-43966] [SC-137559] [SQL] [PYTHON] Ondersteuning voor niet-deterministische tabelwaardefuncties
  • [SPARK-44439] [SC-136973] [VERBINDING MAKEN] [SS] Opgeloste listListeners om alleen id's naar de client te verzenden
  • [SPARK-44341] [SC-137054] [SQL] [PYTHON] De rekenlogica definiëren via PartitionEvaluator-API en deze gebruiken in WindowExec en WindowInPandasExec
  • [SPARK-43839] [SC-132680] [SQL] Converteren _LEGACY_ERROR_TEMP_1337 naar UNSUPPORTED_FEATURE.TIME_TRAVEL
  • [SPARK-44244] [SC-135703] [SQL] Namen toewijzen aan de foutklasse LEGACY_ERROR_TEMP[2305-2309]
  • [SPARK-44201] [SC-136778] [VERBINDING MAKEN] [SS] Ondersteuning voor streaminglistener toevoegen in Scala voor Spark-Verbinding maken
  • [SPARK-44260] [SC-135618] [SQL] Namen toewijzen aan de foutklasse LEGACY_ERROR_TEMP[1215-1245-2329] & Use checkError() om Uitzondering in _CharVarchar_Suite
  • [SPARK-42454] [SC-136913] [SQL] SPJ: alle SPJ-gerelateerde parameters in BatchScanExec inkapselen
  • [SPARK-44292] [SC-135844] [SQL] Namen toewijzen aan de foutklasse LEGACY_ERROR_TEMP[2315-2319]
  • [SPARK-44396] [SC-137221] [Verbinding maken] Directe pijldeserialisatie
  • [SPARK-44324] [SC-137172] [SQL] [VERBINDING MAKEN] CaseInsensitiveMap verplaatsen naar sql/api
  • [SPARK-44395] [SC-136744] [SQL] Test terug toevoegen aan StreamingTableSuite
  • [SPARK-44481] [SC-137401] [VERBINDING MAKEN] [PYTHON] Een API maken pyspark.sql.is_remote
  • [SPARK-44278] [SC-137400] [VERBINDING MAKEN] Een GRPC-server interceptor implementeren waarmee lokale threadeigenschappen worden opgeschoond
  • [SPARK-44264] [SC-137211] [ML] [PYTHON] Ondersteuning voor gedistribueerde training van functies met deepspeed
  • [SPARK-44430] [SC-136970] [SQL] Oorzaak toevoegen aan AnalysisException wanneer de optie ongeldig is
  • [SPARK-44264] [SC-137167] [ML] [PYTHON] FunctiePickler opnemen in TorchDistributor
  • [SPARK-44216] [SC-137046] [PYTHON] AssertSchemaEqual-API openbaar maken
  • [SPARK-44398] [SC-136720] [VERBINDING MAKEN] Scala foreachBatch-API
  • [SPARK-43203] [SC-134528] [SQL] Alle drop table case verplaatsen naar DataSource V2
  • [SPARK-43755] [SC-137171] [VERBINDING MAKEN] [SECUNDAIR] Openen AdaptiveSparkPlanHelper.allChildren in plaats van kopiëren te gebruiken in MetricGenerator
  • [SPARK-44264] [SC-137187] [ML] [PYTHON] TorchDistributor herstructureren om aangepaste functiepointer 'run_training_on_file' toe te staan
  • [SPARK-43755] [SC-136838] [VERBINDING MAKEN] Uitvoering van SparkExecutePlanStreamHandler en naar een andere thread verplaatsen
  • [SPARK-44411] [SC-137198] [SQL] PartitionEvaluator-API gebruiken in ArrowEvalPythonExec en BatchEvalPythonExec
  • [SPARK-44375] [SC-137197] [SQL] PartitionEvaluator-API gebruiken in DebugExec
  • [SPARK-43967] [SC-137057] [PYTHON] Ondersteuning voor reguliere Python UDFS met lege retourwaarden
  • [SPARK-43915] [SC-134766] [SQL] Namen toewijzen aan de foutklasse LEGACY_ERROR_TEMP[2438-2445]
  • [SPARK-43965] [SC-136929] [PYTHON] [VERBINDING MAKEN] Ondersteuning voor Python UDTF in Spark Verbinding maken
  • [SPARK-44154] [SC-137050] [SQL] Meer eenheidstests toegevoegd aan BitmapExpressionUtilsSuite en kleine verbeteringen aangebracht in BitmapAggregatie-expressies
  • [SPARK-44169] [SC-135497] [SQL] Namen toewijzen aan de foutklasse LEGACY_ERROR_TEMP[2300-2304]
  • [SPARK-44353] [SC-136578] [VERBINDING MAKEN] [SQL] StructType.toAttributes verwijderen
  • [SPARK-43964] [SC-136676] [SQL] [PYTHON] Ondersteuning voor python-UDFS die zijn geoptimaliseerd voor pijlen
  • [SPARK-44321] [SC-136308] [VERBINDING MAKEN] ParseException loskoppelen van AnalysisException
  • [SPARK-44348] [SAS-1910] [SC-136644] [CORE] [VERBINDING MAKEN] [PYTHON] Opnieuw in te schakelen test_artifact met relevante wijzigingen
  • [SPARK-44145] [SC-136698] [SQL] Callback wanneer deze gereed is voor uitvoering
  • [SPARK-43983] [SC-136404] [PYTHON] [ML] [VERBINDING MAKEN] Test voor kruisvalidatie-estimator inschakelen
  • [SPARK-44399] [SC-136669] [PYHTON] [VERBINDING MAKEN] SparkSession importeren in Python UDF alleen wanneer useArrow geen is
  • [SPARK-43631] [SC-135300] [VERBINDING MAKEN] [PS] Series.interpolate inschakelen met Spark-Verbinding maken
  • [SPARK-44374] [SC-136544] [PYTHON] [ML] Voorbeeldcode toevoegen voor gedistribueerde ML voor Spark Connect
  • [SPARK-44282] [SC-135948] [VERBINDING MAKEN] DataType-parsering voorbereiden voor gebruik in Spark Verbinding maken Scala-client
  • [SPARK-44052] [SC-134469] [VERBINDING MAKEN] [PS] Voeg hulpprogramma's toe om de juiste kolom- of DataFrame-klasse voor Spark-Verbinding maken op te halen.
  • [SPARK-43983] [SC-136404] [PYTHON] [ML] [VERBINDING MAKEN] Cross validator-estimator implementeren
  • [SPARK-44290] [SC-136300] [VERBINDING MAKEN] Op sessies gebaseerde bestanden en archieven in Spark Verbinding maken
  • [SPARK-43710] [SC-134860] [PS] [VERBINDING MAKEN] Ondersteuning functions.date_part voor Spark-Verbinding maken
  • [SPARK-44036] [SC-134036] [VERBINDING MAKEN] [PS] Opschonen en tickets consolideren om de taken te vereenvoudigen.
  • [SPARK-44150] [SC-135790] [PYTHON] [VERBINDING MAKEN] Expliciete pijlcasting voor niet-overeenkomend retourtype in Pijl Python UDF
  • [SPARK-43903] [SC-134754] [PYTHON] [VERBINDING MAKEN] Ondersteuning voor ArrayType-invoer verbeteren in Pijl Python UDF
  • [SPARK-44250] [SC-135819] [ML] [PYTHON] [VERBINDING MAKEN] Classificatie-evaluator implementeren
  • [SPARK-44255] [SC-135704] [SQL] StorageLevel verplaatsen naar algemene/hulpprogramma's
  • [SPARK-42169] [SC-135735] [SQL] Codegeneratie implementeren voor to_csv functie (StructsToCsv)
  • [SPARK-44249] [SC-135719] [SQL] [PYTHON] PythonUDTFRunner herstructureren om het retourtype afzonderlijk te verzenden
  • [SPARK-43353] [SC-132734] [PYTHON] Resterende sessiefouten migreren naar foutklasse
  • [SPARK-44133] [SC-134795] [PYTHON] MyPy upgraden van 0.920 naar 0,982
  • [SPARK-42941] [SC-134707] [SS] [VERBINDING MAKEN] [1/2] StreamingQueryListener - Event Serde in JSON-indeling
  • [SPARK-43353] [SC-132734][ES-729763][PYTHON] Resterende sessiefouten migreren naar foutklasse
  • [SPARK-44100] [SC-134576] [ML] [VERBINDING MAKEN] [PYTHON] Naamruimte verplaatsen van pyspark.mlv2 naar pyspark.ml.connect
  • [SPARK-44220] [SC-135484] [SQL] StringConcat verplaatsen naar sql/api
  • [SPARK-43992] [SC-133645] [SQL] [PYTHON] [VERBINDING MAKEN] Optioneel patroon toevoegen voor Catalog.listFunctions
  • [SPARK-43982] [SC-134529] [ML] [PYTHON] [VERBINDING MAKEN] Pijplijnschatter implementeren voor ML op Spark Connect
  • [SPARK-43888] [SC-132893] [CORE] Logboekregistratie verplaatsen naar algemene/hulpmiddelen
  • [SPARK-42941] [SC-134707][SS][CONNECT][1/2] StreamingQueryListener - Event Serde in JSON-indeling herstellen
  • [SPARK-43624] [SC-134557] [PS] [VERBINDING MAKEN] Toevoegen EWM aan Spark Verbinding maken Planner.
  • [SPARK-43981] [SC-134137] [PYTHON] [ML] Eenvoudige implementatie voor opslaan/laden voor ML op Spark Connect
  • [SPARK-43205] [SC-133371] [SQL] sqlQueryTestSuite herstellen
  • [SPARK-43376] [SC-130433][SQL] Subquery verbeteren met tabelcache
  • [SPARK-44040] [SC-134366] [SQL] Rekenstatistieken oplossen wanneer het AggregateExec-knooppunt boven QueryStageExec
  • [SPARK-43919] [SC-133374] [SQL] JSON-functionaliteit uit rij extraheren
  • [SPARK-42618] [SC-134433] [PYTHON] [PS] Waarschuwing voor de pandas-gerelateerde gedragswijzigingen in de volgende primaire release
  • [SPARK-43893] [SC-133381] [PYTHON] [VERBINDING MAKEN] Ondersteuning voor niet-atomisch gegevenstype in python geoptimaliseerde Python UDF
  • [SPARK-43627] [SC-134290] [SPARK-43626] [PS] [VERBINDING MAKEN] Schakel pyspark.pandas.spark.functions.{kurt, skew} spark-Verbinding maken in.
  • [SPARK-43798] [SC-133990] [SQL] [PYTHON] Door de gebruiker gedefinieerde Python-tabelfuncties ondersteunen
  • [SPARK-43616] [SC-133849] [PS] [VERBINDING MAKEN] Inschakelen pyspark.pandas.spark.functions.mode in Spark-Verbinding maken
  • [SPARK-43133] [SC-133728] Ondersteuning voor Scala Client DataStreamWriter Foreach
  • [SPARK-43684] [SC-134107] [SPARK-43685] [SPARK-43686] [SPARK-43691] [VERBINDING MAKEN] [PS] Oplossing (NullOps|NumOps).(eq|ne) voor Spark-Verbinding maken.
  • [SPARK-43645] [SC-134151] [SPARK-43622] [PS] [VERBINDING MAKEN] Inschakelen pyspark.pandas.spark.functions.{var, stddev} in Spark-Verbinding maken
  • [SPARK-43617] [SC-133893] [PS] [VERBINDING MAKEN] Inschakelen pyspark.pandas.spark.functions.product in Spark-Verbinding maken
  • [SPARK-43610] [SC-133832] [VERBINDING MAKEN] [PS] Schakel InternalFrame.attach_distributed_column spark-Verbinding maken in.
  • [SPARK-43621] [SC-133852] [PS] [VERBINDING MAKEN] Inschakelen pyspark.pandas.spark.functions.repeat in Spark-Verbinding maken
  • [SPARK-43921] [SC-133461] [PROTOBUF] Protobuf-descriptorbestanden genereren tijdens de build
  • [SPARK-43613] [SC-133727] [PS] [VERBINDING MAKEN] Inschakelen pyspark.pandas.spark.functions.covar in Spark-Verbinding maken
  • [SPARK-43376] [SC-130433] [SQL] Subquery opnieuw gebruiken met tabelcache verbeteren
  • [SPARK-43612] [SC-132011] [VERBINDING MAKEN] [PYTHON] SparkSession.addArtifact(s) implementeren in de Python-client
  • [SPARK-43920] [SC-133611] [SQL] [VERBINDING MAKEN] Sql/API-module maken
  • [SPARK-43097] [SC-133372] [ML] Nieuwe pyspark ML logistic regression estimator geïmplementeerd op distributeur
  • [SPARK-43783] [SC-133240] [SPARK-43784] [SPARK-43788] [ML] Make MLv2 (ML on spark connect) ondersteunt pandas >= 2.0
  • [SPARK-43024] [SC-132716] [PYTHON] Pandas upgraden naar 2.0.0
  • [SPARK-43881] [SC-133140] [SQL] [PYTHON] [VERBINDING MAKEN] Optioneel patroon toevoegen voor Catalog.listDatabases
  • [SPARK-39281] [SC-131422] [SQL] Tijdstempeltypedeductie versnellen met verouderde indeling in JSON/CSV-gegevensbron
  • [SPARK-43792] [SC-132887] [SQL] [PYTHON] [VERBINDING MAKEN] Optioneel patroon toevoegen voor Catalog.listCatalogs
  • [SPARK-43132] [SC-131623] [SS] [VERBINDING MAKEN] Python Client DataStreamWriter foreach() API
  • [SPARK-43545] [SC-132378] [SQL] [PYTHON] Ondersteuning voor geneste tijdstempeltype
  • [SPARK-43353] [SC-132734] [PYTHON] Resterende sessiefouten migreren naar foutklasse
  • [SPARK-43304] [SC-129969] [VERBINDING MAKEN] [PYTHON] Migreren NotImplementedError naar PySparkNotImplementedError
  • [SPARK-43516] [SC-132202] [ML] [PYTHON] [VERBINDING MAKEN] Basisinterfaces van sparkML voor spark3.5: estimator/transformer/model/evaluator
  • [SPARK-43128] [SC-131628][CONNECT][SS] Maken recentProgress en lastProgress retourneren StreamingQueryProgress consistent met de systeemeigen Scala-API
  • [SPARK-43543] [SC-131839] [PYTHON] Geneste MapType-gedrag opgelost in Pandas UDF
  • [SPARK-38469] [SC-131425] [CORE] Foutklasse gebruiken in org.apache.spark.network
  • [SPARK-43309] [SC-129746] [SPARK-38461] [CORE] INTERNAL_ERROR uitbreiden met categorieën en foutklasse toevoegen INTERNAL_ERROR_BROADCAST
  • [SPARK-43265] [SC-129653] Foutframework verplaatsen naar een algemene utils-module
  • [SPARK-43440] [SC-131229] [PYTHON] [VERBINDING MAKEN] Ondersteuning voor registratie van een python-UDF die is geoptimaliseerd voor pijlen
  • [SPARK-43528] [SC-131531] [SQL] [PYTHON] Ondersteuning voor dubbele veldnamen in createDataFrame met pandas DataFrame
  • [SPARK-43412] [SC-130990] [PYTHON] [VERBINDING MAKEN] Introduceer SQL_ARROW_BATCHED_UDF EvalType voor python-UDF's die zijn geoptimaliseerd voor pijlen
  • [SPARK-40912] [SC-130986] [CORE] Overhead van uitzonderingen in KryoDeserializationStream
  • [SPARK-39280] [SC-131206] [SQL] Tijdstempeltypedeductie versnellen met door de gebruiker opgegeven indeling in JSON-/CSV-gegevensbron
  • [SPARK-43473] [SC-131372] [PYTHON] Ondersteuning voor structtype in createDataFrame van pandas DataFrame
  • [SPARK-43443] [SC-131024] [SQL] Benchmark toevoegen voor deductie van het type Timestamp wanneer ongeldige waarde wordt gebruikt
  • [SPARK-41532] [SC-130523] [VERBINDING MAKEN] [CLIENT] Controle toevoegen voor bewerkingen die betrekking hebben op meerdere gegevensframes
  • [SPARK-43296] [SC-130627] [VERBINDING MAKEN] [PYTHON] Spark Verbinding maken-sessiefouten migreren naar foutklasse
  • [SPARK-43324] [SC-130455] [SQL] UPDATE-opdrachten voor deltabronnen verwerken
  • [SPARK-43347] [SC-130148] [PYTHON] Ondersteuning voor Python 3.7 verwijderen
  • [SPARK-43292] [SC-130525] [CORE] [VERBINDING MAKEN] Verplaatsen ExecutorClassLoader naar core module en vereenvoudigen Executor#addReplClassLoaderIfNeeded
  • [SPARK-43081] [SC-129900] [ML] [CONNECT] Add torch distributor data loader that loads data from spark partition data
  • [SPARK-43331] [SC-130061] [VERBINDING MAKEN] Spark Verbinding maken SparkSession.interruptAll toevoegen
  • [SPARK-43306] [SC-130320] [PYTHON] Migreren ValueError van Spark SQL-typen naar foutklasse
  • [SPARK-43261] [SC-129674] [PYTHON] Migreren TypeError van Spark SQL-typen naar foutklasse.
  • [SPARK-42992] [SC-129465] [PYTHON] PySparkRuntimeError introduceren
  • [SPARK-16484] [SC-129975] [SQL] Ondersteuning voor Datasketches HllSketch toevoegen
  • [SPARK-43165] [SC-128823] [SQL] Move canWrite to DataTypeUtils
  • [SPARK-43082] [SC-129112] [VERBINDING MAKEN] [PYTHON] Python-UDF's die zijn geoptimaliseerd voor pijlen in Spark Verbinding maken
  • [SPARK-43084] [SC-128654] [SS] ApplyInPandasWithState-ondersteuning toevoegen voor Spark Connect
  • [SPARK-42657] [SC-128621] [VERBINDING MAKEN] Ondersteuning voor het vinden en overdragen van REPL-klassebestanden aan de clientzijde als artefacten naar de server
  • [SPARK-43098] [SC-77059] [SQL] Corrigeer de fout AANTAL correctheid wanneer scalaire subquery groeperen op component heeft
  • [SPARK-42884] [SC-126662] [VERBINDING MAKEN] Ammonite REPL-integratie toevoegen
  • [SPARK-42994] [SC-128333] [ML] [VERBINDING MAKEN] PyTorch Distributor biedt ondersteuning voor lokale modus
  • [SPARK-41498] [SC-125343] 'Metagegevens doorgeven via Union' terugzetten
  • [SPARK-42993] [SC-127829] [ML] [VERBINDING MAKEN] PyTorch Distributor compatibel maken met Spark Verbinding maken
  • [SPARK-42683] [LC-75] De naam van conflicterende metagegevenskolommen automatisch wijzigen
  • [SPARK-42874] [SC-126442] [SQL] Nieuw golden file test framework inschakelen voor analyse voor alle invoerbestanden
  • [SPARK-42779] [SC-126042] [SQL] V2-schrijfbewerkingen toestaan om de grootte van de adviserende willekeurige partitie aan te geven
  • [SPARK-42891] [SC-126458] [VERBINDING MAKEN] [PYTHON] CoGrouped Map-API implementeren
  • [SPARK-42791] [SC-126134] [SQL] Een nieuw golden file test framework voor analyse maken
  • [SPARK-42615] [SC-124237] [VERBINDING MAKEN] [PYTHON] De AnalyzePlan RPC herstructureren en toevoegen session.version
  • [SPARK-41302] [ALLE TESTS][SC-122423][SQL] Naam toewijzen aan _LEGACY_ERROR_TEMP_1185" terugzetten
  • [SPARK-40770] [SC-122652] [PYTHON] Verbeterde foutberichten voor applyInPandas voor niet-overeenkomende schema's
  • [SPARK-40770] [ALLE TESTS][SC-122652][PYTHON] Verbeterde foutberichten voor applyInPandas voor niet-overeenkomende schema's
  • [SPARK-42398] [SC-123500] [SQL] Standaardkolomwaarde DS v2-interface verfijnen
  • [SPARK-40770] [ALLE TESTS] [SC-122652] [PYTHON] Verbeterde foutberichten voor applyInPandas voor niet-overeenkomende schema's
  • [SPARK-40770] [SC-122652][PYTHON] Verbeterde foutberichten voor applyInPandas voor niet-overeenkomende schema's herstellen
  • [SPARK-40770] [SC-122652] [PYTHON] Verbeterde foutberichten voor applyInPandas voor niet-overeenkomende schema's
  • [SPARK-42038] [ALLE TESTS] Herstel '[SC-122533][SQL] SPJ: Ondersteuning voor gedeeltelijk geclusterde distributie'' herstellen
  • [SPARK-42038] [SC-122533][SQL] SPJ: Ondersteuning voor gedeeltelijk geclusterde distributie
  • [SPARK-42038] [SC-122533] [SQL] SPJ: Ondersteuning voor gedeeltelijk geclusterde distributie
  • [SPARK-40550] [SC-120989] [SQL] DataSource V2: DELETE-opdrachten verwerken voor bronnen op basis van verschillen
  • [SPARK-40770] [SC-122652][PYTHON] Verbeterde foutberichten voor applyInPandas voor niet-overeenkomende schema's herstellen
  • [SPARK-40770] [SC-122652] [PYTHON] Verbeterde foutberichten voor applyInPandas voor niet-overeenkomende schema's
  • [SPARK-41302] [SC-122423][SQL] Naam toewijzen aan _LEGACY_ERROR_TEMP_1185 herstellen
  • [SPARK-40550] [SC-120989][SQL] DataSource V2: DELETE-opdrachten voor deltabronnen verwerken
  • [SPARK-42123] Herstel "[SC-121453][SQL] Include column default values in DESCRIBE and SHOW CREATE TABLE output"
  • [SPARK-42146] [SC-121172] [CORE] Herstructureren Utils#setStringField om maven build pass te maken wanneer sql-module deze methode gebruikt
  • [SPARK-42119] "[SC-121342][SQL] Ingebouwde tabelwaardefuncties inline en inline_outer toevoegen"

Hoogtepunten

Spark-Verbinding maken

  • Herstructureren van de SQL-module in sql en sql-API om een minimale set afhankelijkheden te produceren die kunnen worden gedeeld tussen de Scala Spark-client Verbinding maken-client en Spark en voorkomt dat alle spark-transitieve afhankelijkheden worden opgehaald. SPARK-44273
  • Inleiding tot de Scala-client voor Spark Verbinding maken SPARK-42554
  • Pandas-API-ondersteuning voor de Python Spark Verbinding maken Client SPARK-42497
  • Op PyTorch gebaseerde gedistribueerde ML-ondersteuning voor Spark Verbinding maken SPARK-42471
  • Ondersteuning voor gestructureerd streamen voor Spark-Verbinding maken in Python en Scala SPARK-42938
  • Eerste versie van de Go-client SPARK-43351
  • Veel compatibiliteitsverbeteringen tussen systeemeigen Spark- en Spark-Verbinding maken-clients in Python en Scala
  • Verbeterde foutopsporing en aanvraagafhandeling voor clienttoepassingen (asynchrone verwerking, nieuwe pogingen, langdurige query's)

Spark SQL

Functies

  • Begin- en lengte spark-42423 voor metagegevenskolomblokken toevoegen
  • Ondersteuning voor positionele parameters in Scala/Java sql() SPARK-44066
  • Ondersteuning voor benoemde parameters toevoegen in parser voor functie-aanroepen spark-43922
  • Ondersteuning voor SELECT DEFAULT met ORDER BY, LIMIT, OFFSET voor INSERT source relation SPARK-43071
  • SQL-grammatica toevoegen voor DE COMPONENT PARTITION BY en ORDER BY na TABLE-argumenten voor TVF roept SPARK-44503 aan
  • Standaardwaarden voor kolommen opnemen in DESCRIBE en SHOW CREATE TABLE output SPARK-42123
  • Optioneel patroon toevoegen voor Catalog.listCatalogs SPARK-43792
  • Optioneel patroon toevoegen voor Catalog.listDatabases SPARK-43881
  • Callback wanneer deze gereed is voor uitvoering VAN SPARK-44145
  • Ondersteuning voor insert by name-instructie SPARK-42750
  • Call_function toevoegen voor Scala API SPARK-44131
  • Stabiele afgeleide kolomaliassen SPARK-40822
  • Ondersteuning voor algemene constante expressies als CREATE/REPLACE TABLE OPTIONS-waarden SPARK-43529
  • Ondersteuning voor subquery's met correlatie via INTERSECT/EXCEPT SPARK-36124
  • ID-component SPARK-43205
  • ANSI-MODUS: Conv moet een fout retourneren als de interne conversie overloopt SPARK-42427

Functions

  • Ondersteuning toevoegen voor Datasketches HllSketch SPARK-16484
  • De CBC-modus ondersteunen door aes_encrypt()/aes_decrypt() SPARK-43038
  • Parserregel voor TABLE-argumenten voor TableValuedFunction SPARK-44200 ondersteunen
  • Bitmapfuncties SPARK-44154 implementeren
  • De try_aes_decrypt() functie SPARK-42701 toevoegen
  • array_insert moet mislukken met 0 index SPARK-43011
  • To_varchar alias toevoegen voor to_char SPARK-43815
  • Hoogwaardige functie: array_compact implementatie SPARK-41235
  • Analyseondersteuning van benoemde argumenten toevoegen voor ingebouwde functies SPARK-44059
  • NULLs voor INSERT's toevoegen met door de gebruiker opgegeven lijsten met minder kolommen dan de doeltabel SPARK-42521
  • Er wordt ondersteuning toegevoegd voor aes_encrypt IVs en AAD SPARK-43290
  • De functie DECODE retourneert onjuiste resultaten bij het doorgeven van NULL SPARK-41668
  • Ondersteuning voor udf 'luhn_check' SPARK-42191
  • Ondersteuning voor impliciete resolutie van laterale kolomalias op aggregaties van SPARK-41631
  • Ondersteuning voor impliciete laterale kolomalias in query's met Window SPARK-42217
  • 3-args-functiealiassen toevoegen DATE_ADD en DATE_DIFF SPARK-43492

Gegevensbronnen

  • Char/Varchar-ondersteuning voor JDBC-catalogus SPARK-42904
  • Ondersteuning voor dynamisch ophalen van SQL-trefwoorden Thru JDBC-API en TVF SPARK-43119
  • DataSource V2: MERGE-opdrachten verwerken voor spark-43885 op basis van verschillen
  • DataSource V2: MERGE-opdrachten verwerken voor op groepen gebaseerde bronnen SPARK-43963
  • DataSource V2: UPDATE-opdrachten verwerken voor op groepen gebaseerde bronnen SPARK-43975
  • DataSource V2: Updates weergeven als verwijderingen toestaan en SPARK-43775 invoegen
  • Toestaan dat jdbc dialecten de query overschrijven die wordt gebruikt voor het maken van een tabel SPARK-41516
  • SPJ: Ondersteuning voor gedeeltelijk geclusterde distributie SPARK-42038
  • Met DSv2 kan CTAS/RTAS schema nullability SPARK-43390 reserveren
  • Voeg spark.sql.files.maxPartitionNum SPARK-44021 toe
  • UPDATE-opdrachten verwerken voor op delta gebaseerde bronnen SPARK-43324
  • V2-schrijfbewerkingen toestaan om de partitiegrootte SPARK-42779 van advies te wijzigen
  • Ondersteuning voor lz4raw-compressiecodec voor Parquet SPARK-43273
  • Avro: complexe unions SPARK-25050 schrijven
  • Tijdstempeltypedeductie versnellen met door de gebruiker opgegeven indeling in JSON-/CSV-gegevensbron SPARK-39280
  • Avro ter ondersteuning van aangepast decimaaltype ondersteund door Long SPARK-43901
  • Vermijd willekeurige volgorde in gepartitioneerde join met opslag wanneer partitiesleutels niet overeenkomen, maar join-expressies zijn compatibel met SPARK-41413
  • Binair wijzigen in niet-ondersteund dataType in CSV-indeling SPARK-42237
  • Toestaan dat Avro het samenvoegtype converteert naar SQL met veldnaam stabiel met type SPARK-43333
  • Tijdstempeltypedeductie versnellen met verouderde indeling in JSON/CSV-gegevensbron SPARK-39281

Queryoptimalisatie

  • Subexpressie-afschaffing ondersteunt snelkoppelingsexpressie SPARK-42815
  • Schatting van joinstatistieken verbeteren als één kant de uniekheid van SPARK-39851 kan behouden
  • Introduceer de groepslimiet van Venster voor op rang gebaseerde filters om top-k berekening SPARK-37099 te optimaliseren
  • Gedrag van null IN (lege lijst) corrigeren in optimalisatieregels SPARK-44431
  • Vensterlimiet afleiden en omlaag pushen via venster als partitionSpec leeg is spark-41171
  • Verwijder de outer join als ze allemaal afzonderlijke statistische functies SPARK-42583 zijn
  • Twee aangrenzende vensters samenvouwen met dezelfde partitie/volgorde in subquery SPARK-42525
  • Push down limit through Python UDFFs SPARK-42115
  • De volgorde van filteren optimaliseren voor SPARK-40045

Code genereren en query's uitvoeren

  • Runtimefilter moet ondersteuning bieden voor de joinzijde op meerdere niveaus als SPARK-41674 aan de filterzijde
  • Codegen-ondersteuning voor HiveSimpleUDF SPARK-42052
  • Codegen-ondersteuning voor HiveGenericUDF SPARK-42051
  • Codegen-ondersteuning voor outer shuffled hash join SPARK-44060 aan de buildzijde
  • Codegeneratie implementeren voor to_csv functie (StructsToCsv) SPARK-42169
  • AQE-ondersteuning maken voor InMemoryTableScanExec SPARK-42101
  • Ondersteuning voor left outer join build left of right outer join build right in shuffled hash join SPARK-36612
  • Respect RequiresDistributionAndOrdering in CTAS/RTAS SPARK-43088
  • Coalesce buckets in join toegepast op broadcast join side SPARK-43107
  • Stel nullable correct in op de samengevoegde joinsleutel in full outer USING JOIN SPARK-44251
  • In subquery ListQuery nullability SPARK-43413 oplossen

Andere belangrijke wijzigingen

  • Nullable correct instellen voor sleutels in USING joins SPARK-43718
  • Fix COUNT(*) is null-fout in gecorreleerde scalaire subquery SPARK-43156
  • Dataframe.joinWith outer-join moet een null-waarde retourneren voor niet-overeenkomende rij SPARK-37829
  • Automatisch de naam van conflicterende metagegevenskolommen SPARK-42683 wijzigen
  • Documenteer de Spark SQL-foutklassen in gebruikersgerichte documentatie spark-42706

PySpark

Functies

Andere belangrijke wijzigingen

  • Ondersteuning voor automatisch aanvullen toevoegen voor df[|] in pyspark.sql.dataframe.DataFrame [SPARK-43892]
  • De API's verwijderen en verwijderen die worden verwijderd in pandas 2.0 [SPARK-42593]
  • Python het eerste tabblad maken voor codevoorbeelden - Spark SQL, DataFrames en Datasets Guide SPARK-42493
  • Voorbeelden van resterende Spark-documentatiecode bijwerken om Python standaard SPARK-42642 weer te geven
  • Ontdubbelde veldnamen gebruiken bij het maken van Arrow RecordBatch [SPARK-41971]
  • Ondersteuning voor dubbele veldnamen in createDataFrame met pandas DataFrame [SPARK-43528]
  • Kolomparameter toestaan bij het maken van DataFrame met reeks [SPARK-42194]

Basis

  • Schedule mergeFinalize when push merge shuffleMapStage retry but no running tasks SPARK-40082
  • PartitionEvaluator introduceren voor het uitvoeren van SPARK-43061 voor SQL-operator
  • Toestaan dat ShuffleDriverComponent declareert of willekeurige gegevens betrouwbaar zijn opgeslagen in SPARK-42689
  • Maximum aantal pogingen voor fasen toevoegen om potentiële oneindige nieuwe poging SPARK-42577 te voorkomen
  • Ondersteuning voor configuratie op logboekniveau met statische Spark conf SPARK-43782
  • PercentileHeap SPARK-42528 optimaliseren
  • Redenargument toevoegen aan TaskScheduler.cancelTasks SPARK-42602
  • Vermijd onnodige taak opnieuw uitvoeren op uit bedrijf genomen uitvoerprogramma als gegevens die zijn gemigreerd met SPARK-41469 worden gemigreerd
  • Het oplossen van het aantal accumulators in het geval van de taak voor opnieuw proberen met rdd cache SPARK-41497
  • RocksDB gebruiken voor spark.history.store.hybridStore.diskBackend standaard SPARK-42277
  • NonFateSharingCache wrapper voor Guava Cache SPARK-43300
  • De prestaties van MapOutputTracker.updateMapOutput SPARK-43043 verbeteren
  • Apps toestaan om te bepalen of hun metagegevens worden opgeslagen in de db door de External Shuffle Service SPARK-43179
  • Voeg SPARK_DRIVER_POD_IP env-variabele toe aan uitvoerbare pods SPARK-42769
  • Koppelt de hadoop-configuratietoewijzing op de uitvoerpod SPARK-43504

Gestructureerd streamen

  • Ondersteuning toegevoegd voor het bijhouden van vastgemaakte blokken geheugengebruik voor rocksDB-statusarchief SPARK-43120
  • Verbeterde geheugenbeheer van spark-43311 voor de statusopslagprovider RocksDB toevoegen
  • Introduceer dropDuplicatesWithinWatermark SPARK-42931
  • Introduceer een nieuwe callback onQueryIdle() voor StreamingQueryListener SPARK-43183
  • Optie toevoegen om doorvoercoördinator over te slaan als onderdeel van de StreamingWrite-API voor DSv2-bronnen/sinks SPARK-42968
  • Een nieuwe callback 'onQueryIdle' introduceren bij StreamingQueryListener SPARK-43183
  • Op Changelog gebaseerde controlepunten implementeren voor RocksDB State Store Provider SPARK-43421
  • Ondersteuning toevoegen voor WRITE_FLUSH_BYTES voor RocksDB die wordt gebruikt in stateful streamingoperators SPARK-42792
  • Ondersteuning toevoegen voor het instellen van max_write_buffer_number en write_buffer_size voor RocksDB die wordt gebruikt in het streamen van SPARK-42819
  • De vergrendelingsverwerving van RocksDB StateStore moet plaatsvinden na het ophalen van invoer-iterator van inputRDD SPARK-42566
  • Introductie van watermerkdoorgifte tussen operators SPARK-42376
  • Zwevende sst- en logboekbestanden opschonen in rocksDB-controlepuntmap SPARK-42353
  • Vouw QueryTerminatedEvent uit om foutklasse te bevatten als deze bestaat in uitzondering SPARK-43482

ML

  • Ondersteuning voor gedistribueerde training van functies met deepspeed SPARK-44264
  • Basisinterfaces van sparkML voor spark3.5: estimator/transformer/model/evaluator SPARK-43516
  • Make MLv2 (ML on spark connect) ondersteunt pandas >= 2.0 SPARK-43783
  • MLv2-transformatieinterfaces SPARK-43516 bijwerken
  • Nieuwe pyspark ML logistieke regressie-estimator geïmplementeerd boven op distributeur SPARK-43097
  • Classifier.getNumClasses toevoegen aan SPARK-42526
  • Een Deepspeed Distributed Learning Class DeepspeedTorchDistributor SPARK-44264 schrijven
  • Eenvoudige implementatie voor opslaan/laden voor ML op spark connect SPARK-43981
  • Logistieke regressiemodel verbeteren om SPARK-43097 op te slaan
  • Pijplijnschatter implementeren voor ML op Spark Connect SPARK-43982
  • Cross validator estimator SPARK-43983 implementeren
  • Classificatie-evaluator SPARK-44250 implementeren
  • PyTorch Distributor compatibel maken met Spark Verbinding maken SPARK-42993

Gebruikersinterface

  • Een Spark UI-pagina toevoegen voor Spark Verbinding maken SPARK-44394
  • Kolom Heap Histogram ondersteunen op tabblad SPARK-44153
  • Foutbericht weergeven in de gebruikersinterface voor elke mislukte query SPARK-44367
  • Tijd voor toevoegen/verwijderen van uitvoerders weergeven op tabblad SPARK-44309

Bouwen en anderen

Verwijderingen, gedragswijzigingen en afschaffingen

Aanstaande verwijdering

De volgende functies worden verwijderd in de volgende primaire Spark-release

  • Ondersteuning voor Java 8 en Java 11 en de minimaal ondersteunde Java-versie is Java 17
  • Ondersteuning voor Scala 2.12 en de minimaal ondersteunde Scala-versie is 2.13

Migratiehandleidingen

Ondersteuning voor Databricks ODBC-/JDBC-stuurprogramma's

Databricks ondersteunt ODBC-/JDBC-stuurprogramma's die in de afgelopen 2 jaar zijn uitgebracht. Download de onlangs uitgebrachte stuurprogramma's en upgrade (download ODBC, download JDBC).

Systeemomgeving

  • Besturingssysteem: Ubuntu 22.04.3 LTS
  • Java: Zulu 8.70.0.23-CA-linux64
  • Scala: 2.12.15
  • Python: 3.10.12
  • R: 4.3.1
  • Delta Lake: 2.4.0

Geïnstalleerde Python-bibliotheken

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
anyio 3.5.0 argon2-cffi 21.3.0 argon2-cffi-bindingen 21.2.0
asttokens 2.0.5 attrs 22.1.0 backcall 0.2.0
beautifulsoup4 4.11.1 zwart 22.6.0 Bleekmiddel 4.1.0
knipperen 1.4 boto3 1.24.28 botocore 1.27.96
certifi 2022.12.7 Cffi 1.15.1 Chardet 4.0.0
charset-normalizer 2.0.4 klikken 8.0.4 comm 0.1.2
contourpy 1.0.5 Cryptografie 39.0.1 cycler 0.11.0
Cython 0.29.32 databricks-sdk 0.1.6 dbus-python 1.2.18
foutopsporing 1.6.7 Decorator 5.1.1 defusedxml 0.7.1
distlib 0.3.7 docstring-to-markdown 0,11 invoerpunten 0,4
Uitvoeren 0.8.3 facets-overview 1.1.1 fastjsonschema 2.18.0
filelock 3.12.2 Fonttools 4.25.0 GCC-runtimebibliotheek 1.10.0
googleapis-common-protos 1.60.0 grpcio 1.48.2 grpcio-status 1.48.1
httplib2 0.20.2 idna 3.4 importlib-metadata 4.6.4
ipykernel 6.25.0 Ipython 8.14.0 ipython-genutils 0.2.0
ipywidgets 7.7.2 Jedi 0.18.1 Jeepney 0.7.1
Jinja2 3.1.2 jmespath 0.10.0 joblib 1.2.0
jsonschema 4.17.3 jupyter-client 7.3.4 jupyter-server 1.23.4
jupyter_core 5.2.0 jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0
Keyring 23.5.0 kiwisolver 1.4.4 Launchpadlib 1.10.16
lazr.restfulclient 0.14.4 Lazr.uri 1.0.6 Lxml 4.9.1
MarkupSafe 2.1.1 matplotlib 3.7.0 matplotlib-inline 0.1.6
Mccabe 0.7.0 mistune 0.8.4 more-itertools 8.10.0
mypy-extensions 0.4.3 nbclassic 0.5.2 nbclient 0.5.13
nbconvert 6.5.4 nbformat 5.7.0 nest-asyncio 1.5.6
nodeenv 1.8.0 notebook 6.5.2 notebook_shim 0.2.2
Numpy 1.23.5 oauthlib 3.2.0 Verpakking 22,0
Pandas 1.5.3 pandocfilters 1.5.0 parso 0.8.3
pathspec 0.10.3 Patsy 0.5.3 Pexpect 4.8.0
pickleshare 0.7.5 Kussen 9.4.0 Pip 22.3.1
platformdirs 2.5.2 plotly 5.9.0 pluggy 1.0.0
prometheus-client 0.14.1 prompt-toolkit 3.0.36 protobuf 4.24.0
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 pyarrow 8.0.0 pycparser 2.21
pydantic 1.10.6 Pyflakes 3.0.1 Pygments 2.11.2
Pygobject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.32
Pyparsing 3.0.9 pyright 1.1.294 pyrsistent 0.18.0
python-dateutil 2.8.2 python-lsp-jsonrpc 1.0.0 python-lsp-server 1.7.1
pytoolconfig 1.2.5 pytz 2022.7 pyzmq 23.2.0
requests 2.28.1 Touw 1.7.0 s3transfer 0.6.1
scikit-learn 1.1.1 seaborn 0.12.2 SecretStorage 3.3.1
Send2Trash 1.8.0 Setuptools 65.6.3 Zes 1.16.0
sniffio 1.2.0 soepsieve 2.3.2.post1 ssh-import-id 5,11
stack-data 0.2.0 statsmodels 0.13.5 Vasthoudendheid 8.1.0
terminado 0.17.1 threadpoolctl 2.2.0 tinycss2 1.2.1
tokenize-rt 4.2.1 tomli 2.0.1 Tornado 6.1
traitlets 5.7.1 typing_extensions 4.4.0 ujson 5.4.0
upgrades zonder toezicht 0,1 urllib3 1.26.14 Virtualenv 20.16.7
Wadllib 1.3.6 wcwidth 0.2.5 webencodings 0.5.1
websocket-client 0.58.0 whatthepatch 1.0.2 Wiel 0.38.4
widgetsnbextension 3.6.1 yapf 0.31.0 zipp 1.0.0

Geïnstalleerde R-bibliotheken

R-bibliotheken worden geïnstalleerd vanuit de Posit Pakketbeheer CRAN-momentopname op 2023-07-13.

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
pijl 12.0.1 Askpass 1.1 assertthat 0.2.1
Backports 1.4.1 base 4.3.1 base64enc 0.1-3
bit 4.0.5 bit64 4.0.5 blob 1.2.4
opstarten 1.3-28 Brouwsel 1.0-8 Brio 1.1.3
Bezem 1.0.5 bslib 0.5.0 cachem 1.0.8
beller 3.7.3 caret 6.0-94 cellranger 1.1.0
Chron 2.3-61 class 7.3-22 cli 3.6.1
clipr 0.8.0 Klok 0.7.0 cluster 2.1.4
Codetools 0.2-19 Colorspace 2.1-0 commonmark 1.9.0
Compiler 4.3.1 configuratie 0.3.1 Strijd 1.2.0
cpp11 0.4.4 Crayon 1.5.2 aanmeldingsgegevens 1.3.2
curl 5.0.1 data.table 1.14.8 gegevenssets 4.3.1
DBI 1.1.3 dbplyr 2.3.3 Desc 1.4.2
Devtools 2.4.5 Diagram 1.6.5 diffobj 0.3.5
Digest 0.6.33 downlit 0.4.3 dplyr 1.1.2
dtplyr 1.3.1 e1071 1.7-13 ellipsis 0.3.2
evaluate 0.21 fansi 1.0.4 farver 2.1.1
fastmap 1.1.1 fontawesome 0.5.1 forcats 1.0.0
foreach 1.5.2 Buitenlandse 0.8-82 Forge 0.2.0
Fs 1.6.2 Toekomst 1.33.0 future.apply 1.11.0
Gorgelen 1.5.1 Generics 0.1.3 Gert 1.9.2
ggplot2 3.4.2 Gh 1.4.0 gitcreds 0.1.2
glmnet 4.1-7 Globals 0.16.2 Lijm 1.6.2
googledrive 2.1.1 googlesheets4 1.1.1 Gower 1.0.1
afbeeldingen 4.3.1 grDevices 4.3.1 Raster 4.3.1
gridExtra 2.3 gsubfn 0,7 gtable 0.3.3
hardhat 1.3.0 haven 2.5.3 highr 0.10
Hms 1.1.3 htmltools 0.5.5 htmlwidgets 1.6.2
httpuv 1.6.11 httr 1.4.6 httr2 0.2.3
ids 1.0.1 Ini 0.3.1 Ipred 0.9-14
isoband 0.2.7 Iterators 1.0.14 jquerylib 0.1.4
jsonlite 1.8.7 Kernsmooth 2.23-21 breiwerk 1,43
Labeling 0.4.2 Later 1.3.1 Lattice 0.21-8
lava 1.7.2.1 levenscyclus 1.0.3 listenv 0.9.0
lubridate 1.9.2 magrittr 2.0.3 Markdown 1,7
MASS 7.3-60 Matrix 1.5-4.1 memoise 2.0.1
methoden 4.3.1 Mgcv 1.8-42 Mime 0,12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modeller 0.1.11
munsell 0.5.0 Nlme 3.1-162 Nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.0.6 parallel 4.3.1
parallel 1.36.0 Pijler 1.9.0 pkgbuild 1.4.2
Pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2.1
plogr 0.2.0 plyr 1.8.8 Lof 1.0.0
prettyunits 1.1.1 Proc 1.18.4 processx 3.8.2
prodlim 2023.03.31 profvis 0.3.8 Voortgang 1.2.2
progressr 0.13.0 Beloften 1.2.0.1 Proto 1.0.0
Proxy 0.4-27 ps 1.7.5 Purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
Rcolorbrewer 1.1-3 Rcpp 1.0.11 RcppEigen 0.3.3.9.3
leesbewerking 2.1.4 readxl 1.4.3 recepten 1.0.6
Rematch 1.0.1 opnieuw overeenkomen2 2.1.2 Afstandsbedieningen 2.4.2
reprex 2.0.2 hervorm2 1.4.4 rlang 1.1.1
rmarkdown 2.23 RODBC 1.3-20 roxygen2 7.2.3
Rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-11
RSQLite 2.3.1 rstudioapi 0.15.0 rversions 2.1.2
rvest 1.0.3 Sass 0.4.6 Schalen 1.2.1
selectr 0.4-2 sessioninfo 1.2.2 Vorm 1.4.6
Glanzende 1.7.4.1 sourcetools 0.1.7-1 sparklyr 1.8.1
SparkR 3.5.0 Ruimtelijke 7.3-15 Splines 4.3.1
sqldf 0.4-11 SQUAREM 2021.1 Stats 4.3.1
stats4 4.3.1 stringi 1.7.12 stringr 1.5.0
Overleving 3.5-5 sys 3.4.2 systemfonts 1.0.4
Tcltk 4.3.1 testthat 3.1.10 tekstvorm 0.3.6
tibble 3.2.1 tidyr 1.3.0 tidyselect 1.2.0
tidyverse 2.0.0 timechange 0.2.0 Timedate 4022.108
tinytex 0,45 tools 4.3.1 tzdb 0.4.0
urlchecker 1.0.1 usethis 2.2.2 utf8 1.2.3
utils 4.3.1 uuid 1.1-0 vctrs 0.6.3
viridisLite 0.4.2 Vroom 1.6.3 Waldo 0.5.1
whisker 0.4.1 withr 2.5.0 xfun 0,39
xml2 1.3.5 xopen 1.0.0 xtable 1.8-4
Yaml 2.3.7 Zip 2.3.0

Geïnstalleerde Java- en Scala-bibliotheken (Scala 2.12-clusterversie)

Groeps-id Artefact-id Versie
Antlr Antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics Stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.2.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-gearceerd 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml Klasgenoot 1.3.4
com.fasterxml.jackson.core jackson-annotaties 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.15.1
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.cafeïne Cafeïne 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink Tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava Guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger profiler 1.1.1
com.jcraft Jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe configuratie 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.netje.netlib Arpack 3.0.3
dev.netje.netlib Blas 3.0.3
dev.netje.netlib Lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,24
io.delta delta-sharing-spark_2.12 0.7.1
io.dropwizard.metrics metrische aantekening 4.2.19
io.dropwizard.metrics metrische gegevenskern 4.2.19
io.dropwizard.metrics metrische gegevensgrafiet 4.2.19
io.dropwizard.metrics metrische statuscontroles 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.93.Final
io.netty netty-buffer 4.1.93.Final
io.netty netty-codec 4.1.93.Final
io.netty netty-codec-http 4.1.93.Final
io.netty netty-codec-http2 4.1.93.Final
io.netty netty-codec-sokken 4.1.93.Final
io.netty netty-common 4.1.93.Final
io.netty netty-handler 4.1.93.Final
io.netty netty-handler-proxy 4.1.93.Final
io.netty netty-resolver 4.1.93.Final
io.netty netty-transport 4.1.93.Final
io.netty netty-transport-classes-epoll 4.1.93.Final
io.netty netty-transport-classes-kqueue 4.1.93.Final
io.netty netty-transport-native-epoll 4.1.93.Final
io.netty netty-transport-native-epoll 4.1.93.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.93.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.93.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.93.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.93.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Collector 0.12.0
jakarta.annotatie jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activering 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction Jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
Jline Jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine Augurk 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-CSV 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.33
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr Stringtemplate 3.2.1
org.apache.ant ant 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow pijlnotatie 12.0.1
org.apache.arrow arrow-memory-core 12.0.1
org.apache.arrow arrow-memory-netty 12.0.1
org.apache.arrow pijlvector 12.0.1
org.apache.avro Avro 1.11.2
org.apache.avro avro-ipc 1.11.2
org.apache.avro avro-mapred 1.11.2
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recepten 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy Ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.20.0
org.apache.logging.log4j log4j-api 2.20.0
org.apache.logging.log4j log4j-core 2.20.0
org.apache.logging.log4j log4j-slf4j2-impl 2.20.0
org.apache.mesos mesos 1.11.0-shaded-protobuf
org.apache.orc orc-core 1.9.0-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.0-shaded-protobuf
org.apache.orc orc-shims 1.9.0
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-gearceerd 4.23
org.apache.yetus aantekeningen voor doelgroepen 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino Janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.51.v20230217
org.eclipse.jetty jetty-vervolg 9.4.51.v20230217
org.eclipse.jetty jetty-http 9.4.51.v20230217
org.eclipse.jetty jetty-io 9.4.51.v20230217
org.eclipse.jetty jetty-jndi 9.4.51.v20230217
org.eclipse.jetty jetty-plus 9.4.51.v20230217
org.eclipse.jetty jetty-proxy 9.4.51.v20230217
org.eclipse.jetty jetty-security 9.4.51.v20230217
org.eclipse.jetty jetty-server 9.4.51.v20230217
org.eclipse.jetty jetty-servlet 9.4.51.v20230217
org.eclipse.jetty jetty-servlets 9.4.51.v20230217
org.eclipse.jetty jetty-util 9.4.51.v20230217
org.eclipse.jetty jetty-util-ajax 9.4.51.v20230217
org.eclipse.jetty jetty-webapp 9.4.51.v20230217
org.eclipse.jetty jetty-xml 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-api 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-client 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-common 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-server 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-servlet 9.4.51.v20230217
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance opnieuw verpakt 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator sluimerstand-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist Javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Aantekeningen 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.9
org.mlflow mlflow-spark 2.2.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.0
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap Shims 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.9.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-compatibel 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.threeten threeten-extra 1.7.1
org.tukaani Xz 1,9
org.typelevel algebra_2.12 2.0.1
org.typelevel katten-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
Oro Oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1