Share via

Databricks Runtime 14.0 (EoS)

Notitie

Ondersteuning voor deze Databricks Runtime-versie is beëindigd. Zie Beëindiging van ondersteuning en einde levenscyclus geschiedenis voor de einddatum van de ondersteuning. Zie Databricks Runtime-releaseopmerkingen over versies en compatibiliteit voor alle ondersteunde Databricks Runtime-versies.

De volgende releaseopmerkingen bevatten informatie over Databricks Runtime 14.0, mogelijk gemaakt door Apache Spark 3.5.0.

Databricks heeft deze versie uitgebracht in september 2023.

Nieuwe functies en verbeteringen

Rijtracering is algemeen beschikbaar

Tracking van rijen voor Delta Lake is nu algemeen beschikbaar. Zie Rijtracking in Databricks.

Voorspellende I/O voor updates is algemeen beschikbaar

Voorspellende I/O voor updates is nu algemeen beschikbaar. Zie Wat is voorspellende I/O?.

Verwijderingsvectoren zijn algemeen beschikbaar

Verwijderingsvectoren zijn nu algemeen beschikbaar. Zie Verwijderingsvectoren in Databricks.

Spark 3.5.0 is algemeen beschikbaar

Apache Spark 3.5.0 is nu algemeen beschikbaar. Zie Spark Release 3.5.0.

Openbare preview voor door de gebruiker gedefinieerde tabelfuncties voor Python

Met door de gebruiker gedefinieerde tabelfuncties (UDDF's) kunt u functies registreren die tabellen retourneren in plaats van scalaire waarden. Zie door de gebruiker gedefinieerde tabelfuncties (UDDF's) van Python.

Openbare preview voor gelijktijdigheid op rijniveau

Gelijktijdigheid op rijniveau vermindert conflicten tussen gelijktijdige schrijfbewerkingen door wijzigingen op rijniveau te detecteren en automatisch concurrerende wijzigingen in gelijktijdige schrijfbewerkingen op te lossen die verschillende rijen in hetzelfde gegevensbestand bijwerken of verwijderen. Zie rijniveau-concurrentie.

De standaard huidige werkmap is gewijzigd

De standaard huidige werkmap (CWD) voor code die lokaal wordt uitgevoerd, is nu de map met het notebook of script dat wordt uitgevoerd. Dit omvat code zoals %sh python- of R-code die geen gebruik maakt van Spark. Zie Wat is de standaard huidige werkmap?

Bekend probleem met sparklyr

De geïnstalleerde versie van het sparklyr pakket (versie 1.8.1) is niet compatibel met Databricks Runtime 14.0. Installeer versie 1.8.3 of hoger om te gebruiken sparklyr.

Inleiding tot Spark Connect in een gedeelde clusterarchitectuur

Met Databricks Runtime 14.0 en hoger gebruiken gedeelde clusters nu standaard Spark Connect met het Spark-stuurprogramma van de Python REPL. Interne Spark-API's zijn niet langer toegankelijk vanuit gebruikerscode.

Spark Connect communiceert nu met het Spark-stuurprogramma van de REPL in plaats van de verouderde REPL-integratie.

Beschikbare API-update voor Spark-versies weergeven

Schakel Photon in door de instelling in te stellen runtime_engine = PHOTONen in te schakelen aarch64 door een type graviton-instantie te kiezen. Azure Databricks stelt de juiste Databricks Runtime-versie in. Voorheen retourneert de Spark-versie-API implementatiespecifieke runtimes voor elke versie. Zie GET /api/2.0/clusters/spark-versions in de REST API-referentie.

Wijzigingen die fouten veroorzaken

In Databricks Runtime 14.0 en hoger gebruiken clusters met de standaardtoegangsmodus (voorheen gedeelde toegangsmodus) Spark Connect voor client-servercommunicatie. Dit omvat de volgende wijzigingen.

Zie Standard-rekenvereisten en -beperkingen voor meer informatie over beperkingen voor de standaardtoegangsmodus.

Python op clusters met de standaardtoegangsmodus (voorheen modus voor gedeelde toegang)

  • sqlContext is niet beschikbaar. Azure Databricks raadt aan de spark variabele voor het SparkSession exemplaar te gebruiken.
  • Spark-context (sc) is niet meer beschikbaar in Notebooks of wanneer u Databricks Connect gebruikt in een cluster met de standaardtoegangsmodus. De volgende sc functies zijn niet meer beschikbaar:
    • emptyRDD, range, init_batched_serializer, parallelize, pickleFile, textFile, wholeTextFiles, binaryFiles, binaryRecords, sequenceFile, newAPIHadoopFile, newAPIHadoopRDD, hadoopFile, hadoopRDD, union, runJob, setSystemProperty, uiWebUrl, stop, setJobGroup, setLocalProperty, getConf
  • De functie Gegevenssetgegevens wordt niet meer ondersteund.
  • Er is geen afhankelijkheid meer van de JVM bij het uitvoeren van query's op Apache Spark en als gevolg hiervan worden interne API's met betrekking tot de JVM, zoals _jsc, _jconf, _jvm_jsparkSession, _jreader, _jc, , _jseq, , _jdfen _jmap_jcols niet meer ondersteund.
  • Wanneer u met behulp van spark.conf configuratiewaarden opent, zijn alleen dynamische runtime-configuratiewaarden toegankelijk.
  • Analyseopdrachten van Lakeflow Spark-declaratieve pijplijnen worden nog niet ondersteund in gedeelde clusters.

Delta op clusters met de standaardtoegangsmodus (voorheen modus voor gedeelde toegang)

  • In Python is er geen afhankelijkheid meer van JVM bij het uitvoeren van query's op Apache Spark. Interne API's met betrekking tot JVM, zoals DeltaTable._jdt, DeltaTableBuilder._jbuilderen DeltaMergeBuilder._jbuilderDeltaOptimizeBuilder._jbuilder worden niet meer ondersteund.

SQL op clusters met de standaardtoegangsmodus (voorheen modus voor gedeelde toegang)

  • DBCACHE en DBUNCACHE opdrachten worden niet meer ondersteund.
  • Zeldzame gebruiksvoorbeelden zoals cache table db as show databases worden niet meer ondersteund.

Bibliotheekupgrades

  • Bijgewerkte Python-bibliotheken:
    • asttokens van 2.2.1 tot 2.0.5
    • attrs van 21.4.0 tot 22.1.0
    • botocore van 1.27.28 tot 1.27.96
    • certifi van 2022.9.14 tot 2022.12.7
    • cryptografie van 37.0.1 tot 39.0.1
    • debugpy van 1.6.0 tot 1.6.7
    • docstring-to-markdown van 0.12 tot 0.11
    • uitvoeren van 1.2.0 tot 0.8.3
    • facetten-overzicht van 1.0.3 tot 1.1.1
    • googleapis-common-protos van 1.56.4 tot 1.60.0
    • grpcio van 1.48.1 tot 1.48.2
    • idna versie 3.3 tot versie 3.4
    • ipykernel van 6.17.1 tot 6.25.0
    • ipython van 8.10.0 tot 8.14.0
    • Jinja2 van 2.11.3 tot 3.1.2
    • jsonschema van 4.16.0 tot 4.17.3
    • jupyter_core van 4.11.2 tot 5.2.0
    • kiwisolver van 1.4.2 tot 1.4.4
    • MarkupSafe van 2.0.1 tot 2.1.1
    • matplotlib van 3.5.2 tot 3.7.0
    • nbconvert van 6.4.4 tot 6.5.4
    • nbformat van 5.5.0 tot 5.7.0
    • nest-asyncio van 1.5.5 tot 1.5.6
    • notebook van 6.4.12 tot 6.5.2
    • numpy van 1.21.5 tot 1.23.5
    • verpakking van 21.3 tot 22.0
    • pandas van 1.4.4 tot 1.5.3
    • pathspec van 0.9.0 tot 0.10.3
    • patsy van 0.5.2 tot 0.5.3
    • Kussen van 9.2.0 tot 9.4.0
    • pip van 22.2.2 tot 22.3.1
    • protobuf van 3.19.4 tot 4.24.0
    • pytoolconfig van 1.2.2 tot 1.2.5
    • pytz van 2022.1 tot 2022.7
    • s3transfer van 0.6.0 tot 0.6.1
    • seaborn van 0.11.2 tot 0.12.2
    • setuptools van 63.4.1 tot 65.6.3
    • soupsieve van 2.3.1 naar 2.3.2.post1
    • stack-data van 0.2.0 naar 0.6.2
    • statsmodels van 0.13.2 tot 0.13.5
    • terminado van 0.13.1 tot 0.17.1
    • traitlets van 5.1.1 tot 5.7.1
    • typing_extensions bijgewerkt van 4.3.0 naar 4.4.0
    • urllib3 van 1.26.11 tot 1.26.14
    • virtualenv van 20.16.3 tot 20.16.7
    • wiel van 0.37.1 tot 0.38.4
  • Bijgewerkte R-bibliotheken:
    • pijl van 10.0.1 naar 12.0.1
    • basis van 4.2.2 tot 4.3.1
    • blob van 1.2.3 tot 1.2.4
    • broom van 1.0.3 naar 1.0.5
    • bslib van 0.4.2 tot 0.5.0
    • cachem van 1.0.6 tot 1.0.8
    • caret van 6.0-93 tot 6.0-94
    • chron van 2.3-59 tot 2.3-61
    • klasse van 7.3-21 tot 7.3-22
    • cli van 3.6.0 naar 3.6.1
    • klok van 0.6.1 tot 0.7.0
    • commonmark versie-update van 1.8.1 naar 1.9.0
    • compiler van 4.2.2 tot 4.3.1
    • cpp11 van 0.4.3 tot 0.4.4
    • curl van 5.0.0 naar 5.0.1
    • data.table van 1.14.6 tot 1.14.8
    • gegevenssets van 4.2.2 tot 4.3.1
    • dbplyr van 2.3.0 tot 2.3.3
    • digest van 0.6.31 tot 0.6.33
    • downlit van 0.4.2 tot 0.4.3
    • dplyr van 1.1.0 tot 1.1.2
    • dtplyr bijgewerkt van versie 1.2.2 naar versie 1.3.1
    • evalueren van 0,20 tot 0,21
    • fastmap update van versie 1.1.0 naar 1.1.1
    • fontawesome van 0.5.0 tot 0.5.1
    • fs van 1.6.1 tot 1.6.2
    • toekomst van 1.31.0 tot 1.33.0
    • future.apply van 1.10.0 naar 1.11.0
    • gargle van 1.3.0 tot 1.5.1
    • ggplot2 van 3.4.0 tot 3.4.2
    • gh van 1.3.1 tot 1.4.0
    • glmnet van 4.1-6 tot 4.1-7
    • googledrive van 2.0.0 tot 2.1.1
    • googlesheets4 van 1.0.1 tot 1.1.1
    • afbeeldingen van 4.2.2 tot 4.3.1
    • grDevices bijgewerkt van versie 4.2.2 naar 4.3.1
    • raster van 4.2.2 tot 4.3.1
    • gtable van 0.3.1 naar 0.3.3
    • hardhat van 1.2.0 tot 1.3.0
    • haven van 2.5.1 tot 2.5.3
    • hms van 1.1.2 tot 1.1.3
    • htmltools van 0.5.4 tot 0.5.5
    • htmlwidgets van 1.6.1 tot 1.6.2
    • httpuv van 1.6.8 tot 1.6.11
    • httr van 1.4.4 tot 1.4.6
    • ipred van 0.9-13 tot 0,9-14
    • jsonlite van 1.8.4 tot 1.8.7
    • KernSmooth van 2.23-20 tot 2.23-21
    • knitr van versie 1,42 naar 1,43
    • bijgewerkt van versie 1.3.0 naar 1.3.1
    • rooster van 0,20-45 tot 0,21-8
    • lava van 1.7.1 tot 1.7.2.1
    • lubridate van 1.9.1 tot 1.9.2
    • de verlaging van 1,5 naar 1,7
    • MASSA van 7.3-58.2 tot 7,3-60
    • Matrix van 1,5-1 tot 1,5-4.1
    • methoden van 4.2.2 tot 4.3.1
    • mgcv van 1,8-41 tot 1,8-42
    • modelr van 0.1.10 tot 0.1.11
    • nnet van 7.3-18 tot 7.3-19
    • openssl van 2.0.5 tot 2.0.6
    • parallel van 4.2.2 tot 4.3.1
    • parallel van 1.34.0 tot 1.36.0
    • pijler van 1.8.1 tot 1.9.0
    • pkgbuild van 1.4.0 tot 1.4.2
    • pkgload van 1.3.2 naar 1.3.2.1
    • pROC van 1.18.0 tot 1.18.4
    • processx van 3.8.0 tot 3.8.2
    • prodlim van 2019.11.13 tot 2023.03.31
    • profvis van 0.3.7 tot 0.3.8
    • ps van 1.7.2 tot 1.7.5
    • Rcpp van 1.0.10 tot 1.0.11
    • readr van 2.1.3 tot 2.1.4
    • readxl van 1.4.2 tot 1.4.3
    • recepten van 1.0.4 tot 1.0.6
    • rlang van 1.0.6 tot 1.1.1
    • rmarkdown van 2.20 tot 2.23
    • Rserve van 1,8-12 tot 1,8-11
    • RSQLite van 2.2.20 tot 2.3.1
    • rstudioapi van 0.14 tot 0.15.0
    • Sass bijgewerkt van versie 0.4.5 naar versie 0.4.6
    • glanzend van 1.7.4 tot 1.7.4.1
    • sparklyr van 1.7.9 tot 1.8.1
    • SparkR van 3.4.1 tot 3.5.0
    • splines van 4.2.2 tot 4.3.1
    • statistieken van 4.2.2 tot 4.3.1
    • stats4 van 4.2.2 tot 4.3.1
    • overleving van 3.5-3 tot 3.5-5
    • sys van 3.4.1 naar 3.4.2
    • tcltk van 4.2.2 tot 4.3.1
    • testthat van 3.1.6 tot 3.1.10
    • tibble van 3.1.8 tot 3.2.1
    • tidyverse van 1.3.2 tot 2.0.0
    • tinytex van 0,44 tot 0,45
    • hulpprogramma's van 4.2.2 tot 4.3.1
    • tzdb van 0.3.0 tot 0.4.0
    • usethis van 2.1.6 naar 2.2.2
    • hulpmiddelen van 4.2.2 tot 4.3.1
    • vctrs van 0.5.2 tot 0.6.3
    • viridisLite van 0.4.1 tot 0.4.2
    • vroom van 1.6.1 tot 1.6.3
    • waldo van 0.4.0 tot 0.5.1
    • xfun van 0,37 tot 0,39
    • xml2 van 1.3.3 tot 1.3.5
    • zip van 2.2.2 naar 2.3.0
  • Bijgewerkte Java-bibliotheken:
    • com.fasterxml.jackson.core.jackson-aantekeningen van 2.14.2 tot 2.15.2
    • com.fasterxml.jackson.core.jackson-core van 2.14.2 tot 2.15.2
    • com.fasterxml.jackson.core.jackson-databind van 2.14.2 tot 2.15.2
    • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor van 2.14.2 tot 2.15.2
    • com.fasterxml.jackson.datatype.jackson-datatype-joda van 2.14.2 tot 2.15.2
    • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 van 2.13.4 tot 2.15.1
    • com.fasterxml.jackson.module.jackson-module-paranamer van versie 2.14.2 naar versie 2.15.2
    • com.fasterxml.jackson.module.jackson-module-scala_2.12 van 2.14.2 tot 2.15.2
    • com.github.luben.zstd-jni van 1.5.2-5 tot 1.5.5-4
    • com.google.code.gson.gson van 2.8.9 tot 2.10.1
    • com.google.crypto.tink.tink van 1.7.0 tot 1.9.0
    • commons-codec.commons-codec van 1.15 tot 1.16.0
    • commons-io.commons-io van 2.11.0 tot 2.13.0
    • io.airlift.aircompressor van 0.21 tot 0.24
    • io.dropwizard.metrics.metrics-core van 4.2.10 tot 4.2.19
    • io.dropwizard.metrics.metrics-graphite van 4.2.10 tot 4.2.19
    • io.dropwizard.metrics.metrics-healthchecks van 4.2.10 tot 4.2.19
    • io.dropwizard.metrics.metrics-jetty9 van 4.2.10 tot 4.2.19
    • io.dropwizard.metrics.metrics-jmx van 4.2.10 tot 4.2.19
    • io.dropwizard.metrics.metrics-json van 4.2.10 tot 4.2.19
    • io.dropwizard.metrics.metrics-jvm van 4.2.10 tot 4.2.19
    • io.dropwizard.metrics.metrics-servlets van 4.2.10 tot 4.2.19
    • io.netty.netty-all van 4.1.87.Final tot 4.1.93.Final
    • io.netty.netty-buffer bijgewerkt van 4.1.87.Final naar 4.1.93.Final
    • io.netty.netty-codec van 4.1.87.Final tot 4.1.93.Final
    • io.netty.netty-codec-http van 4.1.87.Final tot 4.1.93.Final
    • io.netty.netty-codec-http2 van 4.1.87.Final tot 4.1.93.Final
    • io.netty.netty-codec-socks van 4.1.87.Final naar 4.1.93.Final
    • io.netty.netty-common van versie 4.1.87.Final naar versie 4.1.93.Final
    • io.netty.netty-handler van 4.1.87.Final tot 4.1.93.Final
    • io.netty.netty-handler-proxy van 4.1.87.Final tot 4.1.93.Final
    • io.netty.netty-resolver van versie 4.1.87.Final naar 4.1.93.Final
    • io.netty.netty-transport van versie 4.1.87.Final naar versie 4.1.93.Final
    • io.netty.netty-transport-classes-epoll van 4.1.87.Final naar 4.1.93.Final
    • io.netty.netty-transport-classes-kqueue van 4.1.87.Final tot 4.1.93.Final
    • io.netty.netty-transport-native-epoll van 4.1.87.Final-linux-x86_64 naar 4.1.93.Final-linux-x86_64
    • io.netty.netty-transport-native-kqueue van versie 4.1.87.Final-osx-x86_64 naar versie 4.1.93.Final-osx-x86_64
    • io.netty.netty-transport-native-unix-common van 4.1.87.Final naar 4.1.93.Final
    • org.apache.arrow.arrow-format van 11.0.0 naar 12.0.1
    • org.apache.arrow.arrow-memory-core van 11.0.0 tot 12.0.1
    • org.apache.arrow.arrow-memory-netty van 11.0.0 tot 12.0.1
    • org.apache.arrow.arrow-vector van 11.0.0 tot 12.0.1
    • org.apache.avro.avro van 1.11.1 tot 1.11.2
    • org.apache.avro.avro-ipc van 1.11.1 tot 1.11.2
    • org.apache.avro.avro-mapred van 1.11.1 tot 1.11.2
    • org.apache.commons.commons-compress van 1.21 tot 1.23.0
    • org.apache.hadoop.hadoop-client-runtime van 3.3.4 tot 3.3.6
    • org.apache.logging.log4j.log4j-1.2-api van 2.19.0 tot 2.20.0
    • org.apache.logging.log4j.log4j-api van 2.19.0 tot 2.20.0
    • org.apache.logging.log4j.log4j-core van 2.19.0 tot 2.20.0
    • org.apache.logging.log4j.log4j-slf4j2-impl van 2.19.0 tot 2.20.0
    • org.apache.orc.orc-core van 1.8.4-shaded-protobuf naar 1.9.0-shaded-protobuf
    • org.apache.orc.orc-mapreduce van 1.8.4-shaded-protobuf naar 1.9.0-shaded-protobuf
    • org.apache.orc.orc-shims van 1.8.4 tot 1.9.0
    • org.apache.xbean.xbean-asm9-shaded bijgewerkt van versie 4.22 naar 4.23
    • org.checkerframework.checker-qual van 3.19.0 tot 3.31.0
    • org.glassfish.jersey.containers.jersey-container-servlet van 2.36 tot 2.40
    • org.glassfish.jersey.containers.jersey-container-servlet-core van 2.36 naar 2.40
    • org.glassfish.jersey.core.jersey-client van 2.36 naar 2.40
    • org.glassfish.jersey.core.jersey-common van 2.36 tot 2.40
    • org.glassfish.jersey.core.jersey-server van versie 2.36 naar versie 2.40
    • org.glassfish.jersey.inject.jersey-hk2 van 2.36 tot 2.40
    • org.javassist.javassist van 3.25.0-GA naar 3.29.2-GA
    • org.mariadb.jdbc.mariadb-java-client van 2.7.4 tot 2.7.9
    • org.postgresql.postgresql van 42.3.8 tot 42.6.0
    • org.roaringbitmap.RoaringBitmap van 0.9.39 tot 0.9.45
    • org.roaringbitmap.shims van 0.9.39 tot 0.9.45
    • org.rocksdb.rocksdbjni van 7.8.3 tot 8.3.2
    • org.scala-lang.modules.scala-collection-compat_2.12 van 2.4.3 tot 2.9.0
    • org.slf4j.jcl-over-slf4j van 2.0.6 tot 2.0.7
    • org.slf4j.jul-to-slf4j van 2.0.6 naar 2.0.7
    • org.slf4j.slf4j-api van 2.0.6 tot 2.0.7
    • org.xerial.snappy.snappy-java van 1.1.10.1 tot 1.1.10.3
    • org.yaml.snakeyaml van 1.33 tot 2.0

Apache Spark

Databricks Runtime 14.0. Deze release bevat alle Spark-fixes en verbeteringen die zijn opgenomen in Databricks Runtime 13.3 LTS, evenals de volgende aanvullende bugfixes en verbeteringen in Spark:

  • [SPARK-45109] [DBRRM-462][sc-142247][SQL][connect] Corrigeer de aes_decrypt- en ln-functies in Connect
  • [SPARK-44980] [DBRRM-462][sc-141024][PYTHON][connect] Overgenomen benoemdetuples herstellen om te werken in createDataFrame
  • [SPARK-44795] [DBRRM-462][sc-139720][CONNECT] CodeGenerator Cache moet classloader specifiek zijn
  • [SPARK-44861] [DBRRM-498][sc-140716][CONNECT] jsonignore SparkListenerConnectOperationStarted.planRequest
  • [SPARK-44794] [DBRRM-462][sc-139767][CONNECT] Streamingqueries laten werken met het artifact management van Connect
  • [SPARK-44791] [DBRRM-462][sc-139623][CONNECT] Zorg ervoor dat ArrowDeserializer werkt met klassen gegenereerd door REPL
  • [SPARK-44876] [DBRRM-480][sc-140431][PYTHON] Met pijl geoptimaliseerde Python-UDF in Spark Connect herstellen
  • [SPARK-44877] [DBRRM-482][sc-140437][CONNECT][python] Ondersteuning voor Python protobuf-functies voor Spark Connect
  • [SPARK-44882] [DBRRM-463][sc-140430][PYTHON][connect] Functie uuid/random/chr verwijderen uit PySpark
  • [SPARK-44740] [DBRRM-462][sc-140320][CONNECT][volg] Metagegevenswaarden voor artefacten corrigeren
  • [SPARK-44822] [DBRRM-464][python][SQL] Python UDTFs standaard niet-deterministisch maken
  • [SPARK-44836] [DBRRM-468][sc-140228][PYTHON] Arrow Python UDTF herstructureren
  • [SPARK-44738] [DBRRM-462][sc-139347][PYTHON][connect] Ontbrekende clientmetagegevens toevoegen aan aanroepen
  • [SPARK-44722] [DBRRM-462][sc-139306][CONNECT] ExecutePlanResponseReattachableIterator._call_iter: AttributeError: Object NoneType heeft geen attribuut 'message'
  • [SPARK-44625] [DBRRM-396][sc-139535][CONNECT] SparkConnectExecutionManager om alle uitvoeringen bij te houden
  • [SPARK-44663] [SC-139020][dbrrm-420][PYTHON] Pijloptimalisatie standaard uitschakelen voor Python UDFS
  • [SPARK-44709] [DBRRM-396][sc-139250][CONNECT] Run ExecuteGrpcResponseSender in opnieuw koppelbare uitvoering in een nieuwe thread om stroomregeling te verhelpen.
  • [SPARK-44656] [DBRRM-396][sc-138924][CONNECT] Alle iterators CloseableIterators maken
  • [SPARK-44671] [DBRRM-396][sc-138929][PYTHON][connect] ExecutePlan opnieuw proberen in het geval de eerste aanvraag de server niet heeft bereikt in de Python-client
  • [SPARK-44624] [DBRRM-396][sc-138919][CONNECT] ExecutePlan opnieuw proberen in het geval de eerste aanvraag de server niet heeft bereikt
  • [SPARK-44574] [DBRRM-396][sc-138288][SQL][connect] Fouten die zijn verplaatst naar sq/api moeten ook AnalysisException gebruiken
  • [SPARK-44613] [DBRRM-396][sc-138473][CONNECT] Encoders-object toevoegen
  • [SPARK-44626] [DBRRM-396][sc-138828][SS][connect] Nadere opvolging van het beëindigen van streamingquery's wanneer er een time-out optreedt voor Spark Connect
  • [SPARK-44642] [DBRRM-396][sc-138882][CONNECT] ReleaseExecute in ExecutePlanResponseReattachableIterator nadat het een fout van de server heeft ontvangen
  • [SPARK-41400] [DBRRM-396][sc-138287][CONNECT] Verwijder Connect Client Catalyst-afhankelijkheid
  • [SPARK-44664] [DBRRM-396][python][CONNECT] Release de uitvoering bij het sluiten van de iterator in de Python-client
  • [SPARK-44631] [DBRRM-396][sc-138823][CONNECT][core][14.0.0] Sessie-gebaseerde map verwijderen wanneer de geïsoleerde sessiecache wordt uit de cache gehaald
  • [SPARK-42941] [DBRRM-396][sc-138389][SS][connect] Python StreamingQueryListener
  • [SPARK-44636] [DBRRM-396][sc-138570][CONNECT] Laat geen zwevende iterators staan
  • [SPARK-44424] [DBRRM-396][connect][PYTHON][14.0.0] Python-client voor opnieuw koppelen aan bestaande uitvoering in Spark Connect
  • [SPARK-44637] [SC-138571] Toegangsrechten synchroniseren met ExecuteResponseObserver
  • [SPARK-44538] [SC-138178][connect][SQL] Herstel Row.jsonValue en gerelateerde functies
  • [SPARK-44421] [SC-138434][spark-44423][CONNECT] Herkoppelbare uitvoering in Spark Connect
  • [SPARK-44418] [SC-136807][python][CONNECT] Upgrade protobuf van 3.19.5 naar 3.20.3
  • [SPARK-44587] [SC-138315][sql][CONNECT] Verhogen protobuf marshaller recursielimiet
  • [SPARK-44591] [SC-138292][connect][SQL] JobTags toevoegen aan SparkListenerSQLExecutionStart
  • [SPARK-44610] [SC-138368][sql] DeduplicateRelations moeten aliasmetagegevens behouden bij het maken van een nieuw exemplaar
  • [SPARK-44542] [SC-138323][core] SparkExitCode-klasse gretig laden in uitzonderingshandler
  • [SPARK-44264] [SC-138143][python]E2E Testing for Deepspeed
  • [SPARK-43997] [SC-138347][connect] Ondersteuning voor Java UDF's toevoegen
  • [SPARK-44507] [SQL][connect][14.x][14.0] AnalysisException verplaatsen naar sql/api
  • [SPARK-44453] [SC-137013][python] Difflib gebruiken om fouten weer te geven in assertDataFrameEqual
  • [SPARK-44394] [SC-138291][connect][WEBUI][14.0] Een Spark UI-pagina toevoegen voor Spark Connect
  • [SPARK-44611] [SC-138415][connect] Scala-xml niet uitsluiten
  • [SPARK-44531] [SC-138044][connect][SQL][14.x][14.0] Encoder-inferentie verplaatsen naar sql/api
  • [SPARK-43744] [SC-138289][verbinding][14.x][14.0] Probleem met het laden van klassen oplossen...
  • [SPARK-44590] [SC-138296][sql][CONNECT] Verwijder de limiet voor de Arrow-batchrecord voor SqlCommandResult
  • [SPARK-43968] [SC-138115][python] Foutberichten voor Python UDTF's verbeteren bij een onjuist aantal outputs.
  • [SPARK-44432] [SC-138293][ss][CONNECT] Streaming queries beëindigen wanneer een sessie verloopt in Spark Connect
  • [SPARK-44584] [SC-138295][connect] Stel client_type-informatie in voor AddArtifactsRequest en ArtifactStatusesRequest in de Scala Client
  • [SPARK-44552] [14.0][sc-138176][SQL] Definitie verwijderen private object ParseState uit IntervalUtils
  • [SPARK-43660] [SC-136183][connect][PS] Inschakelen resample met Spark Connect
  • [SPARK-44287] [SC-136223][sql] Gebruik de PartitionEvaluator-API in RowToColumnarExec & ColumnarToRowExec SQL-operators.
  • [SPARK-39634] [SC-137566][sql] Bestandssplitsing toestaan in combinatie met het genereren van rijindexen
  • [SPARK-44533] [SC-138058][python] Ondersteuning toevoegen voor accumulator-, broadcast- en Spark-bestanden in de analyse van Python UDTF
  • [SPARK-44479] [SC-138146][python] Fix ArrowStreamPandasUDFSerializer om pandas DataFrame zonder kolom te accepteren
  • [SPARK-44425] [SC-138177][connect] Valideren dat de door de gebruiker opgegeven sessionId een UUID is
  • [SPARK-44535] [SC-138038][verbinding][SQL] Vereiste streaming-API verplaatsen naar sql/api
  • [SPARK-44264] [SC-136523][ml][PYTHON] Schrijf een Deepspeed Distributed Learning-klasse DeepspeedTorchDistributor
  • [SPARK-42098] [SC-138164][sql] Los op dat ResolveInlineTables niet kan omgaan met tijduitwisselbare expressies.
  • [SPARK-44060] [SC-135693][sql] Code-gen voor outer geordende hash-join aan bouwzijde
  • [SPARK-44496] [SC-137682][sql][CONNECT] Interfaces verplaatsen die nodig zijn voor SCSC naar sql/api
  • [SPARK-44532] [SC-137893][connect][SQL] ArrowUtils verplaatsen naar sql/api
  • [SPARK-44413] [SC-137019][python] Verhelder de fout voor niet-ondersteund arggegevenstype in assertDataFrameEqual
  • [SPARK-44530] [SC-138036][core][CONNECT] SparkBuildInfo verplaatsen naar common/util
  • [SPARK-36612] [SC-133071][sql] Ondersteuning voor geblokkeerde hasjoin met links outer join bouwen links of rechts outer join bouwen rechts.
  • [SPARK-44519] [SC-137728][connect] SparkConnectServerUtils gegenereerd onjuiste parameters voor jars
  • [SPARK-44449] [SC-137818][verbinding] Upcasting voor directe pijldeserialisatie
  • [SPARK-44131] [SC-136346][sql] Call_function toevoegen en call_udf voor Scala-API verwijderen
  • [SPARK-44541] [SQL] Nutteloze functie hasRangeExprAgainstEventTimeCol verwijderen uit UnsupportedOperationChecker
  • [SPARK-44523] [SC-137859][sql] De maxRows/maxRowsPerPartition van het filter is 0 als de voorwaarde FalseLiteral is
  • [SPARK-44540] [SC-137873][ui] Ongebruikt opmaakmodel en Javascript-bestanden van jsonFormatter verwijderen
  • [SPARK-44466] [SC-137856][sql] Configs uitsluiten die beginnen met SPARK_DRIVER_PREFIX en SPARK_EXECUTOR_PREFIX van modifiedConfigs
  • [SPARK-44477] [SC-137508][sql] Behandel TYPE_CHECK_FAILURE_WITH_HINT als een foutsubklasse
  • [SPARK-44509] [SC-137855][python][CONNECT] Api voor het annuleren van taken toevoegen in de Spark Connect Python-client
  • [SPARK-44059] [SC-137023] Analyseondersteuning van benoemde argumenten toevoegen voor ingebouwde functies
  • [SPARK-38476] [SC-136448][core] Foutklasse gebruiken in org.apache.spark.storage
  • [SPARK-44486] [SC-137817][python][CONNECT] PyArrow-functie self_destruct implementeren voor toPandas
  • [SPARK-44361] [SC-137200][sql] PartitionEvaluator-API gebruiken in MapInBatchExec
  • [SPARK-44510] [SC-137652][ui] Gegevenstabellen bijwerken naar 1.13.5 en enkele onbereikbare PNG-bestanden verwijderen
  • [SPARK-44503] [SC-137808][sql] Voeg SQL-grammatica toe voor PARTITION BY en ORDER BY clausule na TABLE argumenten bij TVF-aanroepen
  • [SPARK-38477] [SC-136319][core] Gebruik foutklasse in org.apache.spark.shuffle
  • [SPARK-44299] [SC-136088][sql] Wijs namen toe aan de foutklasse _LEGACY_ERROR_TEMP_227[4-6,8]
  • [SPARK-44422] [SC-137567][connect] Spark Connect fijngranulaire interrupt
  • [SPARK-44380] [SC-137415][sql][PYTHON] Ondersteuning voor Python UDTF om te analyseren in Python
  • [SPARK-43923] [SC-137020][connect] Post listenerBus-evenementen tijdens...
  • [SPARK-44303] [SC-136108][sql] Wijs namen toe aan de foutklasse LEGACY_ERROR_TEMP[2320-2324]
  • [SPARK-44294] [SC-135885][ui] De kolom HeapHistogram corrigeren die onverwacht wordt weergegeven bij de select-all-box.
  • [SPARK-44409] [SC-136975][sql] Handle char/varchar in Dataset.to om consistent te blijven met anderen
  • [SPARK-44334] [SC-136576][sql][UI] Status in het REST API-antwoord voor een mislukte DDL/DML zonder jobs moet MISLUKT zijn in plaats van VOLTOOID
  • [SPARK-42309] [SC-136703][sql] Introduceer INCOMPATIBLE_DATA_TO_TABLE en subklassen.
  • [SPARK-44367] [SC-137418][sql][UI] Foutbericht weergeven in de gebruikersinterface voor elke mislukte query
  • [SPARK-44474] [SC-137195][connect] Schakel "Test observe response" opnieuw in bij SparkConnectServiceSuite
  • [SPARK-44320] [SC-136446][sql] Wijs namen toe aan de foutklasse LEGACY_ERROR_TEMP[1067,1150,1220,1265,1277]
  • [SPARK-44310] [SC-136055][connect] Het opstartlogboek van de connect-server moet de hostnaam en poort weergeven
  • [SPARK-44309] [SC-136193][ui] Toon tijd voor toevoegen/verwijderen van uitvoerders op de tab Uitvoerders
  • [SPARK-42898] [SC-137556][sql] Markeer dat tekenreeks/datumcasts geen tijdzone-id nodig hebben
  • [SPARK-44475] [SC-137422][sql][CONNECT] Gegevenstype en parser verplaatsen naar sql/api
  • [SPARK-44484] [SC-137562][ss]BatchDuration toevoegen aan de json-methode StreamingQueryProgress
  • [SPARK-43966] [SC-137559][sql][PYTHON] Ondersteuning voor niet-deterministische tabelwaardefuncties
  • [SPARK-44439] [SC-136973][connect][SS]De bug in listListeners opgelost zodat alleen IDs naar de client worden teruggestuurd.
  • [SPARK-44341] [SC-137054][sql][PYTHON] Definieer de rekenlogica via PartitionEvaluator-API en gebruik deze in WindowExec en WindowInPandasExec
  • [SPARK-43839] [SC-132680][sql] Converteren _LEGACY_ERROR_TEMP_1337 naar UNSUPPORTED_FEATURE.TIME_TRAVEL
  • [SPARK-44244] [SC-135703][sql] Wijs namen toe aan de foutklasse LEGACY_ERROR_TEMP[2305-2309]
  • [SPARK-44201] [SC-136778][connect][SS]Ondersteuning voor streaminglistener toevoegen in Scala voor Spark Connect
  • [SPARK-44260] [SC-135618][sql] Wijs namen toe aan de foutklasse LEGACY_ERROR_TEMP[1215-1245-2329] en gebruik checkError() om de uitzondering in _CharVarchar_Suite te controleren.
  • [SPARK-42454] [SC-136913][sql] SPJ: alle SPJ-gerelateerde parameters in BatchScanExec inkapselen
  • [SPARK-44292] [SC-135844][sql] Wijs namen toe aan de foutklasse LEGACY_ERROR_TEMP[2315-2319]
  • [SPARK-44396] [SC-137221][verbinding] Directe pijldeserialisatie
  • [SPARK-44324] [SC-137172][sql][CONNECT] CaseInsensitiveMap verplaatsen naar sql/api
  • [SPARK-44395] [SC-136744][sql] Test terug toevoegen aan StreamingTableSuite
  • [SPARK-44481] [SC-137401][connect][PYTHON] Maak pyspark.sql.is_remote een API
  • [SPARK-44278] [SC-137400][connect] Implementeer een GRPC-server interceptor waarmee lokale threadeigenschappen worden opgeschoond
  • [SPARK-44264] [SC-137211][ml][PYTHON] Ondersteuning voor gedistribueerde training van functies met deepspeed
  • [SPARK-44430] [SC-136970][sql] Oorzaak toevoegen aan AnalysisException wanneer de optie ongeldig is
  • [SPARK-44264] [SC-137167][ml][PYTHON] FunctionPickler integreren in TorchDistributor
  • [SPARK-44216] [SC-137046] [PYTHON] AssertSchemaEqual-API openbaar maken
  • [SPARK-44398] [SC-136720][connect] Scala foreachBatch API
  • [SPARK-43203] [SC-134528][sql] Verplaats alle drop table case naar DataSource V2
  • [SPARK-43755] [SC-137171][connect][MINOR] Openen AdaptiveSparkPlanHelper.allChildren in plaats van kopiëren te gebruiken in MetricGenerator
  • [SPARK-44264] [SC-137187][ml][PYTHON] TorchDistributor herstructureren om aangepaste functiepointer 'run_training_on_file' toe te staan
  • [SPARK-43755] [SC-136838][connect] Verplaats de uitvoering uit SparkExecutePlanStreamHandler naar een andere thread
  • [SPARK-44411] [SC-137198][sql] PartitionEvaluator-API gebruiken in ArrowEvalPythonExec en BatchEvalPythonExec
  • [SPARK-44375] [SC-137197][sql] PartitionEvaluator-API gebruiken in DebugExec
  • [SPARK-43967] [SC-137057][python] Ondersteuning voor reguliere Python UDFS met lege retourwaarden
  • [SPARK-43915] [SC-134766][sql] Wijs namen toe aan de foutklasse LEGACY_ERROR_TEMP[2438-2445]
  • [SPARK-43965] [SC-136929][python][CONNECT] Ondersteuning voor Python UDTF in Spark Connect
  • [SPARK-44154] [SC-137050][sql] Meer eenheidstests toegevoegd aan BitmapExpressionUtilsSuite en kleine verbeteringen aangebracht in BitmapAggregatie-expressies
  • [SPARK-44169] [SC-135497][sql] Wijs namen toe aan de foutklasse LEGACY_ERROR_TEMP[2300-2304]
  • [SPARK-44353] [SC-136578][connect][SQL] StructType.toAttributes verwijderen
  • [SPARK-43964] [SC-136676][sql][PYTHON] Ondersteuning voor pijl-geoptimaliseerde Python UDTFs
  • [SPARK-44321] [SC-136308][connect] ParseException loskoppelen van AnalysisException
  • [SPARK-44348] [SAS-1910][sc-136644][CORE][connect][PYTHON] Heractiveer test_artifact met relevante wijzigingen
  • [SPARK-44145] [SC-136698][sql] Callback wanneer klaar voor uitvoering
  • [SPARK-43983] [SC-136404][python][ML][connect] Schakel de test voor cross validator-estimator in
  • [SPARK-44399] [SC-136669][pyhton][CONNECT] SparkSession importeren in Python UDF alleen wanneer useArrow geen is
  • [SPARK-43631] [SC-135300][connect][PS] Activeer Series.interpolate met Spark Connect
  • [SPARK-44374] [SC-136544][python][ML] Voorbeeldcode toevoegen voor gedistribueerde ML voor spark connect
  • [SPARK-44282] [SC-135948][connect] DataType parseren voorbereiden voor gebruik in Spark Connect Scala-client
  • [SPARK-44052] [SC-134469][connect][PS] Voeg een hulpmiddel toe om de juiste Kolom- of DataFrame-klasse voor Spark Connect te verkrijgen.
  • [SPARK-43983] [SC-136404][python][ML][connect] Implementeer kruisvalideringsschattingsmodel
  • [SPARK-44290] [SC-136300][connect] Op sessies gebaseerde bestanden en archieven in Spark Connect
  • [SPARK-43710] [SC-134860][ps][CONNECT] Ondersteuning functions.date_part voor Spark Connect
  • [SPARK-44036] [SC-134036][connect][PS] Opschonen en tickets samenvoegen om de taken te vereenvoudigen.
  • [SPARK-44150] [SC-135790][python][CONNECT] Expliciete Arrow-casting voor een niet-overeenkomend retourtype in Arrow Python UDF
  • [SPARK-43903] [SC-134754][python][CONNECT] Ondersteuning voor ArrayType-invoer verbeteren in Arrow Python UDF
  • [SPARK-44250] [SC-135819][ml][PYTHON][connect] Classificatie-evaluator implementeren
  • [SPARK-44255] [SC-135704][sql] StorageLevel verplaatsen naar algemene/hulpprogramma's
  • [SPARK-42169] [SC-135735] [SQL] Codegeneratie implementeren voor to_csv functie (StructsToCsv)
  • [SPARK-44249] [SC-135719][sql][PYTHON] PythonUDTFRunner herstructureren om het retourtype afzonderlijk te verzenden
  • [SPARK-43353] [SC-132734][python] Resterende sessiefouten migreren naar foutklasse
  • [SPARK-44133] [SC-134795][python] MyPy upgraden van 0.920 naar 0,982
  • [SPARK-42941] [SC-134707][ss][CONNECT][1/2] StreamingQueryListener - Event Serde in JSON-indeling
  • [SPARK-43353] Draai “[SC-132734][es-729763][PYTHON] migreren van resterende sessiefouten naar foutklasse” terug
  • [SPARK-44100] [SC-134576][ml][CONNECT][python] Naamruimte verplaatsen van pyspark.mlv2 naar pyspark.ml.connect
  • [SPARK-44220] [SC-135484][sql] StringConcat verplaatsen naar sql/api
  • [SPARK-43992] [SC-133645][sql][PYTHON][connect] Optioneel patroon toevoegen voor Catalog.listFunctions
  • [SPARK-43982] [SC-134529][ml][PYTHON][connect] Pijplijnschatter implementeren voor ML op Spark Connect
  • [SPARK-43888] [SC-132893][kern] Logboekregistratie verplaatsen naar algemene/hulpprogramma's
  • [SPARK-42941] Ongedaan maken van “[SC-134707][ss][CONNECT][1/2] StreamingQueryListener - Event Serde in JSON-indeling”
  • [SPARK-43624] [SC-134557][ps][CONNECT] Toevoegen EWM aan SparkConnectPlanner.
  • [SPARK-43981] [SC-134137][python][ML] Basisimplementatie voor het opslaan en laden voor ML op spark connect
  • [SPARK-43205] [SC-133371][sql] repareer SQLQueryTestSuite
  • [SPARK-43376] Revert “[SC-130433][sql] Verbeteren terugdraaien van de subquery met tabelcache”
  • [SPARK-44040] [SC-134366][sql] Fout in rekenstatistieken corrigeren indien het knooppunt AggregateExec boven QueryStageExec staat
  • [SPARK-43919] [SC-133374][sql] JSON-functionaliteit uit rij extraheren
  • [SPARK-42618] [SC-134433][python][PS] Waarschuwing voor de pandas-gerelateerde gedragswijzigingen in de volgende grote release
  • [SPARK-43893] [SC-133381][python][CONNECT] Ondersteuning voor niet-atomisch gegevenstype in Arrow-geoptimaliseerde Python UDF
  • [SPARK-43627] [SC-134290][spark-43626][PS][connect] Inschakelen pyspark.pandas.spark.functions.{kurt, skew} in Spark Connect.
  • [SPARK-43798] [SC-133990][sql][PYTHON] Ondersteuning voor door de gebruiker gedefinieerde Python-tabelfuncties
  • [SPARK-43616] [SC-133849][ps][CONNECT] Activeer in Spark Connect
  • [SPARK-43133] [SC-133728] Ondersteuning voor Scala Client DataStreamWriter Foreach
  • [SPARK-43684] [SC-134107][spark-43685][SPARK-43686][spark-43691][CONNECT][ps] Fix (NullOps|NumOps).(eq|ne) voor Spark Connect.
  • [SPARK-43645] [SC-134151][spark-43622][PS][connect] Inschakelen pyspark.pandas.spark.functions.{var, stddev} in Spark Connect
  • [SPARK-43617] [SC-133893][ps][CONNECT] Activeer pyspark.pandas.spark.functions.product in Spark Connect
  • [SPARK-43610] [SC-133832][connect][PS] Activeer InternalFrame.attach_distributed_column in Spark Connect.
  • [SPARK-43621] [SC-133852][ps][CONNECT] Inschakelen pyspark.pandas.spark.functions.repeat in Spark Connect
  • [SPARK-43921] [SC-133461][protobuf] Protobuf-descriptorbestanden genereren tijdens de build
  • [SPARK-43613] [SC-133727][ps][CONNECT] Activeer pyspark.pandas.spark.functions.covar in Spark Connect
  • [SPARK-43376] [SC-130433][sql] Hergebruik subquery verbeteren met tabelcache
  • [SPARK-43612] [SC-132011][connect][PYTHON] SparkSession.addArtifact(s) implementeren in Python-client
  • [SPARK-43920] [SC-133611][sql][CONNECT] Sql/api-module maken
  • [SPARK-43097] [SC-133372][ml] Nieuwe pyspark ML logistic regression estimator geïmplementeerd op de distributeur
  • [SPARK-43783] [SC-133240][spark-43784][SPARK-43788][ml] Zorg ervoor dat MLv2 (ML op spark connect) pandas >= 2.0 ondersteunt.
  • [SPARK-43024] [SC-132716][python] Pandas upgraden naar 2.0.0
  • [SPARK-43881] [SC-133140][sql][PYTHON][connect] Optioneel patroon toevoegen voor Catalog.listDatabases
  • [SPARK-39281] [SC-131422][sql] Versnel inferentie van Timestamp-type met verouderd formaat in JSON/CSV-gegevensbron
  • [SPARK-43792] [SC-132887][sql][PYTHON][connect] Optioneel patroon toevoegen voor Catalog.listCatalogs
  • [SPARK-43132] [SC-131623] [SS] [CONNECT] Python Client DataStreamWriter foreach() API
  • [SPARK-43545] [SC-132378][sql][PYTHON] Ondersteuning voor geneste tijdstempeltype
  • [SPARK-43353] [SC-132734][python] Resterende sessiefouten migreren naar foutklasse
  • [SPARK-43304] [SC-129969][connect][PYTHON] Migreren NotImplementedError naar PySparkNotImplementedError
  • [SPARK-43516] [SC-132202][ml][PYTHON][connect] Basisinterfaces van sparkML voor spark3.5: estimator/transformer/model/evaluator
  • [SPARK-43128] Revert “[SC-131628][connect][SS] Zorg ervoor dat recentProgress en lastProgress een StreamingQueryProgress retourneren dat consistent is met de native Scala-api”
  • [SPARK-43543] [SC-131839][python] Geneste MapType-gedrag in Pandas UDF oplossen
  • [SPARK-38469] [SC-131425][core] Foutklasse gebruiken in org.apache.spark.network
  • [SPARK-43309] [SC-129746][spark-38461][CORE] Breid INTERNAL_ERROR uit met categorieën en voeg foutklasse toe INTERNAL_ERROR_BROADCAST
  • [SPARK-43265] [SC-129653] Foutframework verplaatsen naar een algemene utils-module
  • [SPARK-43440] [SC-131229][python][CONNECT] Ondersteuning voor registratie van een python-UDF die is geoptimaliseerd voor pijlen
  • [SPARK-43528] [SC-131531][sql][PYTHON] Ondersteuning voor dubbele veldnamen in createDataFrame met pandas DataFrame
  • [SPARK-43412] [SC-130990][python][CONNECT] Introduceer SQL_ARROW_BATCHED_UDF EvalType voor python-UDF's die zijn geoptimaliseerd voor pijlen
  • [SPARK-40912] [SC-130986][kern]Overhead van uitzonderingen in KryoDeserializationStream
  • [SPARK-39280] [SC-131206][sql] Versnel vaststelling van het tijdstempeltype met door de gebruiker opgegeven indeling in JSON/CSV gegevens bron
  • [SPARK-43473] [SC-131372][python] Ondersteuning van struct type in createDataFrame vanuit pandas DataFrame
  • [SPARK-43443] [SC-131024][sql] Benchmark toevoegen voor type-afleiding van de timestamptype bij gebruik van een ongeldige waarde
  • [SPARK-41532] [SC-130523][connect][CLIENT] Voeg een controle toe voor bewerkingen met meerdere gegevensframes
  • [SPARK-43296] [SC-130627][connect][PYTHON] Spark Connect-sessiefouten migreren naar foutklasse
  • [SPARK-43324] [SC-130455][sql] Behandel UPDATE-opdrachten voor op delta gebaseerde bronnen
  • [SPARK-43347] [SC-130148][python] Ondersteuning voor Python 3.7 verwijderen
  • [SPARK-43292] [SC-130525][core][CONNECT] Verplaatsen ExecutorClassLoader naar core module en vereenvoudigen Executor#addReplClassLoaderIfNeeded
  • [SPARK-43081] [SC-129900] [ML] [CONNECT] Voeg een torch distributor-gegevenslader toe die gegevens laadt van spark-partitiedata.
  • [SPARK-43331] [SC-130061][connect] SparkSession.interruptAll toevoegen
  • [SPARK-43306] [SC-130320][python] Migreren ValueError van Spark SQL-typen naar foutklasse
  • [SPARK-43261] [SC-129674][python] Migreren TypeError van Spark SQL-typen naar foutklasse.
  • [SPARK-42992] [SC-129465][python] Introduceert PySparkRuntimeError
  • [SPARK-16484] [SC-129975][sql] Ondersteuning voor Datasketches HllSketch toevoegen
  • [SPARK-43165] [SC-128823][sql] CanWrite verplaatsen naar DataTypeUtils
  • [SPARK-43082] [SC-129112][connect][PYTHON] Arrow-geoptimaliseerde Python UDF's in Spark Connect
  • [SPARK-43084] [SC-128654] [SS] ApplyInPandasWithState-ondersteuning toevoegen voor Spark Connect
  • [SPARK-42657] [SC-128621][connect] Ondersteuning voor het zoeken en overdragen van REPL-klassebestanden aan de client-kant als artefacten.
  • [SPARK-43098] [SC-77059][sql] Los de fout op in de correctheid van COUNT wanneer een scalaire subquery een GROUP BY-clausule heeft
  • [SPARK-42884] [SC-126662][connect] Ammonite REPL-integratie toevoegen
  • [SPARK-42994] [SC-128333][ml][CONNECT] PyTorch Distributor ondersteuning Lokale Modus
  • [SPARK-41498] [SC-125343]'Metagegevens doorgeven via Union' terugzetten
  • [SPARK-42993] [SC-127829][ml][CONNECT] PyTorch-distributeur compatibel maken met Spark Connect
  • [SPARK-42683] [LC-75] De naam van conflicterende metagegevenskolommen automatisch wijzigen
  • [SPARK-42874] [SC-126442][sql] Nieuwe golden file test framework inschakelen voor analyse voor alle invoerbestanden
  • [SPARK-42779] [SC-126042][sql] V2-schrijfbewerkingen toestaan om de aanbevolen grootte van de shuffle-partitie aan te geven
  • [SPARK-42891] [SC-126458][connect][PYTHON] CoGrouped Map API implementeren
  • [SPARK-42791] [SC-126134][sql] Maak een nieuw golden file test framework voor analyse
  • [SPARK-42615] [SC-124237][connect][PYTHON] De AnalyzePlan RPC herstructureren en toevoegen session.version
  • [SPARK-41302] "[ALLE TESTS][sc-122423][SQL] Naam toewijzen aan _LEGACY_ERROR_TEMP_1185" terugzetten
  • [SPARK-40770] [SC-122652][python] Verbeterde foutberichten voor applyInPandas voor niet-overeenkomende schema's
  • [SPARK-40770] Keer terug “[ALLE TESTS][sc-122652][PYTHON] Verbeterde foutberichten voor applyInPandas voor niet-overeenkomende schema's”
  • [SPARK-42398] [SC-123500][sql] Standaardkolomwaarde DS v2-interface verfijnen
  • [SPARK-40770] [ALLE TESTS][sc-122652][PYTHON] Verbeterde foutberichten voor applyInPandas voor niet-overeenkomende schema's
  • [SPARK-40770] Terugzetten “[SC-122652][python] Verbeterde foutberichten voor applyInPandas voor niet-overeenkomende schema's”
  • [SPARK-40770] [SC-122652][python] Verbeterde foutberichten voor applyInPandas voor niet-overeenkomende schema's
  • [SPARK-42038] [ALLE TESTS] Herstel “Herstel ‘[SC-122533][sql] SPJ: Ondersteuning voor gedeeltelijk geclusterde distributie’”
  • [SPARK-42038] Terugdraaien van “[SC-122533][sql] SPJ: Ondersteuning voor gedeeltelijk geclusterde distributie”
  • [SPARK-42038] [SC-122533][sql] SPJ: Ondersteuning voor gedeeltelijk geclusterde distributie
  • [SPARK-40550] [SC-120989][sql] DataSource V2: DELETE-opdrachten verwerken voor delta-gebaseerde bronnen
  • [SPARK-40770] Terugzetten “[SC-122652][python] Verbeterde foutberichten voor applyInPandas voor niet-overeenkomende schema's”
  • [SPARK-40770] [SC-122652][python] Verbeterde foutberichten voor applyInPandas voor niet-overeenkomende schema's
  • [SPARK-41302] Herstel toewijzing van naam aan _LEGACY_ERROR_TEMP_1185 uit “[SC-122423][sql]”
  • [SPARK-40550] Terugdraaien van “[SC-120989][sql] DataSource V2: DELETE-opdrachten voor deltabronnen verwerken”
  • [SPARK-42123] Herstel “[SC-121453][sql] Het opnemen van kolomstandaardwaarden in DESCRIBE en SHOW CREATE TABLE uitvoer”
  • [SPARK-42146] [SC-121172][core] Herstructureren Utils#setStringField om maven build pass te maken wanneer sql-module deze methode gebruikt
  • [SPARK-42119] Draai “[SC-121342][sql] Ingebouwde tabelwaardefuncties inline en inline_outer toevoegen” terug

Hoogtepunten

Spark Connect

  • Herstructureren van de SQL-module in sql en sql-api om een minimumset afhankelijkheden te produceren die kunnen worden gedeeld tussen de Scala Spark Connect-client en Spark en om te voorkomen dat alle Spark-transitieve afhankelijkheden worden opgehaald. SPARK-44273
  • Inleiding tot de Scala-client voor Spark Connect SPARK-42554
  • Pandas-API-ondersteuning voor de Python Spark Connect-client SPARK-42497
  • Gedistribueerde ML-ondersteuning op basis van PyTorch voor Spark Connect SPARK-42471
  • Ondersteuning voor gestructureerd streamen voor Spark Connect in Python en Scala SPARK-42938
  • Eerste versie van de Go-client SPARK-43351
  • Veel compatibiliteitsverbeteringen tussen systeemeigen Spark- en Spark Connect-clients in Python en Scala
  • Verbeterde foutopsporing en aanvraagafhandeling voor clienttoepassingen (asynchrone verwerking, nieuwe pogingen, langdurige query's)

Spark SQL

Functies

  • Begin- en lengte van bestandsblok metagegevenskolom toevoegen SPARK-42423
  • Ondersteuning voor positionele parameters in Scala/Java sql() SPARK-44066
  • Ondersteuning voor benoemde parameters toevoegen in parser voor functie-aanroepen spark-43922
  • Ondersteuning SELECT DEFAULT met ORDER BY, LIMIT, OFFSET voor INSERT bronrelatie SPARK-43071-
  • SQL-grammatica toevoegen voor PARTITION BY-clausule en ORDER BY-clausule na TABLE argumenten voor TVF-aanroepen SPARK-44503
  • Standaardwaarden voor kolommen opnemen in DESCRIBE en SHOW CREATE TABLE uitvoer SPARK-42123-
  • Optioneel patroon toevoegen voor Catalog.listCatalogs SPARK-43792
  • Optioneel patroon toevoegen voor Catalog.listDatabases SPARK-43881
  • Callback wanneer gereed voor uitvoering SPARK-44145
  • Ondersteuning voor insert by name-instructie SPARK-42750
  • Call_function toevoegen voor Scala API SPARK-44131
  • Stabiele afgeleide kolomaliassen SPARK-40822
  • Ondersteuning voor algemene constante expressies als CREATE/REPLACE TABLE OPTIONS-waarden SPARK-43529
  • Ondersteuning voor subquery's met correlatie via INTERSECT/EXCEPT SPARK-36124
  • IDENTIFIER clausule SPARK-43205
  • ANSI-MODUS: Conv dient een fout te geven als de interne conversie overloopt SPARK-42427

Functies

  • Ondersteuning toevoegen voor Datasketches HllSketch SPARK-16484
  • De CBC-modus ondersteunen door aes_encrypt()/aes_decrypt() SPARK-43038
  • Ondersteuning voor TABLE argumentparseerregel voor TableValuedFunction SPARK-44200-
  • Bitmapfuncties SPARK-44154 implementeren
  • De try_aes_decrypt() functie SPARK-42701 toevoegen
  • array_insert moet mislukken met 0 index SPARK-43011
  • To_varchar alias toevoegen voor to_char SPARK-43815
  • Hoogwaardige functie: array_compact implementatie SPARK-41235
  • Analyseondersteuning van benoemde argumenten toevoegen voor ingebouwde functies SPARK-44059
  • NULLs voor INSERT's toevoegen met door de gebruiker opgegeven lijsten met minder kolommen dan de doeltabel SPARK-42521
  • Er wordt ondersteuning toegevoegd voor aes_encrypt IVs en AAD SPARK-43290
  • De functie DECODE retourneert onjuiste resultaten bij het doorgeven van NULL SPARK-41668
  • Ondersteuning voor udf 'luhn_check' SPARK-42191
  • Ondersteuning voor impliciete resolutie van laterale kolom-alias voor aggregaties SPARK-41631
  • Ondersteuning van impliciete laterale kolomalias in query's met behulp van Window SPARK-42217
  • 3-args-functiealiassen toevoegen DATE_ADD en DATE_DIFF SPARK-43492

Gegevensbronnen

  • Char/Varchar-ondersteuning voor JDBC-catalogus SPARK-42904
  • Ondersteuning voor dynamisch ophalen van SQL-trefwoorden via JDBC API en TVF SPARK-43119
  • DataSource V2: MERGE-opdrachten afhandelen voor delta-gebaseerde bronnen SPARK-43885
  • DataSource V2: MERGE-opdrachten verwerken voor op groepen gebaseerde bronnen SPARK-43963
  • DataSource V2: UPDATE opdrachten voor op groepen gebaseerde bronnen verwerken SPARK-43975-
  • DataSource V2: Het toestaan van het weergeven van updates als verwijderingen en invoegingen SPARK-43775
  • Toestaan dat jdbc dialecten de query overschrijven die wordt gebruikt voor het maken van een tabel SPARK-41516
  • SPJ: Ondersteuning voor gedeeltelijk geclusterde distributie SPARK-42038
  • Met DSv2 kan CTAS/RTAS schema nullability SPARK-43390 reserveren
  • Voeg spark.sql.files.maxPartitionNum SPARK-44021 toe
  • UPDATE opdrachten verwerken voor delta-gebaseerde bronnen SPARK-43324
  • Sta V2-schrijfbewerkingen toe om de adviserende shuffle-partitiegrootte aan te geven SPARK-42779
  • Ondersteuning voor lz4raw-compressiecodec voor Parquet SPARK-43273
  • Avro: schrijven van complexe unions SPARK-25050
  • Versnel tijdstempeltype-inferentie met een door de gebruiker opgegeven indeling in de JSON-/CSV-gegevensbron SPARK-39280
  • Avro ondersteunt een aangepast decimaaltype gebaseerd op Long SPARK-43901
  • Vermijd schudden in opslag-gepartitioneerde join wanneer de partitiesleutels niet overeenkomen, maar de join-expressies compatibel zijn SPARK-41413
  • Binair wijzigen in niet-ondersteund dataType in CSV-indeling SPARK-42237
  • Toestaan dat Avro het unietype converteert naar SQL met een stabiele veldnaam inclusief type SPARK-43333
  • Tijdstempeltype-inferentie versnellen met de legacy-indeling binnen JSON/CSV-gegevensbron SPARK-39281

Queryoptimalisatie

  • Subexpressie-afschaffing ondersteunt snelkoppelingsexpressie SPARK-42815
  • Schatting van joinstatistieken verbeteren als één kant de uniekheid van SPARK-39851 kan behouden
  • Introduceer de groepslimiet van vensters voor ranggebaseerde filters om de berekening van top-k te optimaliseren SPARK-37099
  • Gedrag van null IN (lege lijst) corrigeren in optimalisatieregels SPARK-44431
  • Leid de vensterlimiet af en duw hem omlaag via het venster als partitionSpec leeg is SPARK-41171
  • Verwijder de outer join als ze allemaal afzonderlijke aggregatiefuncties zijn SPARK-42583
  • Twee aangrenzende vensters samenvouwen met dezelfde partitie/volgorde in subquery SPARK-42525
  • Verlaag limiet via Python UDF's SPARK-42115
  • De volgorde van filtervoorwaardes optimaliseren voor SPARK-40045

Code genereren en query's uitvoeren

  • Runtimefilter moet de joinzijde ondersteunen op meerdere niveaus als creëringszijde voor het filter SPARK-41674
  • Codegen-ondersteuning voor HiveSimpleUDF SPARK-42052
  • Codegen-ondersteuning voor HiveGenericUDF SPARK-42051
  • Codegen-ondersteuning voor outer shuffled hash join SPARK-44060 aan de buildzijde
  • Codegeneratie implementeren voor to_csv functie (StructsToCsv) SPARK-42169
  • AQE-ondersteuning maken voor InMemoryTableScanExec SPARK-42101
  • Ondersteuning voor left outer join build left of right outer join build right in shuffled hash join SPARK-36612
  • Respecteert RequiresDistributionAndOrdering in CTAS/RTAS SPARK-43088
  • Coalesce-emmers in join toegepast op broadcast join-stroomzijde SPARK-43107
  • Stel nullable correct in op de samengevoegde joinsleutel bij een volledige externe USING-join SPARK-44251
  • Probleem met IN-subquery in ListQuery nullability oplossen SPARK-43413

Andere belangrijke wijzigingen

  • Nullable correct instellen voor sleutels in USING joins SPARK-43718
  • Fix COUNT(*) is null-fout in gecorreleerde scalaire subquery SPARK-43156
  • Dataframe.joinWith outer-join moet een null-waarde retourneren voor niet-overeenkomende rij SPARK-37829
  • Automatisch de naam van conflicterende metagegevenskolommen SPARK-42683 wijzigen
  • Documenteer de Spark SQL-foutklassen in gebruikersgerichte documentatie spark-42706

PySpark

Functies

  • Ondersteuning voor positionele parameters in Python sql() SPARK-44140
  • Ondersteuning voor geparameteriseerde SQL by sql() SPARK-41666
  • Ondersteuning voor door de gebruiker gedefinieerde Tabelfuncties van Python SPARK-43797
  • Ondersteuning voor het instellen van de Python-uitvoerbare voor UDF- en pandas-functie-API's in workers tijdens de uitvoeringstijd SPARK-43574
  • DataFrame.offset toevoegen aan PySpark SPARK-43213
  • Dir() implementeren in pyspark.sql.dataframe.DataFrame om kolommen SPARK-43270 op te nemen
  • Optie toevoegen voor het gebruik van grote variabele breedtevectoren voor pijl-UDF-bewerkingen SPARK-39979
  • MapInPandas / mapInArrow ondersteunen de uitvoering van de barrièremodus in SPARK-42896
  • JobTag-API's toevoegen aan PySpark SparkContext SPARK-44194
  • Ondersteuning voor Python UDTF voor analyse in Python SPARK-44380
  • TimestampNTZType beschikbaar maken in pyspark.sql.types SPARK-43759
  • Ondersteuning voor genest tijdstempeltype SPARK-43545
  • Ondersteuning voor UserDefinedType in createDataFrame van pandas DataFrame en toPandas [SPARK-43817][spark-43702]https://issues.apache.org/jira/browse/SPARK-43702)
  • Binaire optie voor descriptor toevoegen aan Pyspark Protobuf API SPARK-43799
  • Accepteer generieke tuples als typeaanwijzingen voor Pandas UDF SPARK-43886
  • Array_prepend functie SPARK-41233 toevoegen
  • AssertDataFrameEqual-functie SPARK-44061 toevoegen
  • Ondersteuning voor pijl-geoptimaliseerde Python UDTFs SPARK-43964
  • Aangepaste precisie toestaan voor fp ongeveer gelijkheid spark-44217
  • Maak AssertSchemaEqual API openbaar SPARK-44216
  • Ondersteuning fill_value voor ps. Serie SPARK-42094
  • Ondersteuning voor structtype in createDataFrame van pandas DataFrame SPARK-43473

Andere belangrijke wijzigingen

  • Ondersteuning voor automatisch aanvullen toevoegen voor df[|] in pyspark.sql.dataframe.DataFrame [SPARK-43892]
  • Afschaffen en verwijderen van de API's die worden verwijderd in pandas 2.0 [SPARK-42593]
  • Python het eerste tabblad maken voor codevoorbeelden - Spark SQL, DataFrames en Datasets Guide SPARK-42493
  • Voorbeelden van resterende Spark-documentatiecode bijwerken om Python standaard SPARK-42642 weer te geven
  • Ontdubbelde veldnamen gebruiken bij het maken van Arrow RecordBatch [SPARK-41971]
  • Ondersteuning voor dubbele veldnamen in createDataFrame met pandas DataFrame [SPARK-43528]
  • Kolomparameter toestaan bij het maken van DataFrame met reeks [SPARK-42194]

Kern

  • Schema mergeFinalize in wanneer "push merge shuffleMapStage" opnieuw proberen, maar geen actieve taken SPARK-40082
  • PartitionEvaluator introduceren voor SQL-operatoruitvoering SPARK-43061
  • Toestaan dat ShuffleDriverComponent verklaart of shufflegegevens betrouwbaar zijn opgeslagen SPARK-42689
  • Maximum aantal pogingen voor fasen toevoegen om potentiële oneindige nieuwe poging SPARK-42577 te voorkomen
  • Ondersteuning voor configuratie op logboekniveau met statische Spark conf SPARK-43782
  • Optimaliseer PercentileHeap SPARK-42528
  • Redenargument toevoegen aan TaskScheduler.cancelTasks SPARK-42602
  • Voorkom onnodige heruitvoering van taken op een afgeschafte uitvoerder als shuffle gegevens zijn gemigreerd SPARK-41469.
  • Het corrigeren van de ondertelling van accumulators in het geval van een retry-taak met rdd cache SPARK-41497
  • RocksDB gebruiken voor spark.history.store.hybridStore.diskBackend standaard SPARK-42277
  • NonFateSharingCache-overlay voor Guava Cache SPARK-43300
  • De prestaties van MapOutputTracker.updateMapOutput SPARK-43043 verbeteren
  • Apps toestaan om te bepalen of hun metagegevens worden opgeslagen in de db door de External Shuffle Service SPARK-43179
  • Voeg SPARK_DRIVER_POD_IP env-variabele toe aan uitvoerbare pods SPARK-42769
  • Koppelt de hadoop-configuratietoewijzing op de uitvoerpod SPARK-43504

Gestructureerd streamen

  • Ondersteuning toegevoegd voor het bijhouden van het geheugengebruik van vastgepinde blokken in de RocksDB-statusopslag SPARK-43120
  • Geheugenbeheerverbeteringen voor de RocksDB-statusopslagprovider toevoegen SPARK-43311
  • Invoering van dropDuplicatesWithinWatermark SPARK-42931
  • Introduceer een nieuwe callback onQueryIdle() voor StreamingQueryListener SPARK-43183
  • Optie toevoegen om doorvoercoördinator over te slaan als onderdeel van de StreamingWrite-API voor DSv2-bronnen/sinks SPARK-42968
  • Een nieuwe callback 'onQueryIdle' introduceren bij StreamingQueryListener SPARK-43183
  • Op Changelog gebaseerde controlepunten implementeren voor RocksDB State Store Provider SPARK-43421
  • Ondersteuning toevoegen voor WRITE_FLUSH_BYTES voor RocksDB, die wordt gebruikt in streamende stateful operators SPARK-42792
  • Ondersteuning toevoegen voor de instellingen max_write_buffer_number en write_buffer_size voor RocksDB, gebruikt in het streamen van SPARK-42819
  • De vergrendeling van RocksDB StateStore moet plaatsvinden nadat de invoer-iterator van inputRDD is verkregen SPARK-42566
  • Introductie van watermerktransmissie tussen operators SPARK-42376
  • Verweesde sst- en logboekbestanden opschonen in RocksDB-controlepuntmap SPARK-42353
  • Vouw QueryTerminatedEvent uit om foutklasse te bevatten als deze bestaat in uitzondering SPARK-43482

Machine Learning

  • Ondersteuning voor gedistribueerde training van functies met deepspeed SPARK-44264
  • Basisinterfaces van sparkML voor spark3.5: estimator/transformer/model/evaluator SPARK-43516
  • Make MLv2 (ML on spark connect) ondersteunt pandas >= 2.0 SPARK-43783
  • Bijwerken van MLv2 Transformer interfaces SPARK-43516
  • Nieuwe pyspark ML logistieke regressie-estimator geïmplementeerd op basis van distributiesysteem SPARK-43097
  • Classifier.getNumClasses terug toevoegen SPARK-42526
  • Schrijf een Deepspeed Distributed Learning Class DeepspeedTorchDistributor SPARK-44264
  • Eenvoudige implementatie voor opslaan/laden voor ML op spark connect SPARK-43981
  • Verbeter het opslaan van het logistieke regressiemodel SPARK-43097
  • Pijplijnschatter implementeren voor ML op Spark Connect SPARK-43982
  • Cross validator estimator SPARK-43983 implementeren
  • Classificatie-evaluator SPARK-44250 implementeren
  • PyTorch Distributor compatibel maken met Spark Connect SPARK-42993

Gebruikersinterface

  • Een Spark UI-pagina toevoegen voor Spark Connect SPARK-44394
  • Ondersteunen van Heap Histogram-kolom in tabblad Executors SPARK-44153
  • Foutbericht weergeven in de gebruikersinterface voor elke mislukte query SPARK-44367
  • Toon tijd voor toevoegen/verwijderen van uitvoerders op het tabblad SPARK-44309

Build en anderen

Verwijderingen, gedragswijzigingen en afschaffingen

Aanstaande verwijdering

De volgende functies worden verwijderd in de volgende primaire Spark-release

  • Ondersteuning voor Java 8 en Java 11 en de minimaal ondersteunde Java-versie is Java 17
  • Ondersteuning voor Scala 2.12 en de minimaal ondersteunde Scala-versie is 2.13

Migratiehandleidingen

Ondersteuning voor Databricks ODBC-/JDBC-stuurprogramma's

Databricks ondersteunt ODBC-/JDBC-stuurprogramma's die in de afgelopen 2 jaar zijn uitgebracht. Download de onlangs uitgebrachte stuurprogramma's en upgrade (download ODBC, download JDBC).

Systeemomgeving

  • Besturingssysteem: Ubuntu 22.04.3 LTS
  • Java: Zulu 8.70.0.23-CA-linux64
  • Scala: 2.12.15
  • Python: 3.10.12
  • R: 4.3.1
  • Delta Lake: 2.4.0

Geïnstalleerde Python-bibliotheken

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
anyio 3.5.0 argon2-cffi 21.3.0 argon2-cffi-bindingen 21.2.0
asttokens 2.0.5 kenmerken 22.1.0 terugroepactie 0.2.0
beautifulsoup4 4.11.1 zwart 22.6.0 bleekmiddel 4.1.0
richtingaanwijzer 1.4 boto3 1.24.28 botocore 1.27.96
certificaat 2022.12.7 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 klikken 8.0.4 communicatie 0.1.2
contourpy 1.0.5 cryptografie 39.0.1 wielrijder 0.11.0
Cython 0.29.32 databricks-sdk (softwareontwikkelkit) 0.1.6 dbus-python 1.2.18
debugpy 1.6.7 decorateur 5.1.1 defusedxml 0.7.1
distlib 0.3.7 Van docstring naar markdown 0,11 invoerpunten 0,4
Uitvoeren 0.8.3 facettenoverzicht 1.1.1 fastjsonschema 2.18.0
bestandsvergrendeling 3.12.2 lettertypegereedschappen 4.25.0 GCC runtime-bibliotheek 1.10.0
googleapis-common-protos 1.60.0 grpcio 1.48.2 grpcio-status 1.48.1
httplib2 0.20.2 IDNA 3.4 importlib-metadata 4.6.4
ipykernel 6.25.0 ipython 8.14.0 ipython-genutils 0.2.0
ipywidgets 7.7.2 Jedi 0.18.1 Jeepney 0.7.1
Jinja2 3.1.2 jmespath 0.10.0 joblib 1.2.0
jsonschema 4.17.3 jupyter-client (softwarepakket voor Jupyter-notebooks) 7.3.4 jupyter-server 1.23.4
jupyter_core 5.2.0 jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0
sleutelhanger 23.5.0 kiwisolver 1.4.4 launchpadlib 1.10.16
lazr.restfulclient 0.14.4 lazr.uri 1.0.6 lxml 4.9.1
MarkupSafe 2.1.1 matplotlib 3.7.0 matplotlib-inline 0.1.6
Mccabe 0.7.0 onstemmen 0.8.4 more-itertools 8.10.0
mypy-extensions 0.4.3 nbclassic 0.5.2 nbclient 0.5.13
nbconvert 6.5.4 nbformat 5.7.0 nest-asyncio 1.5.6
nodeenv 1.8.0 notitieboekje 6.5.2 notitieboek_shim 0.2.2
numpy 1.23.5 oauthlib 3.2.0 verpakking 22,0
Pandas 1.5.3 pandocfilters 1.5.0 parso 0.8.3
pathspec 0.10.3 Patsy 0.5.3 pexpect 4.8.0
pickleshare 0.7.5 Kussen 9.4.0 pip 22.3.1
platformdirs 2.5.2 plotly 5.9.0 plugachtig 1.0.0
prometheus-client 0.14.1 prompt-hulpmiddelenpakket 3.0.36 protocolbuffers 4.24.0
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 pyarrow 8.0.0 pycparser 2.21
pydantic (een Python-bibliotheek voor datavalidatie en instellingenbeheer) 1.10.6 pyflakes 3.0.1 Pygments 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.32
pyparsing 3.0.9 pyright 1.1.294 pyrsistent 0.18.0
python-dateutil (een bibliotheek voor datum- en tijdgebaseerde functionaliteit in Python) 2.8.2 python-lsp-jsonrpc 1.0.0 python-lsp-server 1.7.1
pytoolconfig 1.2.5 pytz 2022.7 pyzmq 23.2.0
Verzoeken 2.28.1 touw 1.7.0 s3transfer 0.6.1
scikit-learn 1.1.1 geboren op zee 0.12.2 SecretStorage 3.3.1
Send2Trash 1.8.0 setuptools (een Python-pakket voor het beheren van installatie en distributie van pakketten) 65.6.3 Zes 1.16.0
sniffio 1.2.0 soupsieve 2.3.2.post1 ssh-import-id 5,11
stapelgegevens 0.2.0 statsmodels 0.13.5 vasthoudendheid 8.1.0
afgerond 0.17.1 threadpoolctl 2.2.0 tinycss2 1.2.1
tokenize-rt 4.2.1 tomli 2.0.1 tornado 6.1
Traitlets (Python library voor het configureren van Python-objecten) 5.7.1 typuitbreidingen 4.4.0 ujson (een Python-bibliotheek voor snelle JSON-verwerking) 5.4.0
upgrades zonder toezicht 0,1 urllib3 1.26.14 virtualenv 20.16.7
wadllib 1.3.6 wcwidth 0.2.5 Webencoderingen 0.5.1
websocket-client 0.58.0 whatthepatch 1.0.2 wiel 0.38.4
widgetsnbextension 3.6.1 yapf 0.31.0 ritssluiting 1.0.0

Geïnstalleerde R-bibliotheken

R-bibliotheken worden geïnstalleerd vanuit de Posit Pakket-beheer CRAN snapshot op 2023-07-13.

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
pijl 12.0.1 wachtwoord vragen 1.1 verzeker dat 0.2.1
terugimporten 1.4.1 basis 4.3.1 base64enc 0.1-3
beetje 4.0.5 64-bitsysteem 4.0.5 Druppel 1.2.4
opstarten 1.3-28 brouwsel 1.0-8 Brio 1.1.3
bezem 1.0.5 bslib 0.5.0 cachem 1.0.8
beller 3.7.3 Caret 6.0-94 cellranger (softwaretool voor genetische analyse) 1.1.0
Chron 2.3-61 klasse 7.3-22 CLI 3.6.1
Clipr 0.8.0 klok 0.7.0 groep 2.1.4
codetools 0.2-19 kleurenruimte 2.1-0 commonmark 1.9.0
programmacompileerder 4.3.1 configuratie 0.3.1 Strijd 1.2.0
cpp11 0.4.4 kleurpotlood 1.5.2 aanmeldingsgegevens 1.3.2
curl 5.0.1 gegevenstabel 1.14.8 gegevenssets 4.3.1
DBI 1.1.3 dbplyr 2.3.3 Beschrijving 1.4.2
devtools 2.4.5 schematisch overzicht 1.6.5 diffobj 0.3.5
verwerken 0.6.33 neerwaartse verlichting 0.4.3 dplyr (een R-pakket voor gegevensmanipulatie) 1.1.2
dtplyr 1.3.1 e1071 1.7-13 beletselteken 0.3.2
beoordelen 0.21 fans 1.0.4 kleuren 2.1.1
snelle kaart 1.1.1 Fontawesome 0.5.1 dwangarbeiders 1.0.0
foreach 1.5.2 buitenlands 0.8 - 82 smeden 0.2.0
fs 1.6.2 toekomst 1.33.0 future.apply 1.11.0
gorgelen 1.5.1 Generics 0.1.3 Gert 1.9.2
ggplot2 3.4.2 Gh 1.4.0 gitcreds 0.1.2
glmnet 4.1-7 globale variabelen 0.16.2 lijm 1.6.2
googledrive 2.1.1 googlesheets4 1.1.1 Gower 1.0.1
afbeeldingen 4.3.1 grDevices 4.3.1 netwerk 4.3.1
gridExtra 2.3 gsubfn 0,7 gtable 0.3.3
veiligheidshelm 1.3.0 toevluchtsoord/schuilplaats 2.5.3 hoger 0.10
hms 1.1.3 htmltools 0.5.5 htmlwidgets 1.6.2
httpuv 1.6.11 httr 1.4.6 httr2 0.2.3
identiteiten 1.0.1 ini 0.3.1 IPRED 0.9-14
isoband 0.2.7 Iterators 1.0.14 jquerylib 0.1.4
jsonlite 1.8.7 KernSmooth 2.23-21 knitr 1,43
etikettering 0.4.2 daarna 1.3.1 latwerk 0.21-8
lava 1.7.2.1 levenscyclus 1.0.3 luisteren 0.9.0
lubridate 1.9.2 magrittr 2.0.3 Markdown 1,7
MASSA 7.3-60 Matrix 1.5-4.1 memoriseer 2.0.1
methoden 4.3.1 mgcv 1.8-42 Mime 0,12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-162 nnet 7.3-19
numDeriv 2016.8 tot 1.1 OpenSSL-software 2.0.6 evenwijdig 4.3.1
parallel 1.36.0 pilaar 1.9.0 pkgbuild 1.4.2
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2.1
plogr 0.2.0 plyr 1.8.8 prijzen 1.0.0
prettyunits 1.1.1 pROC 1.18.4 Processx 3.8.2
prodlim 31 maart 2023 profvis 0.3.8 Voortgang 1.2.2
progressr 0.13.0 Beloften 1.2.0.1 Proto 1.0.0
tussenpersoon 0.4-27 P.S. 1.7.5 purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.11 RcppEigen 0.3.3.9.3
readr 2.1.4 readxl (een programma voor het lezen van Excel-bestanden) 1.4.3 recepten 1.0.6
Rematch 1.0.1 opnieuw overeenkomen2 2.1.2 Afstandsbedieningen 2.4.2
reprex (reproduceerbaar voorbeeld) 2.0.2 reshape2 1.4.4 rlang 1.1.1
rmarkdown 2.23 RODBC 1.3-20 roxygen2 7.2.3
rpart (een R-pakket voor beslissingsboommodellering) 4.1.19 rprojroot 2.0.3 Rserve 1.8-11
RSQLite 2.3.1 rstudioapi 0.15.0 rversions 2.1.2
rvest (een softwarepakket voor webscraping) 1.0.3 Sass 0.4.6 weegschaal 1.2.1
Selectr 0,4-2 sessiegegevens 1.2.2 vorm 1.4.6
glanzend en nieuw 1.7.4.1 sourcetools 0.1.7-1 sparklyr 1.8.1
SparkR 3.5.0 ruimtelijk 7.3-15 Splines 4.3.1
sqldf 0.4-11 SQUAREM 2021.1 Statistieken 4.3.1
statistieken4 4.3.1 strings 1.7.12 stringr 1.5.0
survival 3.5-5 sys 3.4.2 systemfonts 1.0.4
tcltk 4.3.1 testthat 3.1.10 tekstvorm 0.3.6
tibble 3.2.1 tidyr 1.3.0 tidyselect 1.2.0
tidyverse 2.0.0 tijdverandering 0.2.0 tijd en datum 4022.108
tinytex 0,45 gereedschappen 4.3.1 tzdb 0.4.0
URL-controleprogramma 1.0.1 gebruik dit 2.2.2 utf8 1.2.3
hulpmiddelen 4.3.1 UUID (Universally Unique Identifier) 1.1-0 vctrs 0.6.3
viridisLite 0.4.2 Vroom 1.6.3 Waldo 0.5.1
snor 0.4.1 verwelken 2.5.0 xfun 0,39
xml2 1.3.5 xopen 1.0.0 xtable 1.8-4
YAML 2.3.7 zip-bestand 2.3.0

Geïnstalleerde Java- en Scala-bibliotheken (Scala 2.12-clusterversie)

Groeps-id Artefact-ID Versie
antlr antlr 2.7.7
com.amazonaws Amazon Kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling (Amazon Web Services Java Software Development Kit voor automatisch schalen) 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config (configuratie) 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws AWS Java SDK Datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws AWS Java SDK - Elastic Load Balancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier (AWS Java SDK Glacier) 1.12.390
com.amazonaws aws-java-sdk-glue (een softwareontwikkelingskit voor het werken met AWS Glue in Java) 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws AWS Java SDK Import/Export 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logbestanden 1.12.390
com.amazonaws AWS-Java-SDK-MachineLearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway (een Java software development kit voor het beheren van opslaggateways in AWS) 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-ondersteuning 1.12.390
com.amazonaws aws-java-sdk-swf-bibliotheken 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics stroom 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.2.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-gearceerd 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml klasgenoot 1.3.4
com.fasterxml.jackson.core Jackson-annotaties 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.15.1
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine cafeïne 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-autochtonen
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-autochtonen
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-autochtonen
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-autochtonen
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson (een Java-bibliotheek voor het converteren van Java-objecten naar JSON en vice versa) 2.10.1
com.google.crypto.tink Tink 1.9.0
com.google.errorprone (foutgevoelig) foutgevoelige_aantekeningen 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guave 15,0
com.google.protobuf protobuf-java 2.6.1
com.helger profielmaker 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.UITGAVE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure Azure-Data-Lake-Store-SDK 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf (een compressie-algoritme) 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core (Java-architectuur voor XML-binding) 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-functie_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe configuratie 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
gemeenschappelijke collecties gemeenschappelijke collecties 3.2.2
commons-dbcp commons-dbcp 1.4
bestandsupload van commons bestandsupload van commons 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
gemeenschappelijke-logboekvoorziening gemeenschappelijke-logboekvoorziening 1.1.3
commons-pool (gemeenschappelijke pool) commons-pool (gemeenschappelijke pool) 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib Blas 3.0.3
dev.ludovic.netlib LAPACK 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift luchtdrukmachine 0,24
io.delta delta-sharing-spark_2.12 0.7.1
io.dropwizard.metrics metrische aantekening 4.2.19
io.dropwizard.metrics metrische gegevenskern 4.2.19
io.dropwizard.metrics graphite-metriek 4.2.19
io.dropwizard.metrics metrische gezondheidscontroles 4.2.19
io.dropwizard.metrics metrics-jetty9 (een Jetty-implementatie voor het meten van prestatie-indicatoren) 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json (metrische gegevens in JSON-formaat) 4.2.19
io.dropwizard.metrics metriekgegevens voor JVM 4.2.19
io.dropwizard.metrics metrieke gegevens-servlets 4.2.19
io.netty netty-all 4.1.93.Final
io.netty Netty-buffer 4.1.93.Final
io.netty netty-codec 4.1.93.Final
io.netty netty-codec-http 4.1.93.Final
io.netty netty-codec-http2 4.1.93.Final
io.netty netty-codec-sokken 4.1.93.Final
io.netty netty-common 4.1.93.Final
io.netty netty-handler 4.1.93.Final
io.netty netty-handler-proxy 4.1.93.Final
io.netty netty-resolver 4.1.93.Final
io.netty netty-transport 4.1.93.Final
io.netty netty-transport-classes-epoll 4.1.93.Final
io.netty netty-transport-classes-kqueue 4.1.93.Final
io.netty netty-transport-native-epoll 4.1.93.Final
io.netty netty-transport-native-epoll 4.1.93.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.93.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.93.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.93.Final-osx-x86_64
io.netty netty-transport-natieve-unix-algemeen 4.1.93.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common (algemene module voor eenvoudige client) 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx verzamelaar 0.12.0
jakarta.annotatie jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activering 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transactie-API 1.1
javax.xml.bind jaxb-api 2.2.11
Javolution Javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pekelen 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-CSV 2.2.0
net.sneeuwvlok snowflake-ingest-sdk 0.9.6
net.sneeuwvlok snowflake-jdbc 3.13.29
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr tekenreekstemplate 3.2.1
org.apache.ant mier 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher (startprogramma voor Ant) 1.9.16
org.apache.arrow pijlnotatie 12.0.1
org.apache.arrow pijlpunt-geheugen-kern 12.0.1
org.apache.arrow arrow-memory-netty 12.0.1
org.apache.arrow pijlvector 12.0.1
org.apache.avro AVRO 1.11.2
org.apache.avro avro-ipc 1.11.2
org.apache.avro avro-mapred 1.11.2
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress - een bibliotheek voor compressie 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-tekst 1.10.0
org.apache.curator beheerder-cliënt 2.13.0
org.apache.curator curatorraamwerk 2.13.0
org.apache.curator curator-recepten 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches gegevensschetsen-geheugen 2.0.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-uitvoeringsomgeving 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-opslag-API 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common (if no translation is needed for understanding, the original can be kept as is) 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy klimop 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.20.0
org.apache.logging.log4j log4j-api 2.20.0
org.apache.logging.log4j log4j-core 2.20.0
org.apache.logging.log4j log4j-slf4j2-impl 2.20.0
org.apache.mesos Mesos 1.11.0-shaded-protobuf
org.apache.orc orc-core 1.9.0-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.0-shaded-protobuf
org.apache.orc orc-shims 1.9.0
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus annotaties voor specifieke doelgroepen 0.13.0
org.apache.zookeeper dierentuinverzorger 3.6.3
org.apache.zookeeper dierentuinopzichter-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-ASL 1.9.13
org.codehaus.janino algemene compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.51.v20230217
org.eclipse.jetty jetty-vervolg 9.4.51.v20230217
org.eclipse.jetty jetty-http 9.4.51.v20230217
org.eclipse.jetty jetty-io 9.4.51.v20230217
org.eclipse.jetty jetty-jndi 9.4.51.v20230217
org.eclipse.jetty Jetty-plus 9.4.51.v20230217
org.eclipse.jetty jetty-proxy (een omgekeerde proxy server gebaseerd op Jetty) 9.4.51.v20230217
org.eclipse.jetty Jetty-beveiliging 9.4.51.v20230217
org.eclipse.jetty Jetty Server 9.4.51.v20230217
org.eclipse.jetty jetty-servlet 9.4.51.v20230217
org.eclipse.jetty jetty-servlets 9.4.51.v20230217
org.eclipse.jetty jetty-util 9.4.51.v20230217
org.eclipse.jetty jetty-util-ajax 9.4.51.v20230217
org.eclipse.jetty jetty-webapp 9.4.51.v20230217
org.eclipse.jetty jetty-xml 9.4.51.v20230217
org.eclipse.jetty.websocket WebSocket-API 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-client 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-common 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-server 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-servlet 9.4.51.v20230217
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-lokalisator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-hulpbronnenzoeker 1.0.3
org.glassfish.hk2.external aopalliance opnieuw verpakt 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core Algemene Jersey 2.40
org.glassfish.jersey.core Jersey-Server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Aantekeningen 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.9
org.mlflow mlflow-spark 2.2.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.0
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap vulplaatjes 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.9.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-compatibel 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.threeten threeten-extra 1.7.1
org.tukaani xz 1,9
org.typelevel algebra_2.12 2.0.1
org.typelevel katten-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
  • Last updated on