Databricks Runtime 13.0 (EoS)
Notitie
Ondersteuning voor deze Databricks Runtime-versie is beëindigd. Zie de geschiedenis van einde van ondersteuning voor de einddatum van de ondersteuning. Zie de releaseversies en compatibiliteit van Databricks Runtime voor alle ondersteunde Databricks Runtime-versies.
De volgende releaseopmerkingen bevatten informatie over Databricks Runtime 13.0, mogelijk gemaakt door Apache Spark 3.4.0.
Databricks heeft deze afbeeldingen uitgebracht in april 2023.
Nieuwe functies en verbeteringen
- H3-expressies ondersteunen nu lineaire geografische gebieden
- Ganglia vervangen door metrische clustergegevens
- Spark 3.4.0 uitgebracht
- Photon retourneert een fout als een bestand wordt gewijzigd tussen het plannen en uitvoeren van query's
- Nieuwe functies voor voorspellende I/O
- Uitgebreide ondersteuning voor voorspellende I/O-functies
- De Databricks-connector gebruiken om verbinding te maken met een andere Databricks-werkruimte
- Aanvullende Kafka-opties voor Gestructureerd streamen met gedeeld cluster in Unity Catalog
- Wijzigingen in Delta-tabellen overslaan met Structured Streaming
- DE FUNCTIE CREATE TABLE LIKE voor Delta-tabellen
- Nieuwe kolomvelden met metagegevens die de begin- en lengte van het bestandsblok aandukken
- Nieuwe georuimtelijke H3-functies
- Nieuwe ingebouwde SQL-functies
%sql
in Python-notebooks%pip
start Python niet automatisch opnieuw op- Python-bibliotheken met clusterbereik worden geïnstalleerd met behulp van een niet-hoofdgebruiker
H3-expressies ondersteunen nu lineaire geografische gebieden
De h3_coverash3
en h3_coverash3string
functies ondersteunen nu lineaire (linestring
en multilinestring
) geografische gebieden. De functies produceren een minimaal afdekkende set H3-cellen met de opgegeven resolutie. Zie h3_coverash3 en h3_coverash3string.
Ganglia vervangen door metrische clustergegevens
Voor Databricks Runtime-versies 13 en hoger worden metrische gegevens van Ganglia vervangen door metrische gegevens van Azure Databricks-clusters. Voor Databricks Runtime-versies 12 en hieronder kunt u metrische ganglia-gegevens blijven gebruiken. Als u een werkstroom hebt die afhankelijk is van ganglia-metrische gegevens die niet tevreden kunnen zijn met metrische clustergegevens, neemt u contact op met uw Azure Databricks-accountteam. Zie Metrische rekengegevens weergeven.
Spark 3.4.0 uitgebracht
Apache Spark 3.4.0 is nu algemeen beschikbaar. Zie Spark Release 3.4.0.
Photon retourneert een fout als een bestand wordt gewijzigd tussen het plannen en uitvoeren van query's
Photon-query's retourneren nu een fout als een bestand wordt bijgewerkt tussen het plannen en uitvoeren van query's. Vóór deze wijziging zou Photon een bestand lezen, zelfs als de wijzigingstijd verandert tussen de planning en uitvoering van de query, wat kan leiden tot onvoorspelbare resultaten.
Nieuwe functies voor voorspellende I/O
Photon ondersteunt nu glijdende frames, voor zowel de modi RIJEN als BEREIK, met behulp van {ROWS | RANGE} BETWEEN offset_start { PRECEDING | FOLLOWING } AND offset_stop { PRECEDING | FOLLOWING }
.
Uitgebreide ondersteuning voor voorspellende I/O-functies
Uitgebreide photon-ondersteuning voor CSV-, AVRO- en DataFrame-gegevensbronnen in cache wanneer uw schema exclusief scalaire kolommen bevat. Ondersteuning wordt ook uitgebreid voor geneste typen, zoals kaarten, structs en matrices.
De Databricks-connector gebruiken om verbinding te maken met een andere Databricks-werkruimte
Met de Azure Databricks-connector kunt u verbinding maken met rekenresources die zijn geconfigureerd in een andere werkruimte en resultaten retourneren naar uw huidige Azure Databricks-werkruimte. Het JDBC-stuurprogramma van Azure Databricks is nu opgenomen in Databricks Runtime. Zie De Databricks-connector gebruiken om verbinding te maken met een andere Databricks-werkruimte.
Aanvullende Kafka-opties voor Gestructureerd streamen met gedeeld cluster in Unity Catalog
U kunt nu de instellingen kakfa.ssl.truststore.location
gebruiken en kafak.ssl.keystore.location
Kafka-certificaten opslaan op externe locaties die worden beheerd door Unity Catalog wanneer u Structured Streaming gebruikt op clusters met gedeelde toegang. U kunt geen locaties in de DBFS-hoofdmap gebruiken.
Wijzigingen in Delta-tabellen overslaan met Structured Streaming
U kunt nu skipChangeCommits
gegevens wijzigen in deltatabel negeren voor UPDATE
, MERGE
en DELETE
bewerkingen. Dit vervangt ignoreChanges
, wat nu is afgeschaft. Zie Updates en verwijderingen negeren.
DE FUNCTIE CREATE TABLE LIKE voor Delta-tabellen
CREATE TABLE LIKE
wordt nu ondersteund bij het gebruik van Delta-tabellen.
Nieuwe kolomvelden met metagegevens die de begin- en lengte van het bestandsblok aandukken
U kunt nu de volgende metagegevensgegevens ophalen voor invoerbestanden met de _metadata
kolom: file_block_start
en file_block_length
. Zie de kolom Bestandsmetagegevens voor meer informatie.
Nieuwe georuimtelijke H3-functies
De nieuwe h3_coverash3- en h3_coverash3string-expressies zijn beschikbaar voor georuimtelijke verwerking wanneer Photon is ingeschakeld. Zie georuimtelijke H3-functies.
Nieuwe ingebouwde SQL-functies
De volgende functies zijn toegevoegd:
- array_insert(matrix, index, elem) geeft als resultaat een uitgevouwen
array
positie waarelem
wordt ingevoegdindex
. - luhn_check(numStr) geeft als resultaat
true
alsnumStr
de luhn-algoritmecontrole wordt doorgegeven.
%sql
in Python-notebooks
Alle niet-lege %sql
resultaten in Python-notebooks zijn nu toegankelijk met _sqldf
het uitvoercachesysteem van IPython. Dit vereenvoudigt het gebruik van het DataFrame-resultaat in Python. Dit is een gedragswijziging ten aanzien van eerdere DBR-versies, zoals eerder, _sqldf
niet altijd opnieuw is toegewezen.
_sqldf
wordt niet opnieuw toegewezen aan een %sql
celresultaat als de cel is uitgevoerd met behulp van parallelle UITVOERING van SQL-cellen.
%pip
start Python niet automatisch opnieuw op
Nadat opdrachten zijn uitgevoerd %pip
in Python-notebooks die de virtualEnv wijzigen, start Databricks het Python-proces niet meer automatisch opnieuw op. Als u het Python-proces opnieuw wilt starten, roept u het aan dbutils.library.restartPython()
. Met deze wijziging %pip
gedragen opdrachten in Databricks zich op dezelfde manier als Jupyter Notebooks en zijn ze consistent met !pip
en %sh pip
opdrachten. Databricks raadt %pip
aan in plaats van !pip
of %sh pip
.
Python-bibliotheken met clusterbereik worden geïnstalleerd met behulp van een niet-hoofdgebruiker
Bibliotheken worden nu geïnstalleerd met een niet-hoofdgebruiker die verantwoordelijk is voor bibliotheekinstallaties. Als u pip-installatiegedrag in init-scripts wilt configureren, gebruikt u het bestand [globaal niveau https://pip.pypa.io/en/stable/topics/configuration/#configuration-files).
Bugfixes
- In
%sh
opdrachten zijn de volgende oplossingen aangebracht:- Uitvoer met niet-UTF-8 tekens wordt nu ondersteund.
- Subprocessen worden nu onderbroken wanneer de opdracht wordt geannuleerd.
Bibliotheekupgrades
- Bijgewerkte Python-bibliotheken:
- asttokens van 2.0.5 tot 2.2.1
- zwart van 22.3.0 tot 22.6.0
- boto3 van 1.21.32 tot 1.24.28
- botocore van 1.24.32 tot 1.27.28
- certifi van 2021.10.8 tot 2022.9.14
- cffi van 1.15.0 tot 1.15.1
- cryptografie van 3.4.8 tot 37.0.1
- Cython van 0.29.28 tot 0.29.32
- dbus-python van 1.2.16 tot 1.2.18
- docstring-to-markdown van 0.11 tot 0.12
- wordt uitgevoerd van 0.8.3 tot 1.2.0
- facetten-overzicht van 1.0.0 tot 1.0.2
- fastjsonschema van 2.16.2 tot 2.16.3
- filelock van 3.9.0 tot 3.10.7
- ipykernel van 6.15.3 tot 6.17.1
- ipython van 8.5.0 tot 8.10.0
- joblib van 1.1.1 tot 1.2.0
- jsonschema van 4.4.0 tot 4.16.0
- jupyter-client van 6.1.12 tot 7.3.4
- kiwisolver van 1.3.2 tot 1.4.2
- matplotlib van 3.5.1 tot 3.5.2
- matplotlib-inline van 0.1.2 tot 0.1.6
- nbformat van 5.3.0 tot 5.5.0
- notebook van 6.4.8 tot 6.4.12
- pandas van 1.4.2 tot 1.4.4
- Kussen van 9.0.1 tot 9.2.0
- pip van 21.2.4 tot 22.2.2
- platformdirs van 2.6.2 tot 2.5.2
- plotly from 5.6.0 to 5.9.0
- prometheus-client van 0.13.1 tot 0.14.1
- prompt-toolkit van 3.0.20 tot 3.0.36
- psutil van 5.8.0 tot 5.9.0
- pyflakes van 2.5.0 tot 3.0.1
- PyGObject van 3.36.0 tot 3.42.1
- pyparsing van 3.0.4 tot 3.0.9
- pyright van 1.1.283 tot 1.1.294
- python-lsp-server van 1.6.0 tot 1.7.1
- pytz van 2021.3 tot 2022.1
- pyzmq van 22.3.0 tot 23.2.0
- aanvragen van 2.27.1 tot 2.28.1
- touw van 0.22.0 tot 1.7.0
- s3transfer van 0.5.0 tot 0.6.0
- scikit-learn van 1.0.2 tot 1.1.1
- scipy van 1.7.3 tot 1.9.1
- setuptools van 61.2.0 tot 63.4.1
- ssh-import-id van 5.10 tot 5.11
- stack-data van 0.2.0 tot 0.6.2
- testpad van 0.5.0 tot 0.6.0
- tomli van 1.2.2 tot 2.0.1
- ujson van 5.1.0 tot 5.4.0
- urllib3 van 1.26.9 tot 1.26.11
- virtualenv van 20.8.0 tot 20.16.3
- whatthepatch van 1.0.4 tot 1.0.2
- wiel van 0.37.0 tot 0.37.1
- Bijgewerkte R-bibliotheken:
- pijl van 10.0.0 tot 10.0.1
- bit van 4.0.4 tot 4.0.5
- bezem van 1.0.1 tot 1.0.3
- bslib van 0.4.1 tot 0.4.2
- chron van 2.3-58 tot 2.3-59
- cli van 3.4.1 tot 3.6.0
- colorspace van 2.0-3 tot 2.1-0
- curl van 4.3.3 tot 5.0.0
- data.table van 1.14.4 tot 1.14.6
- dbplyr van 2.2.1 tot 2.3.0
- digest van 0.6.30 tot 0.6.31
- dplyr van 1.0.10 tot 1.1.0
- e1071 van 1,7-12 tot 1,7-13
- evalueren van 0,18 tot 0,20
- fansi van 1.0.3 tot 1.0.4
- fontawesome van 0.4.0 tot 0.5.0
- forcats van 0.5.2 tot 1.0.0
- fs van 1.5.2 tot 1.6.1
- toekomst van 1.29.0 tot 1.31.0
- slingeren van 1.2.1 tot 1.3.0
- gert van 1.9.1 tot 1.9.2
- glmnet van 4.1-4 tot 4.1-6
- globals van 0.16.1 tot 0.16.2
- gower van 1.0.0 tot 1.0.1
- highr van 0,9 tot 0,10
- htmltools van 0.5.3 tot 0.5.4
- htmlwidgets van 1.5.4 tot 1.6.1
- httpuv van 1.6.6 tot 1.6.8
- isoband van 0.2.6 tot 0.2.7
- jsonlite van 1.8.3 tot 1.8.4
- breisel van 1,40 tot 1,42
- lava van 1.7.0 tot 1.7.1
- listenv van 0.8.0 tot 0.9.0
- lubridate van 1.9.0 tot 1.9.1
- markdown van 1.3 tot 1,5
- modelr van 0.1.9 tot 0.1.10
- openssl van 2.0.4 tot 2.0.5
- parallel van 1.32.1 tot 1.34.0
- pkgbuild van 1.3.1 tot 1.4.0
- pkgdown van 2.0.6 tot 2.0.7
- pkgload van 1.3.1 tot 1.3.2
- plyr van 1.8.7 tot 1.8.8
- voortgang van 0.11.0 tot 0.13.0
- purrr van 0.3.5 tot 1.0.1
- ragg van 1.2.4 tot 1.2.5
- Rcpp van 1.0.9 tot 1.0.10
- readxl van 1.4.1 tot 1.4.2
- recepten van 1.0.3 tot 1.0.4
- rmarkdown van 2.18 tot 2.20
- RODBC van 1.3-19 tot 1.3-20
- roxygen2 van 7.2.1 tot 7.2.3
- RSQLite van 2.2.18 tot 2.2.20
- sass van 0.4.2 tot 0.4.5
- glanzend van 1.7.3 tot 1.7.4
- sourcetools van 0.1.7 tot 0.1.7-1
- sparklyr van 1.7.8 tot 1.7.9
- SparkR van 3.3.2 tot 3.4.0
- ruimtelijk van 7,3-11 tot 7,3-15
- stringi van 1.7.8 tot 1.7.12
- stringr van 1.4.1 tot 1.5.0
- overleving van 3,4-0 tot 3,5-3
- testthat van 3.1.5 tot 3.1.6
- tidyr van 1.2.1 tot 1.3.0
- timechange van 0.1.1 tot 0.2.0
- timeDate van 4021.106 tot 4022.108
- tinytex van 0,42 tot 0,44
- utf8 van 1.2.2 tot 1.2.3
- vctrs van 0.5.0 tot 0.5.2
- vroom van 1.6.0 tot 1.6.1
- Whisker van 0.4 tot 0.4.1
- xfun van 0,34 tot 0,37
- yaml van 2.3.6 tot 2.3.7
- Bijgewerkte Java-bibliotheken:
- com.amazonaws.aws-java-sdk-autoscaling van 1.12.189 tot 1.12.390
- com.amazonaws.aws-java-sdk-cloudformation van 1.12.189 tot 1.12.390
- com.amazonaws.aws-java-sdk-cloudfront van 1.12.189 tot 1.12.390
- com.amazonaws.aws-java-sdk-cloudhsm van 1.12.189 tot 1.12.390
- com.amazonaws.aws-java-sdk-cloudsearch van 1.12.189 tot 1.12.390
- com.amazonaws.aws-java-sdk-cloudtrail van 1.12.189 tot 1.12.390
- com.amazonaws.aws-java-sdk-cloudwatch van 1.12.189 tot 1.12.390
- com.amazonaws.aws-java-sdk-cloudwatchmetrics van 1.12.189 tot 1.12.390
- com.amazonaws.aws-java-sdk-codedeploy van 1.12.189 tot 1.12.390
- com.amazonaws.aws-java-sdk-cognitoidentity van 1.12.189 tot 1.12.390
- com.amazonaws.aws-java-sdk-cognitosync van 1.12.189 tot 1.12.390
- com.amazonaws.aws-java-sdk-config van 1.12.189 tot 1.12.390
- com.amazonaws.aws-java-sdk-core van 1.12.189 tot 1.12.390
- com.amazonaws.aws-java-sdk-datapipeline van 1.12.189 tot 1.12.390
- com.amazonaws.aws-java-sdk-directconnect van 1.12.189 tot 1.12.390
- com.amazonaws.aws-java-sdk-directory van 1.12.189 tot 1.12.390
- com.amazonaws.aws-java-sdk-dynamodb van 1.12.189 tot 1.12.390
- com.amazonaws.aws-java-sdk-ec2 van 1.12.189 tot 1.12.390
- com.amazonaws.aws-java-sdk-ecs van 1.12.189 tot 1.12.390
- com.amazonaws.aws-java-sdk-efs van 1.12.189 tot 1.12.390
- com.amazonaws.aws-java-sdk-elasticache van 1.12.189 tot 1.12.390
- com.amazonaws.aws-java-sdk-elasticbeanstalk van 1.12.189 tot 1.12.390
- com.amazonaws.aws-java-sdk-elasticloadbalancing van 1.12.189 tot 1.12.390
- com.amazonaws.aws-java-sdk-elastictranscoder van 1.12.189 tot 1.12.390
- com.amazonaws.aws-java-sdk-emr van 1.12.189 tot 1.12.390
- com.amazonaws.aws-java-sdk-glacier van 1.12.189 tot 1.12.390
- com.amazonaws.aws-java-sdk-glue van 1.12.189 tot 1.12.390
- com.amazonaws.aws-java-sdk-iam van 1.12.189 tot 1.12.390
- com.amazonaws.aws-java-sdk-importexport van 1.12.189 tot 1.12.390
- com.amazonaws.aws-java-sdk-kinesis van 1.12.189 tot 1.12.390
- com.amazonaws.aws-java-sdk-kms van 1.12.189 tot 1.12.390
- com.amazonaws.aws-java-sdk-lambda van 1.12.189 tot 1.12.390
- com.amazonaws.aws-java-sdk-logs van 1.12.189 tot 1.12.390
- com.amazonaws.aws-java-sdk-machinelearning van 1.12.189 tot 1.12.390
- com.amazonaws.aws-java-sdk-opsworks van 1.12.189 tot 1.12.390
- com.amazonaws.aws-java-sdk-rds van 1.12.189 tot 1.12.390
- com.amazonaws.aws-java-sdk-redshift van 1.12.189 tot 1.12.390
- com.amazonaws.aws-java-sdk-route53 van 1.12.189 tot 1.12.390
- com.amazonaws.aws-java-sdk-s3 van 1.12.189 tot 1.12.390
- com.amazonaws.aws-java-sdk-ses van 1.12.189 tot 1.12.390
- com.amazonaws.aws-java-sdk-simpledb van 1.12.189 tot 1.12.390
- com.amazonaws.aws-java-sdk-simpleworkflow van 1.12.189 tot 1.12.390
- com.amazonaws.aws-java-sdk-sns van 1.12.189 tot 1.12.390
- com.amazonaws.aws-java-sdk-sqs van 1.12.189 tot 1.12.390
- com.amazonaws.aws-java-sdk-ssm van 1.12.189 tot 1.12.390
- com.amazonaws.aws-java-sdk-storagegateway van 1.12.189 tot 1.12.390
- com.amazonaws.aws-java-sdk-sts van 1.12.189 tot 1.12.390
- com.amazonaws.aws-java-sdk-support van 1.12.189 tot 1.12.390
- com.amazonaws.aws-java-sdk-workspaces van 1.12.189 tot 1.12.390
- com.amazonaws.jmespath-java van 1.12.189 tot 1.12.390
- com.fasterxml.jackson.core.jackson-annotaties van 2.13.4 tot 2.14.2
- com.fasterxml.jackson.core.jackson-core van 2.13.4 tot 2.14.2
- com.fasterxml.jackson.core.jackson-databind van 2.13.4.2 tot 2.14.2
- com.fasterxml.jackson.dataformat.jackson-dataformat-cbor van 2.13.4 tot 2.14.2
- com.fasterxml.jackson.datatype.jackson-datatype-joda van 2.13.4 tot 2.14.2
- com.fasterxml.jackson.module.jackson-module-paranamer van 2.13.4 tot 2.14.2
- com.fasterxml.jackson.module.jackson-module-scala_2.12 van 2.13.4 tot 2.14.2
- com.github.luben.zstd-jni van 1.5.2-1 tot 1.5.2-5
- com.google.code.gson.gson van 2.8.6 tot 2.8.9
- com.google.crypto.tink.tink van 1.6.1 tot 1.7.0
- com.h2database.h2 van 2.0.204 tot 2.1.214
- com.jcraft.jsch van 0.1.50 tot 0.1.55
- com.ning.compress-lzf van 1.1 tot 1.1.2
- commons-fileupload.commons-fileupload van 1.3.3 tot 1.5
- dev.overeenkomt.netlib.arpack van 2.2.1 tot 3.0.3
- dev.verhuisde.netlib.blas van 2.2.1 tot 3.0.3
- dev.overeenkomt.netlib.lapack van 2.2.1 tot 3.0.3
- io.dropwizard.metrics.metrics-core van 4.1.1 tot 4.2.10
- io.dropwizard.metrics.metrics-graphite van 4.1.1 tot 4.2.10
- io.dropwizard.metrics.metrics-healthchecks van 4.1.1 tot 4.2.10
- io.dropwizard.metrics.metrics-jetty9 van 4.1.1 tot 4.2.10
- io.dropwizard.metrics.metrics-jmx van 4.1.1 tot 4.2.10
- io.dropwizard.metrics.metrics-json van 4.1.1 tot 4.2.10
- io.dropwizard.metrics.metrics-jvm van 4.1.1 tot 4.2.10
- io.dropwizard.metrics.metrics-servlets van 4.1.1 tot 4.2.10
- io.netty.netty-all van 4.1.74.Final tot 4.1.87.Final
- io.netty.netty-buffer van 4.1.74.Final tot 4.1.87.Final
- io.netty.netty-codec van 4.1.74.Final tot 4.1.87.Final
- io.netty.netty-common van 4.1.74.Final tot 4.1.87.Final
- io.netty.netty-handler van 4.1.74.Final tot 4.1.87.Final
- io.netty.netty-resolver van 4.1.74.Final tot 4.1.87.Final
- io.netty.netty-transport van 4.1.74.Final tot 4.1.87.Final
- io.netty.netty-transport-classes-epoll van 4.1.74.Final tot 4.1.87.Final
- io.netty.netty-transport-classes-kqueue van 4.1.74.Final tot 4.1.87.Final
- io.netty.netty-transport-native-unix-common van 4.1.74.Final tot 4.1.87.Final
- joda-time.joda-time van 2.10.13 tot 2.12.1
- net.razorvine.pickle van 1.2 tot 1.3
- org.antlr.antlr4-runtime van 4.8 tot 4.9.3
- org.apache.ant.ant van 1.9.2 tot 1.9.16
- org.apache.ant.ant-jsch van 1.9.2 tot 1.9.16
- org.apache.ant.ant-launcher van 1.9.2 tot 1.9.16
- org.apache.arrow.arrow-format van 7.0.0 tot 11.0.0
- org.apache.arrow.arrow-memory-core van 7.0.0 tot 11.0.0
- org.apache.arrow.arrow-memory-netty van 7.0.0 tot 11.0.0
- org.apache.arrow.arrow-vector van 7.0.0 tot 11.0.0
- org.apache.avro.avro van 1.11.0 tot 1.11.1
- org.apache.avro.avro-ipc van 1.11.0 tot 1.11.1
- org.apache.avro.avro-mapred van 1.11.0 tot 1.11.1
- org.apache.httpcomponents.httpclient van 4.5.13 tot 4.5.14
- org.apache.httpcomponents.httpcore van 4.4.14 tot 4.4.16
- org.apache.ivy.ivy van 2.5.0 tot 2.5.1
- org.apache.logging.log4j.log4j-1.2-api van 2.18.0 tot 2.19.0
- org.apache.logging.log4j.log4j-api van 2.18.0 tot 2.19.0
- org.apache.logging.log4j.log4j-core van 2.18.0 tot 2.19.0
- org.apache.orc.orc-core van 1.7.6 tot 1.8.2-shaded-protobuf
- org.apache.orc.orc-mapreduce van 1.7.6 tot 1.8.2-shaded-protobuf
- org.apache.orc.orc-shims van 1.7.6 tot 1.8.2
- org.apache.xbean.xbean-asm9-shaded van 4.20 tot 4.22
- org.apache.zookeeper.zookeeper van 3.6.2 tot 3.6.3
- org.apache.zookeeper.zookeeper-jute van 3.6.2 tot 3.6.3
- org.eclipse.jetty.jetty-client van 9.4.46.v20220331 tot 9.4.50.v20221201
- org.eclipse.jetty.jetty-vervolg van 9.4.46.v20220331 tot 9.4.50.v20221201
- org.eclipse.jetty.jetty-http van 9.4.46.v20220331 tot 9.4.50.v20221201
- org.eclipse.jetty.jetty-io van 9.4.46.v20220331 tot 9.4.50.v20221201
- org.eclipse.jetty.jetty-jndi van 9.4.46.v20220331 tot 9.4.50.v20221201
- org.eclipse.jetty.jetty-plus van 9.4.46.v20220331 tot 9.4.50.v20221201
- org.eclipse.jetty.jetty-proxy van 9.4.46.v20220331 tot 9.4.50.v20221201
- org.eclipse.jetty.jetty-security van 9.4.46.v20220331 tot 9.4.50.v20221201
- org.eclipse.jetty.jetty-server van 9.4.46.v20220331 tot 9.4.50.v20221201
- org.eclipse.jetty.jetty-servlet van 9.4.46.v20220331 tot 9.4.50.v20221201
- org.eclipse.jetty.jetty-servlets van 9.4.46.v20220331 tot 9.4.50.v20221201
- org.eclipse.jetty.jetty-util van 9.4.46.v20220331 tot 9.4.50.v20221201
- org.eclipse.jetty.jetty-util-ajax van 9.4.46.v20220331 tot 9.4.50.v20221201
- org.eclipse.jetty.jetty-webapp van 9.4.46.v20220331 tot 9.4.50.v20221201
- org.eclipse.jetty.jetty-xml van 9.4.46.v20220331 tot 9.4.50.v20221201
- org.eclipse.jetty.websocket.websocket-api van 9.4.46.v20220331 tot 9.4.50.v20221201
- org.eclipse.jetty.websocket.websocket-client van 9.4.46.v20220331 tot 9.4.50.v20221201
- org.eclipse.jetty.websocket.websocket-common van 9.4.46.v20220331 tot 9.4.50.v20221201
- org.eclipse.jetty.websocket.websocket-server van 9.4.46.v20220331 tot 9.4.50.v20221201
- org.eclipse.jetty.websocket.websocket-servlet van 9.4.46.v20220331 tot 9.4.50.v20221201
- org.hibernate.validator.hibernate-validator van 6.1.0.Final tot 6.1.7.Final
- org.mlflow.mlflow-spark van 2.1.1 tot 2.2.0
- org.postgresql.postgresql van 42.3.3 tot 42.3.8
- org.roaringbitmap.RoaringBitmap van 0.9.25 tot 0.9.39
- org.roaringbitmap.shims van 0.9.25 tot 0.9.39
- org.rocksdb.rocksdbjni van 6.28.2 tot 7.8.3
- org.scala-lang.scala-compiler_2.12 van 2.12.14 tot 2.12.15
- org.scala-lang.scala-library_2.12 van 2.12.14 tot 2.12.15
- org.scala-lang.scala-reflect_2.12 van 2.12.14 tot 2.12.15
- org.scalanlp.breeze-macros_2.12 van 1.2 tot 2.1.0
- org.scalanlp.breeze_2.12 van 1.2 tot 2.1.0
- org.slf4j.jcl-over-slf4j van 1.7.36 tot 2.0.6
- org.slf4j.jul-to-slf4j van 1.7.36 tot 2.0.6
- org.slf4j.slf4j-api van 1.7.36 tot 2.0.6
- org.threeten.threeten-extra van 1.5.0 tot 1.7.1
- org.wildfly.openssl.wildfly-openssl van 1.0.7.Final tot 1.1.3.Final
- org.yaml.snakeyaml van 1.24 tot 1.33
Apache Spark
Databricks Runtime 13.0 bevat Apache Spark 3.4.0.
- Spark SQL
- Spark Core
- Gestructureerd streamen
- Spark Connect
- PySpark
- MLLIB
- SparkR
- Live UI en History Server-service
- Bouwen
Spark SQL
Functies
- Ondersteuning implementeren voor STANDAARDwaarden voor kolommen in tabellen (SPARK-38334)
- Voeg Dataset.as(StructType) (SPARK-39625) toe
- Ondersteuning voor geparameteriseerde SQL (SPARK-41271, SPARK-42702)
- Unpivot/melt toevoegen (SPARK-38864, SPARK-39876)
- Ondersteuning voor 'laterale kolomaliasverwijzingen' (SPARK-27561)
- Offsetcomponent voor ondersteuningsresultaten (SPARK-28330, SPARK-39159)
- Ondersteuning voor tijdstempel zonder tijdzonegegevenstype (SPARK-35662)
- Ondersteuning voor scalaire subquery in tijdreizen (SPARK-39306)
- Catalogus-API compatibel maken met 3-laag-naamruimte (SPARK-39235)
- Ondersteuning voor tijdstempel in seconden voor TimeTravel met behulp van Dataframe-opties (SPARK-39633)
- SparkSession.config(Map) toevoegen (SPARK-40163)
- Ondersteuning voor het wijzigen van de standaarddatabase van de sessiecatalogus (SPARK-35242)
- Protobuf-ondersteuning voor Spark - from_protobuf AND to_protobuf (SPARK-40654)
- Toevoegen WANNEER NIET OVEREENKOMT MET DE BRON-component VOOR SAMENVOEGEN IN (SPARK-40921)
- Beperking voor het bestellen van OPTIES voor CREATE TABLE-kolommen (SPARK-40944)
- SQL-equivalent voor dataframe-overschrijfopdracht (SPARK-40956)
- Ondersteuning genereren zonder vereiste onderliggende uitvoer voor het hosten van externe verwijzingen (SPARK-41441)
- ORDER BY ALL (SPARK-41637)
- GROEPEREN OP ALLE (SPARK-41635)
- FlatMapSortedGroups en cogroupSorted (SPARK-38591) toevoegen
- Ondersteuning voor subquery's met gecorreleerde niet-gelijkheidspredicaten (SPARK-36114)
- Ondersteuning voor subquery's met correlatie via UNION/INTERSECT/EXCEPT (SPARK-36124)
ANSI-naleving
- ANSI SQL-modus: retourneer altijd null voor ongeldige toegang tot de toewijzingskolom (SPARK-40066)
- Ondersteuning voor id's met dubbele aanhalingspunten (SPARK-40585)
- ANSI SQL-modus: Round/Bround moet een fout retourneren voor een overloop van gehele getallen (SPARK-42045)
- Ondersteuning voor casten van integralen naar ANSI-intervallen (SPARK-40008)
- Ondersteuning voor cast van decimalen naar ANSI-intervallen (SPARK-40014)
- Retourneer bredere ANSI-intervaltypen van de percentielfuncties (SPARK-40151)
- Ondersteuning voor cast van ANSI-intervallen naar decimalen (SPARK-39470)
- Ondersteuning voor cast-intervallen naar integralen in ANSI-modus (SPARK-39451)
- SQLSTATE-gebruik voor foutklassen beperken (SPARK-41994)
Functies
- Ondersteuning voor generatorfuncties met tabelwaarden in de FROM-component (SPARK-41594)
- Ondersteuning voor ansi-statistische functie: REGR_SXY (SPARK-37681)
- Ondersteuning voor ansi-statistische functie: REGR_R2 (SPARK-37641)
- AnSI-statistische functie ondersteunen: REGR_SXX (SPARK-37672)
- Ondersteuning voor ansi-statistische functie: REGR_SYY (SPARK-37702)
- Ondersteuning voor ansi-statistische functie: REGR_SLOPE (SPARK-39230)
- AnSI-statistische functie ondersteunen: REGR_INTERCEPT (SPARK-37623)
- Ondersteuning voor ansi-aggregatiefunctie PERCENTILE_CONT als vensterfunctie (SPARK-38219)
- AnSI-aggregatiefunctie ondersteunen: PERCENTILE_DISC (SPARK-37691)
- Ondersteuning voor SPLIT_PART functie (SPARK-38063)
- Ondersteuning voor TRY_AVG functie (SPARK-38589)
- Ondersteuning voor TRY_TO_BINARY functie (SPARK-38590)
- Ondersteuning voor de TO_NUMBER- en TRY_TO_NUMBER SQL-functies volgens een nieuwe specificatie (SPARK-38796)
- Ondersteuning voor algemene ANSI-waardespecificatie en -functie - GEBRUIKER (SPARK-39138)
- Ondersteuning voor TO_CHAR- en TRY_TO_CHAR-functies voor het opmaken van decimale waarden als tekenreeksen (SPARK-28516)
- Ondersteuning voor ANY_VALUE statistische functie (SPARK-39213)
- Ondersteuning voor EQUAL_NUL functie (SPARK-39305)
- Ondersteuning voor statistische functie MEDIAN (SPARK-39320)
- Ondersteuning voor REGEXP_COUNT functie (SPARK-39618)
- Ondersteuning voor REGEXP_INSTR functie (SPARK-39744)
- Ondersteuning voor REGEXP_SUBSTR functie (SPARK-39695)
- De functie UNPIVOT (SPARK-39876) ondersteunen
- Ondersteuning voor TRY_TO_TIMESTAMP functie (SPARK-39795)
- Ondersteuning voor URL-codering/decoderen als ingebouwde functie en opsnijdende URL-gerelateerde functies (SPARK-39741)
- Ondersteuning voor statistische functieMODUS (SPARK-39808)
- De functie GET ondersteunen (SPARK-40109)
- Functiealiassen toevoegen: LENGTE, DATEPART, DATEADD, DATE_DIFF, CURDATE (SPARK-40352)
- De TO_BINARY-functie (SPARK-40112) verbeteren
- Ondersteuning CURRENT_SCHEMA (SPARK-41323)
- Ondersteuning voor het maskeren van ingebouwde functieMASKER (SPARK-40687)
- Ondersteuning voor functie met hoge volgorde: ARRAY_COMPACT (SPARK-41235)
- Ondersteuning voor ARRAY_APPEND functie (SPARK-41232)
- Ondersteuning voor ARRAY_INSERT functie (SPARK-41234)
- Ondersteuning voor LUHN_CHECK functie (SPARK-42191)
- Ondersteuning voor ARRAY_SORT(kolom, comparator) (SPARK-39925)
Gegevensbronnen
- Ondersteuning voor kolomstatistieken in DS v2 (SPARK-41378)
- Storage Partitioned Join (SPJ) in DS v2 (SPARK-37375)
- Bewerkingen op rijniveau in DS v2 (SPARK-35801)
- Add SupportsReportOrdering mix in interface for DS v2 Scan (SPARK-38647)
- Datumtype afleiden voor CSV-schemadeductie (SPARK-39469)
- Metrische stuurprogrammagegevens ondersteunen in aangepaste metrische DS v2-API (SPARK-39635)
- Distributie- en bestelondersteuning voor DS v2-functie (SPARK-39607)
- StringEndsWith/Contains biedt ondersteuning voor push-down naar Parquet, zodat we gebruikmaken van het woordenlijstfilter (SPARK-39002)
- Ondersteuning voor UDT in spark Parquet vectorized reader (SPARK-39086)
- De kolom METAGEGEVENS uitbreiden ter ondersteuning van rijindexen voor Parquet-bestanden (SPARK-37980)
- Ondersteuning voor het lezen van Parquet FIXED_LEN_BYTE_ARRAY -type (SPARK-41096)
- De volgorde van filterpredicaten optimaliseren (SPARK-40045)
- Ondersteuning voor CTE- en tijdelijke tabelquery's met MSSQL JDBC (SPARK-37259)
- Ondersteuning voor ignoreCorruptFiles en ignoreMissingFiles in opties voor gegevensbron (SPARK-38767)
- V1-schrijfbewerkingen ophalen naar WriteFiles (SPARK-41407)
- Tekenopvulling aan de leeszijde toevoegen voor externe gegevensbestanden (SPARK-40697)
Queryoptimalisatie
- Niet-gecorreleerde scalaire subquery's samenvoegen (SPARK-34079)
- Standaard Bloom-filterdeelnames inschakelen (SPARK-38841)
- Verwijder overbodige afzonderlijke expressies in een statistische expressie door distinctKeys (SPARK-38832)
- Ondersteuning voor pushdown van predicaat en kolomsnoeien voor gededupliceeerde CTE's (SPARK-37670)
- Outer join verwijderen als statistische functies dubbele agnostisch zijn aan de gestreamde zijde (SPARK-38886)
- Verwijder left/right outer join als alleen kolommen links/rechts zijn geselecteerd en de joinsleutels aan de andere kant uniek zijn (SPARK-39172)
- Globale sortering optimaliseren voor repartitionByExpression (SPARK-39911)
- TransponerenWindow-regel (SPARK-38034) optimaliseren
- Enhance EliminateSorts to support removing sorts via LocalLimit (SPARK-40050)
- Lokale limiet naar beide zijden pushen als de joinvoorwaarde leeg is (SPARK-40040)
- PushProjectionThroughLimit toevoegen voor Optimizer (SPARK-40501)
- Ondersteuning voor PIVOT/UNPIVOT met join-kinderen (SPARK-41195)
- Ondersteuning voor het verwijderen van kolommen met meerdere niet-deterministische filters (SPARK-41017)
- Uitvoerpartitionering en -volgorde verbeteren met AQE-cache (SPARK-41048)
- Prestaties verbeteren met meerdere achtige prestaties door een evenwichtige structuurpredicaat voor expressies te maken (SPARK-41167)
- Verwijder de sortering als dit het onderliggende element is van RepartitionByExpression (SPARK-36703)
- Beschikbare kolomstatistieken uit voltooide queryfasen gebruiken (SPARK-39991)
- Expressies opnieuw gebruiken in WindowSpecDefinition (SPARK-41805)
- AliasAwareOutputPartitioning en AliasAwareQueryOutputOrdering verbeteren om rekening te houden met alle aliassen (SPARK-40086, SPARK-42049)
- Push down limit through Python UDF's (SPARK-42115)
Code genereren en query's uitvoeren
- StandaardJoin in BroadcastNestedLoopJoinExec parallel uitvoeren (SPARK-40487)
- Codegen-ondersteuning voor HiveGenericUDF (SPARK-42051)
- Introduceer shuffle voor SinglePartition (SPARK-41986)
- DPP ondersteunt de snoeizijde union (SPARK-39217)
Andere belangrijke wijzigingen
- Ondersteuning voor verzameling automatische partitiestatistieken (SPARK-38573)
- Foutberichten opmaken in de Thrift-server (SPARK-40098)
- Een extensie-API toevoegen om normalisatie voor caching uit te voeren (SPARK-41183)
- Spark-typen herstructureren door fysieke typen te introduceren (SPARK-41226)
- OneOf-veldondersteuning en recursiecontroles (SPARK-41396)
- De logica voor kolomomzetting centraliseren (SPARK-41405)
- De validatie van planwijziging verbeteren (SPARK-42081)
- SparkPath introduceren voor typeveiligheid (SPARK-41970)
- Uitzondering genereren voor db_name.view_name bij het maken van een tijdelijke weergave per gegevensset-API (SPARK-41090)
- De standaardwaarde van het argument Maskerfunctie wijzigen van -1 in NULL (SPARK-42070)
Spark Core
Uit bedrijf nemen
- Vermijd onnodige taak opnieuw uitvoeren op uit bedrijf genomen uitvoerder als gegevens in willekeurige volgorde zijn gemigreerd (SPARK-41469)
- Fout bij het ophalen van fasen negeren die wordt veroorzaakt door uit bedrijf genomen uitvoerprogramma (SPARK-40481)
- Schakel spark.storage.decommission in. (rdd|shuffle) Blocks.enabled standaard (SPARK-40198)
- Ondersteuning toevoegen voor YARN buiten gebruik stellen wanneer ESS is uitgeschakeld (SPARK-30835)
Planner
- Faseplanning maken voor lokale clustermodus (SPARK-41949)
- Taakresourceprofiel op faseniveau voor zelfstandig cluster ondersteunen wanneer dynamische toewijzing is uitgeschakeld (SPARK-39853)
- Delay onDisconnected to enable Driver receives ExecutorExitCode (SPARK-39957)
- De speculatie verbeteren via de metrische gegevens voor fasetaken (SPARK-32170)
- Ondersteuning voor resourceplanning op faseniveau toevoegen voor een zelfstandig cluster (SPARK-39062)
- Het LaunchTask-proces verbeteren om fasefouten te voorkomen die worden veroorzaakt door launchtask-berichten (SPARK-39955)
Shuffle
- Leesgegevens aan de clientzijde van Push Based Shuffle toevoegen (SPARK-36620)
- Metrische gegevens aan de serverzijde voor pushgebaseerde shuffle (SPARK-33573)
- Zorg ervoor dat mergedShuffleCleaner is afgesloten voordat de database wordt gesloten (SPARK-40186)
- RocksDB-ondersteuning toevoegen voor shuffle-servicestatusopslag (SPARK-38888)
- LevelDB inkapselen die worden gebruikt voor het opslaan van externe/externe shuffle-status als DB (SPARK-38909)
- Spark.dynamicAllocation.shuffleTracking.enabled standaard inschakelen (SPARK-3984)
- Schakel push-gebaseerde shuffle-service in om de status op te slaan in NM-niveau DB voor opnieuw opstarten met behoud van werk (SPARK-33236)
- Willekeurige blokken verwijderen met behulp van de shuffle-service voor uitgebrachte uitvoerders (SPARK-37618)
Andere belangrijke wijzigingen
- Ondersteuning voor IPv6-omgeving (SPARK-39457)
- Spark.kryo.onveilig standaard inschakelen (SPARK-42137)
- Geen willekeurig aangepast classpath met proxygebruiker in de clustermodus (SPARK-41958)
- Voorkom dat BlockManager opnieuw wordt geregistreerd als de uitvoerder verloren is gegaan (SPARK-41360)
- Verwijder de beperking die het resultaat van één taak moet passen in 2 GB (SPARK-40622)
- Verwijder de ondersteuning van afgeschafte spark.akka.* configs (SPARK-40401)
- Standaardlogboekregistratie wijzigen in stderr zodat deze consistent is met het gedrag van log4j (SPARK-40406)
- DirectTaskResult-metagegevens uitsluiten bij het berekenen van de resultaatgrootte (SPARK-40261)
- Het aantal initiële partities in take() toestaan (SPARK-40211)
- Onderbrekende vergrendeling gebruiken in plaats van gesynchroniseerd in Executor.updateDependencies() (SPARK-40235)
- Taakfout moet altijd listeners voor taakfouten activeren (SPARK-40106)
- De mogelijkheid toevoegen om controle of polling selectief uit te schakelen (SPARK-36462)
- Niet-geserialiseerde broadcastrelaties niet opslaan in het stuurprogramma (SPARK-39983)
- Impasse tussen TaskMemoryManager en UnsafeExternalSorter.SpillableIterator (SPARK-39283) oplossen
- Stel de getalpartities in een fase beschikbaar in TaskContext (SPARK-38679)
- Geheugenoverheadfactor configureerbaar maken (SPARK-38194)
- Vermijd het gebruik van bash -c in ShellBasedGroupsMappingProvider (SPARK-38992)
Gestructureerd streamen
Belangrijke functies
- Asynchrone voortgangstracering (SPARK-39591)
- Willekeurige Stateful verwerking in Python in Structured Streaming (SPARK-40434)
- Protobuf-ondersteuning in Structured Streaming (SPARK-40653)
- Problemen met het filteren van late records oplossen ter ondersteuning van het koppelen van stateful operators (SPARK-40925)
Andere belangrijke wijzigingen
- Inleiding tot een streamingcontrolepuntbestandsbeheer op basis van de Abortable-interface van Hadoop (SPARK-40039)
- Trigger.Once verwijderen en Trigger.AvailableNow promoveren (SPARK-39805)
- De informatie van de catalogustabel beschikbaar maken voor het logische plan in streamingquery (SPARK-39564)
- Ondersteuning voor het verzamelen van metrische gegevens van streaming-sinks (SPARK-38564)
- DStream-API (SPARK-42075) afschaven
- De standaardwaarde van kafka-offset spiegelen die configuratie ophaalt (SPARK-40844)
- Geef een gekloonde Spark-sessie op in DataFrame in de gebruikersfunctie voor foreachBatch-sink in PySpark (SPARK-41379)
Spark Connect
Python-client
- DataFrame-API implementeren (SPARK-41279)
- Kolom-API implementeren (SPARK-41282)
- Functions-API implementeren (SPARK-41283)
- SparkSession-API implementeren (SPARK-41281)
- I/O-API implementeren (SPARK-41284)
- Catalogus-API implementeren (SPARK-41289)
- Ondersteuning voor door de gebruiker gedefinieerde functies in Python (SPARK-41661)
- Ondersteuning voor pandas-/pijlfunctie-API (SPARK-42393)
- Ondersteuning voor Runtime SQL-configuratie (SPARK-42499)
- Bouwen, verpakken en infrastructuur voor Spark Connect (SPARK-41286)
- Typ aantekeningen voor Spark Connect Python-client (SPARK-40451)
Scala-client
- Eenvoudige Scala-client implementeren (SPARK-41534, SPARK-42133, SPARK-42043, SPARK-41822)
- SparkSession-API implementeren (SPARK-42639, SPARK-42581, SPARK-42564, SPARK-42544, SPARK-42631)
- Dataframe-API implementeren (SPARK-42440, SPARK-42559, SPARK-42558, SPARK-42556, SPARK-42468, SPARK-42529, SPARK-42561, SPARK-42894, SPARK-41874, SPARK-42691, SPARK-42692, SPARK-42481, SPARK-42541, SPARK-42542, SPARK-42520, SPARK-41823)
- Kolom-API implementeren (SPARK-42441, SPARK-42560)
- Functions-API implementeren (SPARK-42461, SPARK-42579, SPARK-42527, SPARK-42531, SPARK-42495, SPARK-42557)
- I/O-API implementeren (SPARK-42457, SPARK-42555, SPARK-42690, SPARK-42878, SPARK-42757, SPARK-42482, SPARK-42733, SPARK-42518)
- Runtime SQL-configuratie implementeren (SPARK-42586)
- Basisondersteuning voor door de gebruiker gedefinieerde functie (SPARK-42283, SPARK-42653, SPARK-42543)
- Basic Typed API-ondersteuning (SPARK-42580, SPARK-42605)
- Testinfrastructuur voor Spark Connect (SPARK-42172, SPARK-42377, SPARK-42599)
- REPL-ondersteuning implementeren (SPARK-42656, SPARK-42884)
PySpark
pandas API in Spark
- Belangrijke verbetering
- Willekeurige Stateful verwerking in Python in Structured Streaming (SPARK-40434)
- Ontbrekende parameters voor pandas-API implementeren (SPARK-42883)
- Pandas 1.5-ondersteuning (SPARK-40576)
- Belangrijke functie
- Series.searchsorted implementeren (SPARK-40330)
- Series.autocorr implementeren (SPARK-38774)
- DataFrame.mode implementeren (SPARK-40138)
- DataFrame.boxplot en DataFrame.plot.box (SPARK-38993) implementeren
- DataFrame.corrwith implementeren (SPARK-38907)
- DataFrame.resample en Series.resample implementeren (SPARK-39081)
- DataFrame.interpolate en Series.interpolate implementeren (SPARK-38844)
- DataFrame.ewm en Series.ewm (SPARK-38785) implementeren
- GroupBy.prod implementeren (SPARK-40334)
- GroupBy.nth implementeren (SPARK-40333)
- GroupBy.quantile implementeren (SPARK-40332)
- GroupBy.sem implementeren (SPARK-40305)
- GroupBy.mad implementeren (SPARK-39284)
- GroupBy.scheefheid implementeren (SPARK-39246)
- GroupBy.ewm implementeren (SPARK-39129)
- Ondersteuning voor positionele indexering van GroupBy (SPARK-38947)
Andere belangrijke wijzigingen
- Belangrijke verbeteringen
- Een geheugen profiler bieden voor door de gebruiker gedefinieerde PySpark-functies (SPARK-40281)
- Catalogus-API compatibel maken met 3-laag-naamruimte (SPARK-39235)
- Ondersteuning voor NumPy-invoer in PySpark (SPARK-39405)
- Verbeteringen van PySpark-fouten (SPARK-41597)
- Belangrijke functies
- Ondersteuning voor geparameteriseerde SQL in PySpark (SPARK-41666)
- De mediaanfunctie (SPARK-40003) implementeren
- De functie Modus implementeren (SPARK-40007)
- De functie 'unpivot/melt' implementeren (SPARK-39877)
- Ondersteuning voor Varchar in PySpark (SPARK-39760)
- Ondersteuning voor CharType in PySpark (SPARK-39809)
MLLIB
- PyTorch Distributor implementeren (SPARK-41589)
- De gegevensvalidatie samenvoegen (SPARK-38584)
- De willekeurige grootte van ALS verkleinen (SPARK-40476, SPARK-40745)
- Dubbele functies voor ontdubbeling van isotonische regressie (SPARK-41008)
- KMeans blokkeren invoervectoren (SPARK-30661)
- Relevantiescore toevoegen voor nDCG-evaluatie (SPARK-39446)
SparkR
- Draaitabel/smelt toevoegen (SPARK-41267)
- Voeg array_sort(kolom, comparator) (SPARK-40167) toe
- Ondersteuning voor meerdere kolomuitval in R (SPARK-40087)
- Ondersteuning voor Arrow 9.0.0 met SparkR (SPARK-40114)
- Catalogus-API compatibel maken met 3-laag-naamruimte (SPARK-39579, SPARK-39646, SPARK-39645, SPARK-39236, SPARK-39716, SPARK-39719)
- Ondersteuning voor R 4.2.0 (SPARK-39372)
Live UI en History Server-service
- Betere schaalbaarheid van spark-gebruikersinterface en stabiliteit van stuurprogramma's voor grote toepassingen (SPARK-41053)
- RocksDB gebruiken voor spark.history.store.hybridStore.diskBackend standaard (SPARK-42277)
- Geneste uitvoeringen groeperen onder de hoofduitvoering (SPARK-41752)
- Eigenschappen van metrische gegevens weergeven op het tabblad Omgeving (SPARK-39110)
- Fix StagePage-invoergrootte/-records worden niet weergegeven wanneer records groter dan nul zijn (SPARK-34777)
- Prestaties van JsonProtocol-logboekregistratie verbeteren met behulp van Jackson in plaats van Json4s (SPARK-39489)
- Ondersteuning voor spark.history.fs.update.batchSize (SPARK-39225)
Build
- Cloudpickle bijwerken naar v2.2.0 (SPARK-40991)
- Ondersteuning voor Python 3.7 afschaven (SPARK-39861)
- Ondersteuning voor Python 3.11 (SPARK-41454)
- Dev.bovenhoek.netlib bijwerken naar 3.0.2 (SPARK-40251)
- Update breeze naar 2.0 (SPARK-39616)
- Slf4j-versie bijwerken naar 2.0.6 (SPARK-41561)
- Kubernetes-clientversie bijwerken naar 6.4.1 (SPARK-42362)
- Rocksdbjni bijwerken naar 7.9.2 ( SPARK-42129)
- Apache Arrow bijwerken naar 11.0.0 (SPARK-42161)
- Apache Kafka upgraden naar 3.3.2 (SPARK-42109)
Onderhoudsupdates
Zie onderhoudsupdates voor Databricks Runtime 13.0.
Systeemomgeving
- Besturingssysteem: Ubuntu 22.04.2 LTS
- Java: Zulu 8.68.0.21-CA-linux64
- Scala: 2.12.15
- Python: 3.10.6
- R: 4.2.2
- Delta Lake: 2.3.0
Geïnstalleerde Python-bibliotheken
Bibliotheek | Versie | Bibliotheek | Versie | Bibliotheek | Versie |
---|---|---|---|---|---|
appdirs | 1.4.4 | argon2-cffi | 21.3.0 | argon2-cffi-bindingen | 21.2.0 |
asttokens | 2.2.1 | attrs | 21.4.0 | backcall | 0.2.0 |
beautifulsoup4 | 4.11.1 | zwart | 22.6.0 | bleken | 4.1.0 |
oogklep | 1.4 | boto3 | 1.24.28 | botocore | 1.27.28 |
certifi | 2022.9.14 | cffiffi | 1.15.1 | chardet | 4.0.0 |
charset-normalizer | 2.0.4 | klikken | 8.0.4 | cryptografie | 37.0.1 |
wielrijder | 0.11.0 | Cython | 0.29.32 | dbus-python | 1.2.18 |
foutopsporing | 1.5.1 | decorateur | 5.1.1 | defusedxml | 0.7.1 |
distlib | 0.3.6 | docstring-to-markdown | 0,12 | invoerpunten | 0,4 |
Uitvoeren | 1.2.0 | facets-overview | 1.0.2 | fastjsonschema | 2.16.3 |
filelock | 3.10.7 | fonttools | 4.25.0 | googleapis-common-protos | 1.56.4 |
grpcio | 1.48.1 | grpcio-status | 1.48.1 | httplib2 | 0.20.2 |
idna | 3.3 | importlib-metadata | 4.6.4 | ipykernel | 6.17.1 |
ipython | 8.10.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.2 |
jedi | 0.18.1 | Jeepney | 0.7.1 | Jinja2 | 2.11.3 |
jmespath | 0.10.0 | joblib | 1.2.0 | jsonschema | 4.16.0 |
jupyter-client | 7.3.4 | jupyter_core | 4.11.2 | jupyterlab-pygments | 0.1.2 |
jupyterlab-widgets | 1.0.0 | sleutelhanger | 23.5.0 | kiwisolver | 1.4.2 |
launchpadlib | 1.10.16 | lazr.restfulclient | 0.14.4 | lazr.uri | 1.0.6 |
MarkupSafe | 2.0.1 | matplotlib | 3.5.2 | matplotlib-inline | 0.1.6 |
Mccabe | 0.7.0 | mistune | 0.8.4 | more-itertools | 8.10.0 |
mypy-extensions | 0.4.3 | nbclient | 0.5.13 | nbconvert | 6.4.4 |
nbformat | 5.5.0 | nest-asyncio | 1.5.5 | nodeenv | 1.7.0 |
notebook | 6.4.12 | numpy | 1.21.5 | oauthlib | 3.2.0 |
verpakking | 21.3 | Pandas | 1.4.4 | pandocfilters | 1.5.0 |
parso | 0.8.3 | pathspec | 0.9.0 | Patsy | 0.5.2 |
pexpect | 4.8.0 | pickleshare | 0.7.5 | Kussen | 9.2.0 |
pit | 22.2.2 | platformdirs | 2.5.2 | plotly | 5.9.0 |
pluggy | 1.0.0 | prometheus-client | 0.14.1 | prompt-toolkit | 3.0.36 |
protobuf | 3.19.4 | psutil | 5.9.0 | psycopg2 | 2.9.3 |
ptyprocess | 0.7.0 | pure-eval | 0.2.2 | pyarrow | 7.0.0 |
pycparser | 2.21 | pyflakes | 3.0.1 | Pygments | 2.11.2 |
PyGObject | 3.42.1 | PyJWT | 2.3.0 | pyodbc | 4.0.32 |
pyparsing | 3.0.9 | pyright | 1.1.294 | pyrsistent | 0.18.0 |
python-dateutil | 2.8.2 | python-lsp-jsonrpc | 1.0.0 | python-lsp-server | 1.7.1 |
pytoolconfig | 1.2.2 | pytz | 2022.1 | pyzmq | 23.2.0 |
requests | 2.28.1 | touw | 1.7.0 | s3transfer | 0.6.0 |
scikit-learn | 1.1.1 | scipy | 1.9.1 | seaborn | 0.11.2 |
SecretStorage | 3.3.1 | Send2Trash | 1.8.0 | setuptools | 63.4.1 |
Zes | 1.16.0 | soepsieve | 2.3.1 | ssh-import-id | 5,11 |
stack-data | 0.6.2 | statsmodels | 0.13.2 | vasthoudendheid | 8.0.1 |
terminado | 0.13.1 | testpath | 0.6.0 | threadpoolctl | 2.2.0 |
tokenize-rt | 4.2.1 | tomli | 2.0.1 | tornado | 6.1 |
traitlets | 5.1.1 | ujson | 5.4.0 | upgrades zonder toezicht | 0,1 |
urllib3 | 1.26.11 | virtualenv | 20.16.3 | wadllib | 1.3.6 |
wcwidth | 0.2.5 | webencodings | 0.5.1 | whatthepatch | 1.0.2 |
wiel | 0.37.1 | widgetsnbextension | 3.6.1 | yapf | 0.31.0 |
zipp | 1.0.0 |
Geïnstalleerde R-bibliotheken
R-bibliotheken worden geïnstalleerd vanuit de Microsoft CRAN-momentopname op 2023-02-10.
Bibliotheek | Versie | Bibliotheek | Versie | Bibliotheek | Versie |
---|---|---|---|---|---|
pijl | 10.0.1 | askpass | 1.1 | assertthat | 0.2.1 |
backports | 1.4.1 | base | 4.2.2 | base64enc | 0.1-3 |
bit | 4.0.5 | bit64 | 4.0.5 | blob | 1.2.3 |
opstarten | 1.3-28 | brouwsel | 1.0-8 | Brio | 1.1.3 |
bezem | 1.0.3 | bslib | 0.4.2 | cachem | 1.0.6 |
beller | 3.7.3 | caret | 6.0-93 | cellranger | 1.1.0 |
Chron | 2.3-59 | class | 7.3-21 | cli | 3.6.0 |
clipr | 0.8.0 | klok | 0.6.1 | cluster | 2.1.4 |
codetools | 0.2-19 | colorspace | 2.1-0 | commonmark | 1.8.1 |
compiler | 4.2.2 | configuratie | 0.3.1 | cpp11 | 0.4.3 |
Crayon | 1.5.2 | aanmeldingsgegevens | 1.3.2 | curl | 5.0.0 |
data.table | 1.14.6 | gegevenssets | 4.2.2 | DBI | 1.1.3 |
dbplyr | 2.3.0 | Desc | 1.4.2 | devtools | 2.4.5 |
diffobj | 0.3.5 | verteren | 0.6.31 | downlit | 0.4.2 |
dplyr | 1.1.0 | dtplyr | 1.2.2 | e1071 | 1.7-13 |
beletselteken | 0.3.2 | evaluate | 0.20 | fansi | 1.0.4 |
farver | 2.1.1 | fastmap | 1.1.0 | fontawesome | 0.5.0 |
forcats | 1.0.0 | foreach | 1.5.2 | buitenlands | 0.8-82 |
smeden | 0.2.0 | Fs | 1.6.1 | toekomst | 1.31.0 |
future.apply | 1.10.0 | gorgelen | 1.3.0 | Generics | 0.1.3 |
Gert | 1.9.2 | ggplot2 | 3.4.0 | Gh | 1.3.1 |
gitcreds | 0.1.2 | glmnet | 4.1-6 | globals | 0.16.2 |
lijm | 1.6.2 | googledrive | 2.0.0 | googlesheets4 | 1.0.1 |
Gower | 1.0.1 | afbeeldingen | 4.2.2 | grDevices | 4.2.2 |
rooster | 4.2.2 | gridExtra | 2.3 | gsubfn | 0,7 |
gtable | 0.3.1 | hardhat | 1.2.0 | haven | 2.5.1 |
highr | 0.10 | Hms | 1.1.2 | htmltools | 0.5.4 |
htmlwidgets | 1.6.1 | httpuv | 1.6.8 | httr | 1.4.4 |
ids | 1.0.1 | ini | 0.3.1 | ipred | 0.9-13 |
isoband | 0.2.7 | Iterators | 1.0.14 | jquerylib | 0.1.4 |
jsonlite | 1.8.4 | KernSmooth | 2.23-20 | breiwerk | 1.42 |
Labeling | 0.4.2 | later | 1.3.0 | latwerk | 0.20-45 |
lava | 1.7.1 | levenscyclus | 1.0.3 | listenv | 0.9.0 |
lubridate | 1.9.1 | magrittr | 2.0.3 | Markdown | 1.5 |
MASSA | 7.3-58.2 | Matrix | 1.5-1 | memoise | 2.0.1 |
methoden | 4.2.2 | mgcv | 1.8-41 | Mime | 0,12 |
miniUI | 0.1.1.1 | ModelMetrics | 1.2.2.2 | modeller | 0.1.10 |
munsell | 0.5.0 | nlme | 3.1-162 | nnet | 7.3-18 |
numDeriv | 2016.8-1.1 | openssl | 2.0.5 | parallel | 4.2.2 |
parallel | 1.34.0 | pilaar | 1.8.1 | pkgbuild | 1.4.0 |
pkgconfig | 2.0.3 | pkgdown | 2.0.7 | pkgload | 1.3.2 |
plogr | 0.2.0 | plyr | 1.8.8 | loven | 1.0.0 |
prettyunits | 1.1.1 | Proc | 1.18.0 | processx | 3.8.0 |
prodlim | 2019.11.13 | profvis | 0.3.7 | Voortgang | 1.2.2 |
progressr | 0.13.0 | Beloften | 1.2.0.1 | Proto | 1.0.0 |
proxy | 0.4-27 | ps | 1.7.2 | purrr | 1.0.1 |
r2d3 | 0.2.6 | R6 | 2.5.1 | ragg | 1.2.5 |
randomForest | 4.7-1.1 | rappdirs | 0.3.3 | rcmdcheck | 1.4.0 |
RColorBrewer | 1.1-3 | Rcpp | 1.0.10 | RcppEigen | 0.3.3.9.3 |
leesbewerking | 2.1.3 | readxl | 1.4.2 | recepten | 1.0.4 |
Rematch | 1.0.1 | opnieuw overeenkomen2 | 2.1.2 | Afstandsbedieningen | 2.4.2 |
reprex | 2.0.2 | hervorm2 | 1.4.4 | rlang | 1.0.6 |
rmarkdown | 2,20 | RODBC | 1.3-20 | roxygen2 | 7.2.3 |
rpart | 4.1.19 | rprojroot | 2.0.3 | Rserve | 1.8-12 |
RSQLite | 2.2.20 | rstudioapi | 0,14 | rversions | 2.1.2 |
rvest | 1.0.3 | Sass | 0.4.5 | weegschaal | 1.2.1 |
selectr | 0.4-2 | sessioninfo | 1.2.2 | vorm | 1.4.6 |
glanzend | 1.7.4 | sourcetools | 0.1.7-1 | sparklyr | 1.7.9 |
SparkR | 3.4.0 | ruimtelijk | 7.3-15 | Splines | 4.2.2 |
sqldf | 0.4-11 | SQUAREM | 2021.1 | Stats | 4.2.2 |
stats4 | 4.2.2 | stringi | 1.7.12 | stringr | 1.5.0 |
overleving | 3.5-3 | sys | 3.4.1 | systemfonts | 1.0.4 |
tcltk | 4.2.2 | testthat | 3.1.6 | tekstvorm | 0.3.6 |
tibble | 3.1.8 | tidyr | 1.3.0 | tidyselect | 1.2.0 |
tidyverse | 1.3.2 | timechange | 0.2.0 | timeDate | 4022.108 |
tinytex | 0.44 | tools | 4.2.2 | tzdb | 0.3.0 |
urlchecker | 1.0.1 | usethis | 2.1.6 | utf8 | 1.2.3 |
utils | 4.2.2 | uuid | 1.1-0 | vctrs | 0.5.2 |
viridisLite | 0.4.1 | Vroom | 1.6.1 | Waldo | 0.4.0 |
snor | 0.4.1 | withr | 2.5.0 | xfun | 0,37 |
xml2 | 1.3.3 | xopen | 1.0.0 | xtable | 1.8-4 |
yaml | 2.3.7 | ritssluiting | 2.2.2 |
Geïnstalleerde Java- en Scala-bibliotheken (Scala 2.12-clusterversie)
Groeps-id | Artefact-id | Versie |
---|---|---|
antlr | antlr | 2.7.7 |
com.amazonaws | amazon-kinesis-client | 1.12.0 |
com.amazonaws | aws-java-sdk-autoscaling | 1.12.390 |
com.amazonaws | aws-java-sdk-cloudformation | 1.12.390 |
com.amazonaws | aws-java-sdk-cloudfront | 1.12.390 |
com.amazonaws | aws-java-sdk-cloudhsm | 1.12.390 |
com.amazonaws | aws-java-sdk-cloudsearch | 1.12.390 |
com.amazonaws | aws-java-sdk-cloudtrail | 1.12.390 |
com.amazonaws | aws-java-sdk-cloudwatch | 1.12.390 |
com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.390 |
com.amazonaws | aws-java-sdk-codedeploy | 1.12.390 |
com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.390 |
com.amazonaws | aws-java-sdk-cognitosync | 1.12.390 |
com.amazonaws | aws-java-sdk-config | 1.12.390 |
com.amazonaws | aws-java-sdk-core | 1.12.390 |
com.amazonaws | aws-java-sdk-datapipeline | 1.12.390 |
com.amazonaws | aws-java-sdk-directconnect | 1.12.390 |
com.amazonaws | aws-java-sdk-directory | 1.12.390 |
com.amazonaws | aws-java-sdk-dynamodb | 1.12.390 |
com.amazonaws | aws-java-sdk-ec2 | 1.12.390 |
com.amazonaws | aws-java-sdk-ecs | 1.12.390 |
com.amazonaws | aws-java-sdk-efs | 1.12.390 |
com.amazonaws | aws-java-sdk-elasticache | 1.12.390 |
com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.390 |
com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.390 |
com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.390 |
com.amazonaws | aws-java-sdk-emr | 1.12.390 |
com.amazonaws | aws-java-sdk-glacier | 1.12.390 |
com.amazonaws | aws-java-sdk-glue | 1.12.390 |
com.amazonaws | aws-java-sdk-iam | 1.12.390 |
com.amazonaws | aws-java-sdk-importexport | 1.12.390 |
com.amazonaws | aws-java-sdk-kinesis | 1.12.390 |
com.amazonaws | aws-java-sdk-kms | 1.12.390 |
com.amazonaws | aws-java-sdk-lambda | 1.12.390 |
com.amazonaws | aws-java-sdk-logs | 1.12.390 |
com.amazonaws | aws-java-sdk-machinelearning | 1.12.390 |
com.amazonaws | aws-java-sdk-opsworks | 1.12.390 |
com.amazonaws | aws-java-sdk-rds | 1.12.390 |
com.amazonaws | aws-java-sdk-redshift | 1.12.390 |
com.amazonaws | aws-java-sdk-route53 | 1.12.390 |
com.amazonaws | aws-java-sdk-s3 | 1.12.390 |
com.amazonaws | aws-java-sdk-ses | 1.12.390 |
com.amazonaws | aws-java-sdk-simpledb | 1.12.390 |
com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.390 |
com.amazonaws | aws-java-sdk-sns | 1.12.390 |
com.amazonaws | aws-java-sdk-sqs | 1.12.390 |
com.amazonaws | aws-java-sdk-ssm | 1.12.390 |
com.amazonaws | aws-java-sdk-storagegateway | 1.12.390 |
com.amazonaws | aws-java-sdk-sts | 1.12.390 |
com.amazonaws | aws-java-sdk-support | 1.12.390 |
com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
com.amazonaws | aws-java-sdk-workspaces | 1.12.390 |
com.amazonaws | jmespath-java | 1.12.390 |
com.clearspring.analytics | stroom | 2.9.6 |
com.databricks | Rserve | 1.8-3 |
com.databricks | jets3t | 0.7.1-0 |
com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
com.esotericsoftware | kryo-gearceerd | 4.0.2 |
com.esotericsoftware | minlog | 1.3.0 |
com.fasterxml | klasgenoot | 1.3.4 |
com.fasterxml.jackson.core | jackson-annotaties | 2.14.2 |
com.fasterxml.jackson.core | jackson-core | 2.14.2 |
com.fasterxml.jackson.core | jackson-databind | 2.14.2 |
com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.14.2 |
com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.14.2 |
com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.13.4 |
com.fasterxml.jackson.module | jackson-module-paranamer | 2.14.2 |
com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.14.2 |
com.github.ben-manes.cafeïne | cafeïne | 2.3.4 |
com.github.fommil | jniloader | 1.1 |
com.github.fommil.netlib | native_ref-java | 1.1 |
com.github.fommil.netlib | native_ref-java | 1.1-natives |
com.github.fommil.netlib | native_system-java | 1.1 |
com.github.fommil.netlib | native_system-java | 1.1-natives |
com.github.fommil.netlib | netlib-native_ref-linux-x86_64 | 1.1-natives |
com.github.fommil.netlib | netlib-native_system-linux-x86_64 | 1.1-natives |
com.github.luben | zstd-jni | 1.5.2-5 |
com.github.wendykierp | JTransforms | 3.1 |
com.google.code.findbugs | jsr305 | 3.0.0 |
com.google.code.gson | gson | 2.8.9 |
com.google.crypto.tink | Tink | 1.7.0 |
com.google.flatbuffers | flatbuffers-java | 1.12.0 |
com.google.guava | guave | 15.0 |
com.google.protobuf | protobuf-java | 2.6.1 |
com.h2database | h2 | 2.1.214 |
com.helger | profiler | 1.1.1 |
com.jcraft | jsch | 0.1.55 |
com.jolbox | bonecp | 0.8.0.RELEASE |
com.lihaoyi | sourcecode_2.12 | 0.1.9 |
com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
com.ning | compress-lzf | 1.1.2 |
com.sun.mail | javax.mail | 1.5.2 |
com.tdunning | json | 1.8 |
com.thoughtworks.paranamer | paranamer | 2.8 |
com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
com.twitter | chill-java | 0.10.0 |
com.twitter | chill_2.12 | 0.10.0 |
com.twitter | util-app_2.12 | 7.1.0 |
com.twitter | util-core_2.12 | 7.1.0 |
com.twitter | util-function_2.12 | 7.1.0 |
com.twitter | util-jvm_2.12 | 7.1.0 |
com.twitter | util-lint_2.12 | 7.1.0 |
com.twitter | util-registry_2.12 | 7.1.0 |
com.twitter | util-stats_2.12 | 7.1.0 |
com.typesafe | configuratie | 1.2.1 |
com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
com.uber | h3 | 3.7.0 |
com.univocity | univocity-parsers | 2.9.1 |
com.zaxxer | HikariCP | 4.0.3 |
commons-cli | commons-cli | 1.5.0 |
commons-codec | commons-codec | 1.15 |
commons-collections | commons-collections | 3.2.2 |
commons-dbcp | commons-dbcp | 1.4 |
commons-fileupload | commons-fileupload | 1.5 |
commons-httpclient | commons-httpclient | 3.1 |
commons-io | commons-io | 2.11.0 |
commons-lang | commons-lang | 2.6 |
commons-logging | commons-logging | 1.1.3 |
commons-pool | commons-pool | 1.5.4 |
dev.netje.netlib | arpack | 3.0.3 |
dev.netje.netlib | Blas | 3.0.3 |
dev.netje.netlib | lapack | 3.0.3 |
info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
io.airlift | aircompressor | 0.21 |
io.delta | delta-sharing-spark_2.12 | 0.6.3 |
io.dropwizard.metrics | metrische gegevenskern | 4.2.10 |
io.dropwizard.metrics | metrische gegevensgrafiet | 4.2.10 |
io.dropwizard.metrics | metrische statuscontroles | 4.2.10 |
io.dropwizard.metrics | metrics-jetty9 | 4.2.10 |
io.dropwizard.metrics | metrics-jmx | 4.2.10 |
io.dropwizard.metrics | metrics-json | 4.2.10 |
io.dropwizard.metrics | metrics-jvm | 4.2.10 |
io.dropwizard.metrics | metrics-servlets | 4.2.10 |
io.netty | netty-all | 4.1.87.Final |
io.netty | netty-buffer | 4.1.87.Final |
io.netty | netty-codec | 4.1.87.Final |
io.netty | netty-codec-http | 4.1.87.Final |
io.netty | netty-codec-http2 | 4.1.87.Final |
io.netty | netty-codec-sokken | 4.1.87.Final |
io.netty | netty-common | 4.1.87.Final |
io.netty | netty-handler | 4.1.87.Final |
io.netty | netty-handler-proxy | 4.1.87.Final |
io.netty | netty-resolver | 4.1.87.Final |
io.netty | netty-transport | 4.1.87.Final |
io.netty | netty-transport-classes-epoll | 4.1.87.Final |
io.netty | netty-transport-classes-kqueue | 4.1.87.Final |
io.netty | netty-transport-native-epoll | 4.1.87.Final |
io.netty | netty-transport-native-epoll | 4.1.87.Final-linux-aarch_64 |
io.netty | netty-transport-native-epoll | 4.1.87.Final-linux-x86_64 |
io.netty | netty-transport-native-kqueue | 4.1.87.Final-osx-aarch_64 |
io.netty | netty-transport-native-kqueue | 4.1.87.Final-osx-x86_64 |
io.netty | netty-transport-native-unix-common | 4.1.87.Final |
io.prometheus | simpleclient | 0.7.0 |
io.prometheus | simpleclient_common | 0.7.0 |
io.prometheus | simpleclient_dropwizard | 0.7.0 |
io.prometheus | simpleclient_pushgateway | 0.7.0 |
io.prometheus | simpleclient_servlet | 0.7.0 |
io.prometheus.jmx | verzamelaar | 0.12.0 |
jakarta.annotatie | jakarta.annotation-api | 1.3.5 |
jakarta.servlet | jakarta.servlet-api | 4.0.3 |
jakarta.validation | jakarta.validation-api | 2.0.2 |
jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
javax.activation | activering | 1.1.1 |
javax.el | javax.el-api | 2.2.4 |
javax.jdo | jdo-api | 3.0.1 |
javax.transaction | jta | 1.1 |
javax.transaction | transaction-api | 1.1 |
javax.xml.bind | jaxb-api | 2.2.11 |
javolution | javolution | 5.5.1 |
jline | jline | 2.14.6 |
joda-time | joda-time | 2.12.1 |
net.java.dev.jna | jna | 5.8.0 |
net.razorvine | pekelen | 1.3 |
net.sf.jpam | jpam | 1.1 |
net.sf.opencsv | opencsv | 2.3 |
net.sf.supercsv | super-CSV | 2.2.0 |
net.snowflake | snowflake-ingest-sdk | 0.9.6 |
net.snowflake | snowflake-jdbc | 3.13.22 |
net.sourceforge.f2j | arpack_combined_all | 0,1 |
org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
org.antlr | ST4 | 4.0.4 |
org.antlr | antlr-runtime | 3.5.2 |
org.antlr | antlr4-runtime | 4.9.3 |
org.antlr | tekenreekstemplate | 3.2.1 |
org.apache.ant | ant | 1.9.16 |
org.apache.ant | ant-jsch | 1.9.16 |
org.apache.ant | ant-launcher | 1.9.16 |
org.apache.arrow | pijlnotatie | 11.0.0 |
org.apache.arrow | arrow-memory-core | 11.0.0 |
org.apache.arrow | arrow-memory-netty | 11.0.0 |
org.apache.arrow | pijlvector | 11.0.0 |
org.apache.avro | avro | 1.11.1 |
org.apache.avro | avro-ipc | 1.11.1 |
org.apache.avro | avro-mapred | 1.11.1 |
org.apache.commons | commons-collections4 | 4.4 |
org.apache.commons | commons-compress | 1.21 |
org.apache.commons | commons-crypto | 1.1.0 |
org.apache.commons | commons-lang3 | 3.12.0 |
org.apache.commons | commons-math3 | 3.6.1 |
org.apache.commons | commons-text | 1.10.0 |
org.apache.curator | curator-client | 2.13.0 |
org.apache.curator | curator-framework | 2.13.0 |
org.apache.curator | curator-recepten | 2.13.0 |
org.apache.datasketches | datasketches-java | 3.1.0 |
org.apache.datasketches | datasketches-memory | 2.0.0 |
org.apache.derby | Derby | 10.14.2.0 |
org.apache.hadoop | hadoop-client-runtime | 3.3.4 |
org.apache.hive | hive-beeline | 2.3.9 |
org.apache.hive | hive-cli | 2.3.9 |
org.apache.hive | hive-jdbc | 2.3.9 |
org.apache.hive | hive-llap-client | 2.3.9 |
org.apache.hive | hive-llap-common | 2.3.9 |
org.apache.hive | hive-serde | 2.3.9 |
org.apache.hive | hive-shims | 2.3.9 |
org.apache.hive | hive-storage-api | 2.8.1 |
org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
org.apache.hive.shims | hive-shims-common | 2.3.9 |
org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
org.apache.httpcomponents | httpclient | 4.5.14 |
org.apache.httpcomponents | httpcore | 4.4.16 |
org.apache.ivy | klimop | 2.5.1 |
org.apache.logging.log4j | log4j-1.2-api | 2.19.0 |
org.apache.logging.log4j | log4j-api | 2.19.0 |
org.apache.logging.log4j | log4j-core | 2.19.0 |
org.apache.logging.log4j | log4j-slf4j2-impl | 2.19.0 |
org.apache.mesos | mesos | 1.11.0-shaded-protobuf |
org.apache.orc | orc-core | 1.8.2-shaded-protobuf |
org.apache.orc | orc-mapreduce | 1.8.2-shaded-protobuf |
org.apache.orc | orc-shims | 1.8.2 |
org.apache.thrift | libfb303 | 0.9.3 |
org.apache.thrift | libthrift | 0.12.0 |
org.apache.xbean | xbean-asm9-gearceerd | 4.22 |
org.apache.yetus | aantekeningen voor doelgroepen | 0.13.0 |
org.apache.zookeeper | zookeeper | 3.6.3 |
org.apache.zookeeper | zookeeper-jute | 3.6.3 |
org.checkerframework | checker-qual | 3.5.0 |
org.codehaus.jackson | jackson-core-asl | 1.9.13 |
org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
org.codehaus.janino | commons-compiler | 3.0.16 |
org.codehaus.janino | janino | 3.0.16 |
org.datanucleus | datanucleus-api-jdo | 4.2.4 |
org.datanucleus | datanucleus-core | 4.1.17 |
org.datanucleus | datanucleus-rdbms | 4.1.19 |
org.datanucleus | javax.jdo | 3.2.0-m3 |
org.eclipse.jetty | jetty-client | 9.4.50.v20221201 |
org.eclipse.jetty | jetty-vervolg | 9.4.50.v20221201 |
org.eclipse.jetty | jetty-http | 9.4.50.v20221201 |
org.eclipse.jetty | jetty-io | 9.4.50.v20221201 |
org.eclipse.jetty | jetty-jndi | 9.4.50.v20221201 |
org.eclipse.jetty | jetty-plus | 9.4.50.v20221201 |
org.eclipse.jetty | jetty-proxy | 9.4.50.v20221201 |
org.eclipse.jetty | jetty-security | 9.4.50.v20221201 |
org.eclipse.jetty | jetty-server | 9.4.50.v20221201 |
org.eclipse.jetty | jetty-servlet | 9.4.50.v20221201 |
org.eclipse.jetty | jetty-servlets | 9.4.50.v20221201 |
org.eclipse.jetty | jetty-util | 9.4.50.v20221201 |
org.eclipse.jetty | jetty-util-ajax | 9.4.50.v20221201 |
org.eclipse.jetty | jetty-webapp | 9.4.50.v20221201 |
org.eclipse.jetty | jetty-xml | 9.4.50.v20221201 |
org.eclipse.jetty.websocket | websocket-api | 9.4.50.v20221201 |
org.eclipse.jetty.websocket | websocket-client | 9.4.50.v20221201 |
org.eclipse.jetty.websocket | websocket-common | 9.4.50.v20221201 |
org.eclipse.jetty.websocket | websocket-server | 9.4.50.v20221201 |
org.eclipse.jetty.websocket | websocket-servlet | 9.4.50.v20221201 |
org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
org.glassfish.hk2 | hk2-api | 2.6.1 |
org.glassfish.hk2 | hk2-locator | 2.6.1 |
org.glassfish.hk2 | hk2-utils | 2.6.1 |
org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
org.glassfish.hk2.external | aopalliance opnieuw verpakt | 2.6.1 |
org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
org.glassfish.jersey.containers | jersey-container-servlet | 2.36 |
org.glassfish.jersey.containers | jersey-container-servlet-core | 2.36 |
org.glassfish.jersey.core | jersey-client | 2.36 |
org.glassfish.jersey.core | jersey-common | 2.36 |
org.glassfish.jersey.core | jersey-server | 2.36 |
org.glassfish.jersey.inject | jersey-hk2 | 2.36 |
org.hibernate.validator | sluimerstand-validator | 6.1.7.Final |
org.javassist | javassist | 3.25.0-GA |
org.jboss.logging | jboss-logging | 3.3.2.Final |
org.jdbi | jdbi | 2.63.1 |
org.jetbrains | Aantekeningen | 17.0.0 |
org.joda | joda-convert | 1,7 |
org.jodd | jodd-core | 3.5.2 |
org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
org.json4s | json4s-core_2.12 | 3.7.0-M11 |
org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
org.lz4 | lz4-java | 1.8.0 |
org.mariadb.jdbc | mariadb-java-client | 2.7.4 |
org.mlflow | mlflow-spark | 2.2.0 |
org.objenesis | objenesis | 2.5.1 |
org.postgresql | postgresql | 42.3.8 |
org.roaringbitmap | RoaringBitmap | 0.9.39 |
org.roaringbitmap | Shims | 0.9.39 |
org.rocksdb | rocksdbjni | 7.8.3 |
org.rosuda.REngine | REngine | 2.1.0 |
org.scala-lang | scala-compiler_2.12 | 2.12.15 |
org.scala-lang | scala-library_2.12 | 2.12.15 |
org.scala-lang | scala-reflect_2.12 | 2.12.15 |
org.scala-lang.modules | scala-collection-compat_2.12 | 2.4.3 |
org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
org.scala-sbt | test-interface | 1.0 |
org.scalacheck | scalacheck_2.12 | 1.14.2 |
org.scalactic | scalactic_2.12 | 3.0.8 |
org.scalanlp | breeze-macros_2.12 | 2.1.0 |
org.scalanlp | breeze_2.12 | 2.1.0 |
org.scalatest | scalatest_2.12 | 3.0.8 |
org.slf4j | jcl-over-slf4j | 2.0.6 |
org.slf4j | jul-to-slf4j | 2.0.6 |
org.slf4j | slf4j-api | 2.0.6 |
org.threeten | threeten-extra | 1.7.1 |
org.tukaani | xz | 1,9 |
org.typelevel | algebra_2.12 | 2.0.1 |
org.typelevel | katten-kernel_2.12 | 2.1.1 |
org.typelevel | spire-macros_2.12 | 0.17.0 |
org.typelevel | spire-platform_2.12 | 0.17.0 |
org.typelevel | spire-util_2.12 | 0.17.0 |
org.typelevel | spire_2.12 | 0.17.0 |
org.wildfly.openssl | wildfly-openssl | 1.1.3.Final |
org.xerial | sqlite-jdbc | 3.8.11.2 |
org.xerial.snappy | snappy-java | 1.1.8.4 |
org.yaml | snakeyaml | 1.33 |
oro | oro | 2.0.8 |
pl.edu.icm | JLargeArrays | 1.5 |
software.amazon.cryptools | AmazonCorrettoCryptoProvider | 1.6.1-linux-x86_64 |
software.amazon.ion | ion-java | 1.0.2 |
stax | stax-api | 1.0.1 |
Feedback
https://aka.ms/ContentUserFeedback.
Binnenkort beschikbaar: In de loop van 2024 zullen we GitHub-problemen geleidelijk uitfaseren als het feedbackmechanisme voor inhoud en deze vervangen door een nieuw feedbacksysteem. Zie voor meer informatie:Feedback verzenden en weergeven voor