Databricks Runtime 13.0 (niet ondersteund)

  • Artikel

De volgende releaseopmerkingen bevatten informatie over Databricks Runtime 13.0, mogelijk gemaakt door Apache Spark 3.4.0.

Databricks heeft deze afbeeldingen uitgebracht in april 2023.

Nieuwe functies en verbeteringen

H3-expressies ondersteunen nu lineaire geografische gebieden

De h3_coverash3 en h3_coverash3string functies ondersteunen nu lineaire (linestring en multilinestring) geografische gebieden. De functies produceren een minimaal afdekkende set H3-cellen met de opgegeven resolutie. Zie h3_coverash3 en h3_coverash3string.

Ganglia vervangen door metrische clustergegevens

Voor Databricks Runtime-versies 13 en hoger worden metrische gegevens van Ganglia vervangen door metrische gegevens van Azure Databricks-clusters. Voor Databricks Runtime-versies 12 en hieronder kunt u metrische ganglia-gegevens blijven gebruiken. Als u een werkstroom hebt die afhankelijk is van ganglia-metrische gegevens die niet tevreden kunnen zijn met metrische clustergegevens, neemt u contact op met uw Azure Databricks-accountteam. Zie Metrische rekengegevens weergeven.

Spark 3.4.0 uitgebracht

Apache Spark 3.4.0 is nu algemeen beschikbaar. Zie Spark Release 3.4.0.

Photon retourneert een fout als een bestand wordt gewijzigd tussen het plannen en uitvoeren van query's

Photon-query's retourneren nu een fout als een bestand wordt bijgewerkt tussen het plannen en uitvoeren van query's. Vóór deze wijziging zou Photon een bestand lezen, zelfs als de wijzigingstijd verandert tussen de planning en uitvoering van de query, wat kan leiden tot onvoorspelbare resultaten.

Nieuwe functies voor voorspellende I/O

Photon ondersteunt nu glijdende frames, voor zowel de modi RIJEN als BEREIK, met behulp van {ROWS | RANGE} BETWEEN offset_start { PRECEDING | FOLLOWING } AND offset_stop { PRECEDING | FOLLOWING }.

Uitgebreide ondersteuning voor voorspellende I/O-functies

Uitgebreide photon-ondersteuning voor CSV-, AVRO- en DataFrame-gegevensbronnen in cache wanneer uw schema exclusief scalaire kolommen bevat. Ondersteuning wordt ook uitgebreid voor geneste typen, zoals kaarten, structs en matrices.

De Databricks-connector gebruiken om verbinding te maken met een andere Databricks-werkruimte

Met de Azure Databricks-connector kunt u verbinding maken met rekenresources die zijn geconfigureerd in een andere werkruimte en resultaten retourneren naar uw huidige Azure Databricks-werkruimte. Het JDBC-stuurprogramma van Azure Databricks is nu opgenomen in Databricks Runtime. Zie De Databricks-connector gebruiken om verbinding te maken met een andere Databricks-werkruimte.

Aanvullende Kafka-opties voor Gestructureerd streamen met gedeeld cluster in Unity Catalog

U kunt nu de instellingen kakfa.ssl.truststore.location gebruiken en kafak.ssl.keystore.location Kafka-certificaten opslaan op externe locaties die worden beheerd door Unity Catalog wanneer u Structured Streaming gebruikt op clusters met gedeelde toegang. U kunt geen locaties in de DBFS-hoofdmap gebruiken.

Wijzigingen in Delta-tabellen overslaan met Structured Streaming

U kunt nu skipChangeCommits gegevens wijzigen in deltatabel negeren voor UPDATE, MERGEen DELETE bewerkingen. Dit vervangt ignoreChanges, wat nu is afgeschaft. Zie Updates en verwijderingen negeren.

DE FUNCTIE CREATE TABLE LIKE voor Delta-tabellen

CREATE TABLE LIKE wordt nu ondersteund bij het gebruik van Delta-tabellen.

Nieuwe kolomvelden met metagegevens die de begin- en lengte van het bestandsblok aandukken

U kunt nu de volgende metagegevensgegevens ophalen voor invoerbestanden met de _metadata kolom: file_block_start en file_block_length. Zie de kolom Bestandsmetagegevens voor meer informatie.

Nieuwe georuimtelijke H3-functies

De nieuwe h3_coverash3- en h3_coverash3string-expressies zijn beschikbaar voor georuimtelijke verwerking wanneer Photon is ingeschakeld. Zie georuimtelijke H3-functies.

Nieuwe ingebouwde SQL-functies

De volgende functies zijn toegevoegd:

%sql in Python-notebooks

Alle niet-lege %sql resultaten in Python-notebooks zijn nu toegankelijk met _sqldf het uitvoercachesysteem van IPython. Dit vereenvoudigt het gebruik van het DataFrame-resultaat in Python. Dit is een gedragswijziging ten aanzien van eerdere DBR-versies, zoals eerder, _sqldf niet altijd opnieuw is toegewezen.

_sqldfwordt niet opnieuw toegewezen aan een %sql celresultaat als de cel is uitgevoerd met behulp van parallelle UITVOERING van SQL-cellen.

%pip start Python niet automatisch opnieuw op

Nadat opdrachten zijn uitgevoerd %pip in Python-notebooks die de virtualEnv wijzigen, start Databricks het Python-proces niet meer automatisch opnieuw op. Als u het Python-proces opnieuw wilt starten, roept u het aan dbutils.library.restartPython(). Met deze wijziging %pip gedragen opdrachten in Databricks zich op dezelfde manier als Jupyter Notebooks en zijn ze consistent met !pip en %sh pip opdrachten. Databricks raadt %pip aan in plaats van !pip of %sh pip.

Python-bibliotheken met clusterbereik worden geïnstalleerd met behulp van een niet-hoofdgebruiker

Bibliotheken worden nu geïnstalleerd met een niet-hoofdgebruiker die verantwoordelijk is voor bibliotheekinstallaties. Als u pip-installatiegedrag in init-scripts wilt configureren, gebruikt u het bestand [globaal niveau https://pip.pypa.io/en/stable/topics/configuration/#configuration-files).

Bugfixes

  • In %sh opdrachten zijn de volgende oplossingen aangebracht:
    • Uitvoer met niet-UTF-8 tekens wordt nu ondersteund.
    • Subprocessen worden nu onderbroken wanneer de opdracht wordt geannuleerd.

Bibliotheekupgrades

  • Bijgewerkte Python-bibliotheken:
    • asttokens van 2.0.5 tot 2.2.1
    • zwart van 22.3.0 tot 22.6.0
    • boto3 van 1.21.32 tot 1.24.28
    • botocore van 1.24.32 tot 1.27.28
    • certifi van 2021.10.8 tot 2022.9.14
    • cffi van 1.15.0 tot 1.15.1
    • cryptografie van 3.4.8 tot 37.0.1
    • Cython van 0.29.28 tot 0.29.32
    • dbus-python van 1.2.16 tot 1.2.18
    • docstring-to-markdown van 0.11 tot 0.12
    • wordt uitgevoerd van 0.8.3 tot 1.2.0
    • facetten-overzicht van 1.0.0 tot 1.0.2
    • fastjsonschema van 2.16.2 tot 2.16.3
    • filelock van 3.9.0 tot 3.10.7
    • ipykernel van 6.15.3 tot 6.17.1
    • ipython van 8.5.0 tot 8.10.0
    • joblib van 1.1.1 tot 1.2.0
    • jsonschema van 4.4.0 tot 4.16.0
    • jupyter-client van 6.1.12 tot 7.3.4
    • kiwisolver van 1.3.2 tot 1.4.2
    • matplotlib van 3.5.1 tot 3.5.2
    • matplotlib-inline van 0.1.2 tot 0.1.6
    • nbformat van 5.3.0 tot 5.5.0
    • notebook van 6.4.8 tot 6.4.12
    • pandas van 1.4.2 tot 1.4.4
    • Kussen van 9.0.1 tot 9.2.0
    • pip van 21.2.4 tot 22.2.2
    • platformdirs van 2.6.2 tot 2.5.2
    • plotly from 5.6.0 to 5.9.0
    • prometheus-client van 0.13.1 tot 0.14.1
    • prompt-toolkit van 3.0.20 tot 3.0.36
    • psutil van 5.8.0 tot 5.9.0
    • pyflakes van 2.5.0 tot 3.0.1
    • PyGObject van 3.36.0 tot 3.42.1
    • pyparsing van 3.0.4 tot 3.0.9
    • pyright van 1.1.283 tot 1.1.294
    • python-lsp-server van 1.6.0 tot 1.7.1
    • pytz van 2021.3 tot 2022.1
    • pyzmq van 22.3.0 tot 23.2.0
    • aanvragen van 2.27.1 tot 2.28.1
    • touw van 0.22.0 tot 1.7.0
    • s3transfer van 0.5.0 tot 0.6.0
    • scikit-learn van 1.0.2 tot 1.1.1
    • scipy van 1.7.3 tot 1.9.1
    • setuptools van 61.2.0 tot 63.4.1
    • ssh-import-id van 5.10 tot 5.11
    • stack-data van 0.2.0 tot 0.6.2
    • testpad van 0.5.0 tot 0.6.0
    • tomli van 1.2.2 tot 2.0.1
    • ujson van 5.1.0 tot 5.4.0
    • urllib3 van 1.26.9 tot 1.26.11
    • virtualenv van 20.8.0 tot 20.16.3
    • whatthepatch van 1.0.4 tot 1.0.2
    • wiel van 0.37.0 tot 0.37.1
  • Bijgewerkte R-bibliotheken:
    • pijl van 10.0.0 tot 10.0.1
    • bit van 4.0.4 tot 4.0.5
    • bezem van 1.0.1 tot 1.0.3
    • bslib van 0.4.1 tot 0.4.2
    • chron van 2.3-58 tot 2.3-59
    • cli van 3.4.1 tot 3.6.0
    • colorspace van 2.0-3 tot 2.1-0
    • curl van 4.3.3 tot 5.0.0
    • data.table van 1.14.4 tot 1.14.6
    • dbplyr van 2.2.1 tot 2.3.0
    • digest van 0.6.30 tot 0.6.31
    • dplyr van 1.0.10 tot 1.1.0
    • e1071 van 1,7-12 tot 1,7-13
    • evalueren van 0,18 tot 0,20
    • fansi van 1.0.3 tot 1.0.4
    • fontawesome van 0.4.0 tot 0.5.0
    • forcats van 0.5.2 tot 1.0.0
    • fs van 1.5.2 tot 1.6.1
    • toekomst van 1.29.0 tot 1.31.0
    • slingeren van 1.2.1 tot 1.3.0
    • gert van 1.9.1 tot 1.9.2
    • glmnet van 4.1-4 tot 4.1-6
    • globals van 0.16.1 tot 0.16.2
    • gower van 1.0.0 tot 1.0.1
    • highr van 0,9 tot 0,10
    • htmltools van 0.5.3 tot 0.5.4
    • htmlwidgets van 1.5.4 tot 1.6.1
    • httpuv van 1.6.6 tot 1.6.8
    • isoband van 0.2.6 tot 0.2.7
    • jsonlite van 1.8.3 tot 1.8.4
    • breisel van 1,40 tot 1,42
    • lava van 1.7.0 tot 1.7.1
    • listenv van 0.8.0 tot 0.9.0
    • lubridate van 1.9.0 tot 1.9.1
    • markdown van 1.3 tot 1,5
    • modelr van 0.1.9 tot 0.1.10
    • openssl van 2.0.4 tot 2.0.5
    • parallel van 1.32.1 tot 1.34.0
    • pkgbuild van 1.3.1 tot 1.4.0
    • pkgdown van 2.0.6 tot 2.0.7
    • pkgload van 1.3.1 tot 1.3.2
    • plyr van 1.8.7 tot 1.8.8
    • voortgang van 0.11.0 tot 0.13.0
    • purrr van 0.3.5 tot 1.0.1
    • ragg van 1.2.4 tot 1.2.5
    • Rcpp van 1.0.9 tot 1.0.10
    • readxl van 1.4.1 tot 1.4.2
    • recepten van 1.0.3 tot 1.0.4
    • rmarkdown van 2.18 tot 2.20
    • RODBC van 1.3-19 tot 1.3-20
    • roxygen2 van 7.2.1 tot 7.2.3
    • RSQLite van 2.2.18 tot 2.2.20
    • sass van 0.4.2 tot 0.4.5
    • glanzend van 1.7.3 tot 1.7.4
    • sourcetools van 0.1.7 tot 0.1.7-1
    • sparklyr van 1.7.8 tot 1.7.9
    • SparkR van 3.3.2 tot 3.4.0
    • ruimtelijk van 7,3-11 tot 7,3-15
    • stringi van 1.7.8 tot 1.7.12
    • stringr van 1.4.1 tot 1.5.0
    • overleving van 3,4-0 tot 3,5-3
    • testthat van 3.1.5 tot 3.1.6
    • tidyr van 1.2.1 tot 1.3.0
    • timechange van 0.1.1 tot 0.2.0
    • timeDate van 4021.106 tot 4022.108
    • tinytex van 0,42 tot 0,44
    • utf8 van 1.2.2 tot 1.2.3
    • vctrs van 0.5.0 tot 0.5.2
    • vroom van 1.6.0 tot 1.6.1
    • Whisker van 0.4 tot 0.4.1
    • xfun van 0,34 tot 0,37
    • yaml van 2.3.6 tot 2.3.7
  • Bijgewerkte Java-bibliotheken:
    • com.amazonaws.aws-java-sdk-autoscaling van 1.12.189 tot 1.12.390
    • com.amazonaws.aws-java-sdk-cloudformation van 1.12.189 tot 1.12.390
    • com.amazonaws.aws-java-sdk-cloudfront van 1.12.189 tot 1.12.390
    • com.amazonaws.aws-java-sdk-cloudhsm van 1.12.189 tot 1.12.390
    • com.amazonaws.aws-java-sdk-cloudsearch van 1.12.189 tot 1.12.390
    • com.amazonaws.aws-java-sdk-cloudtrail van 1.12.189 tot 1.12.390
    • com.amazonaws.aws-java-sdk-cloudwatch van 1.12.189 tot 1.12.390
    • com.amazonaws.aws-java-sdk-cloudwatchmetrics van 1.12.189 tot 1.12.390
    • com.amazonaws.aws-java-sdk-codedeploy van 1.12.189 tot 1.12.390
    • com.amazonaws.aws-java-sdk-cognitoidentity van 1.12.189 tot 1.12.390
    • com.amazonaws.aws-java-sdk-cognitosync van 1.12.189 tot 1.12.390
    • com.amazonaws.aws-java-sdk-config van 1.12.189 tot 1.12.390
    • com.amazonaws.aws-java-sdk-core van 1.12.189 tot 1.12.390
    • com.amazonaws.aws-java-sdk-datapipeline van 1.12.189 tot 1.12.390
    • com.amazonaws.aws-java-sdk-directconnect van 1.12.189 tot 1.12.390
    • com.amazonaws.aws-java-sdk-directory van 1.12.189 tot 1.12.390
    • com.amazonaws.aws-java-sdk-dynamodb van 1.12.189 tot 1.12.390
    • com.amazonaws.aws-java-sdk-ec2 van 1.12.189 tot 1.12.390
    • com.amazonaws.aws-java-sdk-ecs van 1.12.189 tot 1.12.390
    • com.amazonaws.aws-java-sdk-efs van 1.12.189 tot 1.12.390
    • com.amazonaws.aws-java-sdk-elasticache van 1.12.189 tot 1.12.390
    • com.amazonaws.aws-java-sdk-elasticbeanstalk van 1.12.189 tot 1.12.390
    • com.amazonaws.aws-java-sdk-elasticloadbalancing van 1.12.189 tot 1.12.390
    • com.amazonaws.aws-java-sdk-elastictranscoder van 1.12.189 tot 1.12.390
    • com.amazonaws.aws-java-sdk-emr van 1.12.189 tot 1.12.390
    • com.amazonaws.aws-java-sdk-glacier van 1.12.189 tot 1.12.390
    • com.amazonaws.aws-java-sdk-glue van 1.12.189 tot 1.12.390
    • com.amazonaws.aws-java-sdk-iam van 1.12.189 tot 1.12.390
    • com.amazonaws.aws-java-sdk-importexport van 1.12.189 tot 1.12.390
    • com.amazonaws.aws-java-sdk-kinesis van 1.12.189 tot 1.12.390
    • com.amazonaws.aws-java-sdk-kms van 1.12.189 tot 1.12.390
    • com.amazonaws.aws-java-sdk-lambda van 1.12.189 tot 1.12.390
    • com.amazonaws.aws-java-sdk-logs van 1.12.189 tot 1.12.390
    • com.amazonaws.aws-java-sdk-machinelearning van 1.12.189 tot 1.12.390
    • com.amazonaws.aws-java-sdk-opsworks van 1.12.189 tot 1.12.390
    • com.amazonaws.aws-java-sdk-rds van 1.12.189 tot 1.12.390
    • com.amazonaws.aws-java-sdk-redshift van 1.12.189 tot 1.12.390
    • com.amazonaws.aws-java-sdk-route53 van 1.12.189 tot 1.12.390
    • com.amazonaws.aws-java-sdk-s3 van 1.12.189 tot 1.12.390
    • com.amazonaws.aws-java-sdk-ses van 1.12.189 tot 1.12.390
    • com.amazonaws.aws-java-sdk-simpledb van 1.12.189 tot 1.12.390
    • com.amazonaws.aws-java-sdk-simpleworkflow van 1.12.189 tot 1.12.390
    • com.amazonaws.aws-java-sdk-sns van 1.12.189 tot 1.12.390
    • com.amazonaws.aws-java-sdk-sqs van 1.12.189 tot 1.12.390
    • com.amazonaws.aws-java-sdk-ssm van 1.12.189 tot 1.12.390
    • com.amazonaws.aws-java-sdk-storagegateway van 1.12.189 tot 1.12.390
    • com.amazonaws.aws-java-sdk-sts van 1.12.189 tot 1.12.390
    • com.amazonaws.aws-java-sdk-support van 1.12.189 tot 1.12.390
    • com.amazonaws.aws-java-sdk-workspaces van 1.12.189 tot 1.12.390
    • com.amazonaws.jmespath-java van 1.12.189 tot 1.12.390
    • com.fasterxml.jackson.core.jackson-annotaties van 2.13.4 tot 2.14.2
    • com.fasterxml.jackson.core.jackson-core van 2.13.4 tot 2.14.2
    • com.fasterxml.jackson.core.jackson-databind van 2.13.4.2 tot 2.14.2
    • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor van 2.13.4 tot 2.14.2
    • com.fasterxml.jackson.datatype.jackson-datatype-joda van 2.13.4 tot 2.14.2
    • com.fasterxml.jackson.module.jackson-module-paranamer van 2.13.4 tot 2.14.2
    • com.fasterxml.jackson.module.jackson-module-scala_2.12 van 2.13.4 tot 2.14.2
    • com.github.luben.zstd-jni van 1.5.2-1 tot 1.5.2-5
    • com.google.code.gson.gson van 2.8.6 tot 2.8.9
    • com.google.crypto.tink.tink van 1.6.1 tot 1.7.0
    • com.h2database.h2 van 2.0.204 tot 2.1.214
    • com.jcraft.jsch van 0.1.50 tot 0.1.55
    • com.ning.compress-lzf van 1.1 tot 1.1.2
    • commons-fileupload.commons-fileupload van 1.3.3 tot 1.5
    • dev.overeenkomt.netlib.arpack van 2.2.1 tot 3.0.3
    • dev.verhuisde.netlib.blas van 2.2.1 tot 3.0.3
    • dev.overeenkomt.netlib.lapack van 2.2.1 tot 3.0.3
    • io.dropwizard.metrics.metrics-core van 4.1.1 tot 4.2.10
    • io.dropwizard.metrics.metrics-graphite van 4.1.1 tot 4.2.10
    • io.dropwizard.metrics.metrics-healthchecks van 4.1.1 tot 4.2.10
    • io.dropwizard.metrics.metrics-jetty9 van 4.1.1 tot 4.2.10
    • io.dropwizard.metrics.metrics-jmx van 4.1.1 tot 4.2.10
    • io.dropwizard.metrics.metrics-json van 4.1.1 tot 4.2.10
    • io.dropwizard.metrics.metrics-jvm van 4.1.1 tot 4.2.10
    • io.dropwizard.metrics.metrics-servlets van 4.1.1 tot 4.2.10
    • io.netty.netty-all van 4.1.74.Final tot 4.1.87.Final
    • io.netty.netty-buffer van 4.1.74.Final tot 4.1.87.Final
    • io.netty.netty-codec van 4.1.74.Final tot 4.1.87.Final
    • io.netty.netty-common van 4.1.74.Final tot 4.1.87.Final
    • io.netty.netty-handler van 4.1.74.Final tot 4.1.87.Final
    • io.netty.netty-resolver van 4.1.74.Final tot 4.1.87.Final
    • io.netty.netty-transport van 4.1.74.Final tot 4.1.87.Final
    • io.netty.netty-transport-classes-epoll van 4.1.74.Final tot 4.1.87.Final
    • io.netty.netty-transport-classes-kqueue van 4.1.74.Final tot 4.1.87.Final
    • io.netty.netty-transport-native-unix-common van 4.1.74.Final tot 4.1.87.Final
    • joda-time.joda-time van 2.10.13 tot 2.12.1
    • net.razorvine.pickle van 1.2 tot 1.3
    • org.antlr.antlr4-runtime van 4.8 tot 4.9.3
    • org.apache.ant.ant van 1.9.2 tot 1.9.16
    • org.apache.ant.ant-jsch van 1.9.2 tot 1.9.16
    • org.apache.ant.ant-launcher van 1.9.2 tot 1.9.16
    • org.apache.arrow.arrow-format van 7.0.0 tot 11.0.0
    • org.apache.arrow.arrow-memory-core van 7.0.0 tot 11.0.0
    • org.apache.arrow.arrow-memory-netty van 7.0.0 tot 11.0.0
    • org.apache.arrow.arrow-vector van 7.0.0 tot 11.0.0
    • org.apache.avro.avro van 1.11.0 tot 1.11.1
    • org.apache.avro.avro-ipc van 1.11.0 tot 1.11.1
    • org.apache.avro.avro-mapred van 1.11.0 tot 1.11.1
    • org.apache.httpcomponents.httpclient van 4.5.13 tot 4.5.14
    • org.apache.httpcomponents.httpcore van 4.4.14 tot 4.4.16
    • org.apache.ivy.ivy van 2.5.0 tot 2.5.1
    • org.apache.logging.log4j.log4j-1.2-api van 2.18.0 tot 2.19.0
    • org.apache.logging.log4j.log4j-api van 2.18.0 tot 2.19.0
    • org.apache.logging.log4j.log4j-core van 2.18.0 tot 2.19.0
    • org.apache.orc.orc-core van 1.7.6 tot 1.8.2-shaded-protobuf
    • org.apache.orc.orc-mapreduce van 1.7.6 tot 1.8.2-shaded-protobuf
    • org.apache.orc.orc-shims van 1.7.6 tot 1.8.2
    • org.apache.xbean.xbean-asm9-shaded van 4.20 tot 4.22
    • org.apache.zookeeper.zookeeper van 3.6.2 tot 3.6.3
    • org.apache.zookeeper.zookeeper-jute van 3.6.2 tot 3.6.3
    • org.eclipse.jetty.jetty-client van 9.4.46.v20220331 tot 9.4.50.v20221201
    • org.eclipse.jetty.jetty-vervolg van 9.4.46.v20220331 tot 9.4.50.v20221201
    • org.eclipse.jetty.jetty-http van 9.4.46.v20220331 tot 9.4.50.v20221201
    • org.eclipse.jetty.jetty-io van 9.4.46.v20220331 tot 9.4.50.v20221201
    • org.eclipse.jetty.jetty-jndi van 9.4.46.v20220331 tot 9.4.50.v20221201
    • org.eclipse.jetty.jetty-plus van 9.4.46.v20220331 tot 9.4.50.v20221201
    • org.eclipse.jetty.jetty-proxy van 9.4.46.v20220331 tot 9.4.50.v20221201
    • org.eclipse.jetty.jetty-security van 9.4.46.v20220331 tot 9.4.50.v20221201
    • org.eclipse.jetty.jetty-server van 9.4.46.v20220331 tot 9.4.50.v20221201
    • org.eclipse.jetty.jetty-servlet van 9.4.46.v20220331 tot 9.4.50.v20221201
    • org.eclipse.jetty.jetty-servlets van 9.4.46.v20220331 tot 9.4.50.v20221201
    • org.eclipse.jetty.jetty-util van 9.4.46.v20220331 tot 9.4.50.v20221201
    • org.eclipse.jetty.jetty-util-ajax van 9.4.46.v20220331 tot 9.4.50.v20221201
    • org.eclipse.jetty.jetty-webapp van 9.4.46.v20220331 tot 9.4.50.v20221201
    • org.eclipse.jetty.jetty-xml van 9.4.46.v20220331 tot 9.4.50.v20221201
    • org.eclipse.jetty.websocket.websocket-api van 9.4.46.v20220331 tot 9.4.50.v20221201
    • org.eclipse.jetty.websocket.websocket-client van 9.4.46.v20220331 tot 9.4.50.v20221201
    • org.eclipse.jetty.websocket.websocket-common van 9.4.46.v20220331 tot 9.4.50.v20221201
    • org.eclipse.jetty.websocket.websocket-server van 9.4.46.v20220331 tot 9.4.50.v20221201
    • org.eclipse.jetty.websocket.websocket-servlet van 9.4.46.v20220331 tot 9.4.50.v20221201
    • org.hibernate.validator.hibernate-validator van 6.1.0.Final tot 6.1.7.Final
    • org.mlflow.mlflow-spark van 2.1.1 tot 2.2.0
    • org.postgresql.postgresql van 42.3.3 tot 42.3.8
    • org.roaringbitmap.RoaringBitmap van 0.9.25 tot 0.9.39
    • org.roaringbitmap.shims van 0.9.25 tot 0.9.39
    • org.rocksdb.rocksdbjni van 6.28.2 tot 7.8.3
    • org.scala-lang.scala-compiler_2.12 van 2.12.14 tot 2.12.15
    • org.scala-lang.scala-library_2.12 van 2.12.14 tot 2.12.15
    • org.scala-lang.scala-reflect_2.12 van 2.12.14 tot 2.12.15
    • org.scalanlp.breeze-macros_2.12 van 1.2 tot 2.1.0
    • org.scalanlp.breeze_2.12 van 1.2 tot 2.1.0
    • org.slf4j.jcl-over-slf4j van 1.7.36 tot 2.0.6
    • org.slf4j.jul-to-slf4j van 1.7.36 tot 2.0.6
    • org.slf4j.slf4j-api van 1.7.36 tot 2.0.6
    • org.threeten.threeten-extra van 1.5.0 tot 1.7.1
    • org.wildfly.openssl.wildfly-openssl van 1.0.7.Final tot 1.1.3.Final
    • org.yaml.snakeyaml van 1.24 tot 1.33

Apache Spark

Databricks Runtime 13.0 bevat Apache Spark 3.4.0.

Spark SQL

Functies

  • Ondersteuning implementeren voor STANDAARDwaarden voor kolommen in tabellen (SPARK-38334)
  • Voeg Dataset.as(StructType) (SPARK-39625) toe
  • Ondersteuning voor geparameteriseerde SQL (SPARK-41271, SPARK-42702)
  • Unpivot/melt toevoegen (SPARK-38864, SPARK-39876)
  • Ondersteuning voor 'laterale kolomaliasverwijzingen' (SPARK-27561)
  • Offsetcomponent voor ondersteuningsresultaten (SPARK-28330, SPARK-39159)
  • Ondersteuning voor tijdstempel zonder tijdzonegegevenstype (SPARK-35662)
  • Ondersteuning voor scalaire subquery in tijdreizen (SPARK-39306)
  • Catalogus-API compatibel maken met 3-laag-naamruimte (SPARK-39235)
  • Ondersteuning voor tijdstempel in seconden voor TimeTravel met behulp van Dataframe-opties (SPARK-39633)
  • SparkSession.config(Map) toevoegen (SPARK-40163)
  • Ondersteuning voor het wijzigen van de standaarddatabase van de sessiecatalogus (SPARK-35242)
  • Protobuf-ondersteuning voor Spark - from_protobuf AND to_protobuf (SPARK-40654)
  • Toevoegen WANNEER NIET OVEREENKOMT MET DE BRON-component VOOR SAMENVOEGEN IN (SPARK-40921)
  • Beperking voor het bestellen van OPTIES voor CREATE TABLE-kolommen (SPARK-40944)
  • SQL-equivalent voor dataframe-overschrijfopdracht (SPARK-40956)
  • Ondersteuning genereren zonder vereiste onderliggende uitvoer voor het hosten van externe verwijzingen (SPARK-41441)
  • ORDER BY ALL (SPARK-41637)
  • GROEPEREN OP ALLE (SPARK-41635)
  • FlatMapSortedGroups en cogroupSorted (SPARK-38591) toevoegen
  • Ondersteuning voor subquery's met gecorreleerde niet-gelijkheidspredicaten (SPARK-36114)
  • Ondersteuning voor subquery's met correlatie via UNION/INTERSECT/EXCEPT (SPARK-36124)

ANSI-naleving

  • ANSI SQL-modus: retourneer altijd null voor ongeldige toegang tot de toewijzingskolom (SPARK-40066)
  • Ondersteuning voor id's met dubbele aanhalingspunten (SPARK-40585)
  • ANSI SQL-modus: Round/Bround moet een fout retourneren voor een overloop van gehele getallen (SPARK-42045)
  • Ondersteuning voor casten van integralen naar ANSI-intervallen (SPARK-40008)
  • Ondersteuning voor cast van decimalen naar ANSI-intervallen (SPARK-40014)
  • Retourneer bredere ANSI-intervaltypen van de percentielfuncties (SPARK-40151)
  • Ondersteuning voor cast van ANSI-intervallen naar decimalen (SPARK-39470)
  • Ondersteuning voor cast-intervallen naar integralen in ANSI-modus (SPARK-39451)
  • SQLSTATE-gebruik voor foutklassen beperken (SPARK-41994)

Functions

  • Ondersteuning voor generatorfuncties met tabelwaarden in de FROM-component (SPARK-41594)
  • Ondersteuning voor ansi-statistische functie: REGR_SXY (SPARK-37681)
  • Ondersteuning voor ansi-statistische functie: REGR_R2 (SPARK-37641)
  • AnSI-statistische functie ondersteunen: REGR_SXX (SPARK-37672)
  • Ondersteuning voor ansi-statistische functie: REGR_SYY (SPARK-37702)
  • Ondersteuning voor ansi-statistische functie: REGR_SLOPE (SPARK-39230)
  • AnSI-statistische functie ondersteunen: REGR_INTERCEPT (SPARK-37623)
  • Ondersteuning voor ansi-aggregatiefunctie PERCENTILE_CONT als vensterfunctie (SPARK-38219)
  • AnSI-aggregatiefunctie ondersteunen: PERCENTILE_DISC (SPARK-37691)
  • Ondersteuning voor SPLIT_PART functie (SPARK-38063)
  • Ondersteuning voor TRY_AVG functie (SPARK-38589)
  • Ondersteuning voor TRY_TO_BINARY functie (SPARK-38590)
  • Ondersteuning voor de TO_NUMBER- en TRY_TO_NUMBER SQL-functies volgens een nieuwe specificatie (SPARK-38796)
  • Ondersteuning voor algemene ANSI-waardespecificatie en -functie - GEBRUIKER (SPARK-39138)
  • Ondersteuning voor TO_CHAR- en TRY_TO_CHAR-functies voor het opmaken van decimale waarden als tekenreeksen (SPARK-28516)
  • Ondersteuning voor ANY_VALUE statistische functie (SPARK-39213)
  • Ondersteuning voor EQUAL_NUL functie (SPARK-39305)
  • Ondersteuning voor statistische functie MEDIAN (SPARK-39320)
  • Ondersteuning voor REGEXP_COUNT functie (SPARK-39618)
  • Ondersteuning voor REGEXP_INSTR functie (SPARK-39744)
  • Ondersteuning voor REGEXP_SUBSTR functie (SPARK-39695)
  • De functie UNPIVOT (SPARK-39876) ondersteunen
  • Ondersteuning voor TRY_TO_TIMESTAMP functie (SPARK-39795)
  • Ondersteuning voor URL-codering/decoderen als ingebouwde functie en opsnijdende URL-gerelateerde functies (SPARK-39741)
  • Ondersteuning voor statistische functieMODUS (SPARK-39808)
  • De functie GET ondersteunen (SPARK-40109)
  • Functiealiassen toevoegen: LENGTE, DATEPART, DATEADD, DATE_DIFF, CURDATE (SPARK-40352)
  • De TO_BINARY-functie (SPARK-40112) verbeteren
  • Ondersteuning CURRENT_SCHEMA (SPARK-41323)
  • Ondersteuning voor het maskeren van ingebouwde functieMASKER (SPARK-40687)
  • Ondersteuning voor functie met hoge volgorde: ARRAY_COMPACT (SPARK-41235)
  • Ondersteuning voor ARRAY_APPEND functie (SPARK-41232)
  • Ondersteuning voor ARRAY_INSERT functie (SPARK-41234)
  • Ondersteuning voor LUHN_CHECK functie (SPARK-42191)
  • Ondersteuning voor ARRAY_SORT(kolom, comparator) (SPARK-39925)

Gegevensbronnen

  • Ondersteuning voor kolomstatistieken in DS v2 (SPARK-41378)
  • Storage Partitioned Join (SPJ) in DS v2 (SPARK-37375)
  • Bewerkingen op rijniveau in DS v2 (SPARK-35801)
  • Add SupportsReportOrdering mix in interface for DS v2 Scan (SPARK-38647)
  • Datumtype afleiden voor CSV-schemadeductie (SPARK-39469)
  • Metrische stuurprogrammagegevens ondersteunen in aangepaste metrische DS v2-API (SPARK-39635)
  • Distributie- en bestelondersteuning voor DS v2-functie (SPARK-39607)
  • StringEndsWith/Contains biedt ondersteuning voor push-down naar Parquet, zodat we gebruikmaken van het woordenlijstfilter (SPARK-39002)
  • Ondersteuning voor UDT in spark Parquet vectorized reader (SPARK-39086)
  • De kolom METAGEGEVENS uitbreiden ter ondersteuning van rijindexen voor Parquet-bestanden (SPARK-37980)
  • Ondersteuning voor het lezen van Parquet FIXED_LEN_BYTE_ARRAY -type (SPARK-41096)
  • De volgorde van filterpredicaten optimaliseren (SPARK-40045)
  • Ondersteuning voor CTE- en tijdelijke tabelquery's met MSSQL JDBC (SPARK-37259)
  • Ondersteuning voor ignoreCorruptFiles en ignoreMissingFiles in opties voor gegevensbron (SPARK-38767)
  • V1-schrijfbewerkingen ophalen naar WriteFiles (SPARK-41407)
  • Tekenopvulling aan de leeszijde toevoegen voor externe gegevensbestanden (SPARK-40697)

Queryoptimalisatie

  • Niet-gecorreleerde scalaire subquery's samenvoegen (SPARK-34079)
  • Standaard Bloom-filterdeelnames inschakelen (SPARK-38841)
  • Verwijder overbodige afzonderlijke expressies in een statistische expressie door distinctKeys (SPARK-38832)
  • Ondersteuning voor pushdown van predicaat en kolomsnoeien voor gededupliceeerde CTE's (SPARK-37670)
  • Outer join verwijderen als statistische functies dubbele agnostisch zijn aan de gestreamde zijde (SPARK-38886)
  • Verwijder left/right outer join als alleen kolommen links/rechts zijn geselecteerd en de joinsleutels aan de andere kant uniek zijn (SPARK-39172)
  • Globale sortering optimaliseren voor repartitionByExpression (SPARK-39911)
  • TransponerenWindow-regel (SPARK-38034) optimaliseren
  • Enhance EliminateSorts to support removing sorts via LocalLimit (SPARK-40050)
  • Lokale limiet naar beide zijden pushen als de joinvoorwaarde leeg is (SPARK-40040)
  • PushProjectionThroughLimit toevoegen voor Optimizer (SPARK-40501)
  • Ondersteuning voor PIVOT/UNPIVOT met join-kinderen (SPARK-41195)
  • Ondersteuning voor het verwijderen van kolommen met meerdere niet-deterministische filters (SPARK-41017)
  • Uitvoerpartitionering en -volgorde verbeteren met AQE-cache (SPARK-41048)
  • Prestaties verbeteren met meerdere achtige prestaties door een evenwichtige structuurpredicaat voor expressies te maken (SPARK-41167)
  • Verwijder de sortering als dit het onderliggende element is van RepartitionByExpression (SPARK-36703)
  • Beschikbare kolomstatistieken uit voltooide queryfasen gebruiken (SPARK-39991)
  • Expressies opnieuw gebruiken in WindowSpecDefinition (SPARK-41805)
  • AliasAwareOutputPartitioning en AliasAwareQueryOutputOrdering verbeteren om rekening te houden met alle aliassen (SPARK-40086, SPARK-42049)
  • Push down limit through Python UDF's (SPARK-42115)

Code genereren en query's uitvoeren

  • StandaardJoin in BroadcastNestedLoopJoinExec parallel uitvoeren (SPARK-40487)
  • Codegen-ondersteuning voor HiveGenericUDF (SPARK-42051)
  • Introduceer shuffle voor SinglePartition (SPARK-41986)
  • DPP ondersteunt de snoeizijde union (SPARK-39217)

Andere belangrijke wijzigingen

  • Ondersteuning voor verzameling automatische partitiestatistieken (SPARK-38573)
  • Foutberichten opmaken in de Thrift-server (SPARK-40098)
  • Een extensie-API toevoegen om normalisatie voor caching uit te voeren (SPARK-41183)
  • Spark-typen herstructureren door fysieke typen te introduceren (SPARK-41226)
  • OneOf-veldondersteuning en recursiecontroles (SPARK-41396)
  • De logica voor kolomomzetting centraliseren (SPARK-41405)
  • De validatie van planwijziging verbeteren (SPARK-42081)
  • SparkPath introduceren voor typeveiligheid (SPARK-41970)
  • Uitzondering genereren voor db_name.view_name bij het maken van een tijdelijke weergave per gegevensset-API (SPARK-41090)
  • De standaardwaarde van het argument Maskerfunctie wijzigen van -1 in NULL (SPARK-42070)

Spark Core

Uit bedrijf nemen

  • Vermijd onnodige taak opnieuw uitvoeren op uit bedrijf genomen uitvoerder als gegevens in willekeurige volgorde zijn gemigreerd (SPARK-41469)
  • Fout bij het ophalen van fasen negeren die wordt veroorzaakt door uit bedrijf genomen uitvoerprogramma (SPARK-40481)
  • Schakel spark.storage.decommission in. (rdd|shuffle) Blocks.enabled standaard (SPARK-40198)
  • Ondersteuning toevoegen voor YARN buiten gebruik stellen wanneer ESS is uitgeschakeld (SPARK-30835)

Scheduler

  • Faseplanning maken voor lokale clustermodus (SPARK-41949)
  • Taakresourceprofiel op faseniveau voor zelfstandig cluster ondersteunen wanneer dynamische toewijzing is uitgeschakeld (SPARK-39853)
  • Delay onDisconnected to enable Driver receives ExecutorExitCode (SPARK-39957)
  • De speculatie verbeteren via de metrische gegevens voor fasetaken (SPARK-32170)
  • Ondersteuning voor resourceplanning op faseniveau toevoegen voor een zelfstandig cluster (SPARK-39062)
  • Het LaunchTask-proces verbeteren om fasefouten te voorkomen die worden veroorzaakt door launchtask-berichten (SPARK-39955)

Shuffle

  • Leesgegevens aan de clientzijde van Push Based Shuffle toevoegen (SPARK-36620)
  • Metrische gegevens aan de serverzijde voor pushgebaseerde shuffle (SPARK-33573)
  • Zorg ervoor dat mergedShuffleCleaner is afgesloten voordat de database wordt gesloten (SPARK-40186)
  • RocksDB-ondersteuning toevoegen voor shuffle-servicestatusopslag (SPARK-38888)
  • LevelDB inkapselen die worden gebruikt voor het opslaan van externe/externe shuffle-status als DB (SPARK-38909)
  • Spark.dynamicAllocation.shuffleTracking.enabled standaard inschakelen (SPARK-3984)
  • Schakel push-gebaseerde shuffle-service in om de status op te slaan in NM-niveau DB voor opnieuw opstarten met behoud van werk (SPARK-33236)
  • Willekeurige blokken verwijderen met behulp van de shuffle-service voor uitgebrachte uitvoerders (SPARK-37618)

Andere belangrijke wijzigingen

  • Ondersteuning voor IPv6-omgeving (SPARK-39457)
  • Spark.kryo.onveilig standaard inschakelen (SPARK-42137)
  • Geen willekeurig aangepast classpath met proxygebruiker in de clustermodus (SPARK-41958)
  • Voorkom dat BlockManager opnieuw wordt geregistreerd als de uitvoerder verloren is gegaan (SPARK-41360)
  • Verwijder de beperking die het resultaat van één taak moet passen in 2 GB (SPARK-40622)
  • Verwijder de ondersteuning van afgeschafte spark.akka.* configs (SPARK-40401)
  • Standaardlogboekregistratie wijzigen in stderr zodat deze consistent is met het gedrag van log4j (SPARK-40406)
  • DirectTaskResult-metagegevens uitsluiten bij het berekenen van de resultaatgrootte (SPARK-40261)
  • Het aantal initiële partities in take() toestaan (SPARK-40211)
  • Onderbrekende vergrendeling gebruiken in plaats van gesynchroniseerd in Executor.updateDependencies() (SPARK-40235)
  • Taakfout moet altijd listeners voor taakfouten activeren (SPARK-40106)
  • De mogelijkheid toevoegen om controle of polling selectief uit te schakelen (SPARK-36462)
  • Niet-geserialiseerde broadcastrelaties niet opslaan in het stuurprogramma (SPARK-39983)
  • Impasse tussen TaskMemoryManager en UnsafeExternalSorter.SpillableIterator (SPARK-39283) oplossen
  • Stel de getalpartities in een fase beschikbaar in TaskContext (SPARK-38679)
  • Geheugenoverheadfactor configureerbaar maken (SPARK-38194)
  • Vermijd het gebruik van bash -c in ShellBasedGroupsMappingProvider (SPARK-38992)

Gestructureerd streamen

Belangrijke functies

  • Asynchrone voortgangstracering (SPARK-39591)
  • Willekeurige Stateful verwerking in Python in Structured Streaming (SPARK-40434)
  • Protobuf-ondersteuning in Structured Streaming (SPARK-40653)
  • Problemen met het filteren van late records oplossen ter ondersteuning van het koppelen van stateful operators (SPARK-40925)

Andere belangrijke wijzigingen

  • Inleiding tot een streamingcontrolepuntbestandsbeheer op basis van de Abortable-interface van Hadoop (SPARK-40039)
  • Trigger.Once verwijderen en Trigger.AvailableNow promoveren (SPARK-39805)
  • De informatie van de catalogustabel beschikbaar maken voor het logische plan in streamingquery (SPARK-39564)
  • Ondersteuning voor het verzamelen van metrische gegevens van streaming-sinks (SPARK-38564)
  • DStream-API (SPARK-42075) afschaven
  • De standaardwaarde van kafka-offset spiegelen die configuratie ophaalt (SPARK-40844)
  • Geef een gekloonde Spark-sessie op in DataFrame in de gebruikersfunctie voor foreachBatch-sink in PySpark (SPARK-41379)

Spark-Verbinding maken

Python-client

Scala-client

PySpark

pandas API in Spark

Andere belangrijke wijzigingen

  • Belangrijke verbeteringen
    • Een geheugen profiler bieden voor door de gebruiker gedefinieerde PySpark-functies (SPARK-40281)
    • Catalogus-API compatibel maken met 3-laag-naamruimte (SPARK-39235)
    • Ondersteuning voor NumPy-invoer in PySpark (SPARK-39405)
    • Verbeteringen van PySpark-fouten (SPARK-41597)
  • Belangrijke functies

MLLIB

SparkR

Live UI en History Server-service

  • Betere schaalbaarheid van spark-gebruikersinterface en stabiliteit van stuurprogramma's voor grote toepassingen (SPARK-41053)
  • RocksDB gebruiken voor spark.history.store.hybridStore.diskBackend standaard (SPARK-42277)
  • Geneste uitvoeringen groeperen onder de hoofduitvoering (SPARK-41752)
  • Eigenschappen van metrische gegevens weergeven op het tabblad Omgeving (SPARK-39110)
  • Fix StagePage-invoergrootte/-records worden niet weergegeven wanneer records groter dan nul zijn (SPARK-34777)
  • Prestaties van JsonProtocol-logboekregistratie verbeteren met behulp van Jackson in plaats van Json4s (SPARK-39489)
  • Ondersteuning voor spark.history.fs.update.batchSize (SPARK-39225)

Compilatie

Onderhoudsupdates

Zie onderhoudsupdates voor Databricks Runtime 13.0.

Systeemomgeving

  • Besturingssysteem: Ubuntu 22.04.2 LTS
  • Java: Zulu 8.68.0.21-CA-linux64
  • Scala: 2.12.15
  • Python: 3.10.6
  • R: 4.2.2
  • Delta Lake: 2.3.0

Geïnstalleerde Python-bibliotheken

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
appdirs 1.4.4 argon2-cffi 21.3.0 argon2-cffi-bindingen 21.2.0
asttokens 2.2.1 attrs 21.4.0 backcall 0.2.0
beautifulsoup4 4.11.1 zwart 22.6.0 Bleekmiddel 4.1.0
knipperen 1.4 boto3 1.24.28 botocore 1.27.28
certifi 2022.9.14 Cffi 1.15.1 Chardet 4.0.0
charset-normalizer 2.0.4 klikken 8.0.4 Cryptografie 37.0.1
cycler 0.11.0 Cython 0.29.32 dbus-python 1.2.18
foutopsporing 1.5.1 Decorator 5.1.1 defusedxml 0.7.1
distlib 0.3.6 docstring-to-markdown 0,12 invoerpunten 0,4
Uitvoeren 1.2.0 facets-overview 1.0.2 fastjsonschema 2.16.3
filelock 3.10.7 Fonttools 4.25.0 googleapis-common-protos 1.56.4
grpcio 1.48.1 grpcio-status 1.48.1 httplib2 0.20.2
idna 3.3 importlib-metadata 4.6.4 ipykernel 6.17.1
Ipython 8.10.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
Jedi 0.18.1 Jeepney 0.7.1 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.2.0 jsonschema 4.16.0
jupyter-client 7.3.4 jupyter_core 4.11.2 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 Keyring 23.5.0 kiwisolver 1.4.2
Launchpadlib 1.10.16 lazr.restfulclient 0.14.4 Lazr.uri 1.0.6
MarkupSafe 2.0.1 matplotlib 3.5.2 matplotlib-inline 0.1.6
Mccabe 0.7.0 mistune 0.8.4 more-itertools 8.10.0
mypy-extensions 0.4.3 nbclient 0.5.13 nbconvert 6.4.4
nbformat 5.5.0 nest-asyncio 1.5.5 nodeenv 1.7.0
notebook 6.4.12 Numpy 1.21.5 oauthlib 3.2.0
Verpakking 21.3 Pandas 1.4.4 pandocfilters 1.5.0
parso 0.8.3 pathspec 0.9.0 Patsy 0.5.2
Pexpect 4.8.0 pickleshare 0.7.5 Kussen 9.2.0
Pip 22.2.2 platformdirs 2.5.2 plotly 5.9.0
pluggy 1.0.0 prometheus-client 0.14.1 prompt-toolkit 3.0.36
protobuf 3.19.4 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 pyarrow 7.0.0
pycparser 2.21 Pyflakes 3.0.1 Pygments 2.11.2
Pygobject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.32
Pyparsing 3.0.9 pyright 1.1.294 pyrsistent 0.18.0
python-dateutil 2.8.2 python-lsp-jsonrpc 1.0.0 python-lsp-server 1.7.1
pytoolconfig 1.2.2 pytz 2022.1 pyzmq 23.2.0
requests 2.28.1 Touw 1.7.0 s3transfer 0.6.0
scikit-learn 1.1.1 Scipy 1.9.1 seaborn 0.11.2
SecretStorage 3.3.1 Send2Trash 1.8.0 Setuptools 63.4.1
Zes 1.16.0 soepsieve 2.3.1 ssh-import-id 5,11
stack-data 0.6.2 statsmodels 0.13.2 Vasthoudendheid 8.0.1
terminado 0.13.1 testpath 0.6.0 threadpoolctl 2.2.0
tokenize-rt 4.2.1 tomli 2.0.1 Tornado 6.1
traitlets 5.1.1 ujson 5.4.0 upgrades zonder toezicht 0,1
urllib3 1.26.11 Virtualenv 20.16.3 Wadllib 1.3.6
wcwidth 0.2.5 webencodings 0.5.1 whatthepatch 1.0.2
Wiel 0.37.1 widgetsnbextension 3.6.1 yapf 0.31.0
zipp 1.0.0

Geïnstalleerde R-bibliotheken

R-bibliotheken worden geïnstalleerd vanuit de Microsoft CRAN-momentopname op 2023-02-10.

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
pijl 10.0.1 Askpass 1.1 assertthat 0.2.1
Backports 1.4.1 base 4.2.2 base64enc 0.1-3
bit 4.0.5 bit64 4.0.5 blob 1.2.3
opstarten 1.3-28 Brouwsel 1.0-8 Brio 1.1.3
Bezem 1.0.3 bslib 0.4.2 cachem 1.0.6
beller 3.7.3 caret 6.0-93 cellranger 1.1.0
Chron 2.3-59 class 7.3-21 cli 3.6.0
clipr 0.8.0 Klok 0.6.1 cluster 2.1.4
Codetools 0.2-19 Colorspace 2.1-0 commonmark 1.8.1
Compiler 4.2.2 configuratie 0.3.1 cpp11 0.4.3
Crayon 1.5.2 aanmeldingsgegevens 1.3.2 curl 5.0.0
data.table 1.14.6 gegevenssets 4.2.2 DBI 1.1.3
dbplyr 2.3.0 Desc 1.4.2 Devtools 2.4.5
diffobj 0.3.5 Digest 0.6.31 downlit 0.4.2
dplyr 1.1.0 dtplyr 1.2.2 e1071 1.7-13
ellipsis 0.3.2 evaluate 0.20 fansi 1.0.4
farver 2.1.1 fastmap 1.1.0 fontawesome 0.5.0
forcats 1.0.0 foreach 1.5.2 Buitenlandse 0.8-82
Forge 0.2.0 Fs 1.6.1 Toekomst 1.31.0
future.apply 1.10.0 Gorgelen 1.3.0 Generics 0.1.3
Gert 1.9.2 ggplot2 3.4.0 Gh 1.3.1
gitcreds 0.1.2 glmnet 4.1-6 Globals 0.16.2
Lijm 1.6.2 googledrive 2.0.0 googlesheets4 1.0.1
Gower 1.0.1 afbeeldingen 4.2.2 grDevices 4.2.2
Raster 4.2.2 gridExtra 2.3 gsubfn 0,7
gtable 0.3.1 hardhat 1.2.0 haven 2.5.1
highr 0.10 Hms 1.1.2 htmltools 0.5.4
htmlwidgets 1.6.1 httpuv 1.6.8 httr 1.4.4
ids 1.0.1 Ini 0.3.1 Ipred 0.9-13
isoband 0.2.7 Iterators 1.0.14 jquerylib 0.1.4
jsonlite 1.8.4 Kernsmooth 2.23-20 breiwerk 1.42
Labeling 0.4.2 Later 1.3.0 Lattice 0.20-45
lava 1.7.1 levenscyclus 1.0.3 listenv 0.9.0
lubridate 1.9.1 magrittr 2.0.3 Markdown 1.5
MASS 7.3-58.2 Matrix 1.5-1 memoise 2.0.1
methoden 4.2.2 Mgcv 1.8-41 Mime 0,12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modeller 0.1.10
munsell 0.5.0 Nlme 3.1-162 Nnet 7.3-18
numDeriv 2016.8-1.1 openssl 2.0.5 parallel 4.2.2
parallel 1.34.0 Pijler 1.8.1 pkgbuild 1.4.0
Pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2
plogr 0.2.0 plyr 1.8.8 Lof 1.0.0
prettyunits 1.1.1 Proc 1.18.0 processx 3.8.0
prodlim 2019.11.13 profvis 0.3.7 Voortgang 1.2.2
progressr 0.13.0 Beloften 1.2.0.1 Proto 1.0.0
Proxy 0.4-27 ps 1.7.2 Purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
Rcolorbrewer 1.1-3 Rcpp 1.0.10 RcppEigen 0.3.3.9.3
leesbewerking 2.1.3 readxl 1.4.2 recepten 1.0.4
Rematch 1.0.1 opnieuw overeenkomen2 2.1.2 Afstandsbedieningen 2.4.2
reprex 2.0.2 hervorm2 1.4.4 rlang 1.0.6
rmarkdown 2,20 RODBC 1.3-20 roxygen2 7.2.3
Rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-12
RSQLite 2.2.20 rstudioapi 0,14 rversions 2.1.2
rvest 1.0.3 Sass 0.4.5 Schalen 1.2.1
selectr 0.4-2 sessioninfo 1.2.2 Vorm 1.4.6
Glanzende 1.7.4 sourcetools 0.1.7-1 sparklyr 1.7.9
SparkR 3.4.0 Ruimtelijke 7.3-15 Splines 4.2.2
sqldf 0.4-11 SQUAREM 2021.1 Stats 4.2.2
stats4 4.2.2 stringi 1.7.12 stringr 1.5.0
Overleving 3.5-3 sys 3.4.1 systemfonts 1.0.4
Tcltk 4.2.2 testthat 3.1.6 tekstvorm 0.3.6
tibble 3.1.8 tidyr 1.3.0 tidyselect 1.2.0
tidyverse 1.3.2 timechange 0.2.0 Timedate 4022.108
tinytex 0.44 tools 4.2.2 tzdb 0.3.0
urlchecker 1.0.1 usethis 2.1.6 utf8 1.2.3
utils 4.2.2 uuid 1.1-0 vctrs 0.5.2
viridisLite 0.4.1 Vroom 1.6.1 Waldo 0.4.0
whisker 0.4.1 withr 2.5.0 xfun 0,37
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
Yaml 2.3.7 Zip 2.2.2

Geïnstalleerde Java- en Scala-bibliotheken (Scala 2.12-clusterversie)

Groeps-id Artefact-id Versie
Antlr Antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics Stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-gearceerd 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml Klasgenoot 1.3.4
com.fasterxml.jackson.core jackson-annotaties 2.14.2
com.fasterxml.jackson.core jackson-core 2.14.2
com.fasterxml.jackson.core jackson-databind 2.14.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.14.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.14.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.14.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.14.2
com.github.ben-manes.cafeïne Cafeïne 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.2-5
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.9
com.google.crypto.tink Tink 1.7.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava Guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.1.214
com.helger profiler 1.1.1
com.jcraft Jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe configuratie 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.netje.netlib Arpack 3.0.3
dev.netje.netlib Blas 3.0.3
dev.netje.netlib Lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.6.3
io.dropwizard.metrics metrische gegevenskern 4.2.10
io.dropwizard.metrics metrische gegevensgrafiet 4.2.10
io.dropwizard.metrics metrische statuscontroles 4.2.10
io.dropwizard.metrics metrics-jetty9 4.2.10
io.dropwizard.metrics metrics-jmx 4.2.10
io.dropwizard.metrics metrics-json 4.2.10
io.dropwizard.metrics metrics-jvm 4.2.10
io.dropwizard.metrics metrics-servlets 4.2.10
io.netty netty-all 4.1.87.Final
io.netty netty-buffer 4.1.87.Final
io.netty netty-codec 4.1.87.Final
io.netty netty-codec-http 4.1.87.Final
io.netty netty-codec-http2 4.1.87.Final
io.netty netty-codec-sokken 4.1.87.Final
io.netty netty-common 4.1.87.Final
io.netty netty-handler 4.1.87.Final
io.netty netty-handler-proxy 4.1.87.Final
io.netty netty-resolver 4.1.87.Final
io.netty netty-transport 4.1.87.Final
io.netty netty-transport-classes-epoll 4.1.87.Final
io.netty netty-transport-classes-kqueue 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.87.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.87.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Collector 0.12.0
jakarta.annotatie jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activering 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction Jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
Jline Jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine Augurk 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-CSV 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.22
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr Stringtemplate 3.2.1
org.apache.ant ant 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow pijlnotatie 11.0.0
org.apache.arrow arrow-memory-core 11.0.0
org.apache.arrow arrow-memory-netty 11.0.0
org.apache.arrow pijlvector 11.0.0
org.apache.avro Avro 1.11.1
org.apache.avro avro-ipc 1.11.1
org.apache.avro avro-mapred 1.11.1
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recepten 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy Ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.19.0
org.apache.logging.log4j log4j-api 2.19.0
org.apache.logging.log4j log4j-core 2.19.0
org.apache.logging.log4j log4j-slf4j2-impl 2.19.0
org.apache.mesos mesos 1.11.0-shaded-protobuf
org.apache.orc orc-core 1.8.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.8.2-shaded-protobuf
org.apache.orc orc-shims 1.8.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-gearceerd 4.22
org.apache.yetus aantekeningen voor doelgroepen 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino Janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.50.v20221201
org.eclipse.jetty jetty-vervolg 9.4.50.v20221201
org.eclipse.jetty jetty-http 9.4.50.v20221201
org.eclipse.jetty jetty-io 9.4.50.v20221201
org.eclipse.jetty jetty-jndi 9.4.50.v20221201
org.eclipse.jetty jetty-plus 9.4.50.v20221201
org.eclipse.jetty jetty-proxy 9.4.50.v20221201
org.eclipse.jetty jetty-security 9.4.50.v20221201
org.eclipse.jetty jetty-server 9.4.50.v20221201
org.eclipse.jetty jetty-servlet 9.4.50.v20221201
org.eclipse.jetty jetty-servlets 9.4.50.v20221201
org.eclipse.jetty jetty-util 9.4.50.v20221201
org.eclipse.jetty jetty-util-ajax 9.4.50.v20221201
org.eclipse.jetty jetty-webapp 9.4.50.v20221201
org.eclipse.jetty jetty-xml 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-api 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-client 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-common 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-server 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-servlet 9.4.50.v20221201
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance opnieuw verpakt 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.36
org.glassfish.jersey.containers jersey-container-servlet-core 2.36
org.glassfish.jersey.core jersey-client 2.36
org.glassfish.jersey.core jersey-common 2.36
org.glassfish.jersey.core jersey-server 2.36
org.glassfish.jersey.inject jersey-hk2 2.36
org.hibernate.validator sluimerstand-validator 6.1.7.Final
org.javassist Javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Aantekeningen 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 2.2.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.8
org.roaringbitmap RoaringBitmap 0.9.39
org.roaringbitmap Shims 0.9.39
org.rocksdb rocksdbjni 7.8.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 2.0.6
org.slf4j jul-to-slf4j 2.0.6
org.slf4j slf4j-api 2.0.6
org.threeten threeten-extra 1.7.1
org.tukaani Xz 1,9
org.typelevel algebra_2.12 2.0.1
org.typelevel katten-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.33
Oro Oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1