Databricks Runtime 13.0 (stöds inte)

  • Artikel

Följande viktig information innehåller information om Databricks Runtime 13.0, som drivs av Apache Spark 3.4.0.

Databricks släppte dessa bilder i april 2023.

Nya funktioner och förbättringar

H3-uttryck stöder nu linjära geografiska områden

Funktionerna h3_coverash3 och h3_coverash3string stöder nu linjära (linestring och multilinestring) geografiska områden. Funktionerna ger en minimal täckande uppsättning H3-celler med den angivna upplösningen. Se h3_coverash3 och h3_coverash3string.

Ganglia ersatt med klustermått

För Databricks Runtime-version 13 och senare ersätts Ganglia-mått med Azure Databricks-klustermått. För Databricks Runtime version 12 och senare kan du fortsätta att använda Ganglia-mått. Om du har ett arbetsflöde som är beroende av Ganglia-mått som inte kan uppfyllas med klustermått kontaktar du ditt Azure Databricks-kontoteam. Se Visa beräkningsmått.

Spark 3.4.0 släppt

Apache Spark 3.4.0 är nu allmänt tillgänglig. Se Spark Version 3.4.0.

Photon returnerar ett fel om en fil ändras mellan frågeplanering och körning

Fotonfrågor returnerar nu ett fel om en fil uppdateras mellan frågeplanering och körning. Före den här ändringen skulle Photon läsa en fil även om dess ändringstid ändras mellan frågeplanering och körning, vilket kan leda till oförutsägbara resultat.

Nya funktioner för förutsägande I/O

Photon stöder nu skjutramar för både RAD- och INTERVALL-lägena med hjälp av {ROWS | RANGE} BETWEEN offset_start { PRECEDING | FOLLOWING } AND offset_stop { PRECEDING | FOLLOWING }.

Utökat stöd för prediktiva I/O-funktioner

Utökat photon-stöd för CSV-, AVRO-, DataFrame-cachelagringsdatakällor när schemat uteslutande innehåller skalära kolumner. Stöd utökas också för kapslade typer, till exempel kartor, structs och matriser.

Använda Databricks-anslutningsappen för att ansluta till en annan Databricks-arbetsyta

Med Azure Databricks-anslutningsappen kan du ansluta till beräkningsresurser som konfigurerats på en annan arbetsyta och returnera resultat till din aktuella Azure Databricks-arbetsyta. Azure Databricks JDBC-drivrutinen ingår nu i Databricks Runtime. Se Använda Databricks-anslutningsappen för att ansluta till en annan Databricks-arbetsyta.

Ytterligare Kafka-alternativ för strukturerad direktuppspelning med delat kluster i Unity Catalog

Nu kan du använda inställningarna kakfa.ssl.truststore.location och kafak.ssl.keystore.location lagra Kafka-certifikat på externa platser som hanteras av Unity Catalog när du använder Strukturerad direktuppspelning i kluster med delad åtkomst. Du kan inte använda platser i DBFS-roten.

Hoppa över ändringar i Delta-tabellen med strukturerad direktuppspelning

Du kan nu använda skipChangeCommits för att ignorera data som ändrar incheckningar till Delta-tabellen för UPDATE, MERGEoch DELETE åtgärder. Detta ersätter ignoreChanges, som nu är inaktuellt. Se Ignorera uppdateringar och borttagningar.

CREATE TABLE LIKE-funktion för Delta-tabeller

CREATE TABLE LIKE stöds nu när deltatabeller används.

Nya metadatakolumnfält som anger start och längd för filblock

Nu kan du hämta följande metadatainformation för indatafiler med _metadata kolumnen: file_block_start och file_block_length. Mer information finns i kolumnen Filmetadata.

Nya geospatiala H3-funktioner

De nya h3_coverash3- och h3_coverash3string uttrycken är tillgängliga för geospatial bearbetning när Photon är aktiverat. Se geospatiala H3-funktioner.

Nya inbyggda SQL-funktioner

Följande funktioner har lagts till:

%sql i Python-notebook-filer

Alla icke-tomma %sql resultat i Python-notebook-filer är nu tillgängliga med hjälp av _sqldf eller IPythons cachelagringssystem för utdata. Detta förenklar användningen av DataFrame-resultatet i Python. Detta är en beteendeförändring från tidigare DBR-versioner, som tidigare _sqldf inte alltid omtilldelades.

_sqldf omtilldelas inte för ett %sql cellresultat om cellen kördes med parallell SQL-cellkörning.

%pip startar inte om Python automatiskt

När du har kört %pip kommandon i Python-notebook-filer som ändrar virtualEnv startar Databricks inte längre om Python-processen automatiskt. Starta om Python-processen genom att anropa dbutils.library.restartPython(). Med den här ändringen %pip fungerar kommandon på Databricks på samma sätt som Jupyter Notebooks och är konsekventa med !pip kommandona och %sh pip . Databricks rekommenderar %pip i stället för !pip eller %sh pip.

Python-bibliotek med klusteromfattning installeras med en icke-rotanvändare

Bibliotek installeras nu med hjälp av en icke-rotanvändare som ansvarar för biblioteksinstallationer. Om du vill konfigurera pip-installationsbeteendet i init-skript använder du filen [global nivå https://pip.pypa.io/en/stable/topics/configuration/#configuration-files).

Felkorrigeringar

  • I %sh kommandon gjordes följande korrigeringar:
    • Utdata som innehåller icke-UTF-8 tecken stöds nu.
    • Underprocesser avbryts nu när kommandot avbryts.

Biblioteksuppgraderingar

  • Uppgraderade Python-bibliotek:
    • asttokens från 2.0.5 till 2.2.1
    • svart från 22.3.0 till 22.6.0
    • boto3 från 1.21.32 till 1.24.28
    • botocore från 1.24.32 till 1.27.28
    • certifi från 2021.10.8 till 2022.9.14
    • cffi från 1.15.0 till 1.15.1
    • kryptografi från 3.4.8 till 37.0.1
    • Cython från 0,29,28 till 0,29,32
    • dbus-python från 1.2.16 till 1.2.18
    • docstring-to-markdown från 0.11 till 0.12
    • körs från 0.8.3 till 1.2.0
    • facets-overview från 1.0.0 till 1.0.2
    • fastjsonschema från 2.16.2 till 2.16.3
    • filelock från 3.9.0 till 3.10.7
    • ipykernel från 6.15.3 till 6.17.1
    • ipython från 8.5.0 till 8.10.0
    • joblib från 1.1.1 till 1.2.0
    • jsonschema från 4.4.0 till 4.16.0
    • jupyter-client från 6.1.12 till 7.3.4
    • kiwisolver från 1.3.2 till 1.4.2
    • matplotlib från 3.5.1 till 3.5.2
    • matplotlib-inline från 0.1.2 till 0.1.6
    • nbformat från 5.3.0 till 5.5.0
    • notebook-fil från 6.4.8 till 6.4.12
    • pandas från 1.4.2 till 1.4.4
    • Kudde från 9.0.1 till 9.2.0
    • pip från 21.2.4 till 22.2.2
    • platformdirs från 2.6.2 till 2.5.2
    • plotly från 5.6.0 till 5.9.0
    • prometheus-client från 0.13.1 till 0.14.1
    • prompt-toolkit från 3.0.20 till 3.0.36
    • psutil från 5.8.0 till 5.9.0
    • pyflakes från 2.5.0 till 3.0.1
    • PyGObject från 3.36.0 till 3.42.1
    • pyparsing från 3.0.4 till 3.0.9
    • pyright från 1.1.283 till 1.1.294
    • python-lsp-server från 1.6.0 till 1.7.1
    • pytz från 2021.3 till 2022.1
    • pyzmq från 22.3.0 till 23.2.0
    • begäranden från 2.27.1 till 2.28.1
    • rep från 0.22.0 till 1.7.0
    • s3transfer från 0.5.0 till 0.6.0
    • scikit-learn från 1.0.2 till 1.1.1
    • scipy från 1.7.3 till 1.9.1
    • setuptools från 61.2.0 till 63.4.1
    • ssh-import-id från 5.10 till 5.11
    • stack-data från 0.2.0 till 0.6.2
    • testpath från 0.5.0 till 0.6.0
    • tomli från 1.2.2 till 2.0.1
    • ujson från 5.1.0 till 5.4.0
    • urllib3 från 1.26.9 till 1.26.11
    • virtualenv från 20.8.0 till 20.16.3
    • whatthepatch från 1.0.4 till 1.0.2
    • hjul från 0.37.0 till 0.37.1
  • Uppgraderade R-bibliotek:
    • pil från 10.0.0 till 10.0.1
    • bit från 4.0.4 till 4.0.5
    • kvast från 1.0.1 till 1.0.3
    • bslib från 0.4.1 till 0.4.2
    • chron från 2.3-58 till 2.3-59
    • cli från 3.4.1 till 3.6.0
    • colorspace från 2.0-3 till 2.1-0
    • curl från 4.3.3 till 5.0.0
    • data.table från 1.14.4 till 1.14.6
    • dbplyr från 2.2.1 till 2.3.0
    • sammanfatta från 0.6.30 till 0.6.31
    • dplyr från 1.0.10 till 1.1.0
    • e1071 från 1,7-12 till 1,7-13
    • utvärdera från 0,18 till 0,20
    • fansi från 1.0.3 till 1.0.4
    • fontawesome från 0.4.0 till 0.5.0
    • forcats från 0.5.2 till 1.0.0
    • fs från 1.5.2 till 1.6.1
    • från 1.29.0 till 1.31.0
    • gargle från 1.2.1 till 1.3.0
    • gert från 1.9.1 till 1.9.2
    • glmnet från 4.1-4 till 4.1-6
    • globals från 0.16.1 till 0.16.2
    • gower från 1.0.0 till 1.0.1
    • highr från 0,9 till 0,10
    • htmltools från 0.5.3 till 0.5.4
    • htmlwidgets från 1.5.4 till 1.6.1
    • httpuv från 1.6.6 till 1.6.8
    • isoband från 0.2.6 till 0.2.7
    • jsonlite från 1.8.3 till 1.8.4
    • stickning från 1,40 till 1,42
    • lava från 1.7.0 till 1.7.1
    • listenv från 0.8.0 till 0.9.0
    • lubridat från 1.9.0 till 1.9.1
    • markdown från 1.3 till 1.5
    • modelr från 0.1.9 till 0.1.10
    • openssl från 2.0.4 till 2.0.5
    • parallellt från 1.32.1 till 1.34.0
    • pkgbuild från 1.3.1 till 1.4.0
    • pkgdown från 2.0.6 till 2.0.7
    • pkgload från 1.3.1 till 1.3.2
    • plyr från 1,8,7 till 1,8,8
    • progressr från 0.11.0 till 0.13.0
    • purrr från 0.3.5 till 1.0.1
    • ragg från 1.2.4 till 1.2.5
    • Rcpp från 1.0.9 till 1.0.10
    • readxl från 1.4.1 till 1.4.2
    • recept från 1.0.3 till 1.0.4
    • rmarkdown från 2.18 till 2.20
    • RODBC från 1.3-19 till 1.3-20
    • roxygen2 från 7.2.1 till 7.2.3
    • RSQLite från 2.2.18 till 2.2.20
    • sass från 0.4.2 till 0.4.5
    • glänsande från 1.7.3 till 1.7.4
    • sourcetools från 0.1.7 till 0.1.7-1
    • sparklyr från 1.7.8 till 1.7.9
    • SparkR från 3.3.2 till 3.4.0
    • spatial från 7,3-11 till 7,3-15
    • stringi från 1.7.8 till 1.7.12
    • stringr från 1.4.1 till 1.5.0
    • överlevnad från 3,4-0 till 3,5-3
    • testthat från 3.1.5 till 3.1.6
    • tidyr från 1.2.1 till 1.3.0
    • timechange från 0.1.1 till 0.2.0
    • timeDate från 4021.106 till 4022.108
    • tinytex från 0,42 till 0,44
    • utf8 från 1.2.2 till 1.2.3
    • vctrs från 0.5.0 till 0.5.2
    • vroom från 1.6.0 till 1.6.1
    • whisker från 0,4 till 0,4,1
    • xfun från 0,34 till 0,37
    • yaml från 2.3.6 till 2.3.7
  • Uppgraderade Java-bibliotek:
    • com.amazonaws.aws-java-sdk-autoscaling från 1.12.189 till 1.12.390
    • com.amazonaws.aws-java-sdk-cloudformation från 1.12.189 till 1.12.390
    • com.amazonaws.aws-java-sdk-cloudfront från 1.12.189 till 1.12.390
    • com.amazonaws.aws-java-sdk-cloudhsm från 1.12.189 till 1.12.390
    • com.amazonaws.aws-java-sdk-cloudsearch från 1.12.189 till 1.12.390
    • com.amazonaws.aws-java-sdk-cloudtrail från 1.12.189 till 1.12.390
    • com.amazonaws.aws-java-sdk-cloudwatch från 1.12.189 till 1.12.390
    • com.amazonaws.aws-java-sdk-cloudwatchmetrics från 1.12.189 till 1.12.390
    • com.amazonaws.aws-java-sdk-codedeploy från 1.12.189 till 1.12.390
    • com.amazonaws.aws-java-sdk-cognitoidentity från 1.12.189 till 1.12.390
    • com.amazonaws.aws-java-sdk-cognitosync från 1.12.189 till 1.12.390
    • com.amazonaws.aws-java-sdk-config från 1.12.189 till 1.12.390
    • com.amazonaws.aws-java-sdk-core från 1.12.189 till 1.12.390
    • com.amazonaws.aws-java-sdk-datapipeline från 1.12.189 till 1.12.390
    • com.amazonaws.aws-java-sdk-directconnect från 1.12.189 till 1.12.390
    • com.amazonaws.aws-java-sdk-directory från 1.12.189 till 1.12.390
    • com.amazonaws.aws-java-sdk-dynamodb från 1.12.189 till 1.12.390
    • com.amazonaws.aws-java-sdk-ec2 från 1.12.189 till 1.12.390
    • com.amazonaws.aws-java-sdk-ecs från 1.12.189 till 1.12.390
    • com.amazonaws.aws-java-sdk-efs från 1.12.189 till 1.12.390
    • com.amazonaws.aws-java-sdk-elasticache från 1.12.189 till 1.12.390
    • com.amazonaws.aws-java-sdk-elasticbeanstalk från 1.12.189 till 1.12.390
    • com.amazonaws.aws-java-sdk-elasticloadbalancing från 1.12.189 till 1.12.390
    • com.amazonaws.aws-java-sdk-elastictranscoder från 1.12.189 till 1.12.390
    • com.amazonaws.aws-java-sdk-emr från 1.12.189 till 1.12.390
    • com.amazonaws.aws-java-sdk-glacier från 1.12.189 till 1.12.390
    • com.amazonaws.aws-java-sdk-glue från 1.12.189 till 1.12.390
    • com.amazonaws.aws-java-sdk-iam från 1.12.189 till 1.12.390
    • com.amazonaws.aws-java-sdk-importexport från 1.12.189 till 1.12.390
    • com.amazonaws.aws-java-sdk-kinesis från 1.12.189 till 1.12.390
    • com.amazonaws.aws-java-sdk-kms från 1.12.189 till 1.12.390
    • com.amazonaws.aws-java-sdk-lambda från 1.12.189 till 1.12.390
    • com.amazonaws.aws-java-sdk-logs från 1.12.189 till 1.12.390
    • com.amazonaws.aws-java-sdk-machinelearning från 1.12.189 till 1.12.390
    • com.amazonaws.aws-java-sdk-opsworks från 1.12.189 till 1.12.390
    • com.amazonaws.aws-java-sdk-rds från 1.12.189 till 1.12.390
    • com.amazonaws.aws-java-sdk-redshift från 1.12.189 till 1.12.390
    • com.amazonaws.aws-java-sdk-route53 från 1.12.189 till 1.12.390
    • com.amazonaws.aws-java-sdk-s3 från 1.12.189 till 1.12.390
    • com.amazonaws.aws-java-sdk-ses från 1.12.189 till 1.12.390
    • com.amazonaws.aws-java-sdk-simpledb från 1.12.189 till 1.12.390
    • com.amazonaws.aws-java-sdk-simpleworkflow från 1.12.189 till 1.12.390
    • com.amazonaws.aws-java-sdk-sns från 1.12.189 till 1.12.390
    • com.amazonaws.aws-java-sdk-sqs från 1.12.189 till 1.12.390
    • com.amazonaws.aws-java-sdk-ssm från 1.12.189 till 1.12.390
    • com.amazonaws.aws-java-sdk-storagegateway från 1.12.189 till 1.12.390
    • com.amazonaws.aws-java-sdk-sts från 1.12.189 till 1.12.390
    • com.amazonaws.aws-java-sdk-support från 1.12.189 till 1.12.390
    • com.amazonaws.aws-java-sdk-workspaces från 1.12.189 till 1.12.390
    • com.amazonaws.jmespath-java från 1.12.189 till 1.12.390
    • com.fasterxml.jackson.core.jackson-anteckningar från 2.13.4 till 2.14.2
    • com.fasterxml.jackson.core.jackson-core från 2.13.4 till 2.14.2
    • com.fasterxml.jackson.core.jackson-databind från 2.13.4.2 till 2.14.2
    • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor från 2.13.4 till 2.14.2
    • com.fasterxml.jackson.datatype.jackson-datatype-joda från 2.13.4 till 2.14.2
    • com.fasterxml.jackson.module.jackson-module-paranamer från 2.13.4 till 2.14.2
    • com.fasterxml.jackson.module.jackson-module-scala_2.12 från 2.13.4 till 2.14.2
    • com.github.luben.zstd-jni från 1.5.2-1 till 1.5.2-5
    • com.google.code.gson.gson från 2.8.6 till 2.8.9
    • com.google.crypto.tink.tink från 1.6.1 till 1.7.0
    • com.h2database.h2 från 2.0.204 till 2.1.214
    • com.jcraft.jsch från 0.1.50 till 0.1.55
    • com.ning.compress-lzf från 1.1 till 1.1.2
    • commons-fileupload.commons-fileupload från 1.3.3 till 1.5
    • dev.ludovic.netlib.arpack från 2.2.1 till 3.0.3
    • dev.ludovic.netlib.blas från 2.2.1 till 3.0.3
    • dev.ludovic.netlib.lapack från 2.2.1 till 3.0.3
    • io.dropwizard.metrics.metrics-core från 4.1.1 till 4.2.10
    • io.dropwizard.metrics.metrics-graphite från 4.1.1 till 4.2.10
    • io.dropwizard.metrics.metrics-healthchecks från 4.1.1 till 4.2.10
    • io.dropwizard.metrics.metrics-jetty9 från 4.1.1 till 4.2.10
    • io.dropwizard.metrics.metrics-jmx från 4.1.1 till 4.2.10
    • io.dropwizard.metrics.metrics-json från 4.1.1 till 4.2.10
    • io.dropwizard.metrics.metrics-jvm från 4.1.1 till 4.2.10
    • io.dropwizard.metrics.metrics-servlets från 4.1.1 till 4.2.10
    • io.netty.netty-all från 4.1.74.Final till 4.1.87.Final
    • io.netty.netty-buffert från 4.1.74.Final till 4.1.87.Final
    • io.netty.netty-codec från 4.1.74.Final till 4.1.87.Final
    • io.netty.netty-common från 4.1.74.Final till 4.1.87.Final
    • io.netty.netty-handler från 4.1.74.Final till 4.1.87.Final
    • io.netty.netty-resolver från 4.1.74.Final till 4.1.87.Final
    • io.netty.netty-transport från 4.1.74.Final till 4.1.87.Final
    • io.netty.netty-transport-classes-epoll från 4.1.74.Final till 4.1.87.Final
    • io.netty.netty-transport-classes-kqueue från 4.1.74.Final till 4.1.87.Final
    • io.netty.netty-transport-native-unix-common från 4.1.74.Final till 4.1.87.Final
    • joda-time.joda-time från 2.10.13 till 2.12.1
    • net.razorvine.pickle från 1,2 till 1,3
    • org.antlr.antlr4-runtime från 4.8 till 4.9.3
    • org.apache.ant.ant från 1.9.2 till 1.9.16
    • org.apache.ant.ant-jsch från 1.9.2 till 1.9.16
    • org.apache.ant.ant-launcher från 1.9.2 till 1.9.16
    • org.apache.arrow.arrow-format från 7.0.0 till 11.0.0
    • org.apache.arrow.arrow-memory-core från 7.0.0 till 11.0.0
    • org.apache.arrow.arrow-memory-netty från 7.0.0 till 11.0.0
    • org.apache.arrow.arrow-vector från 7.0.0 till 11.0.0
    • org.apache.avro.avro från 1.11.0 till 1.11.1
    • org.apache.avro.avro-ipc från 1.11.0 till 1.11.1
    • org.apache.avro.avro-mapred från 1.11.0 till 1.11.1
    • org.apache.httpcomponents.httpclient från 4.5.13 till 4.5.14
    • org.apache.httpcomponents.httpcore från 4.4.14 till 4.4.16
    • org.apache.ivy.ivy från 2.5.0 till 2.5.1
    • org.apache.logging.log4j.log4j-1.2-api från 2.18.0 till 2.19.0
    • org.apache.logging.log4j.log4j-api från 2.18.0 till 2.19.0
    • org.apache.logging.log4j.log4j-core från 2.18.0 till 2.19.0
    • org.apache.orc.orc-core från 1.7.6 till 1.8.2-shaded-protobuf
    • org.apache.orc.orc-mapreduce från 1.7.6 till 1.8.2-shaded-protobuf
    • org.apache.orc.orc-shims från 1.7.6 till 1.8.2
    • org.apache.xbean.xbean-asm9-shaded från 4.20 till 4.22
    • org.apache.zookeeper.zookeeper från 3.6.2 till 3.6.3
    • org.apache.zookeeper.zookeeper-jute från 3.6.2 till 3.6.3
    • org.eclipse.jetty.jetty-client från 9.4.46.v20220331 till 9.4.50.v20221201
    • org.eclipse.jetty.jetty-continuation från 9.4.46.v20220331 till 9.4.50.v20221201
    • org.eclipse.jetty.jetty-http från 9.4.46.v20220331 till 9.4.50.v20221201
    • org.eclipse.jetty.jetty-io från 9.4.46.v20220331 till 9.4.50.v20221201
    • org.eclipse.jetty.jetty-jndi från 9.4.46.v20220331 till 9.4.50.v20221201
    • org.eclipse.jetty.jetty-plus från 9.4.46.v20220331 till 9.4.50.v20221201
    • org.eclipse.jetty.jetty-proxy från 9.4.46.v20220331 till 9.4.50.v20221201
    • org.eclipse.jetty.jetty-security från 9.4.46.v20220331 till 9.4.50.v20221201
    • org.eclipse.jetty.jetty-server från 9.4.46.v20220331 till 9.4.50.v20221201
    • org.eclipse.jetty.jetty-servlet från 9.4.46.v20220331 till 9.4.50.v20221201
    • org.eclipse.jetty.jetty-servlets från 9.4.46.v20220331 till 9.4.50.v20221201
    • org.eclipse.jetty.jetty-util från 9.4.46.v20220331 till 9.4.50.v20221201
    • org.eclipse.jetty.jetty-util-ajax från 9.4.46.v20220331 till 9.4.50.v20221201
    • org.eclipse.jetty.jetty-webapp från 9.4.46.v20220331 till 9.4.50.v20221201
    • org.eclipse.jetty.jetty-xml från 9.4.46.v20220331 till 9.4.50.v20221201
    • org.eclipse.jetty.websocket.websocket-api från 9.4.46.v20220331 till 9.4.50.v20221201
    • org.eclipse.jetty.websocket.websocket-client från 9.4.46.v20220331 till 9.4.50.v20221201
    • org.eclipse.jetty.websocket.websocket-common från 9.4.46.v20220331 till 9.4.50.v20221201
    • org.eclipse.jetty.websocket.websocket-server från 9.4.46.v20220331 till 9.4.50.v20221201
    • org.eclipse.jetty.websocket.websocket-servlet från 9.4.46.v20220331 till 9.4.50.v20221201
    • org.hibernate.validator.hibernate-validator från 6.1.0.Final till 6.1.7.Final
    • org.mlflow.mlflow-spark från 2.1.1 till 2.2.0
    • org.postgresql.postgresql från 42.3.3 till 42.3.8
    • org.roaringbitmap.RoaringBitmap från 0.9.25 till 0.9.39
    • org.roaringbitmap.shims från 0.9.25 till 0.9.39
    • org.rocksdb.rocksdbjni från 6.28.2 till 7.8.3
    • org.scala-lang.scala-compiler_2.12 från 2.12.14 till 2.12.15
    • org.scala-lang.scala-library_2.12 från 2.12.14 till 2.12.15
    • org.scala-lang.scala-reflect_2.12 från 2.12.14 till 2.12.15
    • org.scalanlp.breeze-macros_2.12 från 1.2 till 2.1.0
    • org.scalanlp.breeze_2.12 från 1.2 till 2.1.0
    • org.slf4j.jcl-over-slf4j från 1.7.36 till 2.0.6
    • org.slf4j.jul-to-slf4j från 1.7.36 till 2.0.6
    • org.slf4j.slf4j-api från 1.7.36 till 2.0.6
    • org.threeten.threeten-extra från 1.5.0 till 1.7.1
    • org.wildfly.openssl.wildfly-openssl från 1.0.7.Final till 1.1.3.Final
    • org.yaml.snakeyaml från 1.24 till 1.33

Apache Spark

Databricks Runtime 13.0 innehåller Apache Spark 3.4.0.

Spark SQL

Funktioner

  • Implementera stöd för STANDARD-värden för kolumner i tabeller (SPARK-38334)
  • Lägg till Dataset.as(StructType) (SPARK-39625)
  • Stöd för parameteriserad SQL (SPARK-41271, SPARK-42702)
  • Lägg till unpivot/melt (SPARK-38864, SPARK-39876)
  • Stöd för "laterala kolumnaliasreferenser" (SPARK-27561)
  • Offset-sats för supportresultat (SPARK-28330, SPARK-39159)
  • Stöd för tidsstämpel utan tidszonsdatatyp (SPARK-35662)
  • Stöd för skalära underfrågor i tidsresor (SPARK-39306)
  • Gör katalog-API:et kompatibelt med 3-layer-namespace (SPARK-39235)
  • Stöd för tidsstämpel i sekunder för TimeTravel med dataramsalternativ (SPARK-39633)
  • Lägg till SparkSession.config(Map) (SPARK-40163)
  • Stöd för ändring av sessionskatalogens standarddatabas (SPARK-35242)
  • Protobuf-stöd för Spark – from_protobuf AND to_protobuf (SPARK-40654)
  • Lägg till NÄR DEN INTE MATCHAS AV SOURCE-satsen i MERGE INTO (SPARK-40921)
  • Lätta på beställningsbegränsningen för kolumnalternativen CREATE TABLE (SPARK-40944)
  • SQL-motsvarighet för kommandot För dataramsöverskrivning (SPARK-40956)
  • Stöd för att generera utan nödvändiga underordnade utdata som värd för yttre referenser (SPARK-41441)
  • ORDER BY ALL (SPARK-41637)
  • GRUPPERA EFTER ALLA (SPARK-41635)
  • Lägg till flatMapSortedGroups och cogroupSorted (SPARK-38591)
  • Stöd för underfrågor med korrelerade icke-likhetspredikat (SPARK-36114)
  • Stöd för underfrågor med korrelation via UNION/INTERSECT/EXCEPT (SPARK-36124)

ANSI-efterlevnad

  • ANSI SQL-läge: Returnera alltid null vid ogiltig åtkomst till kartkolumnen (SPARK-40066)
  • Stöd för dubbelnoterade identifierare (SPARK-40585)
  • ANSI SQL-läge: Round/Bround ska returnera ett fel vid heltalsspill (SPARK-42045)
  • Stöd för gjutning av integraler till ANSI-intervall (SPARK-40008)
  • Stöd för decimaler till ANSI-intervall (SPARK-40014)
  • Returnera bredare ANSI-intervalltyper från percentilfunktionerna (SPARK-40151)
  • Stöd för gjutning av ANSI-intervall till decimaler (SPARK-39470)
  • Stöd för gjutningsintervall till integraler i ANSI-läge (SPARK-39451)
  • Härda SQLSTATE-användning för felklasser (SPARK-41994)

Functions

  • Stöd för tabellvärdesgeneratorfunktioner i FROM-satsen (SPARK-41594)
  • Stöd för ANSI-mängdfunktion: REGR_SXY (SPARK-37681)
  • Stöd för ANSI-mängdfunktion: REGR_R2 (SPARK-37641)
  • Stöd för ANSI-mängdfunktion: REGR_SXX (SPARK-37672)
  • Stöd för ANSI-mängdfunktion: REGR_SYY (SPARK-37702)
  • Stöd för ANSI-mängdfunktion: REGR_SLOPE (SPARK-39230)
  • Stöd för ANSI-mängdfunktion: REGR_INTERCEPT (SPARK-37623)
  • Stöd för ANSI-sammansättningsfunktion PERCENTILE_CONT som fönsterfunktion (SPARK-38219)
  • Stöd för ANSI-sammansättningsfunktion: PERCENTILE_DISC (SPARK-37691)
  • Stöd för SPLIT_PART funktion (SPARK-38063)
  • Stöd för TRY_AVG funktion (SPARK-38589)
  • Stöd för TRY_TO_BINARY funktion (SPARK-38590)
  • Stöd för sql-funktionerna TO_NUMBER och TRY_TO_NUMBER enligt en ny specifikation (SPARK-38796)
  • Stöd för ANSI:s allmänna värdespecifikation och funktion – ANVÄNDARE (SPARK-39138)
  • Stöd för TO_CHAR- och TRY_TO_CHAR-funktioner för att formatera decimalvärden som strängar (SPARK-28516)
  • Stöd för ANY_VALUE mängdfunktion (SPARK-39213)
  • Stöd för funktionen EQUAL_NUL (SPARK-39305)
  • Stöd för aggregeringsfunktionen MEDIAN (SPARK-39320)
  • Stöd för REGEXP_COUNT funktion (SPARK-39618)
  • Stöd för REGEXP_INSTR funktion (SPARK-39744)
  • Stöd för REGEXP_SUBSTR funktion (SPARK-39695)
  • Stöd för UNPIVOT-funktionen (SPARK-39876)
  • Stöd för TRY_TO_TIMESTAMP funktion (SPARK-39795)
  • Stöd för URL-koda/avkoda som inbyggd funktion och städa upp URL-relaterade funktioner (SPARK-39741)
  • Stöd för aggregerat funktionsläge (SPARK-39808)
  • Stöd för GET-funktionen (SPARK-40109)
  • Lägg till funktionsalias: LEN, DATEPART, DATEADD, DATE_DIFF, CURDATE (SPARK-40352)
  • Förbättra funktionen TO_BINARY (SPARK-40112)
  • Support CURRENT_SCHEMA (SPARK-41323)
  • Stöd för datamaskering av inbyggd funktionsMASK (SPARK-40687)
  • Stöd för högordningsfunktion: ARRAY_COMPACT (SPARK-41235)
  • Stöd ARRAY_APPEND funktion (SPARK-41232)
  • Stöd för ARRAY_INSERT funktion (SPARK-41234)
  • Stöd för LUHN_CHECK funktion (SPARK-42191)
  • Stöd för ARRAY_SORT(kolumn, jämförelse) (SPARK-39925)

Datakällor

  • Stöd för kolumnstatistik i DS v2 (SPARK-41378)
  • Storage Partitioned Join (SPJ) i DS v2 (SPARK-37375)
  • Åtgärder på radnivå i DS v2 (SPARK-35801)
  • Lägg till SupportsReportOrdering-mix i gränssnittet för DS v2-genomsökning (SPARK-38647)
  • Härledningsdatumtyp för CSV-schemainferens (SPARK-39469)
  • Stöd för drivrutinsmått i API för anpassade mått för DS v2 (SPARK-39635)
  • Distribution och beställning stöder DS v2-funktionen skriftligen (SPARK-39607)
  • StringEndsWith/Contains har stöd för push-överföring till Parquet så att vi kan använda ordlistefilter (SPARK-39002)
  • Stöd för UDT i Spark Parquet-vektoriserad läsare (SPARK-39086)
  • Utöka metadatakolumnen för att stödja radindex för Parquet-filer (SPARK-37980)
  • Stöd för läsning FIXED_LEN_BYTE_ARRAY typ (SPARK-41096)
  • Optimera ordningen på filtreringspredikat (SPARK-40045)
  • Stöd för CTE- och temp table-frågor med MSSQL JDBC (SPARK-37259)
  • Stöd för ignoreCorruptFiles och ignoreMissingFiles i alternativ för datakälla (SPARK-38767)
  • Hämta v1-skrivning till WriteFiles (SPARK-41407)
  • Lägg till utfyllnad av tecken på lässidan för att täcka externa datafiler (SPARK-40697)

Frågeoptimering

  • Sammanfoga icke-korrelerade skalära underfrågor (SPARK-34079)
  • Aktivera Bloom-filterkopplingar som standard (SPARK-38841)
  • Ta bort onödiga distinkta i aggregerade uttryck med distinctKeys (SPARK-38832)
  • Stöd för predicate pushdown och kolumnrensning för avduplicerade CTE:er (SPARK-37670)
  • Ta bort yttre koppling om aggregerade funktioner är duplicerade agnostiska på strömmad sida (SPARK-38886)
  • Ta bort vänster/höger yttre koppling om endast kolumner på vänster/höger sida är markerade och kopplingsnycklarna på andra sidan är unika (SPARK-39172)
  • Optimera global sortering till RepartitionByExpression (SPARK-39911)
  • Optimera TransposeWindow-regeln (SPARK-38034)
  • Förbättra EliminateSorts för att stödja borttagning av sorter via LocalLimit (SPARK-40050)
  • Push-överför lokal gräns till båda sidor om kopplingsvillkoret är tomt (SPARK-40040)
  • Lägg till PushProjectionThroughLimit för Optimizer (SPARK-40501)
  • Stöd för PIVOT/UNPIVOT med kopplingsbarn (SPARK-41195)
  • Stöd för kolumnrensning med flera nondeterministiska filter (SPARK-41017)
  • Förbättra utdatapartitionering och beställning med AQE-cache (SPARK-41048)
  • Förbättra prestanda för flera uttryck genom att skapa ett trädpredikat för balanserade uttryck (SPARK-41167)
  • Ta bort sorteringen om den är underordnad RepartitionByExpression (SPARK-36703)
  • Använd tillgänglig kolumnstatistik från slutförda frågesteg (SPARK-39991)
  • Återanvända uttryck i WindowSpecDefinition (SPARK-41805)
  • Förbättra AliasAwareOutputPartitioning och AliasAwareQueryOutputOrdering för att ta hänsyn till alla alias (SPARK-40086, SPARK-42049)
  • Push-ned gränsen via Python UDF:er (SPARK-42115)

Kodgenerering och frågekörning

  • Kör defaultJoin i BroadcastNestedLoopJoinExec parallellt (SPARK-40487)
  • Codegen-stöd för HiveGenericUDF (SPARK-42051)
  • Introducera shuffle på SinglePartition (SPARK-41986)
  • Gör att DPP-stöd för beskärningssidan har Union (SPARK-39217)

Andra anmärkningsvärda ändringar

  • Stöd för insamling av automatisk partitionsstatistik (SPARK-38573)
  • Formatera felmeddelanden i Thrift Server (SPARK-40098)
  • Lägga till ett tilläggs-API för plannormalisering för cachelagring (SPARK-41183)
  • Omstrukturera Spark-typer genom att introducera fysiska typer (SPARK-41226)
  • OneOf-fältstöd och rekursionskontroller (SPARK-41396)
  • Centralisera kolumnmatchningslogik (SPARK-41405)
  • Förbättra planändringsverifieringen (SPARK-42081)
  • Introducera SparkPath för typesafety (SPARK-41970)
  • Generera undantag för db_name.view_name när du skapar temporär vy av Dataset API (SPARK-41090)
  • Ändra standardvärdet för argumentet maskering från -1 till NULL (SPARK-42070)

Spark Core

Inaktiverar

  • Undvik onödiga uppgifter som körs på inaktiverad köre som förlorats om shuffle-data migreras (SPARK-41469)
  • Ignorera hämtningsfel för steg som orsakas av inaktiverad köre (SPARK-40481)
  • Aktivera spark.storage.decommission. (rdd|shuffle) Blocks.enabled som standard (SPARK-40198)
  • Lägg till stöd för YARN-inaktivering när ESS är inaktiverat (SPARK-30835)

Scheduler

  • Skapa scenschemaläggning med stöd för lokalt klusterläge (SPARK-41949)
  • Stöd för aktivitetsresursprofil på stegnivå för fristående kluster när dynamisk allokering är inaktiverad (SPARK-39853)
  • Delay onDisconnected för att aktivera drivrutinen tar emot ExecutorExitCode (SPARK-39957)
  • Förbättra spekulationen genom aktivitetsmåtten i fasen (SPARK-32170)
  • Lägga till stöd för resursschemaläggning på stegnivå för fristående kluster (SPARK-39062)
  • Förbättra LaunchTask-processen för att undvika scenfel som orsakas av att LaunchTask-meddelanden inte skickas (SPARK-39955)

Shuffle

  • Lägg till läsmått på push-baserad shuffle-klientsida (SPARK-36620)
  • Blanda mått på serversidan för push-baserad blandning (SPARK-33573)
  • Se till att mergedShuffleCleaner har stängts innan databasen stängs (SPARK-40186)
  • Lägg till RocksDB-stöd för shuffle service state store (SPARK-38888)
  • Kapsla in LevelDB som används för att lagra fjärr-/externt shuffle-tillstånd som DB (SPARK-38909)
  • Aktivera spark.dynamicAllocation.shuffleTracking.enabled som standard (SPARK-3984)
  • Aktivera push-baserad shuffle-tjänst för att lagra tillstånd i DATABAS på NM-nivå för arbete med att bevara omstarten (SPARK-33236)
  • Ta bort shuffle-block med hjälp av shuffle-tjänsten för frisläppta utförare (SPARK-37618)

Andra anmärkningsvärda ändringar

  • Stöd för IPv6-miljö (SPARK-39457)
  • Aktivera spark.kryo.unsafe som standard (SPARK-42137)
  • Tillåt inte godtycklig anpassad klassökväg med proxyanvändare i klusterläge (SPARK-41958)
  • Undvik omregistrering av BlockManager om utföraren har förlorats (SPARK-41360)
  • Ta bort begränsningen att ett enskilt aktivitetsresultat måste få plats i 2 GB (SPARK-40622)
  • Ta bort stödet för inaktuella spark.akka.* konfigurationer (SPARK-40401)
  • Ändra standardloggning till stderr så att den överensstämmer med beteendet för log4j (SPARK-40406)
  • Exkludera DirectTaskResult-metadata vid beräkning av resultatstorlek (SPARK-40261)
  • Tillåt anpassning av inledande partitionsnummer i take()-beteende (SPARK-40211)
  • Använd avbrottsbart lås i stället för synkroniserat i Executor.updateDependencies() (SPARK-40235)
  • Aktivitetsfel bör alltid utlösa lyssnare av aktivitetsfel (SPARK-40106)
  • Lägg till möjligheten att selektivt inaktivera sökning eller avsökning (SPARK-36462)
  • Cachelagrar inte oserialiserade sändningsrelationer på drivrutinen (SPARK-39983)
  • Åtgärda dödläge mellan TaskMemoryManager och UnsafeExternalSorter.SpillableIterator (SPARK-39283)
  • Exponera nummerpartitionerna i en fas för TaskContext (SPARK-38679)
  • Gör minnesbelastningsfaktorn konfigurerbar (SPARK-38194)
  • Undvik att använda bash -c i ShellBasedGroupsMappingProvider (SPARK-38992)

Strukturerad direktuppspelning

Viktiga funktioner

  • Asynkron förloppsspårning (SPARK-39591)
  • Python Godtycklig tillståndskänslig bearbetning i strukturerad direktuppspelning (SPARK-40434)
  • Protobuf-stöd i strukturerad direktuppspelning (SPARK-40653)
  • Åtgärda sen postfiltrering för att stödja länkning av tillståndskänsliga operatorer (SPARK-40925)

Andra anmärkningsvärda ändringar

  • Introduktion till en filhanterare för kontrollpunkter för direktuppspelning baserat på Hadoops avbrutna gränssnitt (SPARK-40039)
  • Inaktuell Trigger.Once och Promote Trigger.AvailableNow (SPARK-39805)
  • Exponera informationen i katalogtabellen för den logiska planen i strömningsfrågan (SPARK-39564)
  • Stöd för insamling av mått från strömningsmottagare (SPARK-38564)
  • Inaktuellt DStream API (SPARK-42075)
  • Vänd standardvärdet för Kafka offset fetching config (SPARK-40844)
  • Ange klonad spark-session i DataFrame i användarfunktionen för foreachBatch-mottagare i PySpark (SPARK-41379)

Spark Anslut

Python-klient

Scala-klient

PySpark

Pandas API on Spark

Andra anmärkningsvärda ändringar

  • Större förbättringar
    • Ange en minnesprofilerare för användardefinierade PySpark-funktioner (SPARK-40281)
    • Gör katalog-API:et kompatibelt med 3-layer-namespace (SPARK-39235)
    • Stöd för NumPy-indata i PySpark (SPARK-39405)
    • Förbättringar av PySpark-fel (SPARK-41597)
  • Viktiga funktioner

MLLIB

SparkR

Live-användargränssnitt och historikservertjänst

  • Bättre skalbarhet för Spark-användargränssnittet och drivrutinsstabilitet för stora program (SPARK-41053)
  • Använd RocksDB för spark.history.store.hybridStore.diskBackend som standard (SPARK-42277)
  • Gruppera kapslade körningar under rotkörningen (SPARK-41752)
  • Visa måttegenskaper på miljöfliken (SPARK-39110)
  • Korrigera StagePage-indatastorlek/-poster visas inte när poster som är större än noll (SPARK-34777)
  • Förbättra JsonProtocol-prestanda för händelseloggning med hjälp av Jackson i stället för Json4s (SPARK-39489)
  • Stöd för spark.history.fs.update.batchSize (SPARK-39225)

Skapa

Underhållsuppdateringar

Se Underhållsuppdateringar för Databricks Runtime 13.0.

Systemmiljö

  • Operativsystem: Ubuntu 22.04.2 LTS
  • Java: Zulu 8.68.0.21-CA-linux64
  • Scala: 2.12.15
  • Python: 3.10.6
  • R: 4.2.2
  • Delta lake: 2.3.0

Installerade Python-bibliotek

Bibliotek Version Bibliotek Version Bibliotek Version
appdirs 1.4.4 argon2-cffi 21.3.0 argon2-cffi-bindningar 21.2.0
asttokens 2.2.1 attrs 21.4.0 backcall 0.2.0
beautifulsoup4 4.11.1 svart 22.6.0 Blekmedel 4.1.0
blinker 1.4 boto3 1.24.28 botocore 1.27.28
Certifi 2022.9.14 Cffi 1.15.1 Chardet 4.0.0
charset-normalizer 2.0.4 klicka 8.0.4 Kryptografi 37.0.1
Apparat 0.11.0 Cython 0.29.32 dbus-python 1.2.18
felsökning 1.5.1 Dekoratör 5.1.1 defusedxml 0.7.1
distlib 0.3.6 docstring-to-markdown 0,12 entrypoints 0,4
Verkställande 1.2.0 facets-overview 1.0.2 fastjsonschema 2.16.3
filelock 3.10.7 Fonttools 4.25.0 googleapis-common-protos 1.56.4
grpcio 1.48.1 grpcio-status 1.48.1 httplib2 0.20.2
idna 3.3 importlib-metadata 4.6.4 ipykernel 6.17.1
Ipython 8.10.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
Jedi 0.18.1 Jeepney 0.7.1 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.2.0 jsonschema 4.16.0
jupyter-client 7.3.4 jupyter_core 4.11.2 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 Keyring 23.5.0 kiwisolver 1.4.2
Launchpadlib 1.10.16 Lazr.restfulclient 0.14.4 Lazr.uri 1.0.6
Markering Valv 2.0.1 matplotlib 3.5.2 matplotlib-inline 0.1.6
Mccabe 0.7.0 mistune 0.8.4 more-itertools 8.10.0
mypy-extensions 0.4.3 nbclient 0.5.13 nbconvert 6.4.4
nbformat 5.5.0 nest-asyncio 1.5.5 nodeenv 1.7.0
notebook-fil 6.4.12 Numpy 1.21.5 oauthlib 3.2.0
Förpackning 21,3 Pandas 1.4.4 pandocfilter 1.5.0
parso 0.8.3 pathspec 0.9.0 Patsy 0.5.2
Pexpect 4.8.0 pickleshare 0.7.5 Kudde 9.2.0
Pip 22.2.2 platformdirs 2.5.2 plotly 5.9.0
pluggy 1.0.0 prometheus-client 0.14.1 prompt-toolkit 3.0.36
protobuf 3.19.4 Psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 pyarrow 7.0.0
pycparser 2.21 Pyflakes 3.0.1 Pygments 2.11.2
Pygobject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.32
Pyparsing 3.0.9 pyright 1.1.294 pyrsistent 0.18.0
python-dateutil 2.8.2 python-lsp-jsonrpc 1.0.0 python-lsp-server 1.7.1
pytoolconfig 1.2.2 pytz 2022.1 pyzmq 23.2.0
begäranden 2.28.1 Rep 1.7.0 s3transfer 0.6.0
scikit-learn 1.1.1 Scipy 1.9.1 seaborn 0.11.2
SecretStorage 3.3.1 Send2Trash 1.8.0 Setuptools 63.4.1
Sex 1.16.0 soupsieve 2.3.1 ssh-import-id 5,11
stack-data 0.6.2 statsmodels 0.13.2 Uthållighet 8.0.1
terminado 0.13.1 testpath 0.6.0 threadpoolctl 2.2.0
tokenize-rt 4.2.1 tomli 2.0.1 Tornado 6.1
traitlets 5.1.1 ujson 5.4.0 obevakade uppgraderingar 0,1
urllib3 1.26.11 Virtualenv 20.16.3 Wadllib 1.3.6
wcwidth 0.2.5 webencodings 0.5.1 whatthepatch 1.0.2
Hjul 0.37.1 widgetsnbextension 3.6.1 yapf 0.31.0
Zipp 1.0.0

Installerade R-bibliotek

R-bibliotek installeras från Microsoft CRAN-ögonblicksbilden 2023-02-10.

Bibliotek Version Bibliotek Version Bibliotek Version
arrow 10.0.1 Askpass 1,1 assertthat 0.2.1
Backports 1.4.1 bas 4.2.2 base64enc 0.1-3
bit 4.0.5 bit64 4.0.5 blob 1.2.3
start 1.3-28 Brygga 1.0-8 Brio 1.1.3
Kvast 1.0.3 bslib 0.4.2 cachem 1.0.6
anropare 3.7.3 textmarkör 6.0-93 cellranger 1.1.0
Chron 2.3-59 klass 7.3-21 cli 3.6.0
clipr 0.8.0 Klocka 0.6.1 cluster 2.1.4
Codetools 0.2-19 Färgrymd 2.1-0 commonmark 1.8.1
Kompilator 4.2.2 config 0.3.1 cpp11 0.4.3
Krita 1.5.2 autentiseringsuppgifter 1.3.2 Curl 5.0.0
data.table 1.14.6 datauppsättningar 4.2.2 DBI 1.1.3
dbplyr 2.3.0 Desc 1.4.2 Devtools 2.4.5
diffobj 0.3.5 Digest 0.6.31 downlit 0.4.2
dplyr 1.1.0 dtplyr 1.2.2 e1071 1.7-13
ellips 0.3.2 evaluate (utvärdera) 0.20 fansi 1.0.4
farver 2.1.1 fastmap 1.1.0 fontawesome 0.5.0
forcats 1.0.0 foreach 1.5.2 Utländska 0.8-82
Forge 0.2.0 Fs 1.6.1 Framtiden 1.31.0
future.apply 1.10.0 Gurgla 1.3.0 Generika 0.1.3
Gert 1.9.2 ggplot2 3.4.0 Gh 1.3.1
gitcreds 0.1.2 glmnet 4.1-6 Globals 0.16.2
Lim 1.6.2 googledrive 2.0.0 googlesheets4 1.0.1
Gower 1.0.1 grafik 4.2.2 grDevices 4.2.2
Rutnät 4.2.2 gridExtra 2.3 gsubfn 0,7
gtable 0.3.1 hardhat 1.2.0 Tillflyktsort 2.5.1
highr 0.10 Hms 1.1.2 htmltools 0.5.4
htmlwidgets 1.6.1 httpuv 1.6.8 httr 1.4.4
Id 1.0.1 Ini 0.3.1 Ipred 0.9-13
isoband 0.2.7 Iteratorer 1.0.14 jquerylib 0.1.4
jsonlite 1.8.4 Kernsmooth 2.23-20 stickning 1.42
Märkning 0.4.2 Senare 1.3.0 Galler 0.20-45
Lava 1.7.1 livscykel 1.0.3 lyssna 0.9.0
lubridate 1.9.1 magrittr 2.0.3 Markdown 1.5
MASSACHUSETTS 7.3-58.2 Matris 1.5-1 pmise 2.0.1
metoder 4.2.2 Mgcv 1.8-41 Mime 0,12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.10
munsell 0.5.0 Nlme 3.1-162 Nnet 7.3-18
numDeriv 2016.8-1.1 openssl 2.0.5 parallel 4.2.2
parallellt 1.34.0 Pelaren 1.8.1 pkgbuild 1.4.0
Pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2
plogr 0.2.0 plyr 1.8.8 Beröm 1.0.0
prettyunits 1.1.1 Proc 1.18.0 processx 3.8.0
prodlim 2019.11.13 profvis 0.3.7 Förlopp 1.2.2
progressr 0.13.0 Löften 1.2.0.1 Proto 1.0.0
Proxy 0.4-27 Ps 1.7.2 Purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
Rcolorbrewer 1.1-3 Rcpp 1.0.10 RcppEigen 0.3.3.9.3
readr 2.1.3 readxl 1.4.2 recept 1.0.4
Returmatch 1.0.1 rematch2 2.1.2 Fjärrkontroller 2.4.2
reprex 2.0.2 omforma2 1.4.4 rlang 1.0.6
rmarkdown 2,20 RODBC 1.3-20 roxygen2 7.2.3
Rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-12
RSQLite 2.2.20 rstudioapi 0,14 rversioner 2.1.2
rvest 1.0.3 Sass 0.4.5 Skalor 1.2.1
väljare 0.4-2 sessioninfo 1.2.2 Form 1.4.6
Blanka 1.7.4 sourcetools 0.1.7-1 sparklyr 1.7.9
SparkR 3.4.0 Rumsliga 7.3-15 Splines 4.2.2
sqldf 0.4-11 SQUAREM 2021.1 Statistik 4.2.2
stats4 4.2.2 stringi 1.7.12 stringr 1.5.0
Överlevnad 3.5-3 sys 3.4.1 systemfonts 1.0.4
Tcltk 4.2.2 testthat 3.1.6 textshaping 0.3.6
Tibble 3.1.8 tidyr 1.3.0 avmarkera 1.2.0
tidyverse 1.3.2 timechange 0.2.0 Timedate 4022.108
tinytex 0.44 verktyg 4.2.2 tzdb 0.3.0
urlchecker 1.0.1 usethis 2.1.6 utf8 1.2.3
verktyg 4.2.2 uuid 1.1-0 vctrs 0.5.2
viridisLite 0.4.1 Vroom 1.6.1 Waldo 0.4.0
Morrhår 0.4.1 withr 2.5.0 xfun 0,37
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
Yaml 2.3.7 Zip 2.2.2

Installerade Java- och Scala-bibliotek (Scala 2.12-klusterversion)

Grupp-ID Artefakt-ID Version
Antlr Antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics Stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-skuggad 4.0.2
com.esotericsoftware Minlog 1.3.0
com.fasterxml Klasskamrat 1.3.4
com.fasterxml.jackson.core jackson-anteckningar 2.14.2
com.fasterxml.jackson.core jackson-core 2.14.2
com.fasterxml.jackson.core jackson-databind 2.14.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.14.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.14.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.14.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.14.2
com.github.ben-manes.koffein Koffein 2.3.4
com.github.fommil jniloader 1,1
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.2-5
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.9
com.google.crypto.tink Tingeling 1.7.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava Guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.1.214
com.helger profilerare 1.1.1
com.jcraft Jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2,6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib Arpack 3.0.3
dev.ludovic.netlib Blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.6.3
io.dropwizard.metrics metrics-core 4.2.10
io.dropwizard.metrics metrics-graphite 4.2.10
io.dropwizard.metrics metrics-healthchecks 4.2.10
io.dropwizard.metrics metrics-jetty9 4.2.10
io.dropwizard.metrics metrics-jmx 4.2.10
io.dropwizard.metrics metrics-json 4.2.10
io.dropwizard.metrics metrics-jvm 4.2.10
io.dropwizard.metrics metrics-servlets 4.2.10
io.netty netty-all 4.1.87.Final
io.netty netty-buffert 4.1.87.Final
io.netty netty-codec 4.1.87.Final
io.netty netty-codec-http 4.1.87.Final
io.netty netty-codec-http2 4.1.87.Final
io.netty netty-codec-socks 4.1.87.Final
io.netty netty-common 4.1.87.Final
io.netty netty-handler 4.1.87.Final
io.netty netty-handler-proxy 4.1.87.Final
io.netty netty-resolver 4.1.87.Final
io.netty netty-transport 4.1.87.Final
io.netty netty-transport-classes-epoll 4.1.87.Final
io.netty netty-transport-classes-kqueue 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.87.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.87.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Samlare 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktivering 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction Jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
Jline Jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine Ättikslag 1.3
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.22
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant Ant 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow pilformat 11.0.0
org.apache.arrow arrow-memory-core 11.0.0
org.apache.arrow arrow-memory-netty 11.0.0
org.apache.arrow pilvektor 11.0.0
org.apache.avro Avro 1.11.1
org.apache.avro avro-ipc 1.11.1
org.apache.avro avro-mapred 1.11.1
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recept 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy Ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.19.0
org.apache.logging.log4j log4j-api 2.19.0
org.apache.logging.log4j log4j-core 2.19.0
org.apache.logging.log4j log4j-slf4j2-impl 2.19.0
org.apache.mesos mesos 1.11.0-shaded-protobuf
org.apache.orc orc-core 1.8.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.8.2-shaded-protobuf
org.apache.orc orc-shims 1.8.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.22
org.apache.yetus åhörarkommentarer 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino Janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.50.v20221201
org.eclipse.jetty jetty-fortsättning 9.4.50.v20221201
org.eclipse.jetty jetty-http 9.4.50.v20221201
org.eclipse.jetty brygga-io 9.4.50.v20221201
org.eclipse.jetty jetty-jndi 9.4.50.v20221201
org.eclipse.jetty brygga plus 9.4.50.v20221201
org.eclipse.jetty jetty-proxy 9.4.50.v20221201
org.eclipse.jetty jetty-security 9.4.50.v20221201
org.eclipse.jetty brygga-server 9.4.50.v20221201
org.eclipse.jetty brygga-servlet 9.4.50.v20221201
org.eclipse.jetty jetty-servlets 9.4.50.v20221201
org.eclipse.jetty brygga-util 9.4.50.v20221201
org.eclipse.jetty jetty-util-ajax 9.4.50.v20221201
org.eclipse.jetty jetty-webapp 9.4.50.v20221201
org.eclipse.jetty jetty-xml 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-api 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-client 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-common 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-server 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-servlet 9.4.50.v20221201
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.36
org.glassfish.jersey.containers jersey-container-servlet-core 2.36
org.glassfish.jersey.core jersey-client 2.36
org.glassfish.jersey.core jersey-common 2.36
org.glassfish.jersey.core jersey-server 2.36
org.glassfish.jersey.inject jersey-hk2 2.36
org.hibernate.validator vilolägesverifierare 6.1.7.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Anteckningar 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 2.2.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.8
org.roaringbitmap RoaringBitmap 0.9.39
org.roaringbitmap Shims 0.9.39
org.rocksdb rocksdbjni 7.8.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 2.0.6
org.slf4j jul-to-slf4j 2.0.6
org.slf4j slf4j-api 2.0.6
org.threeten threeten-extra 1.7.1
org.tukaani Xz 1,9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.33
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1