Share via

Databricks Runtime 13.0 (non supportato)

  • Articolo

Le note sulla versione seguenti forniscono informazioni su Databricks Runtime 13.0, basate su Apache Spark 3.4.0.

Databricks ha rilasciato queste immagini nell'aprile 2023.

Miglioramenti e nuove funzionalità

Le espressioni H3 ora supportano aree geografiche lineari

Le h3_coverash3 funzioni e h3_coverash3string ora supportano aree geografiche lineari (linestring e multilinestring). Le funzioni producono un set minimo di celle H3 alla risoluzione specificata. Vedere h3_coverash3 e h3_coverash3string.

Ganglia sostituita con le metriche del cluster

Per Databricks Runtime versioni 13 e successive, le metriche Ganglia vengono sostituite con le metriche del cluster di Azure Databricks. Per Databricks Runtime versioni 12 e successive, è possibile continuare a usare le metriche Ganglia. Se si dispone di un flusso di lavoro che dipende dalle metriche ganglia che non possono essere soddisfatte delle metriche del cluster, contattare il team dell'account di Azure Databricks. Vedere Visualizzare le metriche di calcolo.

Spark 3.4.0 rilasciato

Apache Spark 3.4.0 è ora disponibile a livello generale. Vedere Spark Release 3.4.0.

Photon restituisce un errore se un file viene modificato tra la pianificazione della query e l'esecuzione

Le query photon restituiscono ora un errore se un file viene aggiornato tra la pianificazione delle query e l'esecuzione. Prima di questa modifica, Photon leggerebbe un file anche se il tempo di modifica cambia tra la pianificazione della query e l'esecuzione, il che potrebbe causare risultati imprevedibili.

Nuove funzionalità per l'I/O predittivo

Photon supporta ora fotogrammi scorrevoli, sia per le modalità ROWS che RANGE, usando {ROWS | RANGE} BETWEEN offset_start { PRECEDING | FOLLOWING } AND offset_stop { PRECEDING | FOLLOWING }.

Supporto esteso per le funzionalità di I/O predittive

Supporto esteso photon per le origini dati CSV, AVRO, memorizzazione nella cache dei dataframe quando lo schema contiene esclusivamente colonne scalari. Il supporto viene esteso anche per i tipi annidati, ad esempio mappe, struct e matrici.

Usare il connettore Databricks per connettersi a un'altra area di lavoro di Databricks

Il connettore Azure Databricks consente di connettersi alle risorse di calcolo configurate in un'altra area di lavoro e restituire i risultati all'area di lavoro corrente di Azure Databricks. Il driver JDBC di Azure Databricks è ora incluso in Databricks Runtime. Vedere Usare il connettore Databricks per connettersi a un'altra area di lavoro di Databricks.

Opzioni Kafka aggiuntive per Structured Streaming con cluster condiviso nel catalogo Unity

È ora possibile usare le impostazioni kakfa.ssl.truststore.location e kafak.ssl.keystore.location per archiviare i certificati Kafka in posizioni esterne gestite dal catalogo Unity quando si usa Structured Streaming nei cluster di accesso condiviso. Non è possibile usare i percorsi nella radice DBFS.

Ignorare le modifiche alla tabella Delta con Structured Streaming

È ora possibile usare skipChangeCommits per ignorare i commit di modifica dei dati nella tabella Delta per UPDATEle operazioni , MERGEe DELETE . In questo modo viene sostituito ignoreChanges, che è ora deprecato. Vedere Ignorare gli aggiornamenti e le eliminazioni.

Funzionalità CREATE TABLE LIKE per le tabelle Delta

CREATE TABLE LIKE è ora supportato quando si usano tabelle Delta.

Nuovi campi della colonna di metadati che denonotano l'inizio e la lunghezza del blocco di file

È ora possibile ottenere le informazioni sui metadati seguenti per i file di input con la _metadata colonna e file_block_startfile_block_length. Per altre informazioni, vedere Colonna metadati file.

Nuove funzioni geospaziali H3

Le nuove espressioni h3_coverash3 e h3_coverash3string sono disponibili per l'elaborazione geospaziale quando Photon è abilitato. Vedere Funzioni geospaziali H3.

Nuove funzioni predefinite di SQL

Sono state aggiunte le funzioni seguenti:

%sql nei notebook Python

Tutti i risultati non vuoti %sql nei notebook Python sono ora accessibili usando _sqldf o il sistema di memorizzazione nella cache dell'output di IPython. Questo semplifica l'utilizzo del risultato del dataframe in Python. Si tratta di una modifica del comportamento rispetto alle versioni precedenti di DBR, come in precedenza, _sqldf non sempre riassegnata.

_sqldf non viene riassegnato in un %sql risultato di cella se la cella è stata eseguita usando l'esecuzione parallela della cella SQL.

%pip non riavvia automaticamente Python

Dopo aver eseguito %pip i comandi all'interno di notebook Python che modificano virtualEnv, Databricks non riavvia più automaticamente il processo Python. Per riavviare il processo Python, chiamare dbutils.library.restartPython(). Con questa modifica, %pip i comandi in Databricks si comportano in modo analogo ai notebook di Jupyter e sono coerenti con !pip i comandi e %sh pip . Databricks consiglia %pip invece di !pip o %sh pip.

Le librerie Python con ambito cluster vengono installate usando un utente non radice

Le librerie vengono ora installate usando un utente non radice responsabile delle installazioni di librerie. Se si vuole configurare il comportamento di installazione pip negli script init, usare il [file https://pip.pypa.io/en/stable/topics/configuration/#configuration-filesa livello globale ).

Correzioni di bug

  • Nei %sh comandi sono state apportate le correzioni seguenti:
    • L'output contenente caratteri non UTF-8 è ora supportato.
    • I sottoprocessi vengono ora interrotti quando il comando viene annullato.

Aggiornamenti della libreria

  • Librerie Python aggiornate:
    • asttoken da 2.0.5 a 2.2.1
    • nero da 22.3.0 a 22.6.0
    • boto3 da 1.21.32 a 1.24.28
    • botocore da 1.24.32 a 1.27.28
    • certificato dal 2021.10.8 al 2022.9.14
    • cffi da 1.15.0 a 1.15.1
    • crittografia da 3.4.8 a 37.0.1
    • Cython da 0.29.28 a 0.29.32
    • dbus-python da 1.2.16 a 1.2.18
    • docstring-to-markdown da 0.11 a 0.12
    • esecuzione da 0.8.3 a 1.2.0
    • facet-overview dalla versione 1.0.0 alla versione 1.0.2
    • fastjsonschema da 2.16.2 a 2.16.3
    • filelock da 3.9.0 a 3.10.7
    • ipykernel da 6.15.3 a 6.17.1
    • ipython da 8.5.0 a 8.10.0
    • joblib da 1.1.1 a 1.2.0
    • jsonschema da 4.4.0 a 4.16.0
    • jupyter-client dalla versione 6.1.12 alla versione 7.3.4
    • kiwisolver da 1.3.2 a 1.4.2
    • matplotlib da 3.5.1 a 3.5.2
    • matplotlib-inline da 0.1.2 a 0.1.6
    • nbformat da 5.3.0 a 5.5.0
    • notebook dalla versione 6.4.8 alla versione 6.4.12
    • pandas da 1.4.2 a 1.4.4
    • Cuscino da 9.0.1 a 9.2.0
    • pip da 21.2.4 a 22.2.2
    • platformdirs dalla versione 2.6.2 alla versione 2.5.2
    • tracciato da 5.6.0 a 5.9.0
    • prometheus-client da 0.13.1 a 0.14.1
    • prompt-toolkit dalla versione 3.0.20 alla versione 3.0.36
    • psutil da 5.8.0 a 5.9.0
    • pyflakes da 2.5.0 a 3.0.1
    • PyGObject dalla versione 3.36.0 alla versione 3.42.1
    • pyparsing da 3.0.4 a 3.0.9
    • pyright da 1.1.283 a 1.1.294
    • python-lsp-server da 1.6.0 a 1.7.1
    • pytz dal 2021.3 al 2022.1
    • pyzmq da 22.3.0 a 23.2.0
    • richieste dalla versione 2.27.1 alla versione 2.28.1
    • corda da 0.22.0 a 1.7.0
    • s3transfer from 0.5.0 to 0.6.0
    • scikit-learn dalla versione 1.0.2 alla versione 1.1.1
    • scipy da 1.7.3 a 1.9.1
    • setuptools da 61.2.0 a 63.4.1
    • ssh-import-id da 5.10 a 5.11
    • stack-data da 0.2.0 a 0.6.2
    • percorso test da 0.5.0 a 0.6.0
    • tomli da 1.2.2 a 2.0.1
    • ujson da 5.1.0 a 5.4.0
    • urllib3 da 1.26.9 a 1.26.11
    • virtualenv da 20.8.0 a 20.16.3
    • whatthepatch da 1.0.4 a 1.0.2
    • ruota da 0.37.0 a 0.37.1
  • Librerie R aggiornate:
    • freccia da 10.0.0 a 10.0.1
    • bit da 4.0.4 a 4.0.5
    • scopa da 1.0.1 a 1.0.3
    • bslib da 0.4.1 a 0.4.2
    • chron da 2.3-58 a 2.3-59
    • cli da 3.4.1 a 3.6.0
    • spazi di colore da 2.0-3 a 2.1-0
    • curl da 4.3.3 a 5.0.0
    • data.table da 1.14.4 a 1.14.6
    • dbplyr da 2.2.1 a 2.3.0
    • digest da 0.6.30 a 0.6.31
    • dplyr da 1.0.10 a 1.1.0
    • e1071 da 1.7-12 a 1.7-13
    • valutare da 0,18 a 0,20
    • fani da 1.0.3 a 1.0.4
    • fontawesome da 0.4.0 a 0.5.0
    • forcat da 0.5.2 a 1.0.0
    • fs da 1.5.2 a 1.6.1
    • futuro da 1.29.0 a 1.31.0
    • gargle da 1.2.1 a 1.3.0
    • gert da 1.9.1 a 1.9.2
    • glmnet da 4.1-4 a 4.1-6
    • globals da 0.16.1 a 0.16.2
    • gower da 1.0.0 a 1.0.1
    • highr da 0.9 a 0.10
    • htmltools da 0.5.3 a 0.5.4
    • htmlwidgets da 1.5.4 a 1.6.1
    • httpuv da 1.6.6 a 1.6.8
    • isoband da 0.2.6 a 0.2.7
    • jsonlite da 1.8.3 a 1.8.4
    • magliare da 1,40 a 1,42
    • lava da 1.7.0 a 1.7.1
    • listenv da 0.8.0 a 0.9.0
    • lubridate da 1.9.0 a 1.9.1
    • markdown da 1.3 a 1.5
    • modelr da 0.1.9 a 0.1.10
    • openssl dalla versione 2.0.4 alla versione 2.0.5
    • parallelamente da 1.32.1 a 1.34.0
    • pkgbuild da 1.3.1 a 1.4.0
    • pkgdown da 2.0.6 a 2.0.7
    • pkgload da 1.3.1 a 1.3.2
    • plyr da 1.8.7 a 1.8.8
    • progressr da 0.11.0 a 0.13.0
    • purrr da 0.3.5 a 1.0.1
    • ragg da 1.2.4 a 1.2.5
    • Rcpp da 1.0.9 a 1.0.10
    • readxl da 1.4.1 a 1.4.2
    • ricette da 1.0.3 a 1.0.4
    • rmarkdown da 2.18 a 2.20
    • RODBC da 1.3-19 a 1.3-20
    • roxygen2 da 7.2.1 a 7.2.3
    • RSQLite da 2.2.18 a 2.2.20
    • sass da 0.4.2 a 0.4.5
    • brillante da 1.7.3 a 1.7.4
    • sourcetools da 0.1.7 a 0.1.7-1
    • sparklyr da 1.7.8 a 1.7.9
    • SparkR dalla versione 3.3.2 alla versione 3.4.0
    • spaziale da 7.3-11 a 7.3-15
    • stringi da 1.7.8 a 1.7.12
    • stringr da 1.4.1 a 1.5.0
    • sopravvivenza da 3,4-0 a 3,5-3
    • testat da 3.1.5 a 3.1.6
    • tidyr da 1.2.1 a 1.3.0
    • timechange da 0.1.1 a 0.2.0
    • timeDate da 4021.106 a 4022.108
    • tinytex da 0,42 a 0,44
    • utf8 da 1.2.2 a 1.2.3
    • vctrs da 0.5.0 a 0.5.2
    • vroom da 1.6.0 a 1.6.1
    • whisker da 0.4 a 0.4.1
    • xfun da 0.34 a 0.37
    • yaml da 2.3.6 a 2.3.7
  • Librerie Java aggiornate:
    • com.amazonaws.aws-java-sdk-autoscaling da 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-cloudformation da 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-cloudfront da 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-cloudhsm da 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-cloudsearch da 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-cloudtrail da 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-cloudwatch da 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-cloudwatchmetrics da 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-codedeploy da 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-cognitoidentity da 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-cognitosync da 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-config da 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-core da 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-datapipeline da 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-directconnect da 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-directory da 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-dynamodb da 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-ec2 da 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-ecs da 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-efs da 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-elasticache da 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-elasticbeanstalk da 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-elasticloadbalancing da 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-elastictranscoder da 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-emr da 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-glacier da 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-glue da 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-iam da 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-importexport da 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-[...]s da 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-kms da 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-lambda da 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-logs da 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-machinelearning da 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-opsworks da 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-rds da 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-redshift da 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-route53 da 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-s3 da 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-ses da 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-simpledb da 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-simpleworkflow da 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-sns da 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-sqs da 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-ssm da 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-storagegateway da 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-sts da 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-support da 1.12.189 a 1.12.390
    • com.amazonaws.aws-java-sdk-workspaces da 1.12.189 a 1.12.390
    • com.amazonaws.jmespath-java da 1.12.189 a 1.12.390
    • com.fasterxml.jackson.core.jackson-annotations da 2.13.4 a 2.14.2
    • com.fasterxml.jackson.core.jackson-core da 2.13.4 a 2.14.2
    • com.fasterxml.jackson.core.jackson-databind da 2.13.4.2 a 2.14.2
    • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor da 2.13.4 a 2.14.2
    • com.fasterxml.jackson.datatype.jackson-datatype-joda da 2.13.4 a 2.14.2
    • com.fasterxml.jackson.module.jackson-module-paranamer da 2.13.4 a 2.14.2
    • com.fasterxml.jackson.module.jackson-module-scala_2.12 da 2.13.4 a 2.14.2
    • com.github.luben.zstd-jni da 1.5.2-1 a 1.5.2-5
    • com.google.code.gson.gson da 2.8.6 a 2.8.9
    • com.google.crypto.tink.tink da 1.6.1 a 1.7.0
    • da 2.0.204 a 2.1.214
    • com.jcraft.jsch da 0.1.50 a 0.1.55
    • com.ning.compress-lzf da 1.1 a 1.1.2
    • commons-fileupload.commons-fileupload da 1.3.3 a 1.5
    • dev.incremental.netlib.arpack da 2.2.1 a 3.0.3
    • dev.incremental.netlib.blas da 2.2.1 a 3.0.3
    • dev.sdk.netlib.lapack da 2.2.1 a 3.0.3
    • io.dropwizard.metrics.metrics-core da 4.1.1 a 4.2.10
    • io.dropwizard.metrics.metrics-graphite da 4.1.1 a 4.2.10
    • io.dropwizard.metrics.metrics-healthchecks dalla versione 4.1.1 alla versione 4.2.10
    • io.dropwizard.metrics.metrics-jetty9 da 4.1.1 a 4.2.10
    • io.dropwizard.metrics.metrics-jmx da 4.1.1 a 4.2.10
    • io.dropwizard.metrics.metrics-json da 4.1.1 a 4.2.10
    • io.dropwizard.metrics.metrics-jvm da 4.1.1 a 4.2.10
    • io.dropwizard.metrics.metrics-servlets da 4.1.1 a 4.2.10
    • io.netty.netty-all dalla versione 4.1.74.Final alla versione 4.1.87.Final
    • io.netty.netty-buffer da 4.1.74.Final a 4.1.87.Final
    • io.netty.netty-codec da 4.1.74.Final a 4.1.87.Final
    • io.netty.netty-common da 4.1.74.Final a 4.1.87.Final
    • io.netty.netty-handler dalla versione 4.1.74.Final alla versione 4.1.87.Final
    • io.netty.netty-resolver da 4.1.74.Final a 4.1.87.Final
    • trasporto io.netty.netty da 4.1.74.Final a 4.1.87.Final
    • io.netty.netty-transport-classes-epoll da 4.1.74.Final a 4.1.87.Final
    • io.netty.netty-transport-classes-kqueue da 4.1.74.Final a 4.1.87.Final
    • io.netty.netty-transport-native-unix-common da 4.1.74.Final a 4.1.87.Final
    • joda-time.joda-time da 2.10.13 a 2.12.1
    • net.razorvine.pickle da 1.2 a 1.3
    • org.antlr.antlr4-runtime da 4.8 a 4.9.3
    • org.apache.ant.ant da 1.9.2 a 1.9.16
    • org.apache.ant.ant-jsch da 1.9.2 a 1.9.16
    • org.apache.ant.ant-launcher da 1.9.2 a 1.9.16
    • org.apache.arrow.arrow-format da 7.0.0 a 11.0.0
    • org.apache.arrow.arrow-memory-core da 7.0.0 a 11.0.0
    • org.apache.arrow.arrow-memory-netty da 7.0.0 a 11.0.0
    • org.apache.arrow.arrow-vector da 7.0.0 a 11.0.0
    • org.apache.avro.avro da 1.11.0 a 1.11.1
    • org.apache.avro.avro-ipc da 1.11.0 a 1.11.1
    • org.apache.avro.avro-mapred da 1.11.0 a 1.11.1
    • org.apache.httpcomponents.httpclient da 4.5.13 a 4.5.14
    • org.apache.httpcomponents.httpcore da 4.4.14 a 4.4.16
    • org.apache.ivy.ivy da 2.5.0 a 2.5.1
    • org.apache.logging.log4j.log4j-1.2-api da 2.18.0 a 2.19.0
    • org.apache.logging.log4j.log4j-api da 2.18.0 a 2.19.0
    • org.apache.logging.log4j.log4j-core da 2.18.0 a 2.19.0
    • org.apache.orc.orc-core da 1.7.6 a 1.8.2-shaded-protobuf
    • org.apache.orc.orc-mapreduce da 1.7.6 a 1.8.2-shaded-protobuf
    • org.apache.orc.orc-shims da 1.7.6 a 1.8.2
    • org.apache.xbean.xbean-asm9-shaded da 4.20 a 4.22
    • org.apache.zookeeper.zookeeper da 3.6.2 a 3.6.3
    • org.apache.zookeeper.zookeeper-jute da 3.6.2 a 3.6.3
    • org.eclipse.jetty.jetty-client da 9.4.46.v20220331 a 9.4.50.v20221201
    • org.eclipse.jetty.jetty-continuation da 9.4.46.v20220331 a 9.4.50.v20221201
    • org.eclipse.jetty.jetty-http da 9.4.46.v20220331 a 9.4.50.v20221201
    • org.eclipse.jetty.jetty-io da 9.4.46.v20220331 a 9.4.50.v20221201
    • org.eclipse.jetty.jetty-jndi da 9.4.46.v20220331 a 9.4.50.v20221201
    • org.eclipse.jetty.jetty-plus da 9.4.46.v20220331 a 9.4.50.v20221201
    • org.eclipse.jetty.jetty-proxy da 9.4.46.v20220331 a 9.4.50.v20221201
    • org.eclipse.jetty.jetty-security da 9.4.46.v20220331 a 9.4.50.v20221201
    • org.eclipse.jetty.jetty-server da 9.4.46.v20220331 a 9.4.50.v20221201
    • org.eclipse.jetty.jetty-servlet da 9.4.46.v20220331 a 9.4.50.v20221201
    • org.eclipse.jetty.jetty-servlets da 9.4.46.v20220331 a 9.4.50.v20221201
    • org.eclipse.jetty.jetty-util da 9.4.46.v20220331 a 9.4.50.v20221201
    • org.eclipse.jetty.jetty-util-ajax da 9.4.46.v20220331 a 9.4.50.v20221201
    • org.eclipse.jetty.jetty-webapp da 9.4.46.v20220331 a 9.4.50.v20221201
    • org.eclipse.jetty.jetty-xml da 9.4.46.v20220331 a 9.4.50.v20221201
    • org.eclipse.jetty.websocket.websocket-api da 9.4.46.v20220331 a 9.4.50.v20221201
    • org.eclipse.jetty.websocket.websocket-client da 9.4.46.v20220331 a 9.4.50.v20221201
    • org.eclipse.jetty.websocket.websocket-common da 9.4.46.v20220331 a 9.4.50.v20221201
    • org.eclipse.jetty.websocket.websocket-server da 9.4.46.v20220331 a 9.4.50.v20221201
    • org.eclipse.jetty.websocket.websocket-servlet da 9.4.46.v20220331 a 9.4.50.v20221201
    • org.hibernate.validator.hibernate-validator da 6.1.0.Final a 6.1.7.Final
    • org.mlflow.mlflow-spark da 2.1.1 a 2.2.0
    • org.postgresql.postgresql da 42.3.3 a 42.3.8
    • org.roaringbitmap.RoaringBitmap da 0.9.25 a 0.9.39
    • org.roaringbitmap.shims da 0.9.25 a 0.9.39
    • org.rocksdb.rocksdbjni da 6.28.2 a 7.8.3
    • org.scala-lang.scala-compiler_2.12 da 2.12.14 a 2.12.15
    • org.scala-lang.scala-library_2.12 da 2.12.14 a 2.12.15
    • org.scala-lang.scala-reflect_2.12 da 2.12.14 a 2.12.15
    • org.scalanlp.breeze-macros_2.12 da 1.2 a 2.1.0
    • org.scalanlp.breeze_2.12 da 1.2 a 2.1.0
    • org.slf4j.jcl-over-slf4j da 1.7.36 a 2.0.6
    • org.slf4j.jul-to-slf4j da 1.7.36 a 2.0.6
    • org.slf4j.slf4j-api da 1.7.36 a 2.0.6
    • org.threeten.threeten-extra da 1.5.0 a 1.7.1
    • org.wildfly.openssl.wildfly-openssl da 1.0.7.Final a 1.1.3.Final
    • org.yaml.snakeyaml da 1.24 a 1.33

Apache Spark

Databricks Runtime 13.0 include Apache Spark 3.4.0.

Spark SQL

Funzionalità

  • Implementare il supporto per i valori DEFAULT per le colonne nelle tabelle (SPARK-38334)
  • Aggiungere Dataset.as(StructType) (SPARK-39625)
  • Supporto di SQL con parametri (SPARK-41271, SPARK-42702)
  • Aggiungere unpivot/melt (SPARK-38864, SPARK-39876)
  • Supporto di "riferimenti alias di colonna laterale" (SPARK-27561)
  • Clausola di offset dei risultati di supporto (SPARK-28330, SPARK-39159)
  • Supporto del timestamp senza tipo di dati fuso orario (SPARK-35662)
  • Supportare la sottoquery scalare nel tempo di spostamento (SPARK-39306)
  • Rendere l'API catalogo compatibile con uno spazio dei nomi a 3 livelli (SPARK-39235)
  • Supporto del timestamp in secondi per TimeFrame con le opzioni del dataframe (SPARK-39633)
  • Aggiungere SparkSession.config(Map) (SPARK-40163)
  • Supporto della modifica del database predefinito del catalogo di sessioni (SPARK-35242)
  • Supporto protobuf per Spark - from_protobuf AND to_protobuf (SPARK-40654)
  • Aggiungere la clausola WHEN NOT MATCHED BY SOURCE a MERGE INTO (SPARK-40921)
  • Vincolo di ordinamento rilassante per le opzioni di colonna CREATE TABLE (SPARK-40944)
  • Equivalente SQL per il comando di sovrascrittura del dataframe (SPARK-40956)
  • Supporto della generazione senza output figlio necessario per ospitare riferimenti esterni (SPARK-41441)
  • ORDER BY ALL (SPARK-41637)
  • GROUP BY ALL (SPARK-41635)
  • Aggiungere flatMapSortedGroups e cogroupSorted (SPARK-38591)
  • Supportare sottoquery con predicati di non uguaglianza correlati (SPARK-36114)
  • Supportare sottoquery con correlazione tramite UNION/INTER edizione Standard CT/EXCEPT (SPARK-36124)

Conformità ANSI

  • Modalità SQL ANSI: restituisce sempre Null per l'accesso non valido alla colonna di mapping (SPARK-40066)
  • Supportare identificatori tra virgolette doppie (SPARK-40585)
  • Modalità SQL ANSI: Round/Bround dovrebbe restituire un errore in caso di overflow intero (SPARK-42045)
  • Supporto del cast di integrali a intervalli ANSI (SPARK-40008)
  • Supporto del cast di decimali a intervalli ANSI (SPARK-40014)
  • Restituire tipi di intervallo ANSI più ampi dalle funzioni percentili (SPARK-40151)
  • Supporto del cast di intervalli ANSI a decimali (SPARK-39470)
  • Supporto degli intervalli di cast a integrali in modalità ANSI (SPARK-39451)
  • Rafforzare l'utilizzo di SQLSTATE per le classi di errore (SPARK-41994)

Funzioni

  • Supportare le funzioni del generatore con valori di tabella nella clausola FROM (SPARK-41594)
  • Supporto della funzione di aggregazione ANSI: REGR_SXY (SPARK-37681)
  • Supporto della funzione di aggregazione ANSI: REGR_R2 (SPARK-37641)
  • Supporto della funzione di aggregazione ANSI: REGR_SXX (SPARK-37672)
  • Supporto della funzione di aggregazione ANSI: REGR_SYY (SPARK-37702)
  • Supporto della funzione di aggregazione ANSI: REGR_SLOPE (SPARK-39230)
  • Supporto della funzione di aggregazione ANSI: REGR_INTERCEPT (SPARK-37623)
  • Supportare la funzione di aggregazione ANSI PERCENTILE_CONT come funzione finestra (SPARK-38219)
  • Supporto della funzione di aggregazione ANSI: PERCENTILE_DISC (SPARK-37691)
  • Supporto della funzione SPLIT_PART (SPARK-38063)
  • Supporto della funzione TRY_AVG (SPARK-38589)
  • Supporto della funzione TRY_TO_BINARY (SPARK-38590)
  • Supportare le funzioni SQL TO_NUMBER e TRY_TO_NUMBER in base a una nuova specifica (SPARK-38796)
  • Supportare la specifica e la funzione del valore generale ANSI - U edizione Standard R (SPARK-39138)
  • Supportare le funzioni TO_CHAR e TRY_TO_CHAR per formattare i valori decimali come stringhe (SPARK-28516)
  • Supporto ANY_VALUE funzione di aggregazione (SPARK-39213)
  • Supporto della funzione EQUAL_NUL (SPARK-39305)
  • Supporto della funzione di aggregazione MEDIAN (SPARK-39320)
  • Supporto della funzione REGEXP_COUNT (SPARK-39618)
  • Supporto della funzione REGEXP_INSTR (SPARK-39744)
  • Supporto della funzione REGEXP_SUBSTR (SPARK-39695)
  • Supporto della funzione UNPIVOT (SPARK-39876)
  • Supporto della funzione TRY_TO_TIMESTAMP (SPARK-39795)
  • Supportare la codifica/decodifica dell'URL come funzione predefinita e riordinare le funzioni correlate all'URL (SPARK-39741)
  • Support aggregate function MODE (SPARK-39808)
  • Funzione GET di supporto (SPARK-40109)
  • Aggiungere alias di funzione: LEN, DATEPART, DATEADD, DATE_DIFF, CURDATE (SPARK-40352)
  • Migliorare la funzione TO_BINARY (SPARK-40112)
  • Supporto CURRENT_SCHEMA (SPARK-41323)
  • Supporto della maschera dati predefinita MASK (SPARK-40687)
  • Supporto della funzione di ordine elevato: ARRAY_COMPACT (SPARK-41235)
  • Supporto della funzione ARRAY_APPEND (SPARK-41232)
  • Supporto della funzione ARRAY_IN edizione Standard RT (SPARK-41234)
  • Supporto della funzione LUHN_CHECK (SPARK-42191)
  • Supporto di ARRAY_SORT(colonna, confronto) (SPARK-39925)

Origini dati

  • Supporto delle statistiche delle colonne in DS v2 (SPARK-41378)
  • Archiviazione join partizionato (SPJ) in DS v2 (SPARK-37375)
  • Operazioni a livello di riga in DS v2 (SPARK-35801)
  • Aggiungere la combinazione SupportsReportOrdering nell'interfaccia per L'analisi DS v2 (SPARK-38647)
  • Inferenza del tipo DATE per l'inferenza dello schema CSV (SPARK-39469)
  • Supporto delle metriche dei driver nell'API metrica personalizzata DS v2 (SPARK-39635)
  • La distribuzione e l'ordinamento supportano la funzione DS v2 nella scrittura (SPARK-39607)
  • StringEndsWith/Contains supporta il push verso Parquet in modo da poter sfruttare il filtro del dizionario (SPARK-39002)
  • Supporto del tipo definito dall'utente nel lettore con vettori Spark Parquet (SPARK-39086)
  • Estendere la colonna METADATA per supportare gli indici di riga per i file Parquet (SPARK-37980)
  • Supporto della lettura del tipo parquet FIXED_LEN_BYTE_ARRAY (SPARK-41096)
  • Ottimizzare l'ordine dei predicati di filtro (SPARK-40045)
  • Supportare query CTE e tabelle temporanee con MSSQL JDBC (SPARK-37259)
  • Supporto di ignoreCorruptFiles e ignoreMissingFiles nelle opzioni origine dati (SPARK-38767)
  • Estrarre la scrittura v1 in WriteFiles (SPARK-41407)
  • Aggiungere spaziatura interna char in lettura per coprire i file di dati esterni (SPARK-40697)

Ottimizzazione query

  • Unire sottoquery scalari non correlate (SPARK-34079)
  • Abilitare join di filtro Bloom per impostazione predefinita (SPARK-38841)
  • Rimuovere valori distinti non necessari nell'espressione di aggregazione da distinctKeys (SPARK-38832)
  • Supporto del pushdown del predicato e dell'eliminazione delle colonne per le CTE deduped (SPARK-37670)
  • Rimuovere outer join se le funzioni di aggregazione sono indipendenti dal lato trasmesso (SPARK-38886)
  • Rimuovi outer join sinistro/destro se sono selezionate solo colonne lato sinistro/destro e le chiavi di join sull'altro lato sono univoche (SPARK-39172)
  • Ottimizzare l'ordinamento globale in RepartitionByExpression (SPARK-39911)
  • Ottimizzare la regola TrasponiWindow (SPARK-38034)
  • Migliorare EliminaSorts per supportare la rimozione degli ordinamenti tramite LocalLimit (SPARK-40050)
  • Eseguire il push del limite locale su entrambi i lati se la condizione di join è vuota (SPARK-40040)
  • Aggiungere PushProjectionThroughLimit per Optimizer (SPARK-40501)
  • Supporto di PIVOT/UNPIVOT con elementi figlio di join (SPARK-41195)
  • Supportare l'eliminazione delle colonne con più filtri non deterministici (SPARK-41017)
  • Migliorare il partizionamento e l'ordinamento dell'output con la cache AQE (SPARK-41048)
  • Migliorare le prestazioni multi like creando un predicato albero delle espressioni bilanciato (SPARK-41167)
  • Rimuovere l'ordinamento se è figlio di RepartitionByExpression (SPARK-36703)
  • Usare le statistiche delle colonne disponibili dalle fasi di query completate (SPARK-39991)
  • Riutilizzare le espressioni in WindowSpecDefinition (SPARK-41805)
  • Migliorare AliasAwareOutputPartitioning e AliasAwareQueryOutputOrdering per tenere conto di tutti gli alias (SPARK-40086, SPARK-42049)
  • Push down limit through Python UDFs (SPARK-42115)

Generazione di codice ed esecuzione di query

  • Impostare defaultJoin in BroadcastNestedLoopJoinExec in esecuzione in parallelo (SPARK-40487)
  • Supporto di Codegen per HiveGenericUDF (SPARK-42051)
  • Introdurre shuffle in SinglePartition (SPARK-41986)
  • Rende il supporto DPP il lato di eliminazione ha Union (SPARK-39217)

Altre modifiche rilevanti

  • Supportare la raccolta di statistiche delle partizioni automatiche (SPARK-38573)
  • Formattare i messaggi di errore nel server Thrift (SPARK-40098)
  • Aggiungere un'API di estensione per pianificare la normalizzazione per la memorizzazione nella cache (SPARK-41183)
  • Eseguire il refactoring dei tipi Spark introducendo tipi fisici (SPARK-41226)
  • Supporto e ricorsione dei campi OneOf (SPARK-41396)
  • Centralizzare la logica di risoluzione delle colonne (SPARK-41405)
  • Migliorare la convalida delle modifiche del piano (SPARK-42081)
  • Introduzione di SparkPath per typesafety (SPARK-41970)
  • Generare un'eccezione per db_name.view_name durante la creazione della visualizzazione temporanea dall'API del set di dati (SPARK-41090)
  • Modificare il valore predefinito dell'argomento della funzione Mask da -1 a NULL (SPARK-42070)

Spark Core

Ritiro

  • Evitare di rieseguire attività non necessarie in caso di perdita di executor rimosso se si esegue la migrazione casuale dei dati (SPARK-41469)
  • Ignorare l'errore di recupero della fase causato dall'executor rimosso (SPARK-40481)
  • Abilitare spark.storage.decommission. (rdd|shuffle) Blocks.enabled per impostazione predefinita (SPARK-40198)
  • Aggiunta del supporto per la rimozione delle autorizzazioni YARN quando ESS è disabilitato (SPARK-30835)

Utilità di pianificazione

  • Pianificare la fase supporta la modalità cluster locale (SPARK-41949)
  • Supporto del profilo delle risorse delle attività a livello di fase per il cluster autonomo quando l'allocazione dinamica è disabilitata (SPARK-39853)
  • Delay onDisconnected to enable Driver receives ExecutorExitCode (SPARK-39957)
  • Migliorare la speculazione tramite le metriche delle attività di fase (SPARK-32170)
  • Aggiungere il supporto per la pianificazione delle risorse a livello di fase per il cluster autonomo (SPARK-39062)
  • Migliorare il processo LaunchTask per evitare errori di fase causati da messaggi LaunchTask non riusciti (SPARK-39955)

Shuffle

  • Aggiungere metriche di lettura casuali basate su push sul lato client (SPARK-36620)
  • Metriche lato server casuale per lo shuffle basato su push (SPARK-33573)
  • Assicurarsi che mergedShuffleCleaner sia stato arrestato prima della chiusura del database (SPARK-40186)
  • Aggiungere il supporto di RocksDB per l'archivio stati del servizio casuale (SPARK-38888)
  • Incapsulare LevelDB usato per archiviare lo stato casuale remoto/esterno come database (SPARK-38909)
  • Abilitare spark.dynamicAllocation.shuffleTracking.enabled per impostazione predefinita (SPARK-3984)
  • Abilitare il servizio shuffle basato su push per archiviare lo stato nel database a livello di NM per il riavvio con mantenimento del lavoro (SPARK-33236)
  • Rimuovere blocchi casuali usando il servizio shuffle per gli executor rilasciati (SPARK-37618)

Altre modifiche rilevanti

  • Supportare l'ambiente solo IPv6 (SPARK-39457)
  • Abilitare spark.kryo.unsafe per impostazione predefinita (SPARK-42137)
  • Non consentire un classpath personalizzato arbitrario con l'utente proxy in modalità cluster (SPARK-41958)
  • Evitare la nuova registrazione di BlockManager se l'executor è andato perso (SPARK-41360)
  • Rimuovere la limitazione che il risultato di una singola attività deve rientrare in 2 GB (SPARK-40622)
  • Rimuovere il supporto delle configurazioni spark.akka.* deprecate (SPARK-40401)
  • Modificare la registrazione predefinita in stderr in modo che sia coerente con il comportamento di log4j (SPARK-40406)
  • Escludere i metadati DirectTaskResult durante il calcolo delle dimensioni dei risultati (SPARK-40261)
  • Consenti la personalizzazione del numero di partizioni iniziali nel comportamento take() (SPARK-40211)
  • Usare il blocco interrompibile anziché sincronizzato in Executor.updateDependencies() (SPARK-40235)
  • L'errore dell'attività deve sempre attivare listener di errori delle attività (SPARK-40106)
  • Aggiungere la possibilità di disabilitare in modo selettivo il controllo o il polling (SPARK-36462)
  • Non memorizzare nella cache le relazioni di trasmissione nonrializzate sul driver (SPARK-39983)
  • Correzione del deadlock tra TaskMemoryManager e UnsafeExternalSorter.SpillableIterator (SPARK-39283)
  • Esporre le partizioni numeriche in una fase a TaskContext (SPARK-38679)
  • Rendere configurabile il fattore di overhead della memoria (SPARK-38194)
  • Evitare di usare bash -c in ShellBasedGroupsMappingProvider (SPARK-38992)

Structured Streaming

Funzionalità principali

  • Rilevamento dello stato asincrono (SPARK-39591)
  • Elaborazione arbitraria con stato python in structured streaming (SPARK-40434)
  • Supporto protobuf in structured streaming (SPARK-40653)
  • Correzione del filtro dei record in ritardo per supportare il concatenamento degli operatori con stato (SPARK-40925)

Altre modifiche rilevanti

  • Introduzione a una gestione file del checkpoint di streaming basata sull'interfaccia Abortable di Hadoop (SPARK-40039)
  • Deprecate Trigger.Once e Promote Trigger.AvailableNow (SPARK-39805)
  • Esporre le informazioni della tabella del catalogo al piano logico nella query di streaming (SPARK-39564)
  • Supporto per la raccolta di metriche dai sink di streaming (SPARK-38564)
  • Deprecare l'API DStream (SPARK-42075)
  • Capovolgere il valore predefinito della configurazione di recupero offset Kafka (SPARK-40844)
  • Fornire una sessione Spark clonata nel dataframe nella funzione utente per il sink foreachBatch in PySpark (SPARK-41379)

Spark Connessione

Client Python

Scala Client

PySpark

API Pandas in Spark

Altre modifiche rilevanti

  • Miglioramenti principali
    • Fornire un profiler di memoria per le funzioni definite dall'utente pySpark (SPARK-40281)
    • Rendere l'API catalogo compatibile con uno spazio dei nomi a 3 livelli (SPARK-39235)
    • Supporto dell'input NumPy in PySpark (SPARK-39405)
    • Miglioramenti dell'errore PySpark (SPARK-41597)
  • Funzionalità principali

MLLIB

SparkR

Servizio server di cronologia e interfaccia utente dinamica

  • Migliore scalabilità dell'interfaccia utente Spark e stabilità dei driver per applicazioni di grandi dimensioni (SPARK-41053)
  • Usare RocksDB per spark.history.store.hybridStore.diskBackend per impostazione predefinita (SPARK-42277)
  • Raggruppare le esecuzioni annidate nell'esecuzione radice (SPARK-41752)
  • Visualizzare le proprietà delle metriche nella scheda ambiente (SPARK-39110)
  • Correzione delle dimensioni/record di input stagePage non visualizzati quando i record sono maggiori di zero (SPARK-34777)
  • Migliorare le prestazioni jsonProtocol di registrazione degli eventi usando Jackson anziché Json4s (SPARK-39489)
  • Supporto di spark.history.fs.update.batchSize (SPARK-39225)

Compilazione

  • Aggiornare cloudpickle alla versione 2.2.0 (SPARK-40991)
  • Deprecare il supporto di Python 3.7 (SPARK-39861)
  • Supporto di Python 3.11 (SPARK-41454)
  • Aggiornare dev.multidimensional.netlib alla versione 3.0.2 (SPARK-40251)
  • Aggiornare la brezza alla versione 2.0 (SPARK-39616)
  • Aggiornare la versione slf4j alla versione 2.0.6 (SPARK-41561)
  • Aggiornare la versione kubernetes-client alla versione 6.4.1 (SPARK-42362)
  • Aggiornare rocksdbjni a 7.9.2 ( SPARK-42129)
  • Aggiornare Apache Arrow alla versione 11.0.0 (SPARK-42161)
  • Aggiornare Apache Kafka alla versione 3.3.2 (SPARK-42109)

Aggiornamenti di manutenzione

Vedere Aggiornamenti della manutenzione di Databricks Runtime 13.0.

Ambiente di sistema

  • Sistema operativo: Ubuntu 22.04.2 LTS
  • Java: Zulu 8.68.0.21-CA-linux64
  • Scala: 2.12.15
  • Python: 3.10.6
  • R: 4.2.2
  • Delta Lake: 2.3.0

Librerie Python installate

Libreria Versione Libreria Versione Libreria Versione
appdirs 1.4.4 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
asttoken 2.2.1 attrs 21.4.0 backcall 0.2.0
beautifulsoup4 4.11.1 black 22.6.0 bleach 4.1.0
blinker 1.4 boto3 1.24.28 botocore 1.27.28
certifi 2022.9.14 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 Clic 8.0.4 Crittografia 37.0.1
cycler 0.11.0 Cython 0.29.32 dbus-python 1.2.18
debugpy 1.5.1 decorator 5.1.1 defusedxml 0.7.1
distlib 0.3.6 docstring-to-markdown 0.12 entrypoints 0,4
executing 1.2.0 facet-overview 1.0.2 fastjsonschema 2.16.3
filelock 3.10.7 fonttools 4.25.0 googleapis-common-protos 1.56.4
grpcio 1.48.1 grpcio-status 1.48.1 httplib2 0.20.2
idna 3.3 importlib-metadata 4.6.4 ipykernel 6.17.1
ipython 8.10.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
jedi 0.18.1 jeepney 0.7.1 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.2.0 jsonschema 4.16.0
jupyter-client 7.3.4 jupyter_core 4.11.2 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 Portachiavi 23.5.0 kiwisolver 1.4.2
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
MarkupSafe 2.0.1 matplotlib 3.5.2 matplotlib-inline 0.1.6
Mccabe 0.7.0 mistune 0.8.4 more-itertools 8.10.0
mypy-extensions 0.4.3 nbclient 0.5.13 nbconvert 6.4.4
nbformat 5.5.0 nest-asyncio 1.5.5 nodeenv 1.7.0
notebook 6.4.12 numpy 1.21.5 oauthlib 3.2.0
creazione del pacchetto 21.3 pandas 1.4.4 pandocfilters 1.5.0
parso 0.8.3 pathspec 0.9.0 patsy 0.5.2
pexpect 4.8.0 pickleshare 0.7.5 Pillow 9.2.0
pip 22.2.2 platformdirs 2.5.2 plotly 5.9.0
pluggy 1.0.0 prometheus-client 0.14.1 prompt-toolkit 3.0.36
protobuf 3.19.4 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 pyarrow 7.0.0
pycparser 2.21 pyflakes 3.0.1 Pygments 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.32
pyparsing 3.0.9 pyright 1.1.294 pirsistente 0.18.0
python-dateutil 2.8.2 python-lsp-jsonrpc 1.0.0 python-lsp-server 1.7.1
pytoolconfig 1.2.2 pytz 2022.1 pyzmq 23.2.0
requests 2.28.1 Corda 1.7.0 s3transfer 0.6.0
scikit-learn 1.1.1 Scipy 1.9.1 seaborn 0.11.2
Segreto Archiviazione 3.3.1 Send2Trash 1.8.0 setuptools 63.4.1
sei 1.16.0 soupsieve 2.3.1 ssh-import-id 5,11
stack-data 0.6.2 statsmodels 0.13.2 tenacity 8.0.1
terminado 0.13.1 testpath 0.6.0 threadpoolctl 2.2.0
tokenize-rt 4.2.1 tomli 2.0.1 tornado 6.1
traitlets 5.1.1 ujson 5.4.0 aggiornamenti automatici 0,1
urllib3 1.26.11 virtualenv 20.16.3 wadllib 1.3.6
wcwidth 0.2.5 webencodings 0.5.1 whatthepatch 1.0.2
wheel 0.37.1 widgetsnbextension 3.6.1 yapf 0.31.0
zipp 1.0.0

Librerie R installate

Le librerie R vengono installate dallo snapshot di Microsoft CRAN nel 2023-02-10.

Libreria Versione Libreria Versione Libreria Versione
freccia 10.0.1 askpass 1.1 assertthat 0.2.1
Backports 1.4.1 base 4.2.2 base64enc 0.1-3
bit 4.0.5 bit64 4.0.5 blob 1.2.3
boot 1.3-28 Birra 1.0-8 Brio 1.1.3
Scopa 1.0.3 bslib 0.4.2 cachem 1.0.6
chiamante 3.7.3 caret 6.0-93 cellranger 1.1.0
Chron 2.3-59 class 7.3-21 cli 3.6.0
clipr 0.8.0 clock 0.6.1 cluster 2.1.4
codetools 0.2-19 spazio colori 2.1-0 segno comune 1.8.1
compilatore 4.2.2 config 0.3.1 cpp11 0.4.3
Pastello 1.5.2 credentials 1.3.2 curl 5.0.0
data.table 1.14.6 datasets 4.2.2 DBI 1.1.3
dbplyr 2.3.0 desc 1.4.2 devtools 2.4.5
diffobj 0.3.5 digest 0.6.31 downlit 0.4.2
dplyr 1.1.0 dtplyr 1.2.2 e1071 1.7-13
puntini di sospensione 0.3.2 evaluate 0,20 fani 1.0.4
farver 2.1.1 fastmap 1.1.0 fontawesome 0.5.0
forcats 1.0.0 foreach 1.5.2 straniero 0.8-82
forge 0.2.0 fs 1.6.1 future 1.31.0
future.apply 1.10.0 Gargarismi 1.3.0 Generics 0.1.3
Gert 1.9.2 ggplot2 3.4.0 Gh 1.3.1
gitcreds 0.1.2 glmnet 4.1-6 globals 0.16.2
Colla 1.6.2 googledrive 2.0.0 Googlesheets4 1.0.1
Gower 1.0.1 grafica 4.2.2 grDevices 4.2.2
grid 4.2.2 gridExtra 2.3 gsubfn 0,7
gtable 0.3.1 hardhat 1.2.0 Haven 2.5.1
highr 0,10 Hms 1.1.2 htmltools 0.5.4
htmlwidgets 1.6.1 httpuv 1.6.8 httr 1.4.4
ids 1.0.1 ini 0.3.1 ipred 0.9-13
isoband 0.2.7 Iteratori 1.0.14 jquerylib 0.1.4
jsonlite 1.8.4 KernSmooth 2.23-20 magliare 1.42
Etichettatura 0.4.2 later 1.3.0 Reticolo 0.20-45
Java 1.7.1 lifecycle 1.0.3 listenv 0.9.0
lubridate 1.9.1 magrittr 2.0.3 Markdown 1,5
Un sacco 7.3-58.2 Con matrice 1.5-1 memoise 2.0.1
metodi 4.2.2 mgcv 1.8-41 Mime 0.12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.10
Munsell 0.5.0 nlme 3.1-162 nnet 7.3-18
numDeriv 2016.8-1.1 openssl 2.0.5 parallel 4.2.2
parallelly 1.34.0 Pilastro 1.8.1 pkgbuild 1.4.0
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2
plogr 0.2.0 plyr 1.8.8 Lode 1.0.0
prettyunits 1.1.1 Proc 1.18.0 processx 3.8.0
prodlim 2019.11.13 profvis 0.3.7 Avanzamento 1.2.2
progressr 0.13.0 promises 1.2.0.1 proto 1.0.0
proxy 0.4-27 ps 1.7.2 purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.10 RcppEigen 0.3.3.9.3
readr 2.1.3 readxl 1.4.2 ricette 1.0.4
Rivincita 1.0.1 rematch2 2.1.2 remotes 2.4.2
reprex 2.0.2 reshape2 1.4.4 rlang 1.0.6
rmarkdown 2,20 RODBC 1.3-20 roxygen2 7.2.3
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-12
RSQLite 2.2.20 rstudioapi 0,14 rversions 2.1.2
rvest 1.0.3 Sass 0.4.5 Scale 1.2.1
selettore 0.4-2 sessioninfo 1.2.2 Forma 1.4.6
Lucido 1.7.4 sourcetools 0.1.7-1 sparklyr 1.7.9
SparkR 3.4.0 spaziale 7.3-15 Spline 4.2.2
sqldf 0.4-11 SQUAREM 2021.1 stats 4.2.2
stats4 4.2.2 stringi 1.7.12 stringr 1.5.0
Sopravvivenza 3.5-3 sys 3.4.1 Systemfonts 1.0.4
tcltk 4.2.2 testatat 3.1.6 textshaping 0.3.6
tibble 3.1.8 tidyr 1.3.0 tidyselect 1.2.0
tidyverse 1.3.2 cambio di tempo 0.2.0 timeDate 4022.108
tinytex 0.44 tools 4.2.2 tzdb 0.3.0
urlchecker 1.0.1 usethis 2.1.6 utf8 1.2.3
utils 4.2.2 uuid 1.1-0 vctrs 0.5.2
viridisLite 0.4.1 Vroom 1.6.1 waldo 0.4.0
Whisker 0.4.1 withr 2.5.0 xfun 0,37
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
Yaml 2.3.7 zip 2.2.2

Librerie Java e Scala installate (versione del cluster Scala 2.12)

ID gruppo ID artefatto Versione
antlr antlr 2.7.7
com.amazonaws amazon-distribuisci-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-consultas 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.mdfsoftware kryo-shaded 4.0.2
com.mdfsoftware minlog 1.3.0
com.fasterxml compagno di classe 1.3.4
com.fasterxml.jackson.core annotazioni jackson 2.14.2
com.fasterxml.jackson.core jackson-core 2.14.2
com.fasterxml.jackson.core jackson-databind 2.14.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.14.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.14.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.14.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.14.2
com.github.ben-manes.caffeina Caffeina 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1 nativi
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1 nativi
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1 nativi
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1 nativi
com.github.luben zstd-jni 1.5.2-5
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.9
com.google.crypto.tink Tink 1.7.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava Guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.1.214
com.helger profiler 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEA edizione Standard
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.tdunning JSON 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocità univocità-parser 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1,5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.sdk.netlib arpack 3.0.3
dev.sdk.netlib blas 3.0.3
dev.sdk.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.6.3
io.dropwizard.metrics metrics-core 4.2.10
io.dropwizard.metrics metrics-graphite 4.2.10
io.dropwizard.metrics metrics-healthchecks 4.2.10
io.dropwizard.metrics metrics-jetty9 4.2.10
io.dropwizard.metrics metrics-jmx 4.2.10
io.dropwizard.metrics metrics-json 4.2.10
io.dropwizard.metrics metrics-jvm 4.2.10
io.dropwizard.metrics metrics-servlets 4.2.10
io.netty netty-all 4.1.87.Final
io.netty netty-buffer 4.1.87.Final
io.netty netty-codec 4.1.87.Final
io.netty netty-codec-http 4.1.87.Final
io.netty netty-codec-http2 4.1.87.Final
io.netty netty-codec-socks 4.1.87.Final
io.netty netty-common 4.1.87.Final
io.netty netty-handler 4.1.87.Final
io.netty netty-handler-proxy 4.1.87.Final
io.netty netty-resolver 4.1.87.Final
io.netty netty-transport 4.1.87.Final
io.netty netty-transport-classes-epoll 4.1.87.Final
io.netty netty-transport-classes-kqueue 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.87.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.87.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Collettore 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna Jna 5.8.0
net.razorvine Sottaceto 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.22
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow formato freccia 11.0.0
org.apache.arrow arrow-memory-core 11.0.0
org.apache.arrow arrow-memory-netty 11.0.0
org.apache.arrow freccia-vettore 11.0.0
org.apache.avro avro 1.11.1
org.apache.avro avro-ipc 1.11.1
org.apache.avro avro-mapred 1.11.1
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curatore-cliente 2.13.0
org.apache.curator curatore-framework 2.13.0
org.apache.curator ricette curatori 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.19.0
org.apache.logging.log4j log4j-api 2.19.0
org.apache.logging.log4j log4j-core 2.19.0
org.apache.logging.log4j log4j-slf4j2-impl 2.19.0
org.apache.mesos mesos 1.11.0-shaded-protobuf
org.apache.orc orc-core 1.8.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.8.2-shaded-protobuf
org.apache.orc orc-shim 1.8.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.22
org.apache.yetus annotazioni del gruppo di destinatari 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.50.v20221201
org.eclipse.jetty jetty-continuation 9.4.50.v20221201
org.eclipse.jetty jetty-http 9.4.50.v20221201
org.eclipse.jetty jetty-io 9.4.50.v20221201
org.eclipse.jetty jetty-jndi 9.4.50.v20221201
org.eclipse.jetty jetty-plus 9.4.50.v20221201
org.eclipse.jetty jetty-proxy 9.4.50.v20221201
org.eclipse.jetty jetty-security 9.4.50.v20221201
org.eclipse.jetty jetty-server 9.4.50.v20221201
org.eclipse.jetty jetty-servlet 9.4.50.v20221201
org.eclipse.jetty jetty-servlets 9.4.50.v20221201
org.eclipse.jetty jetty-util 9.4.50.v20221201
org.eclipse.jetty jetty-util-ajax 9.4.50.v20221201
org.eclipse.jetty jetty-webapp 9.4.50.v20221201
org.eclipse.jetty jetty-xml 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-api 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-client 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-common 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-server 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-servlet 9.4.50.v20221201
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.36
org.glassfish.jersey.containers jersey-container-servlet-core 2.36
org.glassfish.jersey.core jersey-client 2.36
org.glassfish.jersey.core maglia-comune 2.36
org.glassfish.jersey.core jersey-server 2.36
org.glassfish.jersey.inject jersey-hk2 2.36
org.hibernate.validator hibernate-validator 6.1.7.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 2.2.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.8
org.roaringbitmap RoaringBitmap 0.9.39
org.roaringbitmap Spessori 0.9.39
org.rocksdb rocksdbjni 7.8.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 2.0.6
org.slf4j jul-to-slf4j 2.0.6
org.slf4j slf4j-api 2.0.6
org.threeten treten-extra 1.7.1
org.cortanaani xz 1,9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.33
oro oro 2.0.8
pl.edu.icm JLargeArrays 1,5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1