Condividi tramite

Databricks Runtime 15.1

  • Articolo

Le note sulla versione seguenti forniscono informazioni su Databricks Runtime 15.1, basate su Apache Spark 3.5.0.

Databricks ha rilasciato queste immagini nell'aprile 2024.

Modifiche di rilievo

Il supporto per Databricks Runtime 15.0 e Databricks Runtime 15.0 per Machine Learning termina il 31 maggio 2024 perché un aggiornamento della libreria pandas dalla versione 1.5.3 alla versione 2.0.3 nella versione 15.0 ha causato una modifica di rilievo in più API Apache Spark. Per informazioni dettagliate sulle modifiche di rilievo, vedere Downgrade della libreria Python pandas alla versione 1.5.3. Per risolvere questa incompatibilità, Databricks ha rilasciato Databricks Runtime 15.1 e Databricks Runtime 15.1 per Machine Learning. Le funzionalità supportate da queste versioni sono le stesse delle versioni 15.0, ma con il downgrade della versione pandas alla versione 1.5.3.

Tutti i cluster o i processi esistenti che usano le versioni di Databricks Runtime 15.0 continueranno a funzionare, ma non riceveranno aggiornamenti del prodotto o della sicurezza. Non è più possibile configurare nuove risorse di calcolo che usano Databricks Runtime 15.0 o Databricks Runtime 15.0 ML nell'interfaccia utente di Databricks. Se non si usano funzionalità o API che richiedono pandas 2.0+, Databricks consiglia di passare a Databricks Runtime 15.1.

Se si usano funzionalità o API disponibili solo in pandas 2.0+ e non si usano funzioni interessate da questa versione, Databricks consiglia di passare a Databricks Runtime 15.1 e di aggiornare il pacchetto Pandas predefinito usando le librerie con ambito cluster o notebook. Ad esempio, per aggiornare la libreria pandas in un notebook di Databricks, usare il comando seguente:

%pip install pandas==2.0.3

La libreria Python pandas viene sottoposta a downgrade alla versione 1.5.3

In questa versione, la libreria pandas viene sottoposta a downgrade dalla versione 2.0.3 alla 1.5.3. Questo downgrade è stato necessario perché le incompatibilità nella versione 2.0.3 di pandas hanno causato errori in alcune API Pandas nelle funzioni Spark. Di seguito sono elencate le funzioni interessate dalla versione 2.0.3 di pandas:

  • pyspark.date_range: parametro closed mancante, che causa errori quando questa funzione viene chiamata dal codice esistente.
  • La funzionalità di GroupBy con MultiIndex le colonne viene modificata, causando un comportamento imprevisto.
  • Alcuni datetime attributi di DatetimeIndex (ad esempio day, month, yeare così via) restituiscono int32 tipi di dati anziché int64 tipi di dati.

La funzione PySpark spark.sql() ha ora esito negativo per i tipi di argomento non validi

In Databricks Runtime 15.1 e versioni successive, il args parametro per i parametri denominati o posizionali passati alla spark.sql() funzione deve essere un dizionario o un elenco. Se viene passato un altro tipo di oggetto, viene generato l'errore seguente: PySparkTypeError: [INVALID_TYPE] Argument `args` should not be a <arg_type>.

L'archiviazione delle librerie nella radice DBFS è deprecata e disabilitata per impostazione predefinita

Per migliorare la sicurezza delle librerie in un'area di lavoro di Azure Databricks, l'archiviazione dei file di libreria nella radice DBFS è deprecata e disabilitata per impostazione predefinita a partire da Databricks Runtime 15.1. Databricks consiglia di caricare tutte le librerie, che includono librerie Python, file JAR e connettori Spark, nei file dell'area di lavoro, nei volumi del catalogo Unity o usando un repository di pacchetti. Vedere Consigli per il caricamento delle librerie.

Per riabilitare l'archiviazione delle librerie nella radice DBFS, impostare il parametro di configurazione spark seguente: spark.databricks.driver.dbfsLibraryInstallationAllowed true.

La versione predefinita di Python viene aggiornata dalla versione 3.10 alla versione 3.11

Con Databricks Runtime 15.1, la versione predefinita di Python è 3.11.0. Per l'elenco delle librerie Python aggiornate, vedere Aggiornamenti della libreria.

JDK 11 viene rimosso

Come annunciato in precedenza, JDK 11 viene rimosso da Databricks Runtime 15.1 e versioni successive. Databricks consiglia l'aggiornamento a JDK 17 durante l'aggiornamento a Databricks Runtime 15.1 e versioni successive. Vedere Databricks SDK per Java.

Python REPL termina normalmente

Con Databricks Runtime 15.1, il processo REPL python del notebook termina normalmente all'uscita. Ciò fa sì che qualsiasi hook atexit venga rispettato. Ad esempio, in un flusso di lavoro con più attività notebook Python, atexit hook registrati nella prima attività vengono eseguiti prima dell'esecuzione della seconda attività notebook Python.

Miglioramenti e nuove funzionalità

La clausola * (star) è ora supportata nella clausola WHERE

È ora possibile usare la clausola star (*) nella WHERE clausola per fare riferimento a tutte le colonne dell'elenco SELECT . Ad esempio: SELECT * FROM VALUES(1, 2) AS T(a1, a2) WHERE 1 IN(T.*).

La spark.sql.json.enablePartialResults configurazione è ora abilitata per impostazione predefinita

La configurazione spark.sql.json.enablePartialResults di Spark è ora abilitata per impostazione predefinita, consentendo al parser JSON di gestire correttamente gli errori di analisi per tipi complessi, ad esempio struct, mapping e matrice senza eliminare i campi rimanenti. Questa modifica risolve un problema di coerenza per le origini dati JSON con l'eliminazione delle colonne.

Le librerie cluster supportano ora i file requirements.txt

È ora possibile installare le librerie cluster usando un file archiviato in un requirements.txt file dell'area di lavoro o in un volume del catalogo Unity. In Cluster in modalità Utente singolo e Accesso condiviso il requirements.txt file può fare riferimento ad altri file. In Nessun cluster in modalità di accesso condiviso di isolamento sono supportati solo i pacchetti PyPI. Vedere Librerie cluster.

Interfaccia della riga di comando di Databricks ora disponibile nel terminale Web

È ora possibile usare l'interfaccia della riga di comando di Databricks dal terminale Web nel notebook. Il notebook deve essere collegato a un cluster in modalità Accesso condiviso con accesso condiviso in modalità Utente singolo o Nessun isolamento. Per informazioni dettagliate, vedere Usare il terminale Web e l'interfaccia della riga di comando di Databricks.

Aggiungere repository Python predefiniti alle configurazioni del cluster

In Databricks Runtime 15.1 e versioni successive è possibile configurare i parametri e extra-index-url globali pip index-url per l'installazione di cluster e librerie con ambito notebook durante la configurazione di un cluster o la definizione di criteri del cluster. A tale scopo, impostare le variabili DATABRICKS_PIP_INDEX_URL di ambiente e DATABRICKS_PIP_EXTRA_INDEX_URL.

I controlli di accesso alle tabelle del metastore e del pass-through delle credenziali e del metastore Hive sono deprecati

Il pass-through delle credenziali e i controlli di accesso alle tabelle metastore Hive sono modelli di governance dei dati legacy. Eseguire l'aggiornamento a Unity Catalog per semplificare la sicurezza e la governance dei dati fornendo una posizione centrale per amministrare e controllare l'accesso ai dati in più aree di lavoro nell'account. Vedere Cos'è Unity Catalog?.

Il supporto per il pass-through delle credenziali e i controlli di accesso alle tabelle metastore Hive verranno rimossi in una versione futura di DBR.

Aggiornamenti della libreria

  • Librerie Python aggiornate:
    • nero da 22.6.0 a 23.3.0
    • boto3 da 1.24.28 a 1.34.39
    • botocore da 1.27.96 a 1.34.39
    • certificato dal 2022.12.7 al 2023.7.22
    • crittografia da 39.0.1 a 41.0.3
    • databricks-sdk da 0.1.6 a 0.20.0
    • distlib da 0.3.7 a 0.3.8
    • googleapis-common-protos da 1.62.0 a 1.63.0
    • grpcio da 1.48.2 a 1.60.0
    • grpcio-status da 1.48.1 a 1.60.0
    • importlib-metadata dalla versione 4.6.4 alla versione 6.0.0
    • ipykernel da 6.25.0 a 6.25.1
    • ipython da 8.14.0 a 8.15.0
    • ipywidgets da 7.7.2 a 8.0.4
    • jupyter_core da 5.2.0 a 5.3.0
    • jupyterlab-widgets da 1.0.0 a 3.0.5
    • matplotlib da 3.7.0 a 3.7.2
    • pip da 22.3.1 a 23.2.1
    • platformdirs dalla versione 2.5.2 alla versione 3.10.0
    • protobuf da 4.24.0 a 4.24.1
    • pyarrow da 8.0.0 a 14.0.1
    • Pygments da 2.11.2 a 2.15.1
    • pyodbc da 4.0.32 a 4.0.38
    • richieste dalla versione 2.28.1 alla versione 2.31.0
    • s3transfer from 0.6.2 to 0.10.0
    • scikit-learn dalla versione 1.1.1 alla versione 1.3.0
    • scipy da 1.10.0 a 1.11.1
    • setuptools da 65.6.3 a 68.0.0
    • statsmodels da 0.13.5 a 0.14.0
    • tenacia da 8.1.0 a 8.2.2
    • tornado da 6.1 a 6.3.2
    • typing_extensions dalla versione 4.4.0 alla versione 4.7.1
    • urllib3 da 1.26.14 a 1.26.16
    • virtualenv da 20.16.7 a 20.24.2
    • widgetsnbextension da 3.6.1 a 4.0.5
    • zipp da 1.0.0 a 3.11.0
  • Librerie R aggiornate:
    • freccia da 12.0.1 a 14.0.0.2
    • askpass da 1.1 a 1.2.0
    • base da 4.3.1 a 4.3.2
    • birra da 1.0-8 a 1.0-10
    • brio da 1.1.3 a 1.1.4
    • bslib da 0.5.0 a 0.6.1
    • cli dalla versione 3.6.1 alla versione 3.6.2
    • segno comune da 1.9.0 a 1.9.1
    • compilatore da 4.3.1 a 4.3.2
    • configurazione da 0.3.1 a 0.3.2
    • cpp11 da 0.4.4 a 0.4.7
    • credenziali dalla versione 1.3.2 alla versione 2.0.1
    • curl da 5.0.1 a 5.2.0
    • data.table da 1.14.8 a 1.15.0
    • set di dati da 4.3.1 a 4.3.2
    • DBI da 1.1.3 a 1.2.1
    • dbplyr da 2.3.3 a 2.4.0
    • desc da 1.4.2 a 1.4.3
    • digest da 0.6.33 a 0.6.34
    • dplyr dalla versione 1.1.2 alla versione 1.1.4
    • e1071 da 1.7-13 a 1.7-14
    • valutare da 0,21 a 0,23
    • fani da 1.0.4 a 1.0.6
    • fontawesome da 0.5.1 a 0.5.2
    • fs da 1.6.2 a 1.6.3
    • futuro dalla 1.33.0 alla 1.33.1
    • future.apply dalla versione 1.11.0 alla versione 1.11.1
    • gargle da 1.5.1 a 1.5.2
    • gert da 1.9.2 a 2.0.1
    • ggplot2 da 3.4.2 a 3.4.4
    • glmnet da 4.1-7 a 4.1-8
    • colla da 1.6.2 a 1.7.0
    • grafica da 4.3.1 a 4.3.2
    • grDevices dalla versione 4.3.1 alla versione 4.3.2
    • griglia da 4.3.1 a 4.3.2
    • gtable da 0.3.3 a 0.3.4
    • hardhat da 1.3.0 a 1.3.1
    • haven from 2.5.3 to 2.5.4
    • htmltools da 0.5.5 a 0.5.7
    • htmlwidgets da 1.6.2 a 1.6.4
    • httpuv da 1.6.11 a 1.6.14
    • httr da 1.4.6 a 1.4.7
    • httr2 da 0.2.3 a 1.0.0
    • jsonlite da 1.8.7 a 1.8.8
    • magliar da 1,43 a 1,45
    • etichettatura da 0.4.2 a 0.4.3
    • versioni successive dalla versione 1.3.1 alla versione 1.3.2
    • lava da 1.7.2.1 a 1.7.3
    • ciclo di vita da 1.0.3 a 1.0.4
    • listenv da 0.9.0 a 0.9.1
    • lubridate da 1.9.2 a 1.9.3
    • markdown da 1.7 a 1.12
    • metodi da 4.3.1 a 4.3.2
    • openssl dalla versione 2.0.6 alla versione 2.1.1
    • parallelo da 4.3.1 a 4.3.2
    • pkgbuild da 1.4.2 a 1.4.3
    • pkgload da 1.3.2.1 a 1.3.4
    • plyr da 1.8.8 a 1.8.9
    • prettyunits da 1.1.1 a 1.2.0
    • pROC da 1.18.4 a 1.18.5
    • processx dalla versione 3.8.2 alla versione 3.8.3
    • prodlim dal 2023.03.31 al 2023.08.28
    • avanzamento da 1.2.2 a 1.2.3
    • progressr da 0.13.0 a 0.14.0
    • promesse dalla versione 1.2.0.1 alla versione 1.2.1
    • ps da 1.7.5 a 1.7.6
    • da 1.0.1 a 1.0.2
    • ragg da 1.2.5 a 1.2.7
    • Rcpp da 1.0.11 a 1.0.12
    • RcppEigen da 0.3.3.9.3 a 0.3.3.9.4
    • readr dalla versione 2.1.4 alla versione 2.1.5
    • ricette da 1.0.6 a 1.0.9
    • rimatch dalla versione 1.0.1 alla versione 2.0.0
    • remote dalla versione 2.4.2 alla versione 2.4.2.1
    • repository da 2.0.2 a 2.1.0
    • rlang da 1.1.1 a 1.1.3
    • rmarkdown da 2.23 a 2.25
    • RODBC da 1.3-20 a 1.3-23
    • roxygen2 da 7.2.3 a 7.3.1
    • rprojroot da 2.0.3 a 2.0.4
    • Rserve da 1.8-11 a 1.8-13
    • RSQLite da 2.3.1 a 2.3.5
    • sass da 0.4.6 a 0.4.8
    • scala da 1.2.1 a 1.3.0
    • brillante da 1.7.4.1 a 1.8.0
    • sparklyr da 1.8.1 a 1.8.4
    • spline da 4.3.1 a 4.3.2
    • statistiche da 4.3.1 a 4.3.2
    • stats4 da 4.3.1 a 4.3.2
    • stringi da 1.7.12 a 1.8.3
    • stringr da 1.5.0 a 1.5.1
    • systemfonts da 1.0.4 a 1.0.5
    • tcltk da 4.3.1 a 4.3.2
    • testat da 3.1.10 a 3.2.1
    • textshaping da 0.3.6 a 0.3.7
    • tidyr da 1.3.0 a 1.3.1
    • cambio di tempo compreso tra 0.2.0 e 0.3.0
    • timeDate da 4022.108 a 4032.109
    • tinytex da 0,45 a 0,49
    • strumenti da 4.3.1 a 4.3.2
    • utf8 da 1.2.3 a 1.2.4
    • utilità dalla versione 4.3.1 alla versione 4.3.2
    • uuid da 1.1-0 a 1.2-0
    • vctrs da 0.6.3 a 0.6.5
    • vroom da 1.6.3 a 1.6.5
    • waldo da 0.5.1 a 0.5.2
    • withr dalla versione 2.5.0 alla versione 3.0.0
    • xfun da 0.39 a 0.41
    • xml2 da 1.3.5 a 1.3.6
    • yaml da 2.3.7 a 2.3.8
    • zip da 2.3.0 a 2.3.1
  • Librerie Java aggiornate:
    • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 da 2.15.1 a 2.16.0
    • com.google.flatbuffers.flatbuffers-java da 1.12.0 a 23.5.26
    • com.typesafe.config da 1.2.1 a 1.4.3
    • org.apache.ant.ant da 1.9.16 a 1.10.11
    • org.apache.ant.ant-jsch da 1.9.16 a 1.10.11
    • org.apache.ant.ant-launcher da 1.9.16 a 1.10.11
    • org.apache.arrow.arrow-format da 12.0.1 a 15.0.0
    • org.apache.arrow.arrow-memory-core da 12.0.1 a 15.0.0
    • org.apache.arrow.arrow-memory-netty da 12.0.1 a 15.0.0
    • org.apache.arrow.arrow-vector da 12.0.1 a 15.0.0
    • org.apache.avro.avro da 1.11.2 a 1.11.3
    • org.apache.avro.avro-ipc da 1.11.2 a 1.11.3
    • org.apache.avro.avro-mapred da 1.11.2 a 1.11.3
    • org.apache.logging.log4j.log4j-1.2-api da 2.20.0 a 2.22.1
    • org.apache.logging.log4j.log4j-api da 2.20.0 a 2.22.1
    • org.apache.logging.log4j.log4j-core da 2.20.0 a 2.22.1
    • org.apache.logging.log4j.log4j-slf4j2-impl da 2.20.0 a 2.22.1
    • org.postgresql.postgresql da 42.6.0 a 42.6.1

Apache Spark

Databricks Runtime 15.1 include Apache Spark 3.5.0. Questa versione include tutte le correzioni e i miglioramenti di Spark inclusi in Databricks Runtime 14.3 LTS, nonché le correzioni di bug e i miglioramenti aggiuntivi seguenti apportati a Spark:

  • [SPARK-45527] [DBRRM-805] [ES-1073714] Ripristinare "[SC-151626][CORE] Usare frazione per eseguire il calcolo delle risorse"
  • [SPARK-47102] [DBRRM-803] [SC-158253] [SQL] Aggiungere il COLLATION_ENABLED flag di configurazione
  • [SPARK-46973] [SC-158140] [DBRRM-777] [SQL] Ignorare la ricerca della tabella V2 quando una tabella si trova nella cache delle tabelle V1
  • [SPARK-46808] [SC-154113] [PYTHON] Perfezionare le classi di errore in Python con funzione di ordinamento automatico
  • [SPARK-47251] [SC-158291] [PYTHON] Blocca tipi non validi dall'argomento per sql il args comando
  • [SPARK-47251] [SC-158121] [PYTHON] Blocca tipi non validi dall'argomento per sql il args comando
  • [SPARK-47108] [SC-157204] [CORE] Impostare su derby.connection.requireAuthenticationfalse in modo esplicito in CLI
  • [SPARK-45599] [SC-157537] [CORE] Usare l'uguaglianza degli oggetti in OpenHashSet
  • [SPARK-47099] [SC-157352] [SQL] Usare ordinalNumber per impostare in modo uniforme il valore di paramIndex per la classe error UNEXPECTED_INPUT_TYPE
  • [SPARK-46558] [SC-151363] [CONNECT] Estrarre una funzione helper per eliminare il codice duplicato che recupera MessageParameters da ErrorParams in GrpcExceptionConverter
  • [SPARK-43117] [SC-156177] [CONNECT] Eseguire ProtoUtils.abbreviate il supporto di campi ripetuti
  • [SPARK-46342] [SC-150283] [SQL] Sostituire IllegalStateException con SparkException.internalError in sql
  • [SPARK-47123] [SC-157412] [CORE] JDBCRDD non gestisce correttamente gli errori in getQueryOutputSchema
  • [SPARK-47189] [SC-157667] [SQL] Modificare i nomi degli errori di colonna e il testo
  • [SPARK-45789] [SC-157101] [SQL] Supporto di DESCRIBE TABLE per le colonne di clustering
  • [SPARK-43256] [SC-157699] [SQL] Rimuovere la classe di errore _LEGACY_ERROR_TEMP_2021
  • [SPARK-47201] [SC-157782] [PYTHON] [CONNECT] sameSemantics controlla i tipi di input
  • [SPARK-47183] [SC-157660] [PYTHON] Correggere la classe di errore per sameSemantics
  • [SPARK-47179] [SC-157663] [SQL] Migliorare il messaggio di errore di SparkThrowableSuite per migliorare il debug
  • [SPARK-46965] [SC-155791] [CORE] Archiviazione logTypeUtils.getLog
  • [SPARK-46832] [SC-156774] [SQL] Introduzione alle espressioni collate e regole di confronto
  • [SPARK-46946] [SC-155721] [SQL] Supporto della trasmissione di più chiavi di filtro in DynamicPruning
  • [SPARK-47079] [VARIANT-22] [SC-157598] [PYTHON] [SQL] [CONNECT] Aggiungere informazioni sul tipo Variant a PySpark
  • [SPARK-47101] [SC-157360] [SQL] Consentire l'uso della virgola nei nomi di colonna di primo livello e rimuovere la definizione del tipo annidato in HiveExternalCatalog.verifyDataSchema
  • [SPARK-47173] [SC-157571] [SS] [interfaccia utente] Correzione di un errore di digitatura nella spiegazione dell'interfaccia utente di streaming
  • [SPARK-47113] [SC-157348] [CORE] Ripristinare la logica di correzione dell'endpoint S3A di SPARK-35878
  • [SPARK-47130] [SC-157462] [CORE] Usare listStatus per ignorare le informazioni sulla posizione dei blocchi durante la pulizia dei log dei driver
  • [SPARK-43259] [SC-157368] [SQL] Assegnare un nome alla classe di errore _LEGACY_ERROR_TEMP_2024
  • [SPARK-47104] [SC-157355] [SQL] TakeOrderedAndProjectExec deve inizializzare la proiezione non sicura
  • [SPARK-47137] [SC-157463] [PYTHON] [CONNECT] Aggiungere getAll a spark.conf per la parità delle funzionalità con Scala
  • [SPARK-46924] [SC-154905] [CORE] Pulsante Correzione Load New nell'interfaccia Master/HistoryServer utente log
  • [SPARK-47069] [SC-157370] [PYTHON] [CONNECT] Introduzione spark.profile.show/dump alla profilatura basata su SparkSession
  • [SPARK-46812] [SC-157075] [SQL] [PYTHON] Rendere mapInPandas/mapInArrow support ResourceProfile
  • [SPARK-46833] [SC-155866] [SQL] Regole di confronto - Introduzione a CollationFactory che fornisce regole di confronto e hash per le regole di confronto supportate
  • [SPARK-47057] [SC-157036] [PYTHON] Test dei dati MyPy reeanble
  • [SPARK-46934] [SC-157084] [SQL] Round trip di lettura/scrittura per il tipo di struct con caratteri speciali con HMS
  • [SPARK-46727] [SC-153472] [SQL] Porta classifyException() nei dialetti JDBC nelle classi di errore
  • [SPARK-46964] [SC-155740] [SQL] Modificare la firma dell'errore di esecuzione della query hllInvalidLgK per accettare un numero intero come 4° argomento
  • [SPARK-46949] [SC-155719] [SQL] Supporto di CHAR/VARCHAR tramite ResolveDefaultColumns
  • [SPARK-46972] [SC-155888] [SQL] Correzione della sostituzione asimmetrica per char/varchar in V2SessionCatalog.createTable
  • [SPARK-47014] [SC-156778] [PYTHON] [CONNECT] Implementare metodi dumpPerfProfiles e dumpMemoryProfiles di SparkSession
  • [SPARK-46689] [SC-156221] [SPARK-46690] [PYTHON] [CONNECT] Supporto della profilatura v2 in group/cogroup applyInPandas/applyInArrow
  • [SPARK-47040] [SC-156773] [CONNECT] Consenti a Spark Connessione Server Script di attendere
  • [SPARK-46688] [SC-156113] [SPARK-46691] [PYTHON] [CONNECT] Supportare la profilatura v2 nelle funzioni definite dall'utente Pandas aggregate
  • [SPARK-47004] [SC-156499] [CONNECT] Aggiunta di altri test a ClientStreamingQuerySuite per aumentare la copertura dei test client Scala
  • [SPARK-46994] [SC-156169] [PYTHON] Effettuare il refactoring di PythonWrite per prepararsi a supportare la scrittura del flusso di origine dati Python
  • [SPARK-46979] [SC-156587] [SS] Aggiungere il supporto per specificare separatamente il codificatore chiave e valore e anche per ogni famiglia di regole di confronto nel provider dell'archivio stati RocksDB
  • [SPARK-46960] [SC-155940] [SS] Test di più Flussi di input con l'operatore TransformWithState
  • [SPARK-46966] [SC-156112] [Python] Aggiungere l'API UDTF per il metodo 'analyze' per indicare un subset di colonne della tabella di input da selezionare
  • [SPARK-46895] [SC-155950] [CORE] Sostituire Timer con executor pianificato a thread singolo
  • [SPARK-46967] [SC-155815] [CORE] [interfaccia utente] Nascondere Thread Dump e Heap Histogram gli Dead executor nell'interfaccia Executors utente
  • [SPARK-46512] [SC-155826] [CORE] Ottimizzare la lettura casuale quando vengono usati sia l'ordinamento che la combinazione.
  • [SPARK-46958] [SC-155942] [SQL] Aggiungere un fuso orario mancante per coercire i valori predefiniti
  • [SPARK-46754] [SC-153830] [SQL] [AVRO] Correzione della risoluzione del codice di compressione nella definizione di tabella avro e nelle opzioni di scrittura
  • [SPARK-46728] [SC-154207] [PYTHON] Controllare correttamente l'installazione di Pandas
  • [SPARK-43403] [SC-154216] [interfaccia utente] Assicurarsi che sparkUI precedente in HistoryServer sia stato scollegato prima di caricarne uno nuovo
  • [SPARK-39910] [SC-156203] [SQL] Delegare la qualificazione del percorso al file system durante il globbing del percorso del file DataSource
  • [SPARK-47000] [SC-156123] Ripristinare "[SC-156123][CORE] Usare getTotalMemorySize...
  • [SPARK-46819] [SC-154560] [CORE] Spostare categorie e stati di errore in JSON
  • [SPARK-46997] [SC-156175] [CORE] Abilita spark.worker.cleanup.enabled per impostazione predefinita
  • [SPARK-46865] [SC-156168] [SS] Aggiunta del supporto batch per l'operatore TransformWithState
  • [SPARK-46987] [SC-156040] [CONNECT] ProtoUtils.abbreviate evitare operazioni non necessarie setField
  • [SPARK-46970] [SC-155816] [CORE] Riscrivere OpenHashSet#hasher con pattern matching
  • [SPARK-46984] [SC-156024] [PYTHON] Rimuovere pyspark.copy_func
  • [SPARK-47000] [SC-156123] [CORE] Usare getTotalMemorySize in WorkerArguments
  • [SPARK-46980] [SC-155914] [SQL] [MINOR] Evitare l'uso di API interne nei test end-to-end del dataframe
  • [SPARK-46931] Ripristinare "[SC-155661][PS] Implementare {Frame, Series}.to_hdf"
  • [SPARK-46618] [SC-153828] [SQL] Migliorare i messaggi di errore per DATA_SOURCE_NOT_FOUND errore
  • [SPARK-46849] [SC-154586] [SQL] Eseguire Optimizer nelle impostazioni predefinite della colonna CREATE TABLE
  • [SPARK-46911] [SC-155724] [SS] Aggiunta dell'operatore deleteIfExists a StatefulProcessorHandleImpl
  • [SPARK-43273] [SQL] Supporto del lz4raw codec di compressione per Parquet
  • [SPARK-47002] [SC-156223] [Python] Restituisce un messaggio di errore migliore se il metodo 'orderBy' del metodo UDTF 'orderBy' restituisce accidentalmente un elenco di stringhe
  • [SPARK-46890] [SC-155802] [SQL] Correzione del bug di analisi CSV con valori predefiniti di esistenza e eliminazione delle colonne
  • [SPARK-46977] [SC-155892] [CORE] Una richiesta non riuscita per ottenere un token da un NameNode non deve ignorare le richieste di token successive
  • [SPARK-46608] [SC-151806] [SQL] Ripristinare la compatibilità con le versioni precedenti di JdbcDialect.classifyException
  • [SPARK-46908] [SC-155702] [SQL] Clausola star di supporto nella clausola WHERE
  • [SPARK-46908] [SC-155702] [SQL] Clausola star di supporto nella clausola WHERE
  • [SPARK-46852] [SC-155665] [SS] Rimuovere l'uso del codificatore di chiavi esplicito e passarlo in modo implicito all'operatore transformWithState
  • [SPARK-46864] [SC-155669] [SS] Eseguire l'onboarding dello stato arbitrarioV2 in Un nuovo framework di classi di errore
  • [SPARK-45807] [SC-155706] [SQL] Visualizzazione restituita dopo la chiamata a replaceView(..)
  • [SPARK-46899] [SC-154651] [CORE] Rimuovere POST le API da MasterWebUI quando spark.ui.killEnabled è false
  • [SPARK-46868] [SC-154539] [CORE] Supporto dell'interfaccia utente del log del ruolo di lavoro Spark
  • [SPARK-46931] [SC-155661] [PS] Implementare {Frame, Series}.to_hdf
  • [SPARK-46940] [SC-155667] [CORE] Rimuovere gli elementi non usati updateSparkConfigFromProperties e isAbsoluteURI in o.a.s.u.Utils
  • [SPARK-46929] [SC-155659] [CORE] [CONNECT] [SS] Usare ThreadUtils.shutdown per chiudere i pool di thread
  • [SPARK-46400] [SC-155658] [CORE] [SQL] Quando sono presenti file danneggiati nel repository maven locale, ignorare questa cache e riprovare
  • [SPARK-46932] [SC-155655] Pulire le importazioni in pyspark.pandas.test_*
  • [SPARK-46683] [SC-154120] Scrivere un generatore di sottoquery che genera sottoquery permutazioni per aumentare la copertura dei test
  • [SPARK-46914] [SC-154776] [interfaccia utente] Abbreviare il nome dell'app nella tabella di riepilogo nella pagina Cronologia
  • [SPARK-46831] [SC-154699] [SQL] Regole di confronto - Estensione di StringType e PhysicalStringType con campo collationId
  • [SPARK-46816] [SC-154415] [SS] Aggiungere il supporto di base per il nuovo operatore di gestione dello stato arbitrario, il tipo single valueState, più variabili di stato e il supporto sottostante per le famiglie di colonne per RocksDBStateStoreProvider con/senza checkpoint del log delle modifiche
  • [SPARK-46925] [SC-154890] [PYTHON] [CONNECT] Aggiungere un avviso che indica di installare memory_profiler per la profilatura della memoria
  • [SPARK-46927] [SC-154904] [PYTHON] Fare assertDataFrameEqual il lavoro correttamente senza PyArrow
  • [SPARK-46021] [SC-148987] [CORE] Supporto per annullare i processi futuri appartenenti a un gruppo di processi
  • [SPARK-46747] [SC-154789] [SQL] Evitare l'analisi in getTableExistsQuery per i dialetti JDBC
  • [SPARK-46904] [SC-154704] [interfaccia utente] Correzione del problema di visualizzazione del riepilogo dell'interfaccia utente della cronologia
  • [SPARK-46870] [SC-154541] [CORE] Supporto dell'interfaccia utente del log master spark
  • [SPARK-46893] [SC-154780] [interfaccia utente] Rimuovere script inline dalle descrizioni dell'interfaccia utente
  • [SPARK-46910] [SC-154760] [PYTHON] Eliminare il requisito JDK nell'installazione di PySpark
  • [SPARK-46907] [SC-154736] [CORE] Visualizzare il percorso del log del driver nel server cronologia Spark
  • [SPARK-46902] [SC-154661] [interfaccia utente] Correzione dell'interfaccia utente del server cronologia Spark per l'uso di setAppLimit non esportato
  • [SPARK-46687] [SC-154725] [PYTHON] [CONNECT] Supporto di base del profiler di memoria basato su SparkSession
  • [SPARK-46623] [SC-153831] [CORE] [MLLIB] [SQL] Sostituire SimpleDateFormat con DateTimeFormatter
  • [SPARK-46875] [SC-154627] [SQL] Quando è mode Null, deve not essere generata un'eccezione NullPointException
  • [SPARK-46872] [SC-154543] [CORE] Ripristino log-view.js in modo che non sia un modulo
  • [SPARK-46883] [SC-154629] [CORE] API di supporto /json/clusterutilization
  • [SPARK-46886] [SC-154630] [CORE] Abilita spark.ui.prometheus.enabled per impostazione predefinita
  • [SPARK-46873] [SC-154638] [SS] Non ricreare un nuovo Oggetto StreamingQueryManager per la stessa sessione Spark
  • [SPARK-46829] [SC-154419] [CORE] Rimuovere createExecutorEnv da SparkEnv
  • [SPARK-46827] [SC-154280] [CORE] Creare RocksDBPersistenceEngine per supportare un collegamento simbolico
  • [SPARK-46903] [SC-154662] [CORE] Supporto dell'interfaccia utente del log del server cronologia Spark
  • [SPARK-46874] [SC-154646] [PYTHON] Rimuovere pyspark.pandas la dipendenza da assertDataFrameEqual
  • [SPARK-46889] [SC-154639] [CORE] Convalidare spark.master.ui.decommission.allow.mode l'impostazione
  • [SPARK-46850] [SC-154443] [SQL] Converti _LEGACY_ERROR_TEMP_2102 in UNSUPPORTED_DATATYPE
  • [SPARK-46704] [SC-153323] [CORE] [interfaccia utente] Correzione MasterPage per ordinare Running Drivers correttamente la tabella in base alla Duration colonna
  • [SPARK-46796] [SC-154279] [SS] Verificare che i file remoti corretti (indicati in metadata.zip) vengano usati nel caricamento della versione di RocksDB
  • [SPARK-46888] [SC-154636] [CORE] Correzione Master per rifiutare /workers/kill/ le richieste se la rimozione delle autorizzazioni è disabilitata
  • [SPARK-46818] [SC-154422] [SQL] Migliorare i messaggi di errore per Range con input non piegabili
  • [SPARK-46898] [SC-154649] [CONNECT] Semplificare la trasformazione della funzione protobuf in Planner
  • [SPARK-46828] [SC-154413] [SQL] Rimuovere l'asserzione non valida della modalità remota per la shell sql spark
  • [SPARK-46733] [SC-154274] [CORE] Semplificare BlockManager dall'operazione di uscita dipende solo dal thread di interrupt.
  • [SPARK-46777] [SC-154016] [SS] Effettuare il refactoring StreamingDataSourceV2Relation della struttura catalyst in modo che sia più on-par con la versione batch
  • [SPARK-46515] [SC-151716] Aggiungere la funzione MONTHNAME
  • [SPARK-46823] [SC-154276] [CONNECT] [PYTHON] LocalDataToArrowConversion deve controllare il supporto dei valori Null
  • [SPARK-46787] [SC-154404] [CONNECT] bloomFilter la funzione deve generare un'eccezione AnalysisException per l'input non valido
  • [SPARK-46779] [SC-154045] [SQL] InMemoryRelation Le istanze dello stesso piano memorizzato nella cache devono essere semanticamente equivalenti
  • [SPARK-45827] [SC-153973] Non consentire il partizionamento nella colonna Variant
  • [SPARK-46797] [SC-154085] [CORE] Rinominare spark.deploy.spreadOut in spark.deploy.spreadOutApps
  • [SPARK-46094] [SC-153421] Supporto della profilatura JVM dell'executor
  • [SPARK-46746] [SC-153557] [SQL] [AVRO] Allegare l'estensione codec ai file dell'origine dati avro
  • [SPARK-46698] [SC-153288] [CORE] Sostituire Timer con executor pianificato a thread singolo per ConsoleProgressBar.
  • [SPARK-46629] [SC-153835] Correzione per il tipo STRUCT DDL che non rileva il supporto di valori Null e il commento
  • [SPARK-46750] [SC-153772] [CONNECT] [PYTHON] Pulizia del codice delle API del dataframe
  • [SPARK-46769] [SC-153979] [SQL] Ridefinire l'inferenza dello schema correlata al timestamp
  • [SPARK-46765] [SC-153904] [PYTHON] [CONNECT] Specificare shuffle il tipo di dati di seed
  • [SPARK-46579] [SC-151481] [SQL] Redact JDBC URL in errori e log
  • [SPARK-46686] [SC-153875] [PYTHON] [CONNECT] Supporto di base del profiler UDF Python basato su SparkSession
  • [SPARK-46748] Ripristina "[SC-153800][CORE] Rimuovi *slav**.sh scri...
  • [SPARK-46707] [SC-153833] [SQL] Aggiunta del campo generabile alle espressioni per migliorare il pushdown del predicato
  • [SPARK-46519] [SC-151278] [SQL] Cancellare le classi di errore inutilizzate dal error-classes.json file
  • [SPARK-46677] [SC-153426] [SQL] [CONNECT] Correzione della dataframe["*"] risoluzione
  • [SPARK-46317] [SC-150184] [PYTHON] [CONNECT] Corrispondenza dei comportamenti secondari in SparkSession con copertura completa dei test
  • [SPARK-46748] [SC-153800] [CORE] Rimuovere *slav**.sh gli script
  • [SPARK-46663] [SC-153490] [PYTHON] Disabilitare il profiler di memoria per le funzioni definite dall'utente pandas con iteratori
  • [SPARK-46410] [SC-150776] [SQL] Assegnare classi di errore/sottoclassi a JdbcUtils.classifyException
  • [SPARK-46277] [SC-150126] [PYTHON] Convalidare gli URL di avvio con la configurazione impostata
  • [SPARK-46612] [SC-153536] [SQL] Non convertire la stringa del tipo di matrice recuperata dal driver jdbc
  • [SPARK-46254] [SC-149788] [PYTHON] Rimuovere il controllo della versione di Python non aggiornato 3.8/3.7
  • [SPARK-46490] [SC-151335] [SQL] Richiedere classi di errore nelle SparkThrowable sottoclassi
  • [SPARK-46383] [SC-153274] [SC-147443] [WARMFIX] Ridurre l'utilizzo dell'heap del driver riducendo la durata di TaskInfo.accumulables()
  • [SPARK-46541] [SC-153109] [SQL] [CONNECT] Correggere il riferimento di colonna ambiguo in self join
  • [SPARK-46381] [SC-150495] [SQL] Eseguire la migrazione di sottoclassi di a classi di AnalysisException errore
  • [SPARK-46351] [SC-150335] [SQL] Richiedere una classe di errore in AnalysisException
  • [SPARK-46220] [SC-149689] [SQL] Limitare i set di caratteri in decode()
  • [SPARK-46369] [SC-150340] [CORE] Rimuovere kill il collegamento dai RELAUNCHING driver in MasterPage
  • [SPARK-46052] [SC-153284] [CORE] Remove function TaskScheduler.killAllTaskAttempts
  • [SPARK-46536] [SC-153164] [SQL] Supporto di GROUP BY calendar_interval_type
  • [SPARK-46675] [SC-153209] [SQL] Rimuovere inferTimestampNTZ inutilizzato in ParquetReadSupport
  • [SPARK-46717] [SC-153423] [CORE] Semplificare ReloadingX509TrustManager con l'operazione di uscita dipende solo dal thread di interrupt.
  • [SPARK-46722] [SC-153438] [CONNECT] Aggiungere un test relativo al controllo della compatibilità con le versioni precedenti per StreamingQueryListener in Spark Connessione (Scala/PySpark)
  • [SPARK-46187] [SC-149580] [SQL] Allineare l'implementazione codegen e non codegen di StringDecode
  • [SPARK-46258] [SC-149799] [CORE] Aggiungere RocksDBPersistenceEngine
  • [SPARK-46216] [SC-149676] [CORE] Miglioramento FileSystemPersistenceEngine per supportare le compressioni
  • [SPARK-46189] [SC-149567] [PS] [SQL] Eseguire confronti e aritmetici tra gli stessi tipi in varie funzioni di aggregazione Pandas per evitare errori in modalità interpretata
  • [SPARK-46184] [SC-149563] [CORE] [SQL] [CONNECT] [MLLIB] Ridurre la profondità dello stack sostituendo Option.isDefined con Option.isEmpty
  • [SPARK-46700] [SC-153329] [CORE] Contare l'ultimo spilling per la metrica di spilling byte del disco casuale
  • [SPARK-45642] [SC-150286] [CORE] [SQL] Correzione FileSystem.isFile & FileSystem.isDirectory is deprecated
  • [SPARK-46640] [SC-153272] [SQL] Correzione di RemoveRedundantAlias escludendo gli attributi della sottoquery
  • [SPARK-46681] [SC-153287] [CORE] Effettuare il refactoring ExecutorFailureTracker#maxNumExecutorFailures per evitare di calcolare defaultMaxNumExecutorFailures quando MAX_EXECUTOR_FAILURES è configurato
  • [SPARK-46695] [SC-153289] [SQL] [HIVE] Impostare sempre hive.execution.engine su mr
  • [SPARK-46325] [SC-150228] [CONNECT] Rimuovere le funzioni di override non necessarie durante la WrappedCloseableIterator costruzione in ResponseValidator#wrapIterator
  • [SPARK-46232] [SC-149699] [PYTHON] Eseguire la migrazione di tutti i valori ValueError rimanenti nel framework di errore pySpark.
  • [SPARK-46547] [SC-153174] [SS] Ingoiare eccezioni non irreversibili nell'attività di manutenzione per evitare deadlock tra il thread di manutenzione e l'operatore di aggregazione di streaming
  • [SPARK-46169] [SC-149373] [PS] Assegnare numeri JIRA appropriati per i parametri mancanti dall'API DataFrame .
  • [SPARK-45857] [SC-148096] [SQL] Applicare le classi di errore nelle sottoclassi di AnalysisException

Supporto del driver ODBC/JDBC di Databricks

Databricks supporta i driver ODBC/JDBC rilasciati negli ultimi 2 anni. Scaricare i driver rilasciati di recente e aggiornare (scaricare ODBC, scaricare JDBC).

Ambiente di sistema

  • Sistema operativo: Ubuntu 22.04.4 LTS
  • Java: Zulu 8.74.0.17-CA-linux64
  • Scala: 2.12.15
  • Python: 3.11.0
  • R: 4.3.2
  • Delta Lake: 3.1.0

Librerie Python installate

Libreria Versione Libreria Versione Libreria Versione
asttoken 2.0.5 astunparse 1.6.3 azure-core 1.30.1
azure-storage-blob 12.19.1 azure-storage-file-datalake 12.14.0 backcall 0.2.0
black 23.3.0 blinker 1.4 boto3 1.34.39
botocore 1.34.39 cachetools 5.3.3 certifi 2023.7.22
cffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
Clic 8.0.4 cloudpickle 2.2.1 serv 0.1.2
contourpy 1.0.5 Crittografia 41.0.3 cycler 0.11.0
Cython 0.29.32 databricks-sdk 0.20.0 dbus-python 1.2.18
debugpy 1.6.7 decorator 5.1.1 distlib 0.3.8
entrypoints 0,4 executing 0.8.3 facet-overview 1.1.1
filelock 3.13.1 fonttools 4.25.0 gitdb 4.0.11
GitPython 3.1.42 google-api-core 2.17.1 google-auth 2.28.2
google-cloud-core 2.4.1 google-cloud-storage 2.15.0 google-crc32c 1.5.0
google-resumable-media 2.7.0 googleapis-common-protos 1.63.0 grpcio 1.60.0
grpcio-status 1.60.0 httplib2 0.20.2 idna 3.4
importlib-metadata 6.0.0 ipyflow-core 0.0.198 ipykernel 6.25.1
ipython 8.15.0 ipywidgets 8.0.4 isodate 0.6.1
jedi 0.18.1 jeepney 0.7.1 jmespath 0.10.0
joblib 1.2.0 jupyter_client 7.4.9 jupyter_core 5.3.0
jupyterlab-widgets 3.0.5 Portachiavi 23.5.0 kiwisolver 1.4.4
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
matplotlib 3.7.2 matplotlib-inline 0.1.6 mlflow-skinny 2.11.1
more-itertools 8.10.0 mypy-extensions 0.4.3 nest-asyncio 1.5.6
numpy 1.23.5 oauthlib 3.2.0 creazione del pacchetto 23,2
pandas 1.5.3 parso 0.8.3 pathspec 0.10.3
patsy 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Pillow 9.4.0 pip 23.2.1 platformdirs 3.10.0
plotly 5.9.0 prompt-toolkit 3.0.36 protobuf 4.24.1
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 pyarrow 14.0.1 pyasn1 0.4.8
pyasn1-modules 0.2.8 pyccolo 0.0.52 pycparser 2.21
pydantic 1.10.6 Pygments 2.15.1 PyGObject 3.42.1
PyJWT 2.3.0 pyodbc 4.0.38 pyparsing 3.0.9
python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1 pytz 2022.7
PyYAML 6.0 pyzmq 23.2.0 requests 2.31.0
rsa 4.9 s3transfer 0.10.0 scikit-learn 1.3.0
scipy 1.11.1 seaborn 0.12.2 Segreto Archiviazione 3.3.1
setuptools 68.0.0 sei 1.16.0 smmap 5.0.1
sqlparse 0.4.4 ssh-import-id 5,11 stack-data 0.2.0
statsmodels 0.14.0 tenacity 8.2.2 threadpoolctl 2.2.0
tokenize-rt 4.2.1 tornado 6.3.2 traitlets 5.7.1
typing_extensions 4.7.1 tzdata 2022.1 ujson 5.4.0
aggiornamenti automatici 0,1 urllib3 1.26.16 virtualenv 20.24.2
wadllib 1.3.6 wcwidth 0.2.5 wheel 0.38.4
widgetsnbextension 4.0.5 zipp 3.11.0

Librerie R installate

Le librerie R vengono installate dallo snapshot Gestione pacchetti CRAN nel 2023-02-10.

Libreria Versione Libreria Versione Libreria Versione
freccia 14.0.0.2 askpass 1.2.0 assertthat 0.2.1
backports 1.4.1 base 4.3.2 base64enc 0.1-3
bigD 0.2.0 bit 4.0.5 bit64 4.0.5
bitops 1.0-7 blob 1.2.4 boot 1.3-28
brew 1.0-10 Brio 1.1.4 Scopa 1.0.5
bslib 0.6.1 cachem 1.0.8 chiamante 3.7.3
caret 6.0-94 cellranger 1.1.0 Chron 2.3-61
class 7.3-22 cli 3.6.2 clipr 0.8.0
clock 0.7.0 cluster 2.1.4 codetools 0.2-19
spazio colori 2.1-0 segno comune 1.9.1 compilatore 4.3.2
config 0.3.2 Conflitto 1.2.0 cpp11 0.4.7
crayon 1.5.2 credentials 2.0.1 curl 5.2.0
data.table 1.15.0 datasets 4.3.2 DBI 1.2.1
dbplyr 2.4.0 desc 1.4.3 devtools 2.4.5
diagramma 1.6.5 diffobj 0.3.5 digest 0.6.34
downlit 0.4.3 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 puntini di sospensione 0.3.2 evaluate 0,23
fansi 1.0.6 farver 2.1.1 fastmap 1.1.1
fontawesome 0.5.2 forcats 1.0.0 foreach 1.5.2
foreign 0.8-85 forge 0.2.0 fs 1.6.3
future 1.33.1 future.apply 1.11.1 Gargarismi 1.5.2
generics 0.1.3 Gert 2.0.1 ggplot2 3.4.4
Gh 1.4.0 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 globals 0.16.2 glue 1.7.0
googledrive 2.1.1 Googlesheets4 1.1.1 Gower 1.0.1
grafica 4.3.2 grDevices 4.3.2 grid 4.3.2
gridExtra 2.3 gsubfn 0,7 gt 0.10.1
gtable 0.3.4 hardhat 1.3.1 haven 2.5.4
highr 0,10 hms 1.1.3 htmltools 0.5.7
htmlwidgets 1.6.4 httpuv 1.6.14 httr 1.4.7
httr2 1.0.0 ids 1.0.1 ini 0.3.1
ipred 0.9-14 isoband 0.2.7 Iteratori 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 juicyjuice 0.1.0
KernSmooth 2.23-21 magliare 1.45 Etichettatura 0.4.3
later 1.3.2 Lattice 0.21-8 Java 1.7.3
lifecycle 1.0.4 listenv 0.9.1 lubridate 1.9.3
magrittr 2.0.3 markdown 1.12 MASS 7.3-60
Con matrice 1.5-4.1 memoise 2.0.1 metodi 4.3.2
mgcv 1.8-42 mime 0.12 miniUI 0.1.1.1
mlflow 2.10.0 ModelMetrics 1.2.2.2 modelr 0.1.11
Munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.1.1 parallel 4.3.2
parallelly 1.36.0 Concetto fondamentale 1.9.0 pkgbuild 1.4.3
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.4
plogr 0.2.0 plyr 1.8.9 Lode 1.0.0
prettyunits 1.2.0 Proc 1.18.5 processx 3.8.3
prodlim 2023.08.28 profvis 0.3.8 Avanzamento 1.2.3
progressr 0.14.0 promises 1.2.1 proto 1.0.0
proxy 0.4-27 ps 1.7.6 purrr 1.0.2
R6 2.5.1 ragg 1.2.7 randomForest 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.12 RcppEigen 0.3.3.9.4 Reactable 0.4.4
reactR 0.5.0 readr 2.1.5 readxl 1.4.3
ricette 1.0.9 rematch 2.0.0 rematch2 2.1.2
remotes 2.4.2.1 reprex 2.1.0 reshape2 1.4.4
rlang 1.1.3 rmarkdown 2.25 RODBC 1.3-23
roxygen2 7.3.1 rpart 4.1.21 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.5 rstudioapi 0.15.0
rversions 2.1.2 rvest 1.0.3 Sass 0.4.8
Scalabilità 1.3.0 selettore 0.4-2 sessioninfo 1.2.2
Forma 1.4.6 shiny 1.8.0 sourcetools 0.1.7-1
sparklyr 1.8.4 spaziale 7.3-15 Spline 4.3.2
sqldf 0.4-11 SQUAREM 2021.1 stats 4.3.2
stats4 4.3.2 stringi 1.8.3 stringr 1.5.1
Sopravvivenza 3.5-5 Swagger 3.33.1 sys 3.4.2
Systemfonts 1.0.5 tcltk 4.3.2 testatat 3.2.1
textshaping 0.3.7 tibble 3.2.1 tidyr 1.3.1
tidyselect 1.2.0 tidyverse 2.0.0 cambio di tempo 0.3.0
timeDate 4032.109 tinytex 0.49 tools 4.3.2
tzdb 0.4.0 urlchecker 1.0.1 usethis 2.2.2
UTF8 1.2.4 utils 4.3.2 uuid 1.2-0
V8 4.4.1 vctrs 0.6.5 viridisLite 0.4.2
Vroom 1.6.5 waldo 0.5.2 Whisker 0.4.1
withr 3.0.0 xfun 0,41 xml2 1.3.6
xopen 1.0.0 xtable 1.8-4 yaml 2.3.8
zeallot 0.1.0 zip 2.3.1

Librerie Java e Scala installate (versione del cluster Scala 2.12)

ID gruppo ID artefatto Versione
antlr antlr 2.7.7
com.amazonaws amazon-distribuisci-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-consultas 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.17.1
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.mdfsoftware kryo-shaded 4.0.2
com.mdfsoftware minlog 1.3.0
com.fasterxml compagno di classe 1.3.4
com.fasterxml.jackson.core annotazioni jackson 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeina Caffeina 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1 nativi
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1 nativi
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1 nativi
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1 nativi
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink Tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 23.5.26
com.google.guava Guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger profiler 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEA edizione Standard
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning JSON 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocità univocità-parser 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1,5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.sdk.netlib arpack 3.0.3
dev.sdk.netlib blas 3.0.3
dev.sdk.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.25
io.delta delta-sharing-client_2.12 1.0.4
io.dropwizard.metrics metrics-annotation 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Collettore 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna Jna 5.8.0
net.razorvine Sottaceto 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow formato freccia 15.0.0
org.apache.arrow arrow-memory-core 15.0.0
org.apache.arrow arrow-memory-netty 15.0.0
org.apache.arrow freccia-vettore 15.0.0
org.apache.avro avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curatore-cliente 2.13.0
org.apache.curator curatore-framework 2.13.0
org.apache.curator ricette curatori 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shim 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus annotazioni del gruppo di destinatari 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-collections 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core maglia-comune 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap Spessori 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest compatibile con scalatest 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten treten-extra 1.7.1
org.cortanaani xz 1,9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1,5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1