Condividi tramite

Databricks Runtime 10.5 (non supportato)

  • Articolo

Le note sulla versione seguenti forniscono informazioni su Databricks Runtime 10.5, basate su Apache Spark 3.2.1. Databricks ha rilasciato queste immagini nel maggio 2022.

Miglioramenti e nuove funzionalità

SQL: nuove funzioni to_number e try_to_number

La funzione to_number e try_to_number consentono di convertire rappresentazioni di caratteri di numeri in vari formati in DECIMAL.

SQL: Nuova funzione try_sum

A differenza di sum, la funzione di aggregazione try_sum restituisce NULL anziché un errore quando si verifica un overflow.

SQL: eseguire l'aggiornamento alle ceilfunzioni , ceilinge floor

La funzione ceil, la funzione ceiling e la funzione floor supportano ora un secondo argomento facoltativo per specificare una scala di destinazione.

SQL: nuove funzioni regr_avgx di aggregazione e regr_avgy

La nuova funzione di aggregazione regr_avgx e regr_avgy funzione di aggregazione supportano le regressioni lineari.

SQL: eseguire l'aggiornamento alle containsfunzioni , startswithe endswith

La funzione contiene, startswith funzione e endswith supporta ora i tipi di dati binari come input oltre alle stringhe.

SQL: Nuova funzione array_size

La nuova funzione array_size calcola le dimensioni di una matrice.

Catalogo unity: l'output SQL LIST rimuove la is_directory colonna e aggiunge percorsi di / directory (anteprima pubblica)

L'output dell'istruzione SQL LIST per elencare i percorsi regolati dal catalogo Unity è stato modificato. La is_directory colonna non viene più visualizzata. Al contrario, i percorsi che rappresentano le directory terminano con una barra finale (/) per le path colonne e name . Questa modifica riguarda la coerenza con l'output del dbutils.fs.ls comando.

Caricatore automatico: nuova funzione SQL CLOUD_FILES_STATE

È possibile usare la nuova CLOUD_FILES_STATE funzione per eseguire query sullo stato interno di un flusso del caricatore automatico. Vedere Esecuzione di query sui file individuati dal caricatore automatico.

Caricatore automatico: il supporto per le notifiche file è ora disponibile a livello generale

Supporto delle notifiche file per Che cos'è il caricatore automatico? in Google Cloud è ora disponibile a livello generale.

Delta Lake: nuova maxRecordsPerFile opzione per i record massimi scritti in un singolo file

Quando si usano le API DataFrame per scrivere in una tabella Delta, è possibile usare l'opzione maxRecordsPerFile per specificare il numero massimo di record da scrivere in un singolo file. La specifica di un valore pari a zero o un valore negativo non rappresenta alcun limite. Vedere Configurare Delta Lake per controllare le dimensioni dei file di dati.

Deprecazione di Koalas

Koalas è ora deprecato. Koalas fornisce API Pandas su Apache Spark. Koalas è stato contribuito dalla community ed è stato disponibile come API pandas in Spark a partire da Apache Spark 3.2. Koalas continua a essere preinstallato per Databricks Runtime 10.5, ma Koalas non verrà più preinstallato a partire dalla versione successiva di Databricks Runtime.

Per altre informazioni sull'API Pandas in Spark, vedere:

Nuova _metadata colonna per tutti i formati di file

È possibile ottenere informazioni sui metadati per i file di input con la _metadata colonna . La _metadata colonna è nascosta. Questa colonna è disponibile per tutti i formati di file di input. Per includere la _metadata colonna in un oggetto restituito, è necessario fare riferimento in modo esplicito DataFramea questa colonna nella query. Vedere Colonna Metadati file.

Testare la pipeline di tabelle live Delta con Databricks Runtime 10.5

Databricks Runtime 10.5 è ora la versione supportata preview per le tabelle live Delta. Per testare la pipeline con Databricks Runtime 10.5, impostare l'impostazione channel su preview nelle impostazioni della pipeline.

Correzioni di bug

  • Correzione della visualizzazione dei risultati delle metriche e numCopiedRows delle operazioni di numUpdatedRows aggiornamento nelle tabelle Delta con change data capture (CDC) abilitata.

Aggiornamenti della libreria

  • Librerie Python aggiornate:
    • tracciato da 5.5.0 a 5.6.0
  • Librerie R aggiornate:
    • base da 4.1.2 a 4.1.3
    • cursore da 6.0-90 a 6.0-91
    • cluster dalla versione 2.1.2 alla versione 2.1.3
    • segno comune da 1.7 a 1.8.0
    • compilatore da 4.1.2 a 4.1.3
    • pastelli da 1.5.0 a 1.5.1
    • set di dati da 4.1.2 a 4.1.3
    • desc da 1.4.0 a 1.4.1
    • fani da 1.0.2 a 1.0.3
    • colla da 1.6.1 a 1.6.2
    • grafica da 4.1.2 a 4.1.3
    • grDevices dalla versione 4.1.2 alla versione 4.1.3
    • griglia da 4.1.2 a 4.1.3
    • magliar da 1.37 a 1.38
    • MASS da 7.3-55 a 7.3-56
    • Matrice da 1.4-0 a 1.4-1
    • metodi da 4.1.2 a 4.1.3
    • mgcv da 1,8-39 a 1,8-40
    • nlme da 3.1-155 a 3.1-157
    • openssl da 1.4.6 a 2.0.0
    • parallelo da 4.1.2 a 4.1.3
    • plyr da 1.8.6 a 1.8.7
    • processx da 3.5.2 a 3.5.3
    • r2d3 da 0.2.5 a 0.2.6
    • Rcpp da 1.0.8 a 1.0.8.3
    • rlang da 1.0.1 a 1.0.2
    • rmarkdown da 2.11 a 2.13
    • RSQLite da 2.2.10 a 2.2.11
    • sass da 0.4.0 a 0.4.1
    • spline da 4.1.2 a 4.1.3
    • statistiche da 4.1.2 a 4.1.3
    • stats4 da 4.1.2 a 4.1.3
    • tcltk da 4.1.2 a 4.1.3
    • strumenti da 4.1.2 a 4.1.3
    • Utilità dalla versione 4.1.2 alla versione 4.1.3
    • uuid da 1.0-3 a 1.0-4
    • waldo da 0.3.1 a 0.4.0
    • withr dalla versione 2.4.3 alla versione 2.5.0
    • xfun da 0.29 a 0.30
  • Librerie Java aggiornate:
    • com.h2database.h2 da 1.4.195 a 2.1.210
    • org.apache.hadoop.hadoop-client-api da 3.3.1-databricks a 3.3.2-databricks
    • org.apache.hadoop.hadoop-client-runtime da 3.3.1 a 3.3.2
    • org.rocksdb.rocksdbjni da 6.24.2 a 6.20.3

Apache Spark

Databricks Runtime 10.5 include Apache Spark 3.2.1. Questa versione include tutte le correzioni e i miglioramenti di Spark inclusi in Databricks Runtime 10.4 LTS, nonché le correzioni di bug e i miglioramenti aggiuntivi seguenti apportati a Spark:

  • [SPARK-38354] [SC-97886] Ripristinare "[SQL] Aggiungere la metrica dei probe hash per il join hash casuale"
  • [SPARK-38484] [SAS-103] [SAS-111] [SAS-113] [SC-98102] [Cherry-Pick] Instrumentare il modulo SQL PySpark con logger di utilizzo generale
  • [SPARK-38333] [SQL] L'espressione PlanExpression deve ignorare la funzione addExprTree in Executor
  • [SPARK-38646] [PYTHON] [10.x] Estrarre un tratto per le funzioni Python
  • [SPARK-38674] [PHOTON] Aggiungere una metrica a PhotonSubqueryBroadcastExec
  • [SPARK-38787] [SS] Sostituire il valore trovato con un elemento non Null nell'elenco rimanente per la chiave e rimuovere gli elementi Null rimanenti dai valori nell'archivio keyWithIndexToValue per i join di stream-stream
  • [SPARK-38446] [Core] Correzione del deadlock tra ExecutorClassLoader e FileDownloadCallback causato da Log4j
  • [SPARK-38705] [SQL] Usare l'identificatore di funzione nel comando create and drop function
  • [SPARK-38684] [SS] Correzione del problema di correttezza nell'outer join del flusso di flusso con il provider dell'archivio stati RocksDB
  • [SPARK-38655] [SQL] OffsetWindowFunctionFrameBase impossibile trovare la riga di offset il cui input non è Null
  • [SPARK-38204] [SS] Usare StatefulOpClusteredDistribution per gli operatori con stato rispettando la compatibilità con le versioni precedenti
  • [SPARK-38616] [SQL] Tenere traccia del testo della query SQL in Catalyst TreeNode
  • [SPARK-38600] [SQL] Includere unit nella stringa sql di TIMESTAMPADD/DIFF
  • [SPARK-34805] [SQL] Propagare i metadati dalle colonne annidate in Alias
  • [SPARK-38535] [SQL] Aggiungere l'enumerazione datetimeUnit e usarla in TIMESTAMPADD/DIFF
  • [SPARK-38415] [SQL] Aggiornare il tipo di risultato histogram_numeric (x, y) per impostare x == il tipo di input
  • [SPARK-38148] [SQL] Non aggiungere l'eliminazione dinamica della partizione se esiste l'eliminazione di partizioni statiche
  • [SPARK-37527] [SQL] COVAR_POPCompilare e COVAR_SAMPCORR in H2Dialet
  • [SPARK-38510] [SQL] Ripetere classSymbol.selfType per aggirare i riferimenti ciclici
  • [SPARK-38509] [SQL] Annullare la registrazione delle TIMESTAMPADD/DIFF funzioni e rimuovere DATE_ADD/DIFF
  • [SPARK-38504] [SQL] Impossibile leggere TimestampNTZ come TimestampLTZ
  • [SPARK-38526] [SQL] Correzione del nome alias della funzione fuorviante per RuntimeReplaceable
  • [SPARK-38335] [SQL] Implementare il supporto del parser per i valori di colonna DEFAULT
  • [SPARK-38593] [SS] Passare alla metrica del numero di eventi tardivi eliminati in SessionWindowStateStoreSaveExec
  • [SPARK-38549] [SS] Aggiungi numRowsDroppedByWatermark a SessionWindowStateStoreRestoreExec
  • [SPARK-38583] [SQL] Ripristinare il comportamento di to_timestamp che consente tipi numerici
  • [SPARK-38481] [SQL] Sostituire l'eccezione di overflow Java da un'eccezione TIMESTAMPADD Spark
  • [SPARK-37753] [SQL] Ottimizzare la logica per abbassare di livello il join hash broadcast in DynamicJoinSelection
  • [SPARK-37582] [SPARK-37583] [SQL] CONTAINS, STARTSWITH, ENDSWITH deve supportare sia i tipi stringa che binari
  • [SPARK-38345] [SQL] Introduzione alla funzione SQL ARRAY_SIZE
  • [SPARK-38385] [SQL] Migliorare i messaggi di errore dell'istruzione vuota e <EOF> in ParseException
  • [SPARK-37614] [SQL] Supporto della funzione di aggregazione ANSI: regr_avgx e regr_avgy
  • [SPARK-38560] [SQL] Se Sum, Count, Any associato a distinct, non può eseguire un'operazione di scorrimento parziale verso il basso.
  • [SPARK-38360] [SQL] [SS] [PYTHON] Introdurre una exists funzione per TreeNode eliminare i modelli di codice duplicati
  • [SPARK-38385] [SQL] Migliorare i messaggi di errore dei casi di input non corrispondenti da ANTLR
  • [SPARK-38240] [SQL] Migliorare RuntimeReplaceable e aggiungere una linea guida per l'aggiunta di nuove funzioni
  • [SPARK-38542] [SQL] UnsafeHashedRelation deve serializzare numKeys out
  • [SPARK-38521] [SQL] Passare partitionOverwriteMode da stringa a variabile in Scala
  • [SPARK-38558] [SQL] Rimuovere cast non necessari tra IntegerType e IntDecimal
  • [SPARK-38489] [SQL] Aggregate.groupOnly supporta espressioni piegabili
  • [SPARK-38410] [SQL] Supporto per specificare il numero di partizione iniziale per il ribilanciamento
  • [SPARK-38107] [SQL] Usare classi di errore negli errori di compilazione delle funzioni definite dall'utente python/pandas
  • [SPARK-38354] [SQL] Aggiungere la metrica dei probe hash per il join hash casuale
  • [SPARK-38112] [SQL] Usare classi di errore negli errori di esecuzione della gestione di data/timestamp
  • [SPARK-38361] [SQL] Aggiungere il metodo getConnection factory in JDBCDialect.
  • [SPARK-37865] [SQL] Correzione del bug di correzione della correzione della deduplicazione dell'unione
  • [SPARK-38298] [SQL] [Test] Correzione di DataExpressionSuite, NullExpressionsSuite, StringExpressionsSuite, complexTypesSuite, CastSuite in modalità ANSI
  • [SPARK-38407] [SQL] Cast ANSI: allentare la limitazione del cast di tipi complessi non Null
  • [SPARK-38352] [SQL] Correzione del dataframeAggregateSuite/DataFrameSetOperationsSuite/DataFrameWindowFunctionsSuite in modalità ANSI
  • [SPARK-38054] [SQL] Supporta gli spazi dei nomi di elenco nel dialetto MySQL JDBC v2
  • [SPARK-37960] [SQL] Un nuovo framework per rappresentare espressioni catalizzatori nelle API DS v2
  • [SPARK-38103] [SQL] Eseguire la migrazione degli errori di analisi della trasformazione nel nuovo framework degli errori
  • [SPARK-38519] [SQL] L'eccezione generata da AQE deve rispettare SparkFatalException
  • [SPARK-38528] [SQL] Scorrere con entusiasmo la sequenza di aggregazione durante la compilazione dell'elenco di progetti in ExtractGenerator
  • [SPARK-38320] [SS] Correzione del timeout flatMapGroupsWithState in batch con i dati per la chiave
  • [SPARK-38442] [SQL] Correzione di ConstantFoldingSuite/ColumnExpressionSuite/DataFrameSuite/AdaptiveQueryExecSuite in modalità ANSI
  • [SPARK-38268] [SQL] Nascondere il campo "failOnError" nel metodo toString di Abs/CheckOverflow
  • [SPARK-37949] [SQL] Migliorare la stima delle statistiche di ribilanciamento
  • [SPARK-38450] [SQL] Correggere HiveQuerySuite//PushFoldableIntoBranchesSuite/TrasposizioneWindowSuite in modalità ANSI
  • [SPARK-38501] [SQL] Correggere gli errori di test thriftserver in modalità ANSI
  • [SPARK-37895] [SQL] Filtrare la colonna verso il basso con colonne tra virgolette
  • [SPARK-38449] [SQL] Evitare di chiamare createTable quando ignoreIfExists=true e la tabella esiste
  • [SPARK-38406] [SQL] Migliorare le prestazioni di ShufflePartitionsUtil createSkewPartitionSpecs
  • [SPARK-37947] [SQL] Estrarre generatore dall'espressione GeneratorOuter contenuta in un operatore Generate.
  • [SPARK-38309] [CORE] Correggere le metriche SHS shuffleTotalReads e shuffleTotalBlocks percentile
  • [SPARK-38412] [SS] Correggere la sequenza scambiata di da e a in StateSchemaCompatibilityChecker
  • [SPARK-38267] [CORE] [SQL] [SS] Sostituire le corrispondenze dei criteri nelle espressioni booleane con istruzioni condizionali
  • [SPARK-38104] [SQL] Eseguire la migrazione degli errori di analisi della finestra nel nuovo framework degli errori
  • [SPARK-38434] [SQL] Semantica corretta del metodo CheckAnalysis.getDataTypesAreCompatibleFn
  • [SPARK-38033] [SS] Impossibile avviare l'elaborazione SS perché il com...
  • [SPARK-38378] [SQL] Refactoring della definizione della grammatica ANTLR in file Parser e Lexer separati
  • [SPARK-37475] [SQL] Aggiungere il parametro di scala alle funzioni floor e ceil
  • [SPARK-38411] [CORE] Usare UTF-8 quando doMergeApplicationListingInternal legge i registri eventi
  • [SPARK-36553] [ML] KMeans evita le statistiche ausiliarie di calcolo per K di grandi dimensioni
  • [SPARK-38393] [SQL] Pulire l'utilizzo deprecato di GenSeq/GenMap
  • [SPARK-38389] [SQL] Aggiungere gli DATEDIFF() alias e DATE_DIFF() per TIMESTAMPDIFF()
  • [SPARK-33206] [CORE] [3.2] Correzione del calcolo del peso della cache dell'indice casuale per i file di indice di piccole dimensioni
  • [SPARK-38353] [PYTHON] Instrumentare i metodi magic enter e exit per l'API Pandas in Spark
  • [SPARK-38323] [SQL] [Streaming] Supportare i metadati dei file nascosti in Streaming
  • [SPARK-38138] [SQL] Materializzare sottoquery QueryPlan
  • [SPARK-38094] Abilitare i nomi delle colonne dello schema corrispondenti in base agli ID campo
  • [SPARK-37923] [SQL] Generare trasformazioni di partizione per BucketSpec all'interno del parser
  • [SPARK-38363] [SQL] Evitare errori di runtime in Dataset.summary()/Dataset.describe() quando la modalità ANSI è attivata
  • [SPARK-38284] [SQL] Aggiungere la TIMESTAMPDIFF() funzione
  • [SPARK-38251] [SQL] Modificare Cast.toString come "cast" anziché "ansi_cast" in modalità ANSI
  • [SPARK-38314] [SQL] Correzione della mancata lettura dei file Parquet dopo la scrittura dei metadati nascosti nel file

Vedere Aggiornamenti della manutenzione di Databricks Runtime 10.5.

Ambiente di sistema

  • Sistema operativo: Ubuntu 20.04.4 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.8.10
  • R: 4.1.3
  • Delta Lake: 1.2.1

Librerie Python installate

Libreria Versione Libreria Versione Libreria Versione
Antergos Linux 2015.10 (ISO-Rolling) appdirs 1.4.4 argon2-cffi 20.1.0
async-generator 1,10 attrs 20.3.0 backcall 0.2.0
bidict 0.21.4 bleach 3.3.0 boto3 1.16.7
botocore 1.19.7 certifi 2020.12.5 cffi 1.14.5
chardet 4.0.0 cycler 0.10.0 Cython 0.29.23
dbus-python 1.2.16 decorator 5.0.6 defusedxml 0.7.1
distlib 0.3.4 informazioni sulla distribuzione 0.23ubuntu1 entrypoints 0,3
facet-overview 1.0.0 filelock 3.6.0 idna 2.10
ipykernel 5.3.4 ipython 7.22.0 ipython-genutils 0.2.0
ipywidgets 7.6.3 jedi 0.17.2 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.0.1 jsonschema 3.2.0
jupyter-client 6.1.12 jupyter-core 4.7.1 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 kiwisolver 1.3.1 koalas 1.8.2
MarkupSafe 2.0.1 matplotlib 3.4.2 mistune 0.8.4
nbclient 0.5.3 nbconvert 6.0.7 nbformat 5.1.3
nest-asyncio 1.5.1 notebook 6.3.0 numpy 1.20.1
creazione del pacchetto 20.9 pandas 1.2.4 pandocfilters 1.4.3
parso 0.7.0 patsy 0.5.1 pexpect 4.8.0
pickleshare 0.7.5 Pillow 8.2.0 pip 21.0.1
plotly 5.6.0 prometheus-client 0.10.1 prompt-toolkit 3.0.17
protobuf 3.17.2 psycopg2 2.8.5 ptyprocess 0.7.0
pyarrow 4.0.0 pycparser 2,20 Pygments 2.8.1
PyGObject 3.36.0 pyparsing 2.4.7 pirsistente 0.17.3
python-apt 2.0.0+ubuntu0.20.4.7 python-dateutil 2.8.1 python-engineio 4.3.0
python-socketio 5.4.1 pytz 2020.5 pyzmq 20.0.0
requests 2.25.1 requests-unixsocket 0.2.0 s3transfer 0.3.7
scikit-learn 0.24.1 Scipy 1.6.2 seaborn 0.11.1
Send2Trash 1.5.0 setuptools 52.0.0 sei 1.15.0
ssh-import-id 5.10 statsmodels 0.12.2 tenacity 8.0.1
terminado 0.9.4 testpath 0.4.4 threadpoolctl 2.1.0
tornado 6.1 traitlets 5.0.5 aggiornamenti automatici 0,1
urllib3 1.25.11 virtualenv 20.4.1 wcwidth 0.2.5
webencodings 0.5.1 wheel 0.36.2 widgetsnbextension 3.5.1

Librerie R installate

Le librerie R vengono installate dallo snapshot di Microsoft CRAN nel 2022-03-28.

Libreria Versione Libreria Versione Libreria Versione
askpass 1.1 assertthat 0.2.1 Backports 1.4.1
base 4.1.3 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 blob 1.2.2 boot 1.3-28
Birra 1.0-7 Brio 1.1.3 Scopa 0.7.12
bslib 0.3.1 cachem 1.0.6 chiamante 3.7.0
caret 6.0-91 cellranger 1.1.0 Chron 2.3-56
class 7.3-20 cli 3.2.0 clipr 0.8.0
cluster 2.1.3 codetools 0.2-18 spazio colori 2.0-3
segno comune 1.8.0 compilatore 4.1.3 config 0.3.1
cpp11 0.4.2 Pastello 1.5.1 credentials 1.3.2
curl 4.3.2 data.table 1.14.2 datasets 4.1.3
DBI 1.1.2 dbplyr 2.1.1 desc 1.4.1
devtools 2.4.3 diffobj 0.3.5 digest 0.6.29
dplyr 1.0.8 dtplyr 1.2.1 e1071 1.7-9
puntini di sospensione 0.3.2 evaluate 0.15 fani 1.0.3
farver 2.1.0 fastmap 1.1.0 fontawesome 0.2.2
forcats 0.5.1 foreach 1.5.2 straniero 0.8-82
forge 0.2.0 fs 1.5.2 future 1.24.0
future.apply 1.8.1 Gargarismi 1.2.0 Generics 0.1.2
Gert 1.5.0 ggplot2 3.3.5 Gh 1.3.0
gitcreds 0.1.1 glmnet 4.1-3 globals 0.14.0
Colla 1.6.2 googledrive 2.0.0 Googlesheets4 1.0.0
Gower 1.0.0 grafica 4.1.3 grDevices 4.1.3
grid 4.1.3 gridExtra 2.3 gsubfn 0,7
gtable 0.3.0 hardhat 0.2.0 Haven 2.4.3
highr 0.9 Hms 1.1.1 htmltools 0.5.2
htmlwidgets 1.5.4 httpuv 1.6.5 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ids 1.0.1
ini 0.3.1 ipred 0.9-12 isoband 0.2.5
Iteratori 1.0.14 jquerylib 0.1.4 jsonlite 1.8.0
KernSmooth 2.23-20 magliare 1.38 Etichettatura 0.4.2
later 1.3.0 Reticolo 0.20-45 Java 1.6.10
lifecycle 1.0.1 listenv 0.8.0 lubridate 1.8.0
magrittr 2.0.2 Markdown 1.1 Un sacco 7.3-56
Con matrice 1.4-1 memoise 2.0.1 metodi 4.1.3
mgcv 1.8-40 Mime 0.12 ModelMetrics 1.2.2.2
modelr 0.1.8 Munsell 0.5.0 nlme 3.1-157
nnet 7.3-17 numDeriv 2016.8-1.1 openssl 2.0.0
parallel 4.1.3 parallelly 1.30.0 Pilastro 1.7.0
pkgbuild 1.3.1 pkgconfig 2.0.3 pkgload 1.2.4
plogr 0.2.0 plyr 1.8.7 Lode 1.0.0
prettyunits 1.1.1 Proc 1.18.0 processx 3.5.3
prodlim 2019.11.13 Avanzamento 1.2.2 progressr 0.10.0
promises 1.2.0.1 proto 1.0.0 proxy 0.4-26
ps 1.6.0 purrr 0.3.4 r2d3 0.2.6
R6 2.5.1 randomForest 4.7-1 rappdirs 0.3.3
rcmdcheck 1.4.0 RColorBrewer 1.1-2 Rcpp 1.0.8.3
RcppEigen 0.3.3.9.1 readr 2.1.2 readxl 1.3.1
ricette 0.2.0 Rivincita 1.0.1 rematch2 2.1.2
remotes 2.4.2 reprex 2.0.1 reshape2 1.4.4
rlang 1.0.2 rmarkdown 2,13 RODBC 1.3-19
roxygen2 7.1.2 rpart 4.1.16 rprojroot 2.0.2
Rserve 1.8-10 RSQLite 2.2.11 rstudioapi 0,13
rversions 2.1.1 rvest 1.0.2 Sass 0.4.1
Scale 1.1.1 selettore 0.4-2 sessioninfo 1.2.2
Forma 1.4.6 Lucido 1.7.1 sourcetools 0.1.7
sparklyr 1.7.5 SparkR 3.2.0 spaziale 7.3-11
Spline 4.1.3 sqldf 0.4-11 SQUAREM 2021.1
stats 4.1.3 stats4 4.1.3 stringi 1.7.6
stringr 1.4.0 Sopravvivenza 3.2-13 sys 3.4
tcltk 4.1.3 TeachingDemos 2.10 testatat 3.1.2
tibble 3.1.6 tidyr 1.2.0 tidyselect 1.1.2
tidyverse 1.3.1 timeDate 3043.102 tinytex 0,37
tools 4.1.3 tzdb 0.2.0 usethis 2.1.5
utf8 1.2.2 utils 4.1.3 uuid 1.0-4
vctrs 0.3.8 viridisLite 0.4.0 Vroom 1.5.7
waldo 0.4.0 Whisker 0,4 withr 2.5.0
xfun 0,30 xml2 1.3.3 xopen 1.0.0
xtable 1.8-4 Yaml 2.3.5 zip 2.2.0

Librerie Java e Scala installate (versione del cluster Scala 2.12)

ID gruppo ID artefatto Versione
antlr antlr 2.7.7
com.amazonaws amazon-distribuisci-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-consultas 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-machinelearning 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws aws-java-sdk-support 1.12.189
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.mdfsoftware kryo-shaded 4.0.2
com.mdfsoftware minlog 1.3.0
com.fasterxml compagno di classe 1.3.4
com.fasterxml.jackson.core annotazioni jackson 2.12.3
com.fasterxml.jackson.core jackson-core 2.12.3
com.fasterxml.jackson.core jackson-databind 2.12.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.12.3
com.fasterxml.jackson.datatype jackson-datatype-joda 2.12.3
com.fasterxml.jackson.module jackson-module-paranamer 2.12.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.12.3
com.github.ben-manes.caffeina Caffeina 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.0-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink Tink 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava Guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.1.210
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEA edizione Standard
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.0.3
com.sun.istack istack-commons-runtime 3.0.8
com.sun.mail javax.mail 1.5.2
com.tdunning JSON 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocità univocità-parser 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.2
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.8.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
dev.sdk.netlib arpack 2.2.1
dev.sdk.netlib blas 2.2.1
dev.sdk.netlib lapack 2.2.1
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.4.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.68.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Collettore 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.10
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-trees hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna Jna 5.8.0
net.razorvine pirolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow formato freccia 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow freccia-vettore 2.0.0
org.apache.avro avro 1.10.2
org.apache.avro avro-ipc 1.10.2
org.apache.avro avro-mapred 1.10.2
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curatore-cliente 2.13.0
org.apache.curator curatore-framework 2.13.0
org.apache.curator ricette curatori 2.13.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.2-databricks
org.apache.hadoop hadoop-client-runtime 3.3.2
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy ivy 2.5.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.6.13
org.apache.orc orc-mapreduce 1.6.13
org.apache.orc orc-shim 1.6.13
org.apache.parquet parquet-column 1.12.0-databricks-0004
org.apache.parquet parquet-common 1.12.0-databricks-0004
org.apache.parquet codifica parquet 1.12.0-databricks-0004
org.apache.parquet strutture parquet-format-structures 1.12.0-databricks-0004
org.apache.parquet parquet-hadoop 1.12.0-databricks-0004
org.apache.parquet parquet-jackson 1.12.0-databricks-0004
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus annotazioni del gruppo di destinatari 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.43.v20210629
org.eclipse.jetty jetty-continuation 9.4.43.v20210629
org.eclipse.jetty jetty-http 9.4.43.v20210629
org.eclipse.jetty jetty-io 9.4.43.v20210629
org.eclipse.jetty jetty-jndi 9.4.43.v20210629
org.eclipse.jetty jetty-plus 9.4.43.v20210629
org.eclipse.jetty jetty-proxy 9.4.43.v20210629
org.eclipse.jetty jetty-security 9.4.43.v20210629
org.eclipse.jetty jetty-server 9.4.43.v20210629
org.eclipse.jetty jetty-servlet 9.4.43.v20210629
org.eclipse.jetty jetty-servlets 9.4.43.v20210629
org.eclipse.jetty jetty-util 9.4.43.v20210629
org.eclipse.jetty jetty-util-ajax 9.4.43.v20210629
org.eclipse.jetty jetty-webapp 9.4.43.v20210629
org.eclipse.jetty jetty-xml 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-api 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-client 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-common 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-server 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-servlet 9.4.43.v20210629
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jaxb jaxb-runtime 2.3.2
org.glassfish.jersey.containers jersey-container-servlet 2.34
org.glassfish.jersey.containers jersey-container-servlet-core 2.34
org.glassfish.jersey.core jersey-client 2.34
org.glassfish.jersey.core maglia-comune 2.34
org.glassfish.jersey.core jersey-server 2.34
org.glassfish.jersey.inject jersey-hk2 2.34
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.2.19
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap Spessori 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark Inutilizzati 1.0.0
org.threeten treten-extra 1.5.0
org.cortanaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1,5
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1