Databricks Runtime 10.4 LTS

  • Articolo

Le note sulla versione seguenti forniscono informazioni su Databricks Runtime 10.4 LTS e Databricks Runtime 10.4 LTS Photon, con tecnologia Apache Spark 3.2.1. Photon è disponibile in anteprima pubblica. Databricks ha rilasciato queste immagini nel marzo 2022.

Nota

LTS indica che questa versione è supportata a lungo termine. Vedere Ciclo di vita della versione LTS di Databricks Runtime.

Miglioramenti e nuove funzionalità

Convertitore di tabelle da Iceberg a Delta (anteprima pubblica)

Converti in Delta supporta ora la conversione di una tabella Iceberg in una tabella Delta sul posto. A tale scopo, usare i metadati nativi di Iceberg e i manifesti dei file. Vedere Converti in Delta Lake.

I rollback di compattazione automatica sono ora abilitati per impostazione predefinita

Questa versione migliora il comportamento per le scritture Delta Lake che eseguono il commit quando sono presenti transazioni simultanee di compattazione automatica. Prima di questa versione, tali scritture spesso si chiudevano a causa di modifiche simultanee a una tabella. Le scritture avranno ora esito positivo anche se sono presenti transazioni simultanee di compattazione automatica.

L'unione casuale bassa è ora abilitata per impostazione predefinita

Il MERGE INTO comando ora usa sempre la nuova implementazione di shuffle low-shuffle. Questo comportamento migliora significativamente le prestazioni del comando per la MERGE INTO maggior parte dei carichi di lavoro. L'impostazione di configurazione usata in precedenza per abilitare questa funzionalità è stata rimossa. Vedere Merge casuale basso in Azure Databricks.

I tag degli ordini di inserimento vengono ora mantenuti per UPDATEs e DELETEs

I UPDATE comandi e DELETE ora conservano le informazioni di clustering esistenti (incluso l'ordinamento Z) per i file aggiornati o eliminati. Questo comportamento è un approccio ottimale e questo approccio non si applica ai casi in cui i file sono così piccoli che questi file vengono combinati durante l'aggiornamento o l'eliminazione.

HikariCP è ora il pool di connessioni metastore Hive predefinito

HikariCP offre molti miglioramenti della stabilità per l'accesso al metastore Hive mantenendo al tempo stesso un minor numero di connessioni rispetto all'implementazione precedente del pool di connessioni BoneCP. HikariCP è abilitato per impostazione predefinita in qualsiasi cluster di Databricks Runtime che usa il metastore Hive di Databricks( ad esempio, quando spark.sql.hive.metastore.jars non è impostato). È anche possibile passare in modo esplicito ad altre implementazioni del pool di connessioni, ad esempio BoneCP, impostando spark.databricks.hive.metastore.client.pool.type.

Il connettore Azure Synapse consente ora di impostare il numero massimo di righe di rifiuto consentite

Il connettore Azure Synapse supporta ora un'opzione maxErrors DataFrame. Questo aggiornamento consente di configurare il numero massimo di righe rifiutate consentite durante le operazioni di lettura e scrittura prima dell'annullamento dell'operazione di caricamento. Tutte le righe rifiutate vengono ignorate. Ad esempio, se due record su dieci hanno errori, vengono elaborati solo otto record.

Questa opzione esegue il mapping direttamente all'opzione per l'istruzione REJECT_VALUECREATE EXTERNAL TABLE in PolyBase e all'opzione MAXERRORS per il comando del COPY connettore Azure Synapse.

Per impostazione predefinita, maxErrors il valore è impostato su 0: tutti i record devono essere validi.

Il checkpoint dello stato asincrono è ora disponibile a livello generale

È possibile abilitare il checkpoint dello stato asincrono nelle query di streaming con stato con aggiornamenti di stato di grandi dimensioni. In questo modo è possibile ridurre la latenza micro batch end-to-end. Questa funzionalità è ora disponibile a livello generale. Vedere Checkpoint dello stato asincrono per le query con stato.

È ora possibile specificare le impostazioni predefinite dei parametri per le funzioni definite dall'utente SQL

Quando si crea una funzione SQL definita dall'utente (UDF SQL), è ora possibile specificare espressioni predefinite per i parametri della funzione definita dall'utente sql. È quindi possibile chiamare la funzione definita dall'utente SQL senza fornire argomenti per tali parametri e Databricks compilerà i valori predefiniti per tali parametri. Vedere CREATE FUNCTION (SQL e Python).

Nuove funzioni SPARK SQL

Con questa versione sono ora disponibili le funzioni SPARK SQL seguenti:

  • try_multiply: restituisce multiplier moltiplicato per multiplicando NULL in caso di overflow.
  • try_subtract: restituisce la sottrazione di expr2 da expr1o NULL in caso di overflow.

Nuova directory di lavoro per i cluster a concorrenza elevata

Nei cluster con concorrenza elevata con il controllo di accesso alla tabella o il pass-through delle credenziali abilitato, la directory di lavoro corrente dei notebook è ora la home directory dell'utente. In precedenza, la directory di lavoro era /databricks/driver.

Il supporto delle colonne Identity nelle tabelle Delta è ora disponibile a livello generale

Delta Lake supporta ora le colonne Identity. Quando si scrive in una tabella Delta che definisce una colonna Identity e non si specificano valori per tale colonna, Delta assegna ora automaticamente un valore univoco e statisticamente crescente o decrescente. Vedere CREATE TABLE [USING].

Aggiornamenti della libreria

  • Librerie Python aggiornate:
    • filelock da 3.4.2 a 3.6.0
  • Librerie R aggiornate:
    • birra da 1.0-6 a 1.0-7
    • scopa da 0.7.11 a 0.7.12
    • cli da 3.1.0 a 3.2.0
    • Clipr da 0.7.1 a 0.8.0
    • spazi di colore da 2.0-2 a 2.0-3
    • crayon da 1.4.2 a 1.5.0
    • dplyr da 1.0.7 a 1.0.8
    • dtplyr da 1.2.0 a 1.2.1
    • valutare da 0.14 a 0.15
    • foreach da 1.5.1 a 1.5.2
    • futuro da 1.23.0 a 1.24.0
    • generics da 0.1.1 a 0.1.2
    • colla da 1.6.0 a 1.6.1
    • gower da 0.2.2 a 1.0.0
    • iteratori da 1.0.13 a 1.0.14
    • jsonlite da 1.7.3 a 1.8.0
    • magrittr da 2.0.1 a 2.0.2
    • mgcv da 1,8-38 a 1,8-39
    • pilastro da 1.6.4 a 1.7.0
    • randomForest da 4.6-14 a 4.7-1
    • readr dalla versione 2.1.1 alla versione 2.1.2
    • ricette da 0.1.17 a 0.2.0
    • rlang da 0.4.12 a 1.0.1
    • rpart da 4.1-15 a 4.1.16
    • RSQLite da 2.2.9 a 2.2.10
    • sparklyr da 1.7.4 a 1.7.5
    • testat da 3.1.1 a 3.1.2
    • tidyr da 1.1.4 a 1.2.0
    • tidyselect da 1.1.1 a 1.1.2
    • tinytex da 0,36 a 0,37
    • yaml da 2.2.1 a 2.3.5
  • Librerie Java aggiornate:
    • io.delta.delta-sharing-spark_2.12 da 0.3.0 a 0.4.0

Apache Spark

Databricks Runtime 10.4 LTS include Apache Spark 3.2.1. Questa versione include tutte le correzioni e i miglioramenti di Spark inclusi in Databricks Runtime 10.3 (non supportato), nonché le correzioni di bug e i miglioramenti aggiuntivi seguenti apportati a Spark:

  • [SPARK-38322] [SQL] La fase di query di supporto mostra le statistiche di runtime in modalità spiegazione formattata
  • [SPARK-38162] [SQL] Ottimizzare un piano di riga normale e AQE Optimizer
  • [SPARK-38229] [SQL] Non deve controllare temp/external/ifNotExists con visitReplaceTable quando parser
  • [SPARK-34183] [SS] DataSource V2: distribuzione e ordinamento necessari nell'esecuzione di micro batch
  • [SPARK-37932] [SQL] Attendere di risolvere gli attributi mancanti prima di applicare DeduplicateRelations
  • [SPARK-37904] [SQL] Migliorare il ribilanciamentoPartitions nelle regole di Optimizer
  • [SPARK-38236] [SQL] [3.2] [3.1] Controllare se la posizione della tabella è assoluta per "new Path(locationUri).isAbsolute" in create/alter table
  • [SPARK-38035] [SQL] Aggiungere test docker per il dialetto JDBC di compilazione
  • [SPARK-38042] [SQL] Verificare che ScalaReflection.dataTypeFor funzioni sui tipi di matrice con alias
  • [SPARK-38273] [SQL] decodeUnsafeRows' gli iteratori devono chiudere i flussi di input sottostanti
  • [SPARK-38311] [SQL] Correzione di DynamicPartitionPruning/BucketedReadSuite/ExpressionInfoSuite in modalità ANSI
  • [SPARK-38305] [CORE] Controllare in modo esplicito se l'origine esiste in unpack() prima di chiamare i metodi FileUtil
  • [SPARK-38275] [SS] Includere l'utilizzo della memoria writeBatch come utilizzo totale della memoria dell'archivio stati RocksDB
  • [SPARK-38132] [SQL] Rimuovi NotPropagation regola
  • [SPARK-38286] [SQL] MaxRows e maxRowsPerPartition di Union possono sovraflow
  • [SPARK-38306] [SQL] Correzione di ExplainSuite, StatisticsCollectionSuite e StringFunctionsSuite in modalità ANSI
  • [SPARK-38281] [SQL] [Test] Correzione di AnalysisSuite in modalità ANSI
  • [SPARK-38307] [SQL] [Test] Correzione di ExpressionTypeCheckingSuite e CollectionExpressionsSuite in modalità ANSI
  • [SPARK-38300] [SQL] Usare ByteStreams.toByteArray per semplificare fileToString e resourceToBytes in catalyst.util
  • [SPARK-38304] [SQL] Elt() deve restituire null se index è Null in modalità ANSI
  • [SPARK-38271] PoissonSampler può restituire più righe di MaxRows
  • [SPARK-38297] [PYTHON] Eseguire il cast esplicito del valore restituito in DataFrame.to_numpy in POS
  • [SPARK-38295] [SQL] [Test] Correzione di ArithmeticExpressionSuite in modalità ANSI
  • [SPARK-38290] [SQL] Correggere JsonSuite e ParquetIOSuite in modalità ANSI
  • [SPARK-38299] [SQL] Pulire l'utilizzo deprecato di StringBuilder.newBuilder
  • [SPARK-38060] [SQL] Rispettare allowNonNumericNumbers durante l'analisi dei valori NaN e Infinity tra virgolette nel lettore JSON
  • [SPARK-38276] [SQL] Aggiungere piani TPCDS approvati in modalità ANSI
  • [SPARK-38206] [SS] Ignorare il supporto dei valori Null per confrontare il tipo di dati delle chiavi di join nel join di flusso di flusso
  • [SPARK-37290] [SQL] - Tempo di pianificazione esponenziale in caso di funzione non deterministica
  • [SPARK-38232] [SQL] Spiegare le sottoquery formattate non raccoglie sottoquery nella fase di query in AQE
  • [SPARK-38283] [SQL] Testare l'analisi datetime non valida in modalità ANSI
  • [SPARK-38140] [SQL] Le statistiche delle colonne desc (min, max) per il tipo di timestamp non sono coerenti con i valori a causa della differenza di fuso orario
  • [SPARK-38227] [SQL] [SS] Applicare un valore Nullbility rigoroso della colonna annidata nella finestra di tempo/finestra della sessione
  • [SPARK-38221] [SQL] Eseguire un'iterazione eager su groupingExpressions quando si spostano espressioni di raggruppamento complesse all'esterno di un nodo di aggregazione
  • [SPARK-38216] [SQL] Errore anticipato se tutte le colonne sono partizionate durante la creazione di una tabella Hive
  • [SPARK-38214] [SS] Non è necessario filtrare le finestre quando windowDuration è multiplo di slideDuration
  • [SPARK-38182] [SQL] Correzione di NoSuchElementException se il filtro sottoposto a push non contiene riferimenti
  • [SPARK-38159] [SQL] Aggiungere un nuovo FileSourceMetadataAttribute per i metadati dei file nascosti
  • [SPARK-38123] [SQL] Uso unificato DataType a partire targetType da QueryExecutionErrors#castingCauseOverflowError
  • [SPARK-38118] [SQL] Func(tipo di dati errato) nella clausola HAVING deve generare un errore di mancata corrispondenza dei dati
  • [SPARK-35173] [SQL] [PYTHON] Aggiungere più colonne aggiungendo il supporto
  • [SPARK-38177] [SQL] Correggere le trasformazioni errateExpressions in Optimizer
  • [SPARK-38228] [SQL] L'assegnazione dell'archivio legacy non dovrebbe avere esito negativo in caso di errore in modalità ANSI
  • [SPARK-38173] [SQL] La colonna tra virgolette non può essere riconosciuta correttamente quando quotedRegexColumnNa...
  • [SPARK-38130] [SQL] Rimuovere array_sort controllo voci ordinabili
  • [SPARK-38199] [SQL] Eliminare l'oggetto inutilizzato dataType specificato nella definizione di IntervalColumnAccessor
  • [SPARK-38203] [SQL] Correggere SQLInsertTestSuite e SchemaPruningSuite in modalità ANSI
  • [SPARK-38163] [SQL] Mantenere la classe di errore di SparkThrowable durante la costruzione del generatore di funzioni
  • [SPARK-38157] [SQL] Impostare in modo esplicito ANSI su false nel timestamp di testNTZ/timestamp.sql e SQLQueryTestSuite in modo che corrisponda ai risultati d'oro previsti
  • [SPARK-38069] [SQL] [SS] Migliorare il calcolo dell'intervallo di tempo
  • [SPARK-38164] [SQL] Nuove funzioni SQL: try_subtract e try_multiply
  • [SPARK-38176] [SQL] Modalità ANSI: consente il cast implicito di String in altri tipi semplici
  • [SPARK-37498] [PYTHON] Aggiungere alla fine per test_reuse_worker_of_parallelize_range
  • [SPARK-38198] [SQL] [3.2] Correzione di QueryExecution.debug#toFile usando il valore passato in maxFields quando explainMode è CodegenMode
  • [SPARK-38131] [SQL] Usare le classi di errore solo nelle eccezioni rivolte all'utente
  • [SPARK-37652] [SQL] Aggiungere il test per ottimizzare il join asimmetrico tramite unione
  • [SPARK-37585] [SQL] Aggiornare InputMetric in DataSourceRDD con TaskCompletionListener
  • [SPARK-38113] [SQL] Usare classi di errore negli errori di esecuzione del pivot
  • [SPARK-38178] [SS] Correggere la logica per misurare l'utilizzo della memoria di RocksDB
  • [SPARK-37969] [SQL] HiveFileFormat deve controllare il nome del campo
  • [SPARK-37652] Ripristinare "[SQL]Aggiungere test per ottimizzare il join asimmetrico tramite unione"
  • [SPARK-38124] [SQL] [SS] Introdurre StatefulOpClusteredDistribution e applicarlo al join di flusso
  • [SPARK-38030] [SQL] La canonizzazione non deve rimuovere i valori Null di AttributeReference dataType
  • [SPARK-37907] [SQL] InvokeLike supporta ConstantFolding
  • [SPARK-37891] [CORE] Aggiungere il controllo scalastyle per disabilitare scala.concurrent.ExecutionContext.Implicits.global
  • [SPARK-38150] [SQL] Aggiornare il commento di RelationConversions
  • [SPARK-37943] [SQL] Usare classi di errore negli errori di compilazione del raggruppamento
  • [SPARK-37652] [SQL] Aggiungere il test per ottimizzare il join asimmetrico tramite unione
  • [SPARK-38056] [Interfaccia utente Web] [3.2] Correzione del problema di Structured Streaming non funzionante nel server di cronologia quando si usa LevelDB
  • [SPARK-38144] [CORE] Rimuovere la configurazione inutilizzata spark.storage.safetyFraction
  • [SPARK-38120] [SQL] Correzione di HiveExternalCatalog.listPartitions quando il nome della colonna di partizione è maiuscolo e punto nel valore della partizione
  • [SPARK-38122] [Docs] Aggiornare la chiave dell'app di DocSearch
  • [SPARK-37479] [SQL] Eseguire la migrazione dello spazio dei nomi DROP per usare il comando V2 per impostazione predefinita
  • [SPARK-35703] [SQL] Vincolo relax per il join di bucket e rimuovere HashClusteredDistribution
  • [SPARK-37983] [SQL] Eseguire il backup delle metriche relative al tempo di compilazione dall'aggregazione di ordinamento
  • [SPARK-37915] [SQL] Combinare unioni se è presente un progetto tra di essi
  • [SPARK-38105] [SQL] Usare classi di errore negli errori di analisi dei join
  • [SPARK-38073] [PYTHON] Aggiornare la funzione atexit per evitare problemi con l'associazione tardiva
  • [SPARK-37941] [SQL] Usare classi di errore negli errori di compilazione del cast
  • [SPARK-37937] [SQL] Usare classi di errore negli errori di analisi del join laterale
  • [SPARK-38100] [SQL] Rimuovere il metodo privato inutilizzato in Decimal
  • [SPARK-37987] [SS] Correzione del test flaky StreamingAggregationSuite.changing dello schema di stato durante il riavvio della query
  • [SPARK-38003] [SQL] La regola LookupFunctions deve cercare solo le funzioni dal Registro di sistema delle funzioni scalari
  • [SPARK-38075] [SQL] Correzione hasNext dell'iteratore HiveScriptTransformationExecdi output del processo
  • [SPARK-37965] [SQL] Rimuovere il nome del campo di controllo durante la lettura/scrittura di dati esistenti in Orc
  • [SPARK-37922] [SQL] Combinare un cast se è possibile eseguire il cast in modo sicuro di due cast (per dbr-branch-10.x)
  • [SPARK-37675] [SPARK-37793] Impedire la sovrascrittura dei file uniti di shuffle push dopo la finalizzazione della sequenza casuale
  • [SPARK-38011] [SQL] Rimuovere la configurazione duplicata e inutile in ParquetFileFormat
  • [SPARK-37929] [SQL] Supporto della modalità a catena per dropNamespace l'API
  • [SPARK-37931] [SQL] Se necessario, specificare il nome della colonna
  • [SPARK-37990] [SQL] Supporto di TimestampNTZ in RowToColumnConverter
  • [SPARK-38001] [SQL] Sostituire le classi di errore correlate alle funzionalità non supportate da UNSUPPORTED_FEATURE
  • [SPARK-37839] [SQL] DS V2 supporta il push di aggregazione parziale AVG
  • [SPARK-37878] [SQL] Eseguire la migrazione di SHOW CREATE TABLE per usare il comando v2 per impostazione predefinita
  • [SPARK-37731] [SQL] Eseguire il refactoring e la ricerca della funzione di pulizia in Analyzer
  • [SPARK-37979] [SQL] Passare a classi di errore più generiche nelle funzioni AES
  • [SPARK-37867] [SQL] Compilare funzioni di aggregazione del dialetto JDBC di compilazione
  • [SPARK-38028] [SQL] Esporre il vettore freccia da ArrowColumnVector
  • [SPARK-30062] [SQL] Aggiungere l'istruzione IMMEDIATE all'implementazione del troncamento del dialetto DB2
  • [SPARK-36649] [SQL] Supporto Trigger.AvailableNow nell'origine dati Kafka
  • [SPARK-38018] [SQL] Correzione di ColumnVectorUtils.populate per gestire correttamente CalendarIntervalType
  • [SPARK-38023] [CORE] ExecutorMonitor.onExecutorRemoved deve essere gestito ExecutorDecommission come completato
  • [SPARK-38019] [CORE] Rendere ExecutorMonitor.timedOutExecutors deterministico
  • [SPARK-37957] [SQL] Passare correttamente il flag deterministico per le funzioni scalari V2
  • [SPARK-37985] [SQL] Correzione del test flaky per SPARK-37578
  • [SPARK-37986] [SQL] Supporto di TimestampNTZ nell'ordinamento di radix
  • [SPARK-37967] [SQL] Literal.create supporta ObjectType
  • [SPARK-37827] [SQL] Inserire alcune proprietà della tabella predefinite in V1Table.propertie per adattarsi al comando V2
  • [SPARK-37963] [SQL] È necessario aggiornare l'URI della partizione dopo la ridenominazione della tabella in InMemoryCatalog
  • [SPARK-35442] [SQL] Supporto della propagazione di una relazione vuota tramite aggregazione/unione
  • [SPARK-37933] [SQL] Modificare il metodo di attraversamento delle regole push down V2ScanRelationPushDown
  • [SPARK-37917] [SQL] Push down limit 1 for right side of left semi/anti join if join condition is empty
  • [SPARK-37959] [ML] Correzione della norma di controllo della norma in KMeans & BiKMeans
  • [SPARK-37906] [SQL] spark-sql non deve passare l'ultimo commento al back-end
  • [SPARK-37627] [SQL] Aggiungere una colonna ordinata in BucketTransform

Aggiornamenti di manutenzione

Vedere Aggiornamenti della manutenzione di Databricks Runtime 10.4 LTS.

Ambiente di sistema

  • Sistema operativo: Ubuntu 20.04.4 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.8.10
  • R: 4.1.2
  • Delta Lake: 1.1.0

Librerie Python installate

Libreria Versione Libreria Versione Libreria Versione
Antergos Linux 2015.10 (ISO-Rolling) appdirs 1.4.4 argon2-cffi 20.1.0
async-generator 1,10 attrs 20.3.0 backcall 0.2.0
bidict 0.21.4 bleach 3.3.0 boto3 1.16.7
botocore 1.19.7 certifi 2020.12.5 cffi 1.14.5
chardet 4.0.0 cycler 0.10.0 Cython 0.29.23
dbus-python 1.2.16 decorator 5.0.6 defusedxml 0.7.1
distlib 0.3.4 informazioni sulla distribuzione 0.23ubuntu1 entrypoints 0,3
facet-overview 1.0.0 filelock 3.6.0 idna 2.10
ipykernel 5.3.4 ipython 7.22.0 ipython-genutils 0.2.0
ipywidgets 7.6.3 jedi 0.17.2 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.0.1 jsonschema 3.2.0
jupyter-client 6.1.12 jupyter-core 4.7.1 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 kiwisolver 1.3.1 koalas 1.8.2
MarkupSafe 2.0.1 matplotlib 3.4.2 mistune 0.8.4
nbclient 0.5.3 nbconvert 6.0.7 nbformat 5.1.3
nest-asyncio 1.5.1 notebook 6.3.0 numpy 1.20.1
creazione del pacchetto 20.9 pandas 1.2.4 pandocfilters 1.4.3
parso 0.7.0 patsy 0.5.1 pexpect 4.8.0
pickleshare 0.7.5 Pillow 8.2.0 pip 21.0.1
plotly 5.5.0 prometheus-client 0.10.1 prompt-toolkit 3.0.17
protobuf 3.17.2 psycopg2 2.8.5 ptyprocess 0.7.0
pyarrow 4.0.0 pycparser 2,20 Pygments 2.8.1
PyGObject 3.36.0 pyparsing 2.4.7 pirsistente 0.17.3
python-apt 2.0.0+ubuntu0.20.4.7 python-dateutil 2.8.1 python-engineio 4.3.0
python-socketio 5.4.1 pytz 2020.5 pyzmq 20.0.0
requests 2.25.1 requests-unixsocket 0.2.0 s3transfer 0.3.7
scikit-learn 0.24.1 Scipy 1.6.2 seaborn 0.11.1
Send2Trash 1.5.0 setuptools 52.0.0 sei 1.15.0
ssh-import-id 5.10 statsmodels 0.12.2 tenacity 8.0.1
terminado 0.9.4 testpath 0.4.4 threadpoolctl 2.1.0
tornado 6.1 traitlets 5.0.5 aggiornamenti automatici 0,1
urllib3 1.25.11 virtualenv 20.4.1 wcwidth 0.2.5
webencodings 0.5.1 wheel 0.36.2 widgetsnbextension 3.5.1

Librerie R installate

Le librerie R vengono installate dallo snapshot di Microsoft CRAN nel 2022-02-24.

Libreria Versione Libreria Versione Libreria Versione
askpass 1.1 assertthat 0.2.1 Backports 1.4.1
base 4.1.2 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 blob 1.2.2 boot 1.3-28
Birra 1.0-7 Brio 1.1.3 Scopa 0.7.12
bslib 0.3.1 cachem 1.0.6 chiamante 3.7.0
caret 6.0-90 cellranger 1.1.0 Chron 2.3-56
class 7.3-20 cli 3.2.0 clipr 0.8.0
cluster 2.1.2 codetools 0.2-18 spazio colori 2.0-3
segno comune 1,7 compilatore 4.1.2 config 0.3.1
cpp11 0.4.2 Pastello 1.5.0 credentials 1.3.2
curl 4.3.2 data.table 1.14.2 datasets 4.1.2
DBI 1.1.2 dbplyr 2.1.1 desc 1.4.0
devtools 2.4.3 diffobj 0.3.5 digest 0.6.29
dplyr 1.0.8 dtplyr 1.2.1 e1071 1.7-9
puntini di sospensione 0.3.2 evaluate 0.15 fani 1.0.2
farver 2.1.0 fastmap 1.1.0 fontawesome 0.2.2
forcats 0.5.1 foreach 1.5.2 straniero 0.8-82
forge 0.2.0 fs 1.5.2 future 1.24.0
future.apply 1.8.1 Gargarismi 1.2.0 Generics 0.1.2
Gert 1.5.0 ggplot2 3.3.5 Gh 1.3.0
gitcreds 0.1.1 glmnet 4.1-3 globals 0.14.0
Colla 1.6.1 googledrive 2.0.0 Googlesheets4 1.0.0
Gower 1.0.0 grafica 4.1.2 grDevices 4.1.2
grid 4.1.2 gridExtra 2.3 gsubfn 0,7
gtable 0.3.0 hardhat 0.2.0 Haven 2.4.3
highr 0.9 Hms 1.1.1 htmltools 0.5.2
htmlwidgets 1.5.4 httpuv 1.6.5 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ids 1.0.1
ini 0.3.1 ipred 0.9-12 isoband 0.2.5
Iteratori 1.0.14 jquerylib 0.1.4 jsonlite 1.8.0
KernSmooth 2.23-20 magliare 1,37 Etichettatura 0.4.2
later 1.3.0 Reticolo 0.20-45 Java 1.6.10
lifecycle 1.0.1 listenv 0.8.0 lubridate 1.8.0
magrittr 2.0.2 Markdown 1.1 Un sacco 7.3-55
Con matrice 1.4-0 memoise 2.0.1 metodi 4.1.2
mgcv 1.8-39 Mime 0.12 ModelMetrics 1.2.2.2
modelr 0.1.8 Munsell 0.5.0 nlme 3.1-155
nnet 7.3-17 numDeriv 2016.8-1.1 openssl 1.4.6
parallel 4.1.2 parallelly 1.30.0 Pilastro 1.7.0
pkgbuild 1.3.1 pkgconfig 2.0.3 pkgload 1.2.4
plogr 0.2.0 plyr 1.8.6 Lode 1.0.0
prettyunits 1.1.1 Proc 1.18.0 processx 3.5.2
prodlim 2019.11.13 Avanzamento 1.2.2 progressr 0.10.0
promises 1.2.0.1 proto 1.0.0 proxy 0.4-26
ps 1.6.0 purrr 0.3.4 r2d3 0.2.5
R6 2.5.1 randomForest 4.7-1 rappdirs 0.3.3
rcmdcheck 1.4.0 RColorBrewer 1.1-2 Rcpp 1.0.8
RcppEigen 0.3.3.9.1 readr 2.1.2 readxl 1.3.1
ricette 0.2.0 Rivincita 1.0.1 rematch2 2.1.2
remotes 2.4.2 reprex 2.0.1 reshape2 1.4.4
rlang 1.0.1 rmarkdown 2.11 RODBC 1.3-19
roxygen2 7.1.2 rpart 4.1.16 rprojroot 2.0.2
Rserve 1.8-10 RSQLite 2.2.10 rstudioapi 0,13
rversions 2.1.1 rvest 1.0.2 Sass 0.4.0
Scale 1.1.1 selettore 0.4-2 sessioninfo 1.2.2
Forma 1.4.6 Lucido 1.7.1 sourcetools 0.1.7
sparklyr 1.7.5 SparkR 3.2.0 spaziale 7.3-11
Spline 4.1.2 sqldf 0.4-11 SQUAREM 2021.1
stats 4.1.2 stats4 4.1.2 stringi 1.7.6
stringr 1.4.0 Sopravvivenza 3.2-13 sys 3.4
tcltk 4.1.2 TeachingDemos 2.10 testatat 3.1.2
tibble 3.1.6 tidyr 1.2.0 tidyselect 1.1.2
tidyverse 1.3.1 timeDate 3043.102 tinytex 0,37
tools 4.1.2 tzdb 0.2.0 usethis 2.1.5
utf8 1.2.2 utils 4.1.2 uuid 1.0-3
vctrs 0.3.8 viridisLite 0.4.0 Vroom 1.5.7
waldo 0.3.1 Whisker 0,4 withr 2.4.3
xfun 0,29 xml2 1.3.3 xopen 1.0.0
xtable 1.8-4 Yaml 2.3.5 zip 2.2.0

Librerie Java e Scala installate (versione del cluster Scala 2.12)

ID gruppo ID artefatto Versione
antlr antlr 2.7.7
com.amazonaws amazon-distribuisci-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-consultas 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.mdfsoftware kryo-shaded 4.0.2
com.mdfsoftware minlog 1.3.0
com.fasterxml compagno di classe 1.3.4
com.fasterxml.jackson.core annotazioni jackson 2.12.3
com.fasterxml.jackson.core jackson-core 2.12.3
com.fasterxml.jackson.core jackson-databind 2.12.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.12.3
com.fasterxml.jackson.datatype jackson-datatype-joda 2.12.3
com.fasterxml.jackson.module jackson-module-paranamer 2.12.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.12.3
com.github.ben-manes.caffeina Caffeina 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.0-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink Tink 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava Guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEA edizione Standard
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.0.3
com.sun.istack istack-commons-runtime 3.0.8
com.sun.mail javax.mail 1.5.2
com.tdunning JSON 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocità univocità-parser 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.2
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.8.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
dev.sdk.netlib arpack 2.2.1
dev.sdk.netlib blas 2.2.1
dev.sdk.netlib lapack 2.2.1
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.4.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.68.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Collettore 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.10
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-trees hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna Jna 5.8.0
net.razorvine pirolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow formato freccia 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow freccia-vettore 2.0.0
org.apache.avro avro 1.10.2
org.apache.avro avro-ipc 1.10.2
org.apache.avro avro-mapred 1.10.2
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curatore-cliente 2.13.0
org.apache.curator curatore-framework 2.13.0
org.apache.curator ricette curatori 2.13.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.1-databricks
org.apache.hadoop hadoop-client-runtime 3.3.1
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.htrace htrace-core4 Incubazione 4.1.0
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy ivy 2.5.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.6.12
org.apache.orc orc-mapreduce 1.6.12
org.apache.orc orc-shim 1.6.12
org.apache.parquet parquet-column 1.12.0-databricks-0003
org.apache.parquet parquet-common 1.12.0-databricks-0003
org.apache.parquet codifica parquet 1.12.0-databricks-0003
org.apache.parquet strutture parquet-format-structures 1.12.0-databricks-0003
org.apache.parquet parquet-hadoop 1.12.0-databricks-0003
org.apache.parquet parquet-jackson 1.12.0-databricks-0003
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus annotazioni del gruppo di destinatari 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.43.v20210629
org.eclipse.jetty jetty-continuation 9.4.43.v20210629
org.eclipse.jetty jetty-http 9.4.43.v20210629
org.eclipse.jetty jetty-io 9.4.43.v20210629
org.eclipse.jetty jetty-jndi 9.4.43.v20210629
org.eclipse.jetty jetty-plus 9.4.43.v20210629
org.eclipse.jetty jetty-proxy 9.4.43.v20210629
org.eclipse.jetty jetty-security 9.4.43.v20210629
org.eclipse.jetty jetty-server 9.4.43.v20210629
org.eclipse.jetty jetty-servlet 9.4.43.v20210629
org.eclipse.jetty jetty-servlets 9.4.43.v20210629
org.eclipse.jetty jetty-util 9.4.43.v20210629
org.eclipse.jetty jetty-util-ajax 9.4.43.v20210629
org.eclipse.jetty jetty-webapp 9.4.43.v20210629
org.eclipse.jetty jetty-xml 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-api 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-client 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-common 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-server 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-servlet 9.4.43.v20210629
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jaxb jaxb-runtime 2.3.2
org.glassfish.jersey.containers jersey-container-servlet 2.34
org.glassfish.jersey.containers jersey-container-servlet-core 2.34
org.glassfish.jersey.core jersey-client 2.34
org.glassfish.jersey.core maglia-comune 2.34
org.glassfish.jersey.core jersey-server 2.34
org.glassfish.jersey.inject jersey-hk2 2.34
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.2.19
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap Spessori 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark Inutilizzati 1.0.0
org.threeten treten-extra 1.5.0
org.cortanaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1,5
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1