Condividi tramite

Databricks Runtime 10.4 LTS (EoS)

Note

Il supporto per questa versione di Databricks Runtime è terminato. Per la data di fine del supporto, vedere Cronologia di fine del supporto. Per tutte le versioni supportate di Databricks Runtime, vedere note di rilascio di Databricks Runtime: versioni e compatibilità.

Le note sulla versione seguenti forniscono informazioni su Databricks Runtime 10.4 e Databricks Runtime 10.4 Photon, con tecnologia Apache Spark 3.2.1. Photon è disponibile in anteprima pubblica. Databricks ha rilasciato questa versione a marzo 2022.

Nuove funzionalità e miglioramenti

Convertitore di tabelle da Apache Iceberg a Delta (anteprima pubblica)

La funzione di conversione in Delta ora offre la possibilità di convertire direttamente una tabella Apache Iceberg in una tabella Delta. A tale scopo, usare i metadati nativi di Iceberg e i manifesti dei file. Vedere Converti in Delta Lake.

I rollback di compattazione automatica sono ora abilitati per impostazione predefinita

Questa versione migliora il comportamento delle scritture Delta Lake che eseguono il commit quando sono presenti transazioni simultanee di compattazione automatica. Prima di questa versione, tali scritture spesso venivano interrotte a causa di modifiche simultanee a una tabella. Le scritture avranno ora esito positivo anche se sono presenti transazioni simultanee di Auto Compaction.

Low Shuffle Merge è ora abilitato per impostazione predefinita

Il comando MERGE INTO ora utilizza sempre la nuova implementazione low-shuffle. Questo comportamento migliora significativamente le prestazioni del comando per la MERGE INTO maggior parte dei carichi di lavoro. L'impostazione di configurazione usata in precedenza per abilitare questa funzionalità è stata rimossa. Consulta Low shuffle merge su Azure Databricks.

I tag degli ordini di inserimento vengono ora mantenuti per UPDATEs e DELETEs

I UPDATE comandi e DELETE ora conservano le informazioni di clustering esistenti (incluso l'ordinamento Z) per i file aggiornati o eliminati. Questo comportamento è un approccio ottimale e questo approccio non si applica ai casi in cui i file sono così piccoli che questi file vengono combinati durante l'aggiornamento o l'eliminazione.

HikariCP è ora il pool di connessioni metastore Hive predefinito

HikariCP offre molti miglioramenti della stabilità per l'accesso al metastore Hive mantenendo al tempo stesso un minor numero di connessioni rispetto all'implementazione precedente del pool di connessioni BoneCP. HikariCP è abilitato per impostazione predefinita in tutti i cluster di Databricks Runtime che utilizzano il metastore Hive di Databricks, ad esempio quando spark.sql.hive.metastore.jars non è impostato. È anche possibile passare in modo esplicito ad altre implementazioni del pool di connessioni, ad esempio BoneCP, impostando spark.databricks.hive.metastore.client.pool.type.

Il connettore Azure Synapse consente ora di impostare il numero massimo di righe di rifiuto consentite

Il connettore Azure Synapse supporta ora un'opzione maxErrors DataFrame. Questo aggiornamento consente di configurare il numero massimo di righe rifiutate consentite durante le operazioni di lettura e scrittura prima dell'annullamento dell'operazione di caricamento. Tutte le righe rifiutate vengono ignorate. Ad esempio, se due record su dieci hanno errori, vengono elaborati solo otto record.

Questa opzione esegue il mapping direttamente all'opzione per l'istruzione REJECT_VALUECREATE EXTERNAL TABLE in PolyBase e all'opzione MAXERRORS per il comando del COPY connettore Azure Synapse.

Per impostazione predefinita, il valore maxErrors è impostato su 0: si prevede che tutti i record siano validi.

Il checkpoint dello stato asincrono è ora disponibile a livello generale

È possibile abilitare il checkpoint dello stato asincrono nelle query di streaming stateful con grandi aggiornamenti di stato. Questo può ridurre la latenza dei micro-batch end-to-end. Questa funzionalità è ora disponibile a livello generale. Per ulteriori informazioni, vedere Checkpoint dello stato asincrono per le query con stato.

È ora possibile specificare le impostazioni predefinite dei parametri per le funzioni definite dall'utente SQL

Quando si crea una funzione definita dall'utente SQL (SQL UDF), è ora possibile specificare espressioni predefinite per i parametri della SQL UDF. È quindi possibile chiamare la funzione definita dall'utente SQL senza fornire valori per quei parametri e Databricks inserirà i valori predefiniti per quei parametri. Vedere CREATE FUNCTION (SQL e Python).

Nuove funzioni SPARK SQL

Con questa versione sono ora disponibili le funzioni SPARK SQL seguenti:

  • try_multiply: restituisce multiplier moltiplicato per multiplicando NULL in caso di overflow.
  • try_subtract: restituisce la sottrazione di expr2 da expr1o NULL in caso di overflow.

Nuova directory di lavoro per i cluster a concorrenza elevata

Nei cluster ad alta concorrenza con il controllo di accesso alla tabella o il pass-through delle credenziali abilitato, la directory di lavoro corrente dei notebook è ora la directory principale dell'utente. In precedenza, la directory di lavoro era /databricks/driver.

Il supporto delle colonne Identity nelle tabelle Delta è ora disponibile a livello generale

Delta Lake supporta ora le colonne di identità. Quando si scrive in una tabella Delta che definisce una colonna Identity e non si specificano valori per tale colonna, Delta assegna ora automaticamente un valore univoco e statisticamente crescente o decrescente. Visualizza CREATE TABLE [UTILIZZANDO].

Aggiornamenti della libreria

  • Librerie Python aggiornate:
    • filelock da 3.4.2 a 3.6.0
  • Librerie R aggiornate:
    • aggiornamento di Homebrew dalla versione 1.0-6 alla 1.0-7
    • scopa da 0.7.11 a 0.7.12
    • CLI da 3.1.0 a 3.2.0
    • Clipr da 0.7.1 a 0.8.0
    • spazi di colore da 2.0-2 a 2.0-3
    • crayon da 1.4.2 a 1.5.0
    • dplyr da 1.0.7 a 1.0.8
    • dtplyr da 1.2.0 a 1.2.1
    • valutare da 0.14 a 0.15
    • foreach da 1.5.1 a 1.5.2
    • futuro da 1.23.0 a 1.24.0
    • generics da 0.1.1 a 0.1.2
    • colla da 1.6.0 a 1.6.1
    • gower da 0.2.2 a 1.0.0
    • iteratori da 1.0.13 a 1.0.14
    • jsonlite da 1.7.3 a 1.8.0
    • magrittr da 2.0.1 a 2.0.2
    • mgcv da 1,8-38 a 1,8-39
    • pilastro da 1.6.4 a 1.7.0
    • randomForest da 4.6-14 a 4.7-1
    • readr dalla versione 2.1.1 alla versione 2.1.2
    • ricette da 0.1.17 a 0.2.0
    • rlang da 0.4.12 a 1.0.1
    • rpart da 4.1-15 a 4.1.16
    • RSQLite da 2.2.9 a 2.2.10
    • sparklyr da 1.7.4 a 1.7.5
    • testthat da 3.1.1 a 3.1.2
    • tidyr da 1.1.4 a 1.2.0
    • tidyselect da 1.1.1 a 1.1.2
    • tinytex da 0,36 a 0,37
    • yaml da 2.2.1 a 2.3.5
  • Librerie Java aggiornate:
    • io.delta.delta-sharing-spark_2.12 da 0.3.0 a 0.4.0

Apache Spark

Databricks Runtime 10.4 LTS include Apache Spark 3.2.1. Questa versione include tutte le correzioni e i miglioramenti di Spark inclusi in Databricks Runtime 10.3 (EoS), nonché le correzioni di bug e i miglioramenti aggiuntivi seguenti apportati a Spark:

  • [SPARK-38322] [SQL] Supportare la fase di query per mostrare le statistiche di runtime in modalità spiegazione formattata.
  • [SPARK-38162] [SQL] Ottimizzare un piano di riga in modalità normale e AQE Optimizer
  • [SPARK-38229] [SQL] Non deve controllare temp/external/ifNotExists con visitReplaceTable quando parser
  • [SPARK-34183] [SS] DataSource V2: distribuzione e ordinamento necessari nell'esecuzione di micro batch
  • [SPARK-37932] [SQL]Attendere di risolvere gli attributi mancanti prima di applicare DeduplicateRelations
  • [SPARK-37904] [SQL] Migliorare il Ribilanciamento delle Partizioni nelle regole dell'Ottimizzatore
  • [SPARK-38236] [SQL][3.2][3.1] Controllare se la posizione della tabella è assoluta per "new Path(locationUri).isAbsolute" in create/alter table
  • [SPARK-38035] [SQL] Aggiungere test docker per i dialetti JDBC integrati
  • [SPARK-38042] [SQL] Verificare che ScalaReflection.dataTypeFor funzioni sui tipi di matrice con alias
  • [SPARK-38273] Gli iteratori di SQL decodeUnsafeRows devono chiudere i flussi di input sottostanti
  • [SPARK-38311] [SQL] Correzione di DynamicPartitionPruning/BucketedReadSuite/ExpressionInfoSuite in modalità ANSI
  • [SPARK-38305] [CORE] Controllare in modo esplicito se l'origine esiste in unpack() prima di chiamare i metodi FileUtil
  • [SPARK-38275] [SS] Includere l'utilizzo della memoria writeBatch come utilizzo totale della memoria dell'archivio stati RocksDB
  • [SPARK-38132] [SQL] Rimuovere NotPropagation regola
  • [SPARK-38286] [SQL] I MaxRows e maxRowsPerPartition di Union possono overflow
  • [SPARK-38306] [SQL] Correzione di ExplainSuite, StatisticsCollectionSuite e StringFunctionsSuite in modalità ANSI
  • [SPARK-38281] [SQL][test] Correzione di AnalysisSuite in modalità ANSI
  • [SPARK-38307] [SQL][tests] Correzione di ExpressionTypeCheckingSuite e CollectionExpressionsSuite in modalità ANSI
  • [SPARK-38300] [SQL] Usare ByteStreams.toByteArray per semplificare fileToString e resourceToBytes in catalyst.util
  • [SPARK-38304] [SQL] Elt() deve restituire null se index è Null in modalità ANSI
  • [SPARK-38271] PoissonSampler può restituire più righe di MaxRows
  • [SPARK-38297] [PYTHON] Eseguire il cast esplicito del valore restituito alla funzione DataFrame.to_numpy in POS
  • [SPARK-38295] [SQL][tests] Correzione di ArithmeticExpressionSuite in modalità ANSI
  • [SPARK-38290] [SQL] Correggere JsonSuite e ParquetIOSuite in modalità ANSI
  • [SPARK-38299] [SQL] Pulire l'utilizzo deprecato di StringBuilder.newBuilder
  • [SPARK-38060] [SQL] Respect allowNonNumericNumbers durante l'analisi dei valori NaN e Infinity tra virgolette nel lettore JSON
  • [SPARK-38276] [SQL] Aggiungere piani TPCDS approvati in modalità ANSI
  • [SPARK-38206] [SS] Ignora la nullabilità quando si confronta il tipo di dato delle chiavi di join durante il join di flusso-flusso
  • [SPARK-37290] [SQL] - Tempo di pianificazione esponenziale in caso di funzione non deterministica
  • [SPARK-38232] [SQL] Spiegazione formattata non raccoglie sottoquery nella fase di query in AQE
  • [SPARK-38283] [SQL] Testare il parsing non valido delle date e orari in modalità ANSI
  • [SPARK-38140] [SQL] Le statistiche delle colonne (min, max) per il tipo timestamp non sono coerenti con i valori a causa delle differenze di fuso orario.
  • [SPARK-38227] [SQL][ss] Applica nullità rigida della colonna nidificata nella finestra temporale/finestra della sessione
  • [SPARK-38221] [SQL] Eseguire un'iterazione eager su groupingExpressions quando si spostano espressioni di raggruppamento complesse all'esterno di un nodo di aggregazione
  • [SPARK-38216] [SQL] Interrompere anticipatamente se tutte le colonne sono colonne di partizionamento quando si crea una tabella Hive
  • [SPARK-38214] [SS]Non è necessario filtrare le finestre quando windowDuration è multiplo di slideDuration
  • [SPARK-38182] [SQL] Correzione di NoSuchElementException se il filtro sottoposto a push non contiene riferimenti
  • [SPARK-38159] [SQL] Aggiungere un nuovo FileSourceMetadataAttribute per i metadati dei file nascosti
  • [SPARK-38123] [SQL] Uso unificato DataType a partire targetType da QueryExecutionErrors#castingCauseOverflowError
  • [SPARK-38118] [SQL] Func(tipo di dati errato) nella clausola HAVING dovrebbe generare un errore di mancata corrispondenza dei dati
  • [SPARK-35173] [SQL][python] Aggiungere più colonne aggiungendo il supporto
  • [SPARK-38177] [SQL] Correzione delle trasformazioni errate delle espressioni in Optimizer
  • [SPARK-38228] [SQL] L'assegnazione dell'archivio legacy non dovrebbe avere esito negativo in caso di errore in modalità ANSI
  • [SPARK-38173] [SQL] Non è possibile riconoscere correttamente la colonna racchiusa tra virgolette quando quotedRegexColumnNa...
  • [SPARK-38130] [SQL] Rimuovere il controllo delle voci ordinabili di array_sort
  • [SPARK-38199] [SQL] Eliminare l'oggetto inutilizzato dataType specificato nella definizione di IntervalColumnAccessor
  • [SPARK-38203] [SQL] Correggere SQLInsertTestSuite e SchemaPruningSuite in modalità ANSI
  • [SPARK-38163] [SQL] Mantenere la classe di errore di SparkThrowable durante la costruzione del generatore di funzioni
  • [SPARK-38157] [SQL] Impostare in modo esplicito ANSI su false nel timestamp di testNTZ/timestamp.sql e SQLQueryTestSuite in modo che corrisponda ai risultati d'oro previsti
  • [SPARK-38069] [SQL][ss] Migliorare il calcolo dell'intervallo di tempo
  • [SPARK-38164] [SQL] Nuove funzioni SQL: try_subtract e try_multiply
  • [SPARK-38176] [SQL] Modalità ANSI: consente il cast implicito di String in altri tipi semplici
  • [SPARK-37498] [PYTHON] Aggiungere alla fine per test_reuse_worker_of_parallelize_range
  • [SPARK-38198] [SQL][3.2] Correzione di QueryExecution.debug#toFile usando il valore passato in maxFields quando explainMode è CodegenMode
  • [SPARK-38131] [SQL] Usare le classi di errore solo nelle eccezioni rivolte all'utente
  • [SPARK-37652] [SQL] Aggiungere un test per migliorare l'efficienza del join asimmetrico utilizzando l'unione
  • [SPARK-37585] [SQL] Aggiornamento di InputMetric in DataSourceRDD con TaskCompletionListener
  • [SPARK-38113] [SQL] Utilizzare classi di errore negli errori di esecuzione durante il pivoting
  • [SPARK-38178] [SS] Correggere la logica per misurare l'utilizzo della memoria di RocksDB
  • [SPARK-37969] [SQL] HiveFileFormat deve controllare il nome del campo
  • [SPARK-37652] Ripristinare "[SQL]Aggiungere test per ottimizzare il join asimmetrico tramite unione"
  • [SPARK-38124] [SQL][ss] Introdurre la StatefulOpClusteredDistribution e applicarla al join stream-stream
  • "[SPARK-38030] [SQL] La canonicalizzazione non deve rimuovere la nullabilità del dataType di AttributeReference"
  • [SPARK-37907] [SQL] InvokeLike supporta ConstantFolding
  • [SPARK-37891] [CORE] Aggiungere il controllo scalastyle per disabilitare scala.concurrent.ExecutionContext.Implicits.global
  • [SPARK-38150] [SQL] Aggiornare il commento di RelationConversions
  • [SPARK-37943] [SQL] Utilizzare le classi di errore per gli errori di compilazione del raggruppamento
  • [SPARK-37652] [SQL]Aggiungere test per ottimizzare il join asimmetrico tramite unione
  • [SPARK-38056] [Interfaccia utente Web][3.2] Correzione del problema di Structured Streaming non funzionante nel server di cronologia quando si usa LevelDB
  • [SPARK-38144] [CORE] Rimuovere la configurazione di spark.storage.safetyFraction non usata
  • [SPARK-38120] [SQL] Correggere HiveExternalCatalog.listPartitions quando il nome della colonna di partizione è maiuscolo e il valore della partizione contiene un punto
  • [SPARK-38122] [Docs] Aggiornare la chiave dell'app di DocSearch
  • [SPARK-37479] [SQL] Eseguire la migrazione dello spazio dei nomi DROP per utilizzare il comando V2 come impostazione predefinita
  • [SPARK-35703] [SQL] Allentare il vincolo per il bucket join e rimuovere HashClusteredDistribution
  • [SPARK-37983] [SQL] Eliminare le metriche del tempo di costruzione dall'aggregazione di ordinamento
  • [SPARK-37915] [SQL] Combinare unioni se è presente un progetto tra di essi
  • [SPARK-38105] [SQL] Utilizzare classi di errore per gli errori di analisi dei join
  • [SPARK-38073] [PYTHON] Aggiornare la funzione atexit per evitare problemi con l'associazione tardiva
  • [SPARK-37941] [SQL] Usare classi di errore negli errori di compilazione del casting
  • [SPARK-37937] [SQL] Usare classi di errore negli errori di analisi del join laterale
  • [SPARK-38100] [SQL] Rimuovere il metodo privato inutilizzato in Decimal
  • [SPARK-37987] [SS] Risolto test instabile StreamingAggregationSuite. cambiamento schema dello stato al riavvio della query
  • [SPARK-38003] [SQL] La regola LookupFunctions deve cercare solo le funzioni dal Registro di sistema delle funzioni scalari
  • [SPARK-38075] [SQL] Correzione hasNext nell'iteratore HiveScriptTransformationExecdi output del processo
  • [SPARK-37965] [SQL] Rimuovere la verifica del nome del campo durante la lettura/scrittura di dati esistenti in Orc
  • [SPARK-37922] [SQL] Unificare in un unico cast se possiamo eseguire l'up-cast in modo sicuro di due cast (per dbr-branch-10.x)
  • [SPARK-37675] [SPARK-37793] Impedire la sovrascrittura dei file uniti di shuffle push dopo che lo shuffle è stato finalizzato.
  • [SPARK-38011] [SQL] Rimuovere la configurazione duplicata e inutile in ParquetFileFormat
  • [SPARK-37929] [SQL] Supportare la modalità a cascata per dropNamespace l'API
  • [SPARK-37931] [SQL] Specificare il nome della colonna, se necessario
  • [SPARK-37990] [SQL] Supporto di TimestampNTZ in RowToColumnConverter
  • [SPARK-38001] [SQL] Sostituire le classi di errore correlate alle funzionalità non supportate da UNSUPPORTED_FEATURE
  • [SPARK-37839] [SQL] DS V2 supporta il push-down di aggregazione parziale AVG
  • [SPARK-37878] [SQL] Eseguire la migrazione SHOW CREATE TABLE per usare il comando v2 per impostazione predefinita
  • [SPARK-37731] [SQL] Rifattorizzare e semplificare la ricerca delle funzioni in Analyzer
  • [SPARK-37979] [SQL] Passare a classi di errore più generiche nelle funzioni AES
  • [SPARK-37867] [SQL] Compilare le funzioni di aggregazione del dialetto JDBC integrato
  • [SPARK-38028] [SQL] Esporre il vettore Arrow da ArrowColumnVector
  • [SPARK-30062] [SQL] Aggiungere l'istruzione IMMEDIATE all'implementazione del troncamento del dialetto DB2
  • [SPARK-36649] [SQL] Supporto Trigger.AvailableNow nell'origine dati Kafka
  • [SPARK-38018] [SQL] Correzione di ColumnVectorUtils.populate per gestire correttamente CalendarIntervalType
  • [SPARK-38023] [CORE] ExecutorMonitor.onExecutorRemoved dovrebbe essere considerato ExecutorDecommission come completato
  • [SPARK-38019] [CORE] Rendere ExecutorMonitor.timedOutExecutors deterministico
  • [SPARK-37957] [SQL] Passare correttamente il flag deterministico per le funzioni scalari V2
  • [SPARK-37985] [SQL] Correzione del test flaky per SPARK-37578
  • [SPARK-37986] [SQL] Supportare TimestampNTZ nell'ordinamento di radix
  • [SPARK-37967] [SQL] Literal.create supporto per ObjectType
  • [SPARK-37827] [SQL] Inserire alcune proprietà della tabella predefinite in V1Table.propertie per adattarsi al comando V2
  • [SPARK-37963] [SQL] È necessario aggiornare l'URI della partizione dopo la ridenominazione della tabella in InMemoryCatalog
  • [SPARK-35442] [SQL] Supporto della propagazione di una relazione vuota tramite aggregazione/unione
  • [SPARK-37933] [SQL] Modificare il metodo di attraversamento delle regole push down V2ScanRelationPushDown
  • [SPARK-37917] [SQL] Applica il limite 1 sul lato destro del join semi/anti sinistro se la condizione di join è vuota
  • [SPARK-37959] [ML] Correzione del test unitario di controllo della norma in KMeans & BiKMeans
  • [SPARK-37906] [SQL] spark-sql non deve passare l'ultimo commento al back-end
  • [SPARK-37627] [SQL] Aggiungere una colonna ordinata in BucketTransform

Aggiornamenti di manutenzione

Vedere Aggiornamenti della manutenzione di Databricks Runtime 10.4 LTS.

Ambiente di sistema

  • Sistema operativo: Ubuntu 20.04.4 LTS
    • Nota: questa è la versione ubuntu usata dai contenitori di Databricks Runtime. I contenitori DBR vengono eseguiti nelle macchine virtuali del provider di servizi cloud, che potrebbero usare una versione ubuntu diversa o una distribuzione Linux diversa.
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.8.10
  • R: 4.1.2
  • Delta Lake: 1.1.0

Librerie installate di Python

Library Version Library Version Library Version
Antergos Linux 10/2015 (ISO-Rolling) appdirs 1.4.4 argon2-cffi 20.1.0
async-generator 1.10 attrs 20.3.0 backcall 0.2.0
bidict 0.21.4 bleach 3.3.0 boto3 1.16.7
botocore 1.19.7 certifi 2020.12.5 cffi 1.14.5
chardet 4.0.0 cycler 0.10.0 Cython 0.29.23
dbus-python 1.2.16 decorator 5.0.6 defusedxml 0.7.1
distlib 0.3.4 distro-info 0.23ubuntu1 entrypoints 0.3
facets-overview 1.0.0 filelock 3.6.0 idna 2.10
ipykernel 5.3.4 ipython 7.22.0 ipython-genutils 0.2.0
ipywidgets 7.6.3 jedi 0.17.2 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.0.1 jsonschema 3.2.0
jupyter-client 6.1.12 jupyter-core 4.7.1 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 kiwisolver 1.3.1 koalas 1.8.2
MarkupSafe 2.0.1 matplotlib 3.4.2 mistune 0.8.4
nbclient 0.5.3 nbconvert 6.0.7 nbformat 5.1.3
nest-asyncio 1.5.1 notebook 6.3.0 numpy 1.20.1
packaging 20.9 pandas 1.2.4 pandocfilters 1.4.3
parso 0.7.0 patsy 0.5.1 pexpect 4.8.0
pickleshare 0.7.5 Pillow 8.2.0 pip 21.0.1
plotly 5.5.0 prometheus-client 0.10.1 prompt-toolkit 3.0.17
protobuf 3.17.2 psycopg2 2.8.5 ptyprocess 0.7.0
pyarrow 4.0.0 pycparser 2.20 Pygments 2.8.1
PyGObject 3.36.0 pyparsing 2.4.7 pyrsistent 0.17.3
python-apt 2.0.0+ubuntu0.20.4.7 python-dateutil 2.8.1 python-engineio 4.3.0
python-socketio 5.4.1 pytz 2020.5 pyzmq 20.0.0
requests 2.25.1 requests-unixsocket 0.2.0 s3transfer 0.3.7
scikit-learn 0.24.1 scipy 1.6.2 seaborn 0.11.1
Send2Trash 1.5.0 setuptools 52.0.0 six 1.15.0
ssh-import-id 5.10 statsmodels 0.12.2 tenacity 8.0.1
terminado 0.9.4 testpath 0.4.4 threadpoolctl 2.1.0
tornado 6.1 traitlets 5.0.5 unattended-upgrades 0.1
urllib3 1.25.11 virtualenv 20.4.1 wcwidth 0.2.5
webencodings 0.5.1 wheel 0.36.2 widgetsnbextension 3.5.1

Librerie R installate

Le librerie R vengono installate dallo snapshot di CRAN di Microsoft il 24-02-2022. Lo snapshot non è più disponibile.

Library Version Library Version Library Version
askpass 1.1 assertthat 0.2.1 backports 1.4.1
base 4.1.2 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 blob 1.2.2 boot 1.3-28
brew 1.0-7 brio 1.1.3 broom 0.7.12
bslib 0.3.1 cachem 1.0.6 callr 3.7.0
caret 6.0-90 cellranger 1.1.0 chron 2.3-56
class 7.3-20 cli 3.2.0 clipr 0.8.0
cluster 2.1.2 codetools 0.2-18 colorspace 2.0-3
commonmark 1.7 compiler 4.1.2 config 0.3.1
cpp11 0.4.2 crayon 1.5.0 credentials 1.3.2
curl 4.3.2 data.table 1.14.2 datasets 4.1.2
DBI 1.1.2 dbplyr 2.1.1 desc 1.4.0
devtools 2.4.3 diffobj 0.3.5 digest 0.6.29
dplyr 1.0.8 dtplyr 1.2.1 e1071 1.7-9
ellipsis 0.3.2 evaluate 0.15 fansi 1.0.2
farver 2.1.0 fastmap 1.1.0 fontawesome 0.2.2
forcats 0.5.1 foreach 1.5.2 foreign 0.8-82
forge 0.2.0 fs 1.5.2 future 1.24.0
future.apply 1.8.1 gargle 1.2.0 generics 0.1.2
gert 1.5.0 ggplot2 3.3.5 gh 1.3.0
gitcreds 0.1.1 glmnet 4.1-3 globals 0.14.0
glue 1.6.1 googledrive 2.0.0 googlesheets4 1.0.0
gower 1.0.0 graphics 4.1.2 grDevices 4.1.2
grid 4.1.2 gridExtra 2.3 gsubfn 0.7
gtable 0.3.0 hardhat 0.2.0 haven 2.4.3
highr 0.9 hms 1.1.1 htmltools 0.5.2
htmlwidgets 1.5.4 httpuv 1.6.5 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ids 1.0.1
ini 0.3.1 ipred 0.9-12 isoband 0.2.5
iterators 1.0.14 jquerylib 0.1.4 jsonlite 1.8.0
KernSmooth 2.23-20 knitr 1.37 labeling 0.4.2
later 1.3.0 lattice 0.20-45 lava 1.6.10
lifecycle 1.0.1 listenv 0.8.0 lubridate 1.8.0
magrittr 2.0.2 markdown 1.1 MASS 7.3-55
Matrix 1.4-0 memoise 2.0.1 methods 4.1.2
mgcv 1.8-39 mime 0.12 ModelMetrics 1.2.2.2
modelr 0.1.8 munsell 0.5.0 nlme 3.1-155
nnet 7.3-17 numDeriv 2016.8-1.1 openssl 1.4.6
parallel 4.1.2 parallelly 1.30.0 pillar 1.7.0
pkgbuild 1.3.1 pkgconfig 2.0.3 pkgload 1.2.4
plogr 0.2.0 plyr 1.8.6 praise 1.0.0
prettyunits 1.1.1 pROC 1.18.0 processx 3.5.2
prodlim 2019.11.13 progress 1.2.2 progressr 0.10.0
promises 1.2.0.1 proto 1.0.0 proxy 0.4-26
ps 1.6.0 purrr 0.3.4 r2d3 0.2.5
R6 2.5.1 randomForest 4.7-1 rappdirs 0.3.3
rcmdcheck 1.4.0 RColorBrewer 1.1-2 Rcpp 1.0.8
RcppEigen 0.3.3.9.1 readr 2.1.2 readxl 1.3.1
recipes 0.2.0 rematch 1.0.1 rematch2 2.1.2
remotes 2.4.2 reprex 2.0.1 reshape2 1.4.4
rlang 1.0.1 rmarkdown 2.11 RODBC 1.3-19
roxygen2 7.1.2 rpart 4.1.16 rprojroot 2.0.2
Rserve 1.8-10 RSQLite 2.2.10 rstudioapi 0.13
rversions 2.1.1 rvest 1.0.2 sass 0.4.0
scales 1.1.1 selectr 0.4-2 sessioninfo 1.2.2
shape 1.4.6 shiny 1.7.1 sourcetools 0.1.7
sparklyr 1.7.5 SparkR 3.2.0 spatial 7.3-11
splines 4.1.2 sqldf 0.4-11 SQUAREM 2021.1
stats 4.1.2 stats4 4.1.2 stringi 1.7.6
stringr 1.4.0 survival 3.2-13 sys 3.4
tcltk 4.1.2 TeachingDemos 2.10 testthat 3.1.2
tibble 3.1.6 tidyr 1.2.0 tidyselect 1.1.2
tidyverse 1.3.1 timeDate 3043.102 tinytex 0.37
tools 4.1.2 tzdb 0.2.0 usethis 2.1.5
utf8 1.2.2 utils 4.1.2 uuid 1.0-3
vctrs 0.3.8 viridisLite 0.4.0 vroom 1.5.7
waldo 0.3.1 whisker 0.4 withr 2.4.3
xfun 0.29 xml2 1.3.3 xopen 1.0.0
xtable 1.8-4 yaml 2.3.5 zip 2.2.0

Librerie installate di Java e Scala (versione del cluster Scala 2.12)

ID del Gruppo ID dell'artefatto Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.12.3
com.fasterxml.jackson.core jackson-core 2.12.3
com.fasterxml.jackson.core jackson-databind 2.12.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.12.3
com.fasterxml.jackson.datatype jackson-datatype-joda 2.12.3
com.fasterxml.jackson.module jackson-module-paranamer 2.12.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.12.3
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.0-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.istack istack-commons-runtime 3.0.8
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.2
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.8.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.4.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.68.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx collector 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.10
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-trees hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow arrow-vector 2.0.0
org.apache.avro avro 1.10.2
org.apache.avro avro-ipc 1.10.2
org.apache.avro avro-mapred 1.10.2
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.1-databricks
org.apache.hadoop hadoop-client-runtime 3.3.1
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.htrace htrace-core4 4.1.0-incubating
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy ivy 2.5.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.6.12
org.apache.orc orc-mapreduce 1.6.12
org.apache.orc orc-shims 1.6.12
org.apache.parquet parquet-column 1.12.0-databricks-0003
org.apache.parquet parquet-common 1.12.0-databricks-0003
org.apache.parquet parquet-encoding 1.12.0-databricks-0003
org.apache.parquet parquet-format-structures 1.12.0-databricks-0003
org.apache.parquet parquet-hadoop 1.12.0-databricks-0003
org.apache.parquet parquet-jackson 1.12.0-databricks-0003
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.43.v20210629
org.eclipse.jetty jetty-continuation 9.4.43.v20210629
org.eclipse.jetty jetty-http 9.4.43.v20210629
org.eclipse.jetty jetty-io 9.4.43.v20210629
org.eclipse.jetty jetty-jndi 9.4.43.v20210629
org.eclipse.jetty jetty-plus 9.4.43.v20210629
org.eclipse.jetty jetty-proxy 9.4.43.v20210629
org.eclipse.jetty jetty-security 9.4.43.v20210629
org.eclipse.jetty jetty-server 9.4.43.v20210629
org.eclipse.jetty jetty-servlet 9.4.43.v20210629
org.eclipse.jetty jetty-servlets 9.4.43.v20210629
org.eclipse.jetty jetty-util 9.4.43.v20210629
org.eclipse.jetty jetty-util-ajax 9.4.43.v20210629
org.eclipse.jetty jetty-webapp 9.4.43.v20210629
org.eclipse.jetty jetty-xml 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-api 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-client 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-common 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-server 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-servlet 9.4.43.v20210629
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jaxb jaxb-runtime 2.3.2
org.glassfish.jersey.containers jersey-container-servlet 2.34
org.glassfish.jersey.containers jersey-container-servlet-core 2.34
org.glassfish.jersey.core jersey-client 2.34
org.glassfish.jersey.core jersey-common 2.34
org.glassfish.jersey.core jersey-server 2.34
org.glassfish.jersey.inject jersey-hk2 2.34
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.2.19
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap shims 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark unused 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
  • Last updated on