Condividi tramite

Databricks Runtime 8.0 (EoS)

Nota

Il supporto per questa versione di Databricks Runtime è terminato. Per la data di fine del supporto, vedere Cronologia di fine del supporto. Per tutte le versioni supportate di Databricks Runtime, vedere Versioni e compatibilità delle note sulla versione di Databricks Runtime.

Databricks ha rilasciato questa versione nel marzo 2021.

Le note sulla versione seguenti forniscono informazioni su Databricks Runtime 8.0, basate su Apache Spark 3.1.1.

Nuove funzionalità

Databricks Runtime 8.0 include Apache Spark 3.1.1. Per informazioni dettagliate, vedere Apache Spark.

Miglioramenti

Delta è ora il formato predefinito quando non viene specificato un formato

Databricks Runtime 8.0 modifica il formato predefinito in per delta semplificare la creazione di una tabella Delta. Quando si crea una tabella usando comandi SQL o {Dataset|DataFrame}.{read|readStream|write|writeTo|writeStream} API e non si specifica un formato, il formato predefinito è delta.

Con Delta Lake si ottengono prestazioni migliori rispetto a Parquet, maggiore affidabilità dei dati con convalida avanzata dello schema, vincoli di qualità e garanzie transazionali. Con Delta Lake è possibile semplificare le pipeline di dati con flussi strutturati unificati ed elaborazione batch in una singola origine dati.

Anche se Databricks consiglia di usare Delta Lake per archiviare i dati, è possibile che siano presenti flussi di lavoro legacy che richiedono la migrazione a Delta Lake. Per informazioni sulla migrazione dei flussi di lavoro esistenti, vedere Che cos'è Delta Lake in Azure Databricks?.

Il nuovo intervallo di trigger predefinito di Structured Streaming riduce i costi

Se non si imposta un intervallo di trigger usando Trigger.ProcessingTime nella query di streaming, l'intervallo viene impostato su 500 ms. In precedenza, l'intervallo predefinito era 0 ms. Questa modifica dovrebbe ridurre il numero di trigger vuoti e ridurre i costi per l'archiviazione cloud, ad esempio l'inserzione.

Usare la funzione di trasformazione LDA con il pass-through delle credenziali (anteprima pubblica)

È ora possibile usare la funzione di trasformazione LDA in un cluster configurato per usare il pass-through delle credenziali per l'autenticazione.

I cluster utente singolo configurati con il pass-through delle credenziali non richiedono più file system attendibili (anteprima pubblica)

Non è più necessario configurare i file system locali come file system attendibili quando si usa un cluster standard o di processo configurato per il pass-through delle credenziali con un singolo utente. Questa modifica rimuove le restrizioni del file system non necessarie durante l'esecuzione di processi in un singolo cluster utente.

Aggiornamenti della libreria

Apache Spark

Databricks Runtime 8.0 include Apache Spark 3.1.1.

Contenuto della sezione:

Core e Spark SQL

Evidenzia

Miglioramenti della compatibilità SQL ANSI

  • Supporto del tipo di dati char/varchar (SPARK-33480)
  • Modalità ANSI: errori di runtime anziché restituire null (SPARK-33275)
  • Modalità ANSI: nuove regole di sintassi cast esplicite (SPARK-33354)
  • Aggiungere il comando SET TIME ZONE SQL Standard (SPARK-32272)
  • Unificare la sintassi SQL di creazione tabella (SPARK-31257)
  • Unificare i comportamenti di visualizzazione temporanea e visualizzazione permanente (SPARK-33138)
  • Elenco di colonne di supporto nell'istruzione INSERT (SPARK-32976)
  • Supportare i commenti annidati ANSI tra parentesi quadre (SPARK-28880)

Miglioramenti delle prestazioni

  • Lettura casuale dei dati locali dell'host senza servizio casuale (SPARK-32077)
  • Rimuovere gli ordinamenti ridondanti prima dei nodi di ripartizione (SPARK-32276)
  • Push parziale dei predicati (SPARK-32302, SPARK-32352)
  • Eseguire il push dei filtri tramite expand (SPARK-33302)
  • Eseguire il push di predicati più possibili tramite join tramite conversione CNF (SPARK-31705)
  • Rimuovere la sequenza casuale mantenendo il partizionamento dell'output dell'hash join broadcast (SPARK-31869)
  • Rimuovere la sequenza casuale migliorando il riordino delle chiavi di join (SPARK-32282)
  • Rimuovere la sequenza casuale normalizzando il partizionamento dell'output e l'ordinamento (SPARK-33399)
  • Miglioramento dell'hash join casuale (SPARK-32461)
    • Mantenere il partizionamento lato compilazione hash casuale (SPARK-32330)
    • Mantenere l'ordinamento laterale del flusso HASH join (BHJ e SHJ) (SPARK-32383)
    • Tabelle in bucket coalesce per l'unione di ordinamento (SPARK-32286)
    • Aggiungere code-gen per l'hash join casuale (SPARK-32421)
    • Supportare full outer join in hash join casuale (SPARK-32399)
  • Supportare l'eliminazione della sottoespressione nel progetto con l'intero codegen fase (SPARK-33092)
  • Supportare l'eliminazione di sottoespressione nelle espressioni condizionali (SPARK-33337)
  • Supportare l'eliminazione della sottoespressione per la valutazione delle espressioni interpretate (SPARK-33427)
  • Supportare l'eliminazione della sottoespressione per il predicato interpretato (SPARK-33540)
  • Altre regole di ottimizzazione
    • Regola ExtractSingleColumnNullAwareAntiJoin (SPARK-32290)
    • Regola EliminateNullAwareAntiJoin (SPARK-32573)
    • Regola EliminateAggregateFilter (SPARK-32540)
    • Regola UnwrapCastInBinaryComparison (SPARK-32858)
    • Regola DisableUnnecessaryBucketedScan (SPARK-32859)
    • Regola CoalesceBucketsInJoin (SPARK-31350)
    • Eliminare i campi annidati non necessari dalla generazione senza progetto (SPARK-29721)
    • Eliminare i campi annidati non necessari dall'aggregazione e dall'espansione (SPARK-27217)
    • Eliminare i campi annidati non necessari da repartition-by-expression e join (SPARK-31736)
    • Eliminare i campi annidati non necessari sulle variazioni cosmetiche (SPARK-32163)
    • Eliminare i campi annidati non necessari dalla finestra e ordinare (SPARK-32059)
    • Ottimizzare le dimensioni di CreateArray/CreateMap in modo che siano le dimensioni degli elementi figlio (SPARK-33544)

Miglioramenti dell'estendibilità

  • Aggiungere SupportsPartitions API in DataSourceV2 (SPARK-31694)
  • Aggiungere SupportsMetadataColumns l'API in DataSourceV2 (SPARK-31255)
  • Rendere collegabile alla serializzazione della cache SQL (SPARK-32274)
  • Introdurre l'opzione purge in TableCatalog.dropTable per il catalogo v2 (SPARK-33364)

Miglioramenti del connettore

  • Miglioramento del pushdown del filtro delle partizioni metastore Hive (SPARK-33537)
    • Il supporto contiene, inizia e termina con filtri (SPARK-33458)
    • Supporto del filtro per tipo di data (SPARK-33477)
    • Supporto del filtro per non uguale a (SPARK-33582)
  • Parquet
    • Consenti tipo complesso nel tipo di chiave della mappa in Parquet (SPARK-32639)
    • Consentire il salvataggio e il caricamento di INT96 in Parquet senza ribasare (SPARK-33160)
  • ORCO
    • Pushdown del predicato di colonna annidato per ORC (SPARK-25557)
    • Aggiornare Apache ORC alla versione 1.5.12 (SPARK-33050)
  • CSV
    • Sfruttare l'origine dati di testo SQL durante l'inferenza dello schema CSV (SPARK-32270)
  • JSON
    • Supporto del pushdown dei filtri nell'origine dati JSON (SPARK-30648)
  • JDBC
  • Avro
    • Supporto del pushdown dei filtri nell'origine dati Avro (SPARK-32346)

Miglioramenti delle funzionalità

  • Rimozione delle autorizzazioni dei nodi (SPARK-20624)
    • Framework basic (SPARK-20628)
    • Eseguire la migrazione dei blocchi RDD durante le autorizzazioni (SPARK-20732)
    • Rimozione normale come parte del ridimensionamento dinamico (SPARK-31198)
    • Eseguire la migrazione di blocchi casuali durante la rimozione delle autorizzazioni (SPARK-20629)
    • Esci solo quando le attività e la migrazione a blocchi vengono completate (SPARK-31197)
    • Supportare l'archiviazione di fallback durante la rimozione delle autorizzazioni (SPARK-33545)
  • Nuove funzioni predefinite
  • potenziamento del comando EXPLAIN (SPARK-32337, SPARK-31325)
  • Fornire un'opzione per disabilitare gli hint forniti dall'utente (SPARK-31875)
  • Supportare la sintassi replace COLUMNS di stile Hive (SPARK-30613)
  • Supporto LIKE ANY e LIKE ALL operatori (SPARK-30724)
  • Supporto illimitato MATCHED e NOT MATCHED in MERGE INTO (SPARK-32030)
  • Supporto Fdi valori letterali float suffisso (SPARK-32207)
  • Sintassi di supporto RESET per reimpostare la singola configurazione (SPARK-32406)
  • L'espressione di filtro di supporto consente l'uso simultaneo di DISTINCT (SPARK-30276)
  • Supporto del comando alter table add/drop partition per DSv2 (SPARK-32512)
  • Supportare NOT IN sottoquery all'interno di condizioni annidate OR (SPARK-25154)
  • Comando di supporto REFRESH FUNCTION (SPARK-31999)
  • Aggiungere sameSemantics metodi e sementicHash nel set di dati (SPARK-30791)
  • Supporto di un tipo composto di classe case in UDF (SPARK-31826)
  • Enumerazione di supporto nei codificatori (SPARK-32585)
  • Supportare le withField API dei campi annidate e dropFields (SPARK-31317, SPARK-32511)
  • Supporto per riempire i valori Null per le colonne mancanti in unionByName (SPARK-29358)
  • Supporto DataFrameReader.table per accettare le opzioni specificate (SPARK-32592, SPARK-32844)
  • Supporto del percorso HDFS in spark.sql.hive.metastore.jars (SPARK-32852)
  • Opzione di supporto --archives in modo nativo (SPARK-33530, SPARK-33615)
  • Migliorare l'API ExecutorPlugin per includere metodi per gli eventi di avvio e fine delle attività (SPARK-33088)

Altre modifiche rilevanti

  • Specificare la funzione di ricerca nel sito della documentazione Spark (SPARK-33166)
  • Aggiornare Apache Arrow a 2.0.0 (SPARK-33213)
  • Abilitare l'API ora Java 8 nel server thrift (SPARK-31910)
  • Abilitare l'API ora Java 8 nelle funzioni definite dall'utente (SPARK-32154)
  • Controllo dell'overflow per la somma aggregata con decimali (SPARK-28067)
  • Correzione del conflitto di commit in modalità di sovrascrittura della partizione dinamica (SPARK-27194, SPARK-29302)
  • Rimozione dei riferimenti a slave, blacklist e whitelist (SPARK-32004, SPARK-32036, SPARK-32037)
  • Rimuovere il controllo delle dimensioni dei risultati dell'attività per la fase mappa casuale (SPARK-32470)
  • Generalizzare ExecutorSource per esporre schemi di file system specificati dall'utente (SPARK-33476)
  • Aggiunta StorageLevel.DISK_ONLY_3 (SPARK-32517)
  • Esporre le metriche di memoria dell'executor nell'interfaccia utente Web per gli executor (SPARK-23432)
  • Esporre le metriche di memoria dell'executor a livello di fase, nella scheda Fasi (SPARK-26341)
  • Correzione esplicita del set di in spark.ui.port modalità cluster YARN (SPARK-29465)
  • Aggiungere spark.submit.waitForCompletion la configurazione per controllare l'uscita spark-submit in modalità cluster autonomo (SPARK-31486)
  • Configurare per yarn.Client stampare collegamenti diretti al driver stdout/stderr (SPARK-33185)
  • Correzione della perdita di memoria quando non è possibile archiviare parti di trasmissione (SPARK-32715)
  • Rendere BlockManagerMaster configurabile il timeout heartbeat del driver (SPARK-34278)
  • Unificare e completare i comportamenti della cache (SPARK-33507)

PySpark

Progetto Zen

  • Project Zen: miglioramento dell'usabilità di Python (SPARK-32082)
  • Supporto degli hint di tipo PySpark (SPARK-32681)
  • Riprogettazione della documentazione di PySpark (SPARK-31851)
  • Eseguire la migrazione allo stile di documentazione NumPy (SPARK-32085)
  • Opzione di installazione per gli utenti pyPI (SPARK-32017)
  • Annullamento della deprecazione dello schema del dataframe dall'elenco dict (SPARK-32686)
  • Semplificare il messaggio di eccezione dalle funzioni definite dall'utente python (SPARK-33407)

Altre modifiche rilevanti

  • Deduplicate deterministiche chiamate PythonUDF (SPARK-33303)
  • Supportare funzioni di ordine superiore nelle funzioni PySpark (SPARK-30681)
  • Supportare le API di scrittura v2x dell'origine dati (SPARK-29157)
  • Supporto percentile_approx nelle funzioni PySpark (SPARK-30569)
  • Supporto inputFiles nel dataframe PySpark (SPARK-31763)
  • Supporto withField nella colonna PySpark (SPARK-32835)
  • Supporto dropFields nella colonna PySpark (SPARK-32511)
  • Supporto nth_value nelle funzioni PySpark (SPARK-33020)
  • Supporto acoshdi e asinhatanh (SPARK-33563)
  • Metodo di supporto getCheckpointDir in PySpark SparkContext (SPARK-33017)
  • Supporto per riempire i valori Null per le colonne mancanti in unionByName (SPARK-32798)
  • Aggiornamento cloudpickle alla versione 1.5.0 (SPARK-32094)
  • Aggiunta MapType del supporto per PySpark con Freccia (SPARK-24554)
  • DataStreamReader.table e DataStreamWriter.toTable (SPARK-33836)

Streaming Strutturato

Miglioramenti delle prestazioni

  • Elenco di file recuperati nella cache oltre maxFilesPerTrigger come file non letto (SPARK-30866)
  • Semplificare la logica nel log dei metadati di origine e sink del flusso di file (SPARK-30462)
  • Evitare di leggere due volte il log dei metadati compatta se la query viene riavviata dal batch compatto (SPARK-30900)

Miglioramenti delle funzionalità

  • Aggiungere DataStreamReader.table l'API (SPARK-32885)
  • Aggiungere DataStreamWriter.toTable l'API (SPARK-32896)
  • Join di flusso semi-flusso sinistro (SPARK-32862)
  • Join di flusso esterno completo (SPARK-32863)
  • Fornire una nuova opzione per la conservazione dei file di output (SPARK-27188)
  • Aggiungere il supporto del server cronologia streaming strutturato Spark (SPARK-31953)
  • Introdurre la convalida dello schema di stato tra il riavvio della query (SPARK-27237)

Altre modifiche rilevanti

  • Introdurre la convalida dello schema per l'archivio stati di streaming (SPARK-31894)
  • Supporto per l'uso di un codec di compressione diverso nell'archivio stati (SPARK-33263)
  • Attesa infinita del connettore Kafka perché i metadati non vengono mai aggiornati (SPARK-28367)
  • Aggiornare Kafka alla versione 2.6.0 (SPARK-32568)
  • Supporto della paginazione per le pagine dell'interfaccia utente di Structured Streaming (SPARK-31642, SPARK-30119)
  • Informazioni sullo stato nell'interfaccia utente di Structured Streaming (SPARK-33223)
  • Informazioni sul gap limite nell'interfaccia utente di Structured Streaming (SPARK-33224)
  • Esporre informazioni sulle metriche personalizzate sullo stato nell'interfaccia utente di SS (SPARK-33287)
  • Aggiungere una nuova metrica relativa al numero di righe successive alla filigrana (SPARK-24634)

MLlib

Caratteristiche salienti

  • LinearSVC blocca i vettori di input (SPARK-30642)
  • LogisticRegression blocca i vettori di input (SPARK-30659)
  • LinearRegression blocca i vettori di input (SPARK-30660)
  • AFT blocca i vettori di input (SPARK-31656)
  • Aggiunta del supporto per le regole di associazione in ML (SPARK-19939)
  • Aggiungere un riepilogo del training per LinearSVCModel (SPARK-20249)
  • Aggiungere un riepilogo a RandomForestClassificationModel (SPARK-23631)
  • Aggiungere il riepilogo del training a FMClassificationModel (SPARK-32140)
  • Aggiungere un riepilogo a MultilayerPerceptronClassificationModel (SPARK-32449)
  • Aggiungere FMClassifier a SparkR (SPARK-30820)
  • Aggiungere il wrapper LinearRegression sparkR (SPARK-30818)
  • Aggiungere il wrapper FMRegressor a SparkR (SPARK-30819)
  • Aggiungere il wrapper SparkR per vector_to_array (SPARK-33040)
  • bloccare in modo adattivo le istanze - LinearSVC (SPARK-32907)
  • Rendere CrossValidator/TrainValidateSplit/OneVsRest Reader/Writer compatibile con l'estimatore/valutatore del backend Python (SPARK-33520)
  • Migliorare le prestazioni di ML ALS recommendForAll by GEMV (SPARK-33518)
  • Aggiungere UnivariateFeatureSelector (SPARK-34080)

Altre modifiche rilevanti

  • Riepilogo delle risorse di calcolo GMM e distribuzioni degli aggiornamenti in un processo (SPARK-31032)
  • Rimuovere la dipendenza ChiSqSelector da mllib. ChiSqSelectorModel (SPARK-31077)
  • Rendere flat il dataframe dei risultati dei test in testChiSquare (SPARK-31301)
  • Ottimizzazione della chiave MinHashDistance (SPARK-31436)
  • Ottimizzazione KMeans basata sulla disuguaglianza dei triangoli (SPARK-31007)
  • Aggiungere il supporto per il peso in ClusteringEvaluator (SPARK-31734)
  • Aggiungere getMetrics negli analizzatori (SPARK-31768)
  • Aggiungere il supporto dello spessore dell'istanza in LinearRegressionSummary (SPARK-31944)
  • Aggiungere la colonna di riduzione specificata dall'utente a CrossValidator (SPARK-31777)
  • Parità dei valori predefiniti dei parametri ml nelle funzionalità e nell'ottimizzazione (SPARK-32310)
  • Correzione della doppia memorizzazione nella cache in KMeans/BiKMeans (SPARK-32676)
  • Ottimizzazione della trasformazione aft (SPARK-33111)
  • Ottimizzazione della trasformazione FeatureHasher (SPARK-32974)
  • Aggiungere array_to_vector funzione per la colonna del dataframe (SPARK-33556)
  • Parità dei valori predefiniti dei parametri ML nella classificazione, regressione, clustering e fpm (SPARK-32310)
  • Summary.totalIterations maggiore di maxIters (SPARK-31925)
  • Ottimizzazione della stima dei modelli ad albero (SPARK-32298)

SparkR

  • Aggiungere l'interfaccia SparkR per le funzioni di ordine superiore (SPARK-30682)
  • Supporto per riempire i valori Null per le colonne mancanti in unionByName (SPARK-32798)
  • Supporto conColumn nelle funzioni SparkR (SPARK-32946)
  • Supporto di timestamp_seconds nelle funzioni SparkR (SPARK-32949)
  • Supporto di nth_value nelle funzioni SparkR (SPARK-33030)
  • Versione minima di Arrow fino a 1.0.0 (SPARK-32452)
  • Supporto array_to_vector nelle funzioni SparkR (SPARK-33622)
  • Supportare acosh, asinh e atanh (SPARK-33563)
  • Supporto di from_avro e to_avro (SPARK-33304)

Aggiornamenti di manutenzione

Vedere Aggiornamenti della manutenzione di Databricks Runtime 8.0.

Ambiente di sistema

  • Sistema operativo: Ubuntu 18.04.5 LTS
  • Java: Zulu 8.50.0.51-CA-linux64 (build 1.8.0_275-b01)
  • Scala: 2.12.10
  • Python: 3.8.8 (aggiornamento dalla versione 3.8.6 del 26 maggio 2021)
  • R: R versione 4.0.3 (2020-10-10)
  • Delta Lake 0.8.0

Librerie Python installate

Libreria Versione Libreria Versione Libreria Versione
appdirs 1.4.4 asn1crypto 1.4.0 chiamata di ritorno 0.2.0
boto3 1.16.7 botocore 1.19.7 brotlipy 0.7.0
certificato 2020.12.5 cffi 1.14.3 chardet 3.0.4
criptografia 3.1.1 ciclista 0.10.0 Cython, un linguaggio di programmazione 0.29.21
Decoratore 4.4.2 distlib 0.3.1 docutils 0.15.2
punti di ingresso 0,3 blocco dei file 3.0.12 IDNA 2.10
ipykernel 5.3.4 ipython 7.19.0 ipython-genutils 0.2.0
jedi 0.17.2 jmespath 0.10.0 joblib 0.17.0
jupyter-client 6.1.7 jupyter-core 4.6.3 kiwisolver 1.3.0
koala 1.5.0 matplotlib 3.2.2 numpy 1.19.2
Panda 1.1.3 parso 0.7.0 vittima 0.5.1
pexpect 4.8.0 pickleshare (libreria di software Python) 0.7.5 seme 20.2.4
prompt-toolkit 3.0.8 Psycopg2 2.8.5 ptyprocess 0.6.0
pyarrow 1.0.1 pycparser (un parser scritto in Python) 2.20 Pygments 2.7.2
pyOpenSSL 19.1.0 pyparsing 2.4.7 PySocks 1.7.1
python-dateutil (libreria Python per la gestione delle date) 2.8.1 pytz 2020.1 pyzmq 19.0.2
richieste 2.24.0 s3transfer 0.3.3 scikit-learn 0.23.2
scipy 1.5.2 Seaborn 0.10.0 setuptools (pacchetto Python per gestire la configurazione e la distribuzione) 50.3.1
sei 1.15.0 statsmodels 0.12.0 threadpoolctl 2.1.0
tornado 6.0.4 traitlets (una libreria per la configurazione dei parametri nei programmi Python) 5.0.5 urllib3 1.25.11
virtualenv 20.2.1 wcwidth (funzione per determinare la larghezza dei caratteri) 0.2.5 ruota 0.35.1

Librerie R installate

Le librerie R vengono installate dallo snapshot di Microsoft CRAN nel 2020-11-02.

Libreria Versione Libreria Versione Libreria Versione
askpass 1.1 assicura che 0.2.1 retroportazioni 1.2.1
base 4.0.3 base64enc 0.1-3 BH 1.72.0-3
pezzo 4.0.4 bit 64 4.0.5 massa amorfa 1.2.1
stivale 1.3-25 fermentare 1.0-6 Brio 1.1.0
Scopa 0.7.2 chiamante 3.5.1 Interpunzione 6.0-86
cellranger 1.1.0 cronometro 2.3-56 classe 7.3-17
CLI 2.2.0 Clipr 0.7.1 raggruppamento 2.1.0
strumenti per la codifica 0.2-18 spazio di colore 2.0-0 segno comune 1.7
compilatore 4.0.3 configurazione 0,3 covr 3.5.1
cpp11 0.2.4 pastello 1.3.4 credenziali 1.3.0
diafonia 1.1.0.1 curva 4.3 tabella di dati 1.13.4
Insiemi di dati 4.0.3 DBI 1.1.0 dbplyr 2.0.0
descrizione 1.2.0 strumenti per sviluppatori 2.3.2 diffobj 0.3.2
digerire 0.6.27 dplyr 1.0.2 DT 0,16
puntini di sospensione 0.3.1 valutare 0.14 fan 0.4.1
colori 2.0.3 mappatura veloce 1.0.1 forzati 0.5.0
foreach 1.5.1 straniero 0.8-79 forgiare 0.2.0
Fs 1.5.0 futuro 1.21.0 elementi generici 0.1.0
Gert 1.0.2 ggplot2 3.3.2 Gh 1.2.0
gitcreds 0.1.1 glmnet 4.0-2 elementi globali 0.14.0
colla 1.4.2 Gower 0.2.2 grafica 4.0.3
grDispositivi 4.0.3 griglia 4.0.3 gridExtra 2.3
gsubfn 0,7 gtable 0.3.0 rifugio 2.3.1
più alto 0,8 HMS 0.5.3 strumenti HTML 0.5.0
htmlwidgets 1.5.3 httpuv 1.5.4 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ini 0.3.1
ipred 0.9-9 banderelle isografiche 0.2.3 Iteratori 1.0.13
jsonlite 1.7.2 KernSmooth 2.23-18 magliare 1,30
Etichettatura 0.4.2 più tardi 1.1.0.1 Lattice 0.20-41
Java 1.6.8.1 lazyeval 0.2.2 ciclo di vita 0.2.0
ascolta 0.8.0 lubridate 1.7.9.2 magrittr 2.0.1
Markdown 1.1 Massa 7.3-53 Matrice 1.2-18
memorizza 1.1.0 metodi 4.0.3 mgcv 1.8-33
mimo 0.9 ModelMetrics 1.2.2.2 modelr 0.1.8
munsell 0.5.0 nlme 3.1-151 nnet 7.3-14
Derivazione numerica 2016.8-1.1 openssl 1.4.3 parallelo 4.0.3
parallelamente 1.22.0 Concetto fondamentale 1.4.7 pkgbuild 1.1.0
pkgconfig 2.0.3 pkgload 1.1.0 plogr 0.2.0
plyr 1.8.6 elogio 1.0.0 prettyunits 1.1.1
Proc 1.16.2 processx 3.4.5 prodlim 2019.11.13
Avanzamento 1.2.2 promesse 1.1.1 proto / prototipo 1.0.0
P.S. 1.5.0 purrr 0.3.4 r2d3 0.2.3
R6 2.5.0 randomForest 4.6-14 rappdirs 0.3.1
rcmdcheck 1.3.3 RColorBrewer 1.1-2 Rcpp (una libreria per il linguaggio di programmazione R) 1.0.5
readr 1.4.0 readxl (software per leggere documenti Excel) 1.3.1 ricette 0.1.15
nuovo incontro 1.0.1 rematch2 2.1.2 Telecomandi 2.2.0
esempio riproducibile (reprex) 0.3.0 reshape2 1.4.4 Rex 1.2.0
rlang 0.4.9 rmarkdown 2.6 RODBC 1.3-17
roxygen2 7.1.1 rpart 4.1-15 rprojroot 2.0.2
Rserve 1.8-7 RSQLite 2.2.1 rstudioapi 0.13
rversions 2.0.2 rvest 0.3.6 Scalabilità 1.1.1
selettore 0,4-2 informazioni sulla sessione 1.1.1 Forma 1.4.5
brillante 1.5.0 sourcetools 0.1.7 sparklyr 1.5.2
SparkR 3.1.0 spaziale 7.3-11 Spline 4.0.3
sqldf 0,4-11 SQUAREM 2020.5 statistiche 4.0.3
statistiche4 4.0.3 perizoma 1.5.3 stringr 1.4.0
Sopravvivenza 3.2-7 sys 3.4 tcltk 4.0.3
Dimostrazioni di Insegnamento 2.10 testatat 3.0.0 Tibble 3.0.4
tidyr 1.1.2 tidyselect 1.1.0 tidyverse 1.3.0
data e ora 3043.102 tinytex 0.28 strumenti 4.0.3
Usa questo 2.0.0 utf8 1.1.4 Utilità 4.0.3
UUID (Identificatore Unico Universale) 0.1-4 vctrs 0.3.5 viridisLite 0.3.0
Waldo 0.2.3 baffi 0.4 withr 2.3.0
xfun 0.19 xml2 1.3.2 xopen 1.0.0
xtable 1.8-4 yaml 2.2.1 formato zip 2.1.1

Librerie Java e Scala installate (versione del cluster Scala 2.12)

ID gruppo ID artefatto Versione
antlr antlr 2.7.7
com.amazonaws amazon-distribuisci-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config (configurazione SDK Java per AWS) 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect (strumento per la connessione diretta in Java di AWS) 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws AWS Java SDK per Glacier 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-consultas 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws AWS Java SDK Machine Learning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway (SDK di AWS per Java per Storage Gateway) 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support (supporto del kit di sviluppo software Java per AWS) 1.11.655
com.amazonaws Librerie aws-java-sdk-swf 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics torrente 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.mdfsoftware ombreggiato criogenico 4.0.2
com.mdfsoftware minlog 1.3.0
com.fasterxml compagno di classe 1.3.4
com.fasterxml.jackson.core annotazioni jackson 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.caffeina caffeina 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib nucleo 1.1.2
com.github.fommil.netlib riferimento_nativo-java 1.1
com.github.fommil.netlib native_ref-java-natives (riferimenti a nativi Java) 1.1
com.github.fommil.netlib sistema_nativo-java 1.1
com.github.fommil.netlib sistema_nativo-java-nitidi 1.1
com.github.fommil.netlib "netlib-native_ref-linux-x86_64-natives" 1.1
com.github.fommil.netlib netlib-sistema_nativo-linux-x86_64-natives 1.1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni (libreria open-source per compressione con Java Native Interface) 1.4.8-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guaiava 15,0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profilatore 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RILASCIO
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.sqlserver mssql-jdbc 8.2.1.jre8
com.microsoft.azure Azure Data Lake Store SDK 2.3.9
com.ning compress-lzf (algoritmo di compressione) 1.0.3
com.sun.mail javax.mail (package Java per la gestione della posta elettronica) 1.5.2
com.tdunning JSON 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenti_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe configurazione 1.2.1
com.typesafe.scala-logging scala-logging_2.12 (libreria per la gestione dei log in Scala, versione 2.12) 3.7.2
com.univocità univocità-parser 2.9.0
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1,2
commons-codec (libreria per la codifica comune) commons-codec (libreria per la codifica comune) 1.10
collezioni-comuni collezioni-comuni 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
funzione di caricamento file dei Commons funzione di caricamento file dei Commons 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging (no translation needed) commons-logging (no translation needed) 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift compressore d'aria 0,10
io.dropwizard.metrics nucleo delle metriche 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metriche-controlli di salute 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json (Specificare ulteriormente se necessario a seconda del contesto) 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metriche-servlet 4.1.1
io.netty netty-all 4.1.51.Final
io.prometheus simpleclient 0.7.0
io.prometheus sempliceclient_comune 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx agente di raccolta 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation attivazione 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction Java Transaction API (JTA) 1.1
javax.transaction API per le transazioni 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.flusso stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
net.razorvine pirolite 04.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv (formato CSV avanzato) 2.2.0
net.snowflake snowflake-ingest-sdk (kit di sviluppo software per l'ingestione dati) 0.9.6
net.snowflake snowflake-jdbc 3.12.8
net.snowflake spark-snowflake_2.12 2.8.1-spark_3.0
net.sourceforge.f2j arpack_combinato_tutto 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8-1
org.antlr modello di stringa 3.2.1
org.apache.ant formica 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant launcher 1.9.2
org.apache.arrow formato freccia 2.0.0
org.apache.arrow arrow-nucleo-di-memoria 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow freccia-vettore 2.0.0
org.apache.avro Avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1,20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.10
org.apache.commons commons-math3 3.4.1
org.apache.commons testo comune 1.6
org.apache.curator curatore-cliente 2.7.1
org.apache.curator curatore-framework 2.7.1
org.apache.curator ricette curatori 2.7.1
org.apache.derby derby sportivo 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop annotazioni di Hadoop 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-cliente 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common (cliente comune di Hadoop MapReduce) 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-common 2.3.7
org.apache.hive hive-exec-core 2.3.7
org.apache.hive Hive-JDBC 2.3.7
org.apache.hive hive-llap-client 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive Hive-Metastore 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive spessori del sistema Hive 2.3.7
org.apache.hive API di archiviazione Hive 2.7.2
org.apache.hive hive-vector-code-gen 2.3.7
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims Hive-shims-common 2.3.7
org.apache.hive.shims hive-shims-scheduler 2.3.7
org.apache.htrace htrace-core Incubazione 3.1.0
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy Edera 2.4.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.5.12
org.apache.orc orc-mapreduce 1.5.12
org.apache.orc orc-shim 1.5.12
org.apache.parquet Parquet Column 1.10.1-databricks6
org.apache.parquet parquet-comune 1.10.1-databricks6
org.apache.parquet codifica parquet 1.10.1-databricks6
org.apache.parquet formato parquet 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks6
org.apache.parquet parquet-jackson 1.10.1-databricks6
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.velocity velocità 1,5
org.apache.xbean xbean-asm7-shaded 4.15
org.apache.yetus annotazioni del gruppo di destinatari 0.5.0
org.apache.zookeeper guardiano dello zoo 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino Commons-Compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.34.v20201102
org.eclipse.jetty continuazione di jetty 9.4.34.v20201102
org.eclipse.jetty jetty-http 9.4.34.v20201102
org.eclipse.jetty jetty-io 9.4.34.v20201102
org.eclipse.jetty jetty-jndi 9.4.34.v20201102
org.eclipse.jetty Jetty Plus 9.4.34.v20201102
org.eclipse.jetty jetty-proxy 9.4.34.v20201102
org.eclipse.jetty sicurezza del molo 9.4.34.v20201102
org.eclipse.jetty Jetty Server 9.4.34.v20201102
org.eclipse.jetty jetty-servlet 9.4.34.v20201102
org.eclipse.jetty jetty-servlets 9.4.34.v20201102
org.eclipse.jetty jetty-util 9.4.34.v20201102
org.eclipse.jetty applicazione web di Jetty 9.4.34.v20201102
org.eclipse.jetty jetty-xml 9.4.34.v20201102
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-localizzatore 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 localizzatore di risorse OSGi 1.0.3
org.glassfish.hk2.external aopalliance-repackaged (riconfezionato) 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet (servlet del contenitore Jersey) 2.30
org.glassfish.jersey.containers modulo-nucleo-servlet-contenitore-jersey (if a translation is required as per the context) 2.30
org.glassfish.jersey.core jersey-client 2.30
org.glassfish.jersey.core maglia-comune 2.30
org.glassfish.jersey.core Jersey-server 2.30
org.glassfish.jersey.inject jersey-hk2 2.30
org.glassfish.jersey.media jersey-media-jaxb (libreria per la gestione dei dati multimediali in Jersey usando JAXB) 2.30
org.hibernate.validator validatore di Hibernate 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging (strumento di registrazione per JBoss) 3.3.2.Finale
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M5
org.json4s json4s-core_2.12 3.7.0-M5
org.json4s json4s-jackson_2.12 3.7.0-M5
org.json4s json4s-scalap_2.12 3.7.0-M5
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client - Libreria Java per MariaDB 2.1.2
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.9.0
org.roaringbitmap Spessori 0.9.0
org.rocksdb rocksdbjni 6.2.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt interfaccia di prova 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark inutilizzato 1.0.0
org.springframework Spring Core 4.1.4.RILASCIO
org.springframework test di primavera 4.1.4.RILASCIO
org.threeten treten-extra 1.5.0
org.cortanaani xz 1,5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel meccanico_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Finale
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.2
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1,5
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1
xmlenc xmlenc 0,52
  • Last updated on