Nota
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare ad accedere o modificare le directory.
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare a modificare le directory.
Nota
Il supporto per questa versione di Databricks Runtime è terminato. Per la data di fine del supporto, vedere Cronologia di fine del supporto. Per tutte le versioni supportate di Databricks Runtime, vedere Note sulla versione e compatibilità di Databricks Runtime.
Databricks ha rilasciato questa versione nell'agosto 2018.
Importante
Questa versione è stata sconsigliata il 9 aprile 2019. Per altre informazioni sui criteri di deprecazione e sulla pianificazione di Databricks Runtime, vedere Ciclo di vita del supporto di Databricks.
Le note sulla versione seguenti forniscono informazioni su Databricks Runtime 4.3, basate su Apache Spark.
Nuove funzionalità
- Delta Lake
-
TRUNCATE TABLEcomando: elimina tutte le righe da una tabella. A differenza della controparte per le tabelle Spark, le tabelle Delta non supportano l'eliminazione di partizioni specifiche. -
ALTER TABLE REPLACE COLUMNScomando: sostituire le colonne in una tabella Delta. Supporta la modifica del commento di una colonna e il riordinamento di più colonne. -
FSCK REPAIR TABLEcomando: rimuovere le voci di file dal log delle transazioni di una tabella Delta che non possono più essere trovate nel file system sottostante. Ciò può verificarsi quando questi file sono stati eliminati manualmente. - Supporto per le query su tabelle Delta non aggiornate per migliorare l'esperienza di query interattiva: le query sulle tabelle Delta possono ora essere eseguite in una versione non aggiornata della tabella quando non sono necessari risultati aggiornati. Questa funzionalità riduce la latenza delle query, soprattutto quando le tabelle Delta sottostanti vengono aggiornate continuamente tramite flussi.
-
- Stream strutturato
- Supporto di scrittura di streaming scalabile per il connettore Azure Synapse Analytics.
- Supporto per
foreachBatch()in Python (già disponibile in Scala). Per maggiori dettagli, consultare la documentazione di foreach e foreachBatch. - Supporto per la scelta del limite minimo o massimo quando sono presenti più flussi di input in una query. In precedenza veniva sempre usato il timestamp minimo. Per ulteriori dettagli, vedere la politica delle filigrane multiple.
- Supporto per l'operatore
LIMITper i flussi nelle modalità di outputAppendeComplete. Per ridurre al minimo gli errori OOM nel driver,LIMITviene applicato automaticamente quando si usadisplay()su flussi non associati.
Miglioramenti
Delta Lake
- Anteprima privata della nuova implementazione scalabile del
MERGE INTOcomando che non ha il limite di inserimento di 10000 righe. Per provare questa operazione, contattare il supporto tecnico. - Prestazioni e scalabilità migliori del
OPTIMIZEcomando, in particolare nei cluster di dimensioni maggiori. - Il comando OPTIMIZE esegue ora il commit della tabella in modo incrementale, ovvero se il comando ha esito negativo, non sarà necessario elaborare l'intero set di dati.
- Ridotto il numero di RPC del file system necessari per scoprire nuovi dati quando si usa Delta Lake come origine di streaming.
- Aggiunta del supporto per
df.writeStream.table(table-name)in Python per creare una tabella Delta da un flusso.
- Anteprima privata della nuova implementazione scalabile del
Prestazioni migliorate per le query con più join, aggregazioni o finestre.
Miglioramento dell'efficienza nel pruning a livello di partizione nelle query con hash join di tipo broadcast.
Miglioramenti alla generazione di codice di fase intera per rilevare espressioni duplicate, ridurre la quantità di codice generato e migliorare le prestazioni per determinati tipi di espressione.
I cluster a concorrenza elevata supportano ora l'esecuzione
%fsnei notebook.Aggiornamento di Py4J usato da PySpark a 0.10.7.
- Prestazioni migliorate della cache dei dischi nelle istanze Azure della serie Ls. La cache è ora abilitata per impostazione predefinita in queste istanze, accelerando i carichi di lavoro che leggono ripetutamente i file Parquet.
Funzionalità deprecate
- Il salto dati al di fuori di Databricks Delta è considerato obsoleto. Una versione migliorata del data skipping continuerà a essere disponibile come parte di Delta Lake. È consigliabile passare all'uso di Delta Lake per continuare a sfruttare questa funzionalità. Per informazioni dettagliate, vedere Databricks Delta Data Skipping.
Correzioni di bug
- Correzione dell'istruzione di pushdown del predicato errata per Delta quando la condizione ON conteneva predicati che si riferivano solo alla tabella di destinazione.
- Correzione di bug in
mapGroupsWithStateeflatMapGroupsWithStateche impediva di impostare timeout quando lo stato è stato rimosso (SPARK-22187). - Corretto il bug che impediva il corretto funzionamento della filigrana con
Trigger.Once(SPARK-24699). - Il comando Di aggiornamento convalida ora le colonne nella clausola SET per assicurarsi che tutte le colonne esistano effettivamente e che nessuna colonna sia impostata più volte.
- Correzione di una potenziale race condition che potrebbe causare deadlock per il commit della directory.
- Correzione di un bug che causava l'uso di una versione deprecata del client DBFS durante l'aggiornamento dei montaggi.
Problemi noti
- Le opzioni di configurazione delta Lake per una tabella hanno effetto solo nel primo notebook che carica la tabella.
Apache Spark
Databricks Runtime 4.3 includea Apache Spark 2.3.1. Questa versione include tutte le correzioni e i miglioramenti inclusi in Databricks Runtime 4.2 (EoS), nonché le correzioni di bug e i miglioramenti aggiuntivi seguenti apportati a Spark:
-
[SPARK-24934][SQL] Consentire in modo esplicito i tipi supportati nei bordi superiori/inferiori per la potatura delle partizioni in memoria
- Quando i tipi di dati complessi vengono usati nei filtri di query sui dati memorizzati nella cache, Spark restituisce sempre un set di risultati vuoto. La potatura basata sulle statistiche in memoria genera risultati errati, perché viene impostato un valore nullo per i limiti superiori/inferiori nei tipi complessi. La correzione consiste nel non usare l'eliminazione basata su statistiche in memoria per i tipi complessi.
-
[SPARK-24957][SQL] Media con decimale seguito dall'aggregazione restituisce un risultato errato
- È possibile che vengano restituiti risultati non corretti dalla funzione MEDIA. Il CAST aggiunto nell'operatore Average verrà ignorato se il risultato di Divide è dello stesso tipo a cui è stato convertito.
-
[SPARK-24867][SQL] Aggiungere AnalysisBarrier a DataFrameWriter
- La cache SQL non viene utilizzata quando si utilizza DataFrameWriter per scrivere un DataFrame con una UDF (funzione definita dall'utente). Si tratta di una regressione causata dalle modifiche apportate in AnalysisBarrier, perché non tutte le regole dell'analizzatore sono idempotenti.
-
[SPARK-24790][SQL] Consenti espressioni di aggregazione complesse in Pivot
- Allentare il controllo per consentire espressioni di aggregazione complesse, come ceil(sum(col1)) o sum(col1) + 1, vale a dire qualsiasi espressione di aggregazione che potrebbe apparire in un piano di aggregazione, ad eccezione di pandas UDF.
-
[SPARK-24870][SQL] Cache non può funzionare normalmente se sono presenti lettere maiuscole in SQL
- Risolve un problema di canonizzazione del piano.
- [SPARK-24852]Utilizzare le API di strumentazione aggiornate per la formazione di spark.ml.
-
[SPARK-24891][SQL] Correzione della regola HandleNullInputsForUDF
- Rendere idempotente la regola HandleNullInputsForUDF, per evitare il disallineamento del piano nel gestore della cache quando un piano viene analizzato più volte.
- [SPARK-24878][SQL] Correggere la funzione reverse per l'array di tipo primitivo contenente null.
- [SPARK-24871][SQL] Effettuare il refactoring di Concat e MapConcat per evitare di creare un oggetto concatenator per ogni riga.
-
[SPARK-24802][SQL] Aggiungere una nuova configurazione per l'esclusione di regole di ottimizzazione
- Fornisce una configurazione agli utenti per escludere alcune regole di ottimizzazione.
-
[SPARK-24879][SQL] Correzione dell'NPE nel pushdown del filtro di potatura delle partizioni Hive
- Quando il predicato di partizione è simile a col IN (1, null), verrà generata una NullPointerException (NPE). Questa patch lo corregge.
- [SPARK-23731][SQL] Rendere FileSourceScanExec canonico dopo essere (de)serializzato
-
[SPARK-24755][CORE] La perdita dell'executor può causare che il compito non venga reinviato
- Correzione di un bug per cui Spark potrebbe non rieseguire le attività non riuscite a causa della perdita di un executor. Questo bug è stato introdotto in Spark 2.3.
-
[SPARK-24677][CORE] Evitare NoSuchElementException da parte di MedianHeap
- Corregge un bug correlato alle attività speculative durante la raccolta delle metriche della durata dell'attività.
- [SPARK-24868][PYTHON] Aggiungere una funzione di sequenza in Python
- [SPARK-21811][SPARK-24012][SPARK-24737][SPARK-24165][SPARK-24734][SPARK-24840][SQL] Correzione delle coercizioni dei tipi e delle nullità.
- [SPARK-24699][SS] Rendere le filigrane funzionanti con Trigger.Once salvando la filigrana aggiornata nel log di commit
- [SPARK-24537][R] Aggiungere array_remove/array_zip/map_from_arrays/array_distinct
- [SPARK-22187][SS] Aggiornare il formato unsaferow dello stato salvato in flatMapGroupsWithState per consentire i timeout con lo stato eliminato (4.x)
-
[SPARK-24681][SQL] Verificare i nomi di colonna annidati nel metastore Hive
- Nel metastore Hive, si assicuri che i nomi delle colonne annidate non includano ',', ':' e ';'.
-
[SPARK-23486]memorizzare nella cache il nome della funzione dal catalogo esterno per lookupFunctions
- Per velocizzare le ricerche delle funzioni.
- [SPARK-24781][SQL] L'uso di un riferimento dal set di dati in Filtro/Ordinamento potrebbe non funzionare
-
[SPARK-24208][SQL] Correzione della deduplicazione degli attributi per FlatMapGroupsInPandas
- Correzione dell'errore di self-join in un set di dati che contiene flatMapGroupsInPandas a causa di attributi duplicati
- [SPARK-24530][PYTHON] Aggiungere un controllo per forzare la versione di Python in Sphinx tramite la variabile di ambiente SPHINXPYTHON
-
[SPARK-24250]supportare l'accesso a SQLConf all'interno delle attività
- Salvare tutte le configurazioni SQL nelle proprietà del processo quando viene attivata un'esecuzione SQL. Dal lato dell'executor ricostruiamo SQLConf dalle proprietà del processo.
- [SPARK-23936][SQL] Implementare map_concat
- [SPARK-23914][SQL] Aggiungere array_union funzione
-
[SPARK-24732][SQL] Coercizione dei tipi tra MapTypes.
- Aggiunge il supporto per la coercizione dei tipi tra MapTypes in cui i tipi di chiave e di valore sono compatibili. Ad esempio, i tipi MapType(IntegerType, FloatType) e MapType(LongType, DoubleType) possono essere costretti a digitare MapType(LongType, DoubleType)
- [SPARK-24662][SQL][SS] Limite di supporto nello streaming strutturato
- [SPARK-24730][SS] Aggiungere una politica per scegliere il massimo come watermark globale quando la query di streaming ha più watermark (branch-4.x)
-
[SPARK-24596][SQL] Invalidazione cache non a cascata
- Quando si rimuove o si elimina una visualizzazione temporanea, non è necessario rimuovere in cascata tutti i piani che dipendono dalla visualizzazione, perché i dati sottostanti non vengono modificati.
- [SPARK-23927][SQL] Aggiungere un'espressione "sequence"
- [SPARK-24636][SQL] Coercizione dei tipi di array per la funzione array_join
-
[SPARK-22384][SQL] Raffinare il pruning della partizione quando l'attributo è avvolto in un Cast
- Migliorare la potatura delle partizioni, in grado di inoltrare i predicati di partizione con cast di tipo sicuro (da intero a long, non da long a intero).
-
[SPARK-24385][SQL] Risolvere l'ambiguità della condizione self-join per EqualNullSafe
- Implementa EqualNullSafe per la risoluzione dell'ambiguità delle condizioni di self-join.
-
[SPARK-24696][SQL] La regola columnPruning non riesce a rimuovere un progetto aggiuntivo
- Corregge un bug nella regola ColumnPruning che ha causato un errore di ciclo infinito in Optimizer.
- [SPARK-24603][SQL] Correzione del riferimento findTightestCommonType nei commenti
-
[SPARK-24613][SQL] La cache con funzioni definite dall'utente non riusciva a corrispondere con le cache dipendenti successive.
- Avvolge il piano logico con una barriera di analisi per la compilazione del piano di esecuzione in CacheManager, al fine di prevenire un'ulteriore analisi del piano. Si tratta anche di una regressione di Spark 2.3.
- [SPARK-24017][SQL] Effettuare il refactoring di ExternalCatalog come interfaccia
-
[SPARK-24324][PYTHON] Pandas Grouped Map UDF deve assegnare le colonne dei risultati in base al nome
- Assegna le colonne dei risultati in base al nome dello schema se l'utente ha etichettato con stringhe, in caso contrario usando la posizione.
-
[SPARK-23778][CORE] Evitare lo shuffle non richiesto quando l'unione ottiene un RDD vuoto
- Ignora gli RDD vuoti in ingresso nel metodo union per evitare una riorganizzazione aggiuntiva non necessaria quando tutti gli altri RDD hanno lo stesso partizionamento.
-
[SPARK-24552][CORE][SQL] Usare l'ID univoco anziché il numero di tentativo per le scritture.
- Passa l'ID tentativo di attività univoco invece del numero di tentativi alle fonti dati v2, poiché il numero di tentativi viene riutilizzato quando si ripetono le fasi. Ciò influisce sulle API V1 e V2 dell'origine dati, ma le API di formato file non saranno interessate perché DBR usa un protocollo di commit diverso.
- [SPARK-24588]Il join di streaming [SS] deve richiedere hashClusteredPartitioning dai nodi figli.
-
[SPARK-24589][CORE] Identificare correttamente le attività nel coordinatore del commit di output.
- Aggiunge altre informazioni allo stato della fase monitorato dal coordinatore, in modo che solo un'attività sia autorizzata a eseguire il commit dell'output. Questa correzione rimuove anche le modifiche di codice inutili introdotte da SPARK-18113.
- [SPARK-23933][SQL] Aggiungere map_from_arrays funzione
-
[SPARK-24583][SQL] Tipo di schema errato in InsertIntoDataSourceCommand
- Quando si crea una tabella Delta con vincoli NOT NULL, è possibile rimuovere la nullabilità e inserire valori NULL senza verificare eventuali violazioni.
-
[SPARK-24542][SQL] La serie UDF UDFXPathXXXX consente agli utenti di passare codice XML accuratamente creato per accedere a file arbitrari
- Si tratta di una patch di sicurezza segnalata dalla community. La serie UDF UDFXPathXXXX consente agli utenti di passare xml accuratamente creato per accedere a file arbitrari. Quando gli utenti usano la libreria di controllo di accesso esterno, gli utenti potrebbero ignorarli e accedere al contenuto del file.
- [SPARK-23934][SQL] Aggiunta della funzione map_from_entries
- [SPARK-23912][SQL] Aggiungere array_distinct
- [SPARK-24574][SQL] array_contains, array_position, array_remove e funzioni di element_at gestiscono il tipo di colonna
Aggiornamenti di manutenzione
Vedere Aggiornamenti della manutenzione di Databricks Runtime 4.3.
Ambiente di sistema
- Sistema operativo: Ubuntu 16.04.4 LTS
- Java: 1.8.0_162
- Scala: 2.11.8
- Python: 2.7.12 per cluster Python 2 e 3.5.2 per cluster Python 3.
- R: R versione 3.4.4 (2018-03-15)
-
Cluster GPU: sono installate le librerie GPU NVIDIA seguenti:
- Autista Tesla 375.66
- CUDA 9.0
- cuDNN 7.0
Librerie Python installate
| Biblioteca | Versione | Biblioteca | Versione | Biblioteca | Versione |
|---|---|---|---|---|---|
| ansi2html (strumento per convertire ANSI in HTML) | 1.1.1 | argparse | 1.2.1 | backports-abc | 0,5 |
| bot | 2.42.0 | boto3 | 1.4.1 | botocore | 1.4.70 |
| brewer2mpl | 1.4.1 | certificato | 2016.2.28 | cffi | 1.7.0 |
| chardet | 2.3.0 | colorama | 0.3.7 | configobj | 5.0.6 |
| criptografia | 1,5 | ciclatore | 0.10.0 | Cython, un linguaggio di programmazione | 0.24.1 |
| decoratore | 4.0.10 | docutils | 0.14 | enum34 | 1.1.6 |
| et-xmlfile | 1.0.1 | freetype-py | 1.0.2 | funcsig | 1.0.2 |
| fusepy | 2.0.4 | contratti futures | 3.2.0 | ggplot | 0.6.8 |
| html5lib | 0,999 | IDNA | 2.1 | indirizzo IP | 1.0.16 |
| ipython | 2.2.0 | ipython-genutils | 0.1.0 | jdcal | 1,2 |
| Jinja2 | 2.8 | jmespath | 0.9.0 | llvmlite | 0.13.0 |
| lxml | 3.6.4 | MarkupSafe | 0,23 | matplotlib | 1.5.3 |
| mpld3 | 0.2 | msgpack-python | 0.4.7 | ndg-httpsclient | 0.3.3 |
| nmbalo | 0.28.1 | numpy | 1.11.1 | openpyxl | 2.3.2 |
| Panda | 0.19.2 | pathlib2 | 2.1.0 | ingenuo / capro espiatorio | 0.4.1 |
| pexpect | 4.0.1 | pickleshare (libreria di software Python) | 0.7.4 | Cuscino | 3.3.1 |
| seme | 10.0.1 | filo | 3.9 | prompt-toolkit | 1.0.7 |
| Psycopg2 | 2.6.2 | ptyprocess | 0.5.1 | py4j | (0.10.3) |
| pyarrow | 0.8.0 | pyasn1 | 0.1.9 | pycparser (un parser scritto in Python) | 2.14 |
| Pygments | 2.1.3 | PyGObject | 3.20.0 | pyOpenSSL | 16.0.0 |
| pyparsing | 2.2.0 | pypng | 0.0.18 | Pitone | 2.7.12 |
| python-dateutil (libreria Python per la gestione delle date) | 2.5.3 | python-geohash | 0.8.5 | pytz | 1.6.2016 |
| richieste | 2.11.1 | s3transfer | 0.1.9 | scikit-learn | 0.18.1 |
| scipy | 0.18.1 | sfregare energicamente | 0,32 | Seaborn | 0.7.1 |
| setuptools (pacchetto Python per gestire la configurazione e la distribuzione) | 39.2.0 | simplejson | 3.8.2 | simples3 | 1.0 |
| singledispatch (funzionalità di sovraccarico di funzioni in Python) | 3.4.0.3 | sei | 1.10.0 | statsmodels | 0.6.1 |
| tornado | 5.0.2 | traitlets (una libreria per la configurazione dei parametri nei programmi Python) | 4.3.0 | urllib3 | 1.19.1 |
| virtualenv | 15.0.1 | wcwidth (funzione per determinare la larghezza dei caratteri) | 0.1.7 | ruota | 0.31.1 |
| wsgiref | 0.1.2 |
Librerie R installate
| Biblioteca | Versione | Biblioteca | Versione | Biblioteca | Versione |
|---|---|---|---|---|---|
| abind | 1.4-5 | asserisci che | 0.2.0 | retroportazioni | 1.1.2 |
| base | 3.4.4 | BH | 1.66.0-1 | bindr | 0.1.1 |
| bindrcpp | 0.2.2 | pezzo | 1.1-12 | bit 64 | 0.9-7 |
| bitops | 1.0-6 | massa amorfa | 1.1.1 | stivale | 1.3-20 |
| infuso | 1.0-6 | Scopa | 0.4.4 | auto | 3.0-0 |
| DatiAuto | 3.0-1 | Interpunzione | 6.0-79 | cellranger | 1.1.0 |
| cron | 2.3-52 | classe | 7.3-14 | CLI | 1.0.0 |
| gruppo | 2.0.7-1 | strumenti per la codifica | 0.2-15 | spazio colore | 1.3-2 |
| segno comune | 1.4 | compilatore | 3.4.4 | pastello | 1.3.4 |
| curva | 3.2 | Trombosi Venosa del Seno Cerebrale | 0,2-1 | tabella di dati | 1.10.4-3 |
| insiemi di dati | 3.4.4 | DBI | 0,8 | ddalpha | 1.3.1.1 |
| DEoptimR | 1.0-8 | descrizione | 1.1.1 | strumenti per sviluppatori | 1.13.5 |
| dicromato | 2.0-0 | riassunto | 0.6.15 | dimRed | 0.1.0 |
| doMC | 1.3.5 | dplyr | 0.7.4 | Piano di Disaster Recovery | 0.0.3 |
| gatti | 0.3.0 | foreach | 1.4.4 | straniero | 0.8-70 |
| Gbm | 2.1.3 | ggplot2 | 2.2.1 | git2r | 0.21.0 |
| glmnet | versione 2.0-16 | colla | 1.2.0 | Gower | 0.1.2 |
| grafica | 3.4.4 | grDispositivi | 3.4.4 | griglia | 3.4.4 |
| gsubfn | 0,7 | gtable | 0.2.0 | H₂O | 3.16.0.2 |
| rifugio | 1.1.1 | HMS | 0.4.2 | httr | 1.3.1 |
| hwriter | 1.3.2 | hwriterPlus | 1.0-3 | ipred | 0.9-6 |
| Iteratori | 1.0.9 | jsonlite | 1,5 | kernlab | 0.9-25 |
| KernSmooth | 2.23-15 | Etichettatura | 0,3 | reticolo | 0.20-35 |
| lava | 1.6.1 | lazyeval | 0.2.1 | più piccolo | 0.3.3 |
| lme4 | 1.1-17 | lubridate | 1.7.3 | magrittr | 1,5 |
| mapproj | 1.2.6 | mappe | 3.3.0 | maptools | 0.9-2 |
| massa | 7.3-50 | Matrice | 1.2-14 | MatrixModels | 0.4-1 |
| memorizzare | 1.1.0 | metodi | 3.4.4 | mgcv | 1.8-24 |
| mimo | 0,5 | minqa | 1.2.4 | mnormt | 1.5-5 |
| ModelMetrics | 1.1.0 | munsell | 0.4.3 | mvtnorm | 1.0-7 |
| nlme | 3.1-137 | nloptr | 1.0.4 | nnet | 7.3-12 |
| Derivazione numerica | 2016.8-1 | openssl | 1.0.1 | openxlsx (pacchetto software per fogli di calcolo Excel) | 4.0.17 |
| parallelo | 3.4.4 | pbkrtest | 0.4-7 | pilastro | 1.2.1 |
| pkgconfig | 2.0.1 | pkgKitten | 0.1.4 | plogr | 0.2.0 |
| plyr | 1.8.4 | elogio | 1.0.0 | prettyunits | 1.0.2 |
| Proc | 1.11.0 | prodlim | 1.6.1 | prototipo | 1.0.0 |
| psiche | 1.8.3.3 | purrr | 0.2.4 | Quantreg | 5.35 |
| R.methodsS3 | 1.7.1 | R.oo | 1.21.0 | R.utils | 2.6.0 |
| R6 | 2.2.2 | randomForest | 4.6-14 | RColorBrewer | 1.1-2 |
| Rcpp (una libreria per il linguaggio di programmazione R) | 0.12.16 | RcppEigen | 0.3.3.4.0 | RcppRoll | 0.2.2 |
| RCurl | 1.95-4.10 | readr | 1.1.1 | readxl (software per leggere documenti Excel) | 1.0.0 |
| ricette | 0.1.2 | rivincita | 1.0.1 | reshape2 | 1.4.3 |
| fiume | 0.5.10 | rlang | 0.2.0 | robustbase | 0.92-8 |
| RODBC | 1.3-15 | roxygen2 | 6.0.1 | rpart | 4.1-13 |
| rprojroot | 1.3-2 | Rserve | 1.7-3 | RSQLite | 2.1.0 |
| rstudioapi | 0,7 | Scalabilità | 0.5.0 | sfsmisc | 1.1-2 |
| Sp | 1.2-7 | SparkR | 2.3.1 | SparseM | 1.77 |
| spaziale | 7.3-11 | Spline | 3.4.4 | sqldf | 0,4-11 |
| SQUAREM | 2017.10-1 | statmod | 1.4.30 | statistiche | 3.4.4 |
| statistiche4 | 3.4.4 | perizoma | 1.1.7 | stringr | 1.3.0 |
| Sopravvivenza | 2.42-3 | tcltk | 3.4.4 | Dimostrazioni di Insegnamento | 2.10 |
| testatat | 2.0.0 | Tibble | 1.4.2 | tidyr | 0.8.0 |
| tidyselect | 0.2.4 | tempoData | 3043.102 | strumenti | 3.4.4 |
| UTF8 | 1.1.3 | Utilità | 3.4.4 | viridisLite | 0.3.0 |
| vibrissa | 0,3-2 | withr | 2.1.2 | xml2 | 1.2.0 |
Librerie installate di Java e Scala (versione 2.11 del cluster Scala)
| ID del gruppo | ID dell'artefatto | Versione |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | Amazon Kinesis Client | 1.7.3 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.313 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.313 |
| com.amazonaws | aws-java-sdk-config (configurazione SDK Java per AWS) | 1.11.313 |
| com.amazonaws | aws-java-sdk-core | 1.11.313 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.313 |
| com.amazonaws | aws-java-sdk-directconnect (strumento per la connessione diretta in Java di AWS) | 1.11.313 |
| com.amazonaws | aws-java-sdk-directory | 1.11.313 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.313 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.313 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.313 |
| com.amazonaws | aws-java-sdk-efs | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.313 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.313 |
| com.amazonaws | aws-java-sdk-emr | 1.11.313 |
| com.amazonaws | AWS Java SDK per Glacier | 1.11.313 |
| com.amazonaws | aws-java-sdk-iam | 1.11.313 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.313 |
| com.amazonaws | aws-java-sdk-consultas | 1.11.313 |
| com.amazonaws | aws-java-sdk-kms | 1.11.313 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.313 |
| com.amazonaws | aws-java-sdk-logs | 1.11.313 |
| com.amazonaws | AWS Java SDK Machine Learning | 1.11.313 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.313 |
| com.amazonaws | aws-java-sdk-rds | 1.11.313 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.313 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.313 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.313 |
| com.amazonaws | aws-java-sdk-ses | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.313 |
| com.amazonaws | aws-java-sdk-sns | 1.11.313 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.313 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.313 |
| com.amazonaws | aws-java-sdk-storagegateway (SDK di AWS per Java per Storage Gateway) | 1.11.313 |
| com.amazonaws | aws-java-sdk-sts | 1.11.313 |
| com.amazonaws | aws-java-sdk-support (supporto del kit di sviluppo software Java per AWS) | 1.11.313 |
| com.amazonaws | aws-java-sdk-swf-librerie | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.313 |
| com.amazonaws | jmespath-java | 1.11.313 |
| com.carrotsearch | hppc | 0.7.2 |
| com.chuusai | shapeless_2.11 | 2.3.2 |
| com.clearspring.analytics | flusso | 2.7.0 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | dbml-local_2.11 | 0.4.1-db1-spark2.3 |
| com.databricks | dbml-local_2.11-tests | 0.4.1-db1-spark2.3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.11 | 0.4.15-9 |
| com.databricks.scalapb | scalapb-runtime_2.11 | 0.4.15-9 |
| com.mdfsoftware | kryo-tonalizzato | 3.0.3 |
| com.mdfsoftware | minlog | 1.3.0 |
| com.fasterxml | compagno di classe | 1.0.0 |
| com.fasterxml.jackson.core | Annotazioni Jackson | 2.6.7 |
| com.fasterxml.jackson.core | jackson-core | 2.6.7 |
| com.fasterxml.jackson.core | jackson-databind | 2.6.7.1 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.6.7 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-scala_2.11 | 2.6.7.1 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | nucleo | 1.1.2 |
| com.github.fommil.netlib | riferimento_nativo-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives (riferimenti a nativi Java) | 1.1 |
| com.github.fommil.netlib | sistema_nativo-java | 1.1 |
| com.github.fommil.netlib | sistema_nativo-java-natives | 1.1 |
| com.github.fommil.netlib | "netlib-native_ref-linux-x86_64-natives" | 1.1 |
| com.github.fommil.netlib | netlib-sistema_nativo-linux-x86_64-natives | 1.1 |
| com.github.luben | zstd-jni (libreria open-source per compressione con Java Native Interface) | 1.3.2-2 |
| com.github.rwl | jtransforms | 2.4.0 |
| com.google.code.findbugs | jsr305 | 2.0.1 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.guava | guaiava | 15,0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.googlecode.javaewah | JavaEWAH | 0.3.2 |
| com.h2database | h2 | 1.3.174 |
| com.jamesmurty.utils | java-xmlbuilder | 1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RILASCIO |
| com.mchange | c3p0 | 0.9.5.1 |
| com.mchange | mchange-commons-java | 0.2.10 |
| com.microsoft.azure | Azure Data Lake Store SDK | 2.2.8 |
| com.microsoft.sqlserver | mssql-jdbc | 6.2.2.jre8 |
| com.ning | compress-lzf (algoritmo di compressione) | 1.0.3 |
| com.sun.mail | javax.mail (package Java per la gestione della posta elettronica) | 1.5.2 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.11 | 0,3 |
| com.twitter | chill-java | 0.8.4 |
| com.twitter | chill_2.11 | 0.8.4 |
| com.twitter | parquet-hadoop-bundle | 1.6.0 |
| com.twitter | util-app_2.11 | 6.23.0 |
| com.twitter | util-core_2.11 | 6.23.0 |
| com.twitter | util-jvm_2.11 | 6.23.0 |
| com.typesafe | configurazione | 1.2.1 |
| com.typesafe.scala-logging | scala-logging-api_2.11 (API di logging per Scala v2.11) | 2.1.2 |
| com.typesafe.scala-logging | scala-logging-slf4j_2.11 | 2.1.2 |
| com.univocità | univocità-parser | 2.5.9 |
| com.vlkan | FlatBuffers | 1.2.0-3f79e055 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.7.0 |
| commons-beanutils | commons-beanutils-core | 1.8.0 |
| commons-cli | commons-cli | 1,2 |
| commons-codec (libreria per la codifica comune) | commons-codec (libreria per la codifica comune) | 1.10 |
| collezioni-comuni | collezioni-comuni | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2.6 |
| commons-logging (no translation needed) | commons-logging (no translation needed) | 1.1.3 |
| commons-net | commons-net | 2.2 |
| commons-pool | commons-pool | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.7 |
| io.airlift | compressore d'aria | 0,8 |
| io.dropwizard.metrics | nucleo delle metriche | 3.1.5 |
| io.dropwizard.metrics | metrics-ganglia | 3.1.5 |
| io.dropwizard.metrics | metrics-graphite | 3.1.5 |
| io.dropwizard.metrics | metriche-controlli di salute | 3.1.5 |
| io.dropwizard.metrics | metrics-jetty9 | 3.1.5 |
| io.dropwizard.metrics | metrics-json (Specificare ulteriormente se necessario a seconda del contesto) | 3.1.5 |
| io.dropwizard.metrics | metrics-jvm | 3.1.5 |
| io.dropwizard.metrics | metrics-log4j | 3.1.5 |
| io.dropwizard.metrics | metriche-servlet | 3.1.5 |
| io.netty | Netty | 3.9.9.Final |
| io.netty | netty-all | 4.1.17.Final |
| io.prometheus | simpleclient | 0.0.16 |
| io.prometheus | sempliceclient_comune | 0.0.16 |
| io.prometheus | simpleclient_dropwizard | 0.0.16 |
| io.prometheus | simpleclient_servlet | 0.0.16 |
| io.prometheus.jmx | agente di raccolta | 0,7 |
| javax.activation | attivazione | 1.1.1 |
| javax.annotation | javax.annotation-api | 1,2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | Java Transaction API (JTA) | 1.1 |
| javax.validation | validation-api | 1.1.0.Final |
| javax.ws.rs | javax.ws.rs-api | 2.0.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.flusso | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.11 |
| joda-time | joda-time | 2.9.3 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| net.idromatico | eigenbase-properties | 1.1.5 |
| net.iharder | base64 | 2.3.8 |
| net.java.dev.jets3t | jets3t | 0.9.4 |
| net.razorvine | pirolite | 4.13 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv (formato CSV avanzato) | 2.2.0 |
| net.snowflake | snowflake-jdbc | 3.6.3 |
| net.snowflake | spark-snowflake_2.11 | 2.4.1 |
| net.sourceforge.f2j | arpack_combinato_tutto | 0,1 |
| org.acplt | oncrpc | 1.0.7 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.4 |
| org.antlr | antlr4-runtime | 4.7 |
| org.antlr | modello di stringa | 3.2.1 |
| org.apache.ant | formica | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | lanciatore di ant | 1.9.2 |
| org.apache.arrow | formato freccia | 0.8.0 |
| org.apache.arrow | memoria a freccia | 0.8.0 |
| org.apache.arrow | freccia-vettore | 0.8.0 |
| org.apache.avro | Avro | 1.7.7 |
| org.apache.avro | avro-ipc | 1.7.7 |
| org.apache.avro | Test di avro-ipc | 1.7.7 |
| org.apache.avro | avro-mapred-hadoop2 | 1.7.7 |
| org.apache.calcite | Calcite-Avatica | Versione 1.2.0-in incubazione |
| org.apache.calcite | nucleo di calcite | Versione 1.2.0-in incubazione |
| org.apache.calcite | calcite-linq4j | Versione 1.2.0-in incubazione |
| org.apache.commons | commons-compress | 1.4.1 |
| org.apache.commons | commons-crypto | 1.0.0 |
| org.apache.commons | commons-lang3 | 3.5 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.curator | curatore-cliente | 2.7.1 |
| org.apache.curator | Curator Framework | 2.7.1 |
| org.apache.curator | ricette curatori | 2.7.1 |
| org.apache.derby | derby sportivo | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-annotazioni | 2.7.3 |
| org.apache.hadoop | hadoop-auth | 2.7.3 |
| org.apache.hadoop | hadoop-cliente | 2.7.3 |
| org.apache.hadoop | hadoop-common | 2.7.3 |
| org.apache.hadoop | hadoop-hdfs | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-common (cliente comune di Hadoop MapReduce) | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.3 |
| org.apache.htrace | htrace-core | 3.1.0-incubazione |
| org.apache.httpcomponents | httpclient | 4.5.4 |
| org.apache.httpcomponents | httpcore | 4.4.8 |
| org.apache.ivy | Edera | 2.4.0 |
| org.apache.orc | orc-core-nohive | 1.4.3 |
| org.apache.orc | orc-mapreduce-nohive | 1.4.3 |
| org.apache.parquet | Parquet Column | 1.8.3-databricks2 |
| org.apache.parquet | parquet-comune | 1.8.3-databricks2 |
| org.apache.parquet | formato di codifica parquet | 1.8.3-databricks2 |
| org.apache.parquet | formato parquet | 2.3.1 |
| org.apache.parquet | parquet-hadoop | 1.8.3-databricks2 |
| org.apache.parquet | parquet-jackson | 1.8.3-databricks2 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.9.3 |
| org.apache.xbean | xbean-asm5-shaded | 4.4 |
| org.apache.zookeeper | custode dello zoo | 3.4.6 |
| org.bouncycastle | bcprov-jdk15on | 1,58 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | Commons-Compiler | 3.0.8 |
| org.codehaus.janino | janino | 3.0.8 |
| org.datanucleus | datanucleus-api-jdo | 3.2.6 |
| org.datanucleus | datanucleus-core | 3.2.10 |
| org.datanucleus | datanucleus-rdbms | 3.2.9 |
| org.eclipse.jetty | jetty-client | 9.3.20.v20170531 |
| org.eclipse.jetty | continuazione di jetty | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-http | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-io | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-jndi | 9.3.20.v20170531 |
| org.eclipse.jetty | Jetty Plus | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-proxy | 9.3.20.v20170531 |
| org.eclipse.jetty | sicurezza del molo | 9.3.20.v20170531 |
| org.eclipse.jetty | Jetty Server | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-servlet | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-servlets | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-util | 9.3.20.v20170531 |
| org.eclipse.jetty | applicazione web di Jetty | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-xml | 9.3.20.v20170531 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-localizzatore | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-utils | 2.4.0-b34 |
| org.glassfish.hk2 | localizzatore di risorse OSGi | 1.0.1 |
| org.glassfish.hk2.external | aopalliance-repackaged (riconfezionato) | 2.4.0-b34 |
| org.glassfish.hk2.external | javax.inject | 2.4.0-b34 |
| org.glassfish.jersey.bundles.repackaged | maglia-guava | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet (servlet del contenitore Jersey) | 2.22.2 |
| org.glassfish.jersey.containers | modulo-nucleo-servlet-contenitore-jersey (if a translation is required as per the context) | 2.22.2 |
| org.glassfish.jersey.core | jersey-client | 2.22.2 |
| org.glassfish.jersey.core | jersey-comune | 2.22.2 |
| org.glassfish.jersey.core | Jersey-server | 2.22.2 |
| org.glassfish.jersey.media | jersey-media-jaxb (libreria per la gestione dei dati multimediali in Jersey usando JAXB) | 2.22.2 |
| org.hibernate | validatore di Hibernate | 5.1.1.Final |
| org.iq80.snappy | vivace | 0.2 |
| org.javassist | javassist | 3.18.1-GA |
| org.jboss.logging | jboss-logging (strumento di registrazione per JBoss) | 3.1.3.GA |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.11 | 3.2.11 |
| org.json4s | json4s-core_2.11 | 3.2.11 |
| org.json4s | json4s-jackson_2.11 | 3.2.11 |
| org.lz4 | lz4-java | 1.4.0 |
| org.mariadb.jdbc | mariadb-java-client - Libreria Java per MariaDB | 2.1.2 |
| org.mockito | mockito-all | 1.9.5 |
| org.objenesis | objenesis | 2.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.5.11 |
| org.rocksdb | rocksdbjni | 5.2.1 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.11 | 2.11.8 |
| org.scala-lang | scala-library_2.11 | 2.11.8 |
| org.scala-lang | scala-reflect_2.11 | 2.11.8 |
| org.scala-lang | scalap_2.11 | 2.11.8 |
| org.scala-lang.modules | scala-parser-combinators_2.11 | 1.0.2 |
| org.scala-lang.modules | scala-xml_2.11 | 1.0.5 |
| org.scala-sbt | test-interfaccia | 1.0 |
| org.scalacheck | scalacheck_2.11 | 1.12.5 |
| org.scalanlp | breeze-macros_2.11 | 0.13.2 |
| org.scalanlp | breeze_2.11 | 0.13.2 |
| org.scalatest | scalatest_2.11 | 2.2.6 |
| org.slf4j | jcl-over-slf4j | 1.7.16 |
| org.slf4j | jul-to-slf4j | 1.7.16 |
| org.slf4j | slf4j-api | 1.7.16 |
| org.slf4j | slf4j-log4j12 | 1.7.16 |
| org.spark-project.hive | hive-beeline | 1.2.1.spark2 |
| org.spark-project.hive | hive-cli | 1.2.1.spark2 |
| org.spark-project.hive | hive-exec | 1.2.1.spark2 |
| org.spark-project.hive | Hive-JDBC | 1.2.1.spark2 |
| org.spark-project.hive | Hive-Metastore | 1.2.1.spark2 |
| org.spark-project.spark | inutilizzato | 1.0.0 |
| org.spire-math | spire-macros_2.11 | 0.13.0 |
| org.spire-math | spire_2.11 | 0.13.0 |
| org.springframework | Spring Core | 4.1.4.RILASCIO |
| org.springframework | test di primavera | 4.1.4.RILASCIO |
| org.cortanaani | xz | 1.0 |
| org.typelevel | macchinista_2.11 | 0.6.1 |
| org.typelevel | macro-compat_2.11 | 1.1.1 |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.2.6 |
| org.yaml | snakeyaml | 1,16 |
| oro | oro | 2.0.8 |
| software.amazon.ion | ion-java | 1.0.2 |
| Stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0,52 |