Nota
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare ad accedere o modificare le directory.
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare a modificare le directory.
Nota
Il supporto per questa versione di Databricks Runtime è terminato. Per la data di fine del supporto, vedere Cronologia di fine del supporto. Per tutte le versioni supportate di Databricks Runtime, vedere Versioni e compatibilità delle note di rilascio di Databricks Runtime.
Databricks ha rilasciato questa versione a novembre 2018.
Le note sulla versione seguenti forniscono informazioni su Databricks Runtime 5.0, basate su Apache Spark.
Nuove funzionalità
- Delta Lake
- Le sottoquery sono ora supportate nella clausola
WHEREa supporto dei comandiDELETEeUPDATE. - Nuova implementazione scalabile per
MERGEcomandi.- Nessun limite al numero di inserimenti e aggiornamenti.
- Può essere usato per le interrogazioni di tipo SCD 1 e SCD 2.
- Si può eseguire un'operazione di aggiornamento/inserimento (upsert) dalle query di streaming in modalità "aggiornamento", ad esempio scrivendo l'output dell'aggregazione di streaming in una tabella Delta. Vedere l'esempio Scrittura di aggregazioni di streaming in Databricks Delta tramite MERGE e foreachBatch notebook.
- Le sottoquery sono ora supportate nella clausola
- Stream strutturato
- Origine di streaming basata sulla notifica dei file nello storage Blob di Azure. Ciò può ridurre significativamente i costi di elencazione quando si esegue una query di Structured Streaming sui file nell'archiviazione BLOB di Azure. Invece di usare l'elenco per trovare nuovi file per l'elaborazione, questa origine di streaming può leggere direttamente le notifiche degli eventi di file per trovare nuovi file. Consulta Origine file di Archiviazione BLOB di Azure con Archiviazione code di Azure (legacy).
- Aggiunta del supporto per TensorBoard per il monitoraggio dei processi di Deep Learning. Vedere TensorBoard.
Miglioramenti
- Delta Lake
-
OPTIMIZEprestazioni e stabilità.- Il
OPTIMIZEcomando esegue il commit dei batch il prima possibile, anziché alla fine. - Riduzione del numero predefinito di thread
OPTIMIZEeseguiti in parallelo. Si tratta di un aumento rigoroso delle prestazioni per le tabelle di grandi dimensioni. - Accelerate le scritture (
OPTIMIZE) evitando un ordinamento inutile dei dati in fase di scrittura su una tabella partizionata. - Accelerato
OPTIMIZE ZORDER BYrendendolo incrementale. Questo significa che il comando evita ora di riscrivere i file di dati già ordinati dalla Z in base alle stesse colonne. Consulta Salto dei dati per Delta Lake.
- Il
- Isolamento dello snapshot durante l'esecuzione di query sulle tabelle Delta. Qualsiasi query con più riferimenti a una tabella Delta (ad esempio, self-join) legge dallo stesso snapshot della tabella anche in caso di aggiornamenti simultanei alla tabella.
- Miglioramento della latenza delle query durante la lettura da tabelle Delta di piccole dimensioni (< 2000 file) memorizzando nella cache i metadati nel driver.
-
- Miglioramento delle prestazioni di regressione logistica MLlib.
- Miglioramento delle prestazioni dell'algoritmo albero MLlib.
- Aggiornamento di diverse librerie Java e Scala. Consulta le Librerie Java e Scala installate (versione del cluster Scala 2.11).
- Aggiornamento di alcune librerie Python installate:
- pip: da 10.0.1 a 18.0
- Aggiornamento di setuptools: da 39.2.0 a 40.4.1
- tornado: da 5.0.2 a 5.1.1
- Aggiornamento di diverse librerie R installate. Consulta le Librerie installate di R.
Correzioni di bug
- Delta Lake
- Le configurazioni impostate in SQL conf ora si applicano correttamente alle operazioni Delta Lake caricate per la prima volta in un notebook diverso.
- Correzione di un bug nel comando
DELETEche eliminerebbe erroneamente le righe in cui la condizione restituisce Null. - I flussi che richiedono più di due giorni per elaborare il batch iniziale( ovvero i dati presenti nella tabella all'avvio del flusso) non hanno più esito negativo con
FileNotFoundExceptionquando si tenta di eseguire il ripristino da un checkpoint. - Evita una race condition che porta a
NoClassDefErrordurante il caricamento di una nuova tabella. - Correzione per
VACUUMdove l'operazione potrebbe non riuscire con un AssertionError che indica: "Non dovrebbero esserci percorsi assoluti per l'eliminazione qui". - Correzione del
SHOW CREATE TABLEcomando per non includere le proprietà di archiviazione generate da Hive.
- Gli executor che generano molti
NoClassDefFoundErrorerrori per le classi Spark interne vengono ora riavviati automaticamente per risolvere il problema.
Problemi noti
- I nomi di colonna specificati nell'opzione
replaceWhereper la modalitàoverwritein Delta Lake fanno distinzione tra maiuscole e minuscole anche se la distinzione tra maiuscole e minuscole è disabilitata (che è l'impostazione predefinita). - Il connettore Snowflake per Databricks Runtime 5.0 è disponibile in anteprima.
- Se si annulla una cella di streaming in esecuzione in un notebook collegato a un cluster Databricks Runtime 5.0, non è possibile eseguire alcun comando successivo nel notebook a meno che non si cancella lo stato del notebook o non si riavvia il cluster. Per una soluzione alternativa, vedere la Knowledge Base.
Apache Spark
Databricks Runtime 5.0 include Apache Spark 2.4.0.
Core e Spark SQL
Nota
Questo articolo contiene riferimenti al termine slave, che Azure Databricks non usa. Quando il termine verrà rimosso dal software, verrà rimosso anche dall'articolo.
Funzionalità principali
- Modalità di esecuzione barriera: [SPARK-24374] Supporta la modalità di esecuzione barriera nello schedulatore per integrarsi meglio con i framework di Deep Learning.
- Supporto di Scala 2.12: [SPARK-14220] Aggiungere il supporto sperimentale di Scala 2.12. È ora possibile compilare Spark con Scala 2.12 e scrivere applicazioni Spark in Scala 2.12.
- Funzioni di ordine superiore: [SPARK-23899] Aggiungere molte nuove funzioni predefinite, incluse le funzioni di ordine elevato, per semplificare l'uso di tipi di dati complessi. Vedere Funzioni predefinite di Apache Spark.
- Origine dati Avro integrata: [SPARK-24768] Pacchetto Spark-Avro integrato con supporto dei tipi logici, migliori prestazioni e una migliore usabilità.
api
- [SPARK-24035] sintassi SQL per Pivot
- [SPARK-24940] Suggerimenti per il coalesce e la ripartizione nelle query SQL
- [SPARK-19602] Supportare la risoluzione dei nomi di colonna completamente qualificati
- [SPARK-21274] Implementare EXCEPT ALL e INTERSECT ALL
Prestazioni e stabilità
- [SPARK-16406] La risoluzione dei riferimenti per un numero elevato di colonne dovrebbe essere più veloce
- [SPARK-23486] Memorizzare nella cache il nome della funzione dal catalogo esterno per lookupFunctions
- [SPARK-23803] Supporto della potatura dei bucket
- [SPARK-24802] Esclusione delle regole di ottimizzazione
- [SPARK-4502] eliminazione dello schema annidata per le tabelle Parquet
- [SPARK-24296] Supporto della replica di blocchi di dimensioni superiori a 2 GB
- [SPARK-24307] Supporto per l'invio di messaggi da oltre 2 GB dalla memoria
- [SPARK-23243] Shuffle+Repartition in un RDD potrebbe condurre a risposte errate
- [SPARK-25181] Limitato le dimensioni dei pool di thread master e slave BlockManager, riducendo il sovraccarico della memoria quando la rete è lenta
Connettori
- [SPARK-23972] Aggiornare Parquet dalla versione 1.8.2 alla versione 1.10.0
- [SPARK-25419] Miglioramento del pushdown dei predicati Parquet
- [SPARK-23456] Il lettore ORC nativo è attivato per impostazione predefinita
- [SPARK-22279] Usare il lettore ORC nativo per leggere le tabelle SerDe Hive per impostazione predefinita
- [SPARK-21783] Abilitare il filtraggio ORC come impostazione predefinita
- [SPARK-24959] Velocizzare il conteggio() per JSON e CSV
- [SPARK-24244] Analisi delle sole colonne necessarie per il parser CSV
- [SPARK-23786] convalida dello schema CSV: i nomi delle colonne non vengono controllati
- [SPARK-24423] Query di opzione per specificare la query da leggere da JDBC
- [SPARK-22814] Supporto per data/timestamp nella colonna di partizione JDBC
- [SPARK-24771] Update Avro dalla versione 1.7.7 alla versione 1.8
PySpark
- [SPARK-24215] Implementare la valutazione anticipata per le API DataFrame
- [SPARK-22274] - [SPARK-22239] Funzioni di aggregazione definite dall'utente con pandas udf
- [SPARK-24396] Aggiungere il ForeachWriter per lo Structured Streaming in Python
- [SPARK-23874] Aggiornare Apache Arrow alla versione 0.10.0
- [SPARK-25004] Aggiungi il limite di memoria di spark.executor.pyspark.
- [SPARK-23030] Usare il formato del flusso Arrow per la creazione e la raccolta di dataframe pandas
- [SPARK-24624] Supporto per la combinazione di UDF Python e UDF pandas scalari
Altre modifiche rilevanti
- [SPARK-24596] Invalidazione della cache non a cascata
- [SPARK-23880] Non attivare alcun processo per la memorizzazione nella cache dei dati
- [SPARK-23510][SPARK-24312] Supporto del metastore Hive 2.2 e Hive 2.3
- [SPARK-23711] Aggiungere il generatore di fallback per UnsafeProjection
- [SPARK-24626] Parallelizzare il calcolo della dimensione del luogo nel comando Analizza Tabella
Streaming Strutturato
Funzionalità principali
- [SPARK-24565] Espone le righe di output di ogni microbatch come dataframe usando foreachBatch (Python, Scala e Java)
- [SPARK-24396] Aggiunto l'API Python per foreach e ForeachWriter
- [SPARK-25005] Supportare "kafka.isolation.level" per leggere solo i record confermati provenienti dai topic di Kafka scritti impiegando un producer transazionale.
Altre modifiche rilevanti
- [SPARK-24662] Supportare l'operatore LIMIT per i flussi in modalità Append o Complete
- [SPARK-24763] Rimuovere i dati delle chiavi ridondanti dal valore nell'aggregazione di streaming
- [SPARK-24156] Generazione più rapida dei risultati di output e/o pulizia dello stato con operazioni con stato (mapGroupsWithState, join tra flussi, aggregazione di streaming, dropDuplicates di streaming) quando non sono presenti dati nel flusso di input.
- [SPARK-24730] Supporto per la scelta tra watermark minimo o massimo quando sono presenti più flussi di input in una query
- [SPARK-25399] Corretto un bug per cui il riutilizzo dei thread di esecuzione dall'elaborazione continua nello streaming microbatch potrebbe compromettere la correttezza.
- [SPARK-18057] Aggiornamento della versione del client Kafka dalla versione 0.10.0.1 alla versione 2.0.0
MLlib
Funzionalità principali
- [SPARK-22666] Origine dati Spark per il formato di immagine
Altre modifiche rilevanti
- [SPARK-22119][SPARK-23412][SPARK-23217] Aggiungere misura di distanza coseno al valutatore di KMeans/BisectingKMeans/Clustering
- [SPARK-10697] Calcolo del lift nel data mining delle regole di associazione
- [SPARK-14682][SPARK-24231] Fornire il metodo evaluateEachIteration o equivalente per i GBT di Spark.ml
- [SPARK-7132][SPARK-24333] Aggiungi adattamento con set di convalida a spark.ml GBT
- [SPARK-15784][SPARK-19826] Aggiungere Power Iteration Clustering al spark.ml
- [SPARK-15064] Supporto delle impostazioni locali in StopWordsRemover
- [SPARK-21741] API Python per il generatore di riepilogo multivariato basato su dataframe
- [SPARK-21898][SPARK-23751] Parità di funzionalità per KolmogorovSmirnovTest in MLlib
- [SPARK-10884] Supportare la stima su un'istanza singola per i modelli correlati alla regressione e alla classificazione
- [SPARK-23783] Aggiungere un nuovo tratto di esportazione generico per le pipeline di Machine Learning
- [SPARK-11239] Esportazione PMML per la regressione lineare ML
SparkR
- [SPARK-25393] Aggiunta di una nuova funzione from_csv()
- [SPARK-21291] aggiungere l'API R partitionBy nel dataframe
- [SPARK-25007] Aggiungere array_intersect/array_except/array_union/shuffle a SparkR
- [SPARK-25234] evitare l'overflow intero nella funzione parallelize
- [SPARK-25117] Aggiungere il supporto EXCEPT ALL e INTERSECT ALL in R
- [SPARK-24537] Aggiungere array_remove / array_zip / map_from_arrays / array_distinct
- [SPARK-24187] Aggiungere array_join funzione a SparkR
- [SPARK-24331] Aggiunta di arrays_overlap, array_repeat, map_entries a SparkR
- [SPARK-24198] Aggiunta della funzione slice a SparkR
- [SPARK-24197] Aggiunta della funzione array_sort a SparkR
- [SPARK-24185] aggiungere una funzione appiattire a SparkR
- [SPARK-24069] Aggiungere funzioni di array_min/array_max
- [SPARK-24054] Aggiungere funzioni di array_position/element_at
- [SPARK-23770] Aggiungere l'API RepartitionByRange in SparkR
GraphX
- [SPARK-25268] Run Parallel Personalized PageRank genera un'eccezione di serializzazione
Elementi deprecati
- [SPARK-23451] Deprecare KMeans computeCost
- [SPARK-25345] Deprecare le API readImages da ImageSchema
Modifiche del comportamento
- [SPARK-23549] Effettua il cast a timestamp quando si confronta il timestamp con la data
- [SPARK-24324] pandas UDF con mappa raggruppata dovrebbe assegnare le colonne dei risultati per nome
- [SPARK-25088] Aggiornamenti predefiniti e della documentazione di Rest Server
- [SPARK-23425] il caricamento dei dati per il percorso del file HDFS con caratteri jolly non funziona correttamente
- [SPARK-23173] from_json può produrre valori nulli per i campi contrassegnati come non annullabili
- [SPARK-24966] Implementare regole di precedenza per le operazioni sui set
- [SPARK-25708]HAVING senza GROUP BY dovrebbe essere un aggregato globale
- [SPARK-24341] Gestire correttamente la sottoquery con valori multipli IN
- [SPARK-19724] Creare una tabella gestita con un percorso predefinito esistente dovrebbe generare un'eccezione
Problemi noti
- [SPARK-25793] Bug nel caricamento del modello in BisectingKMeans
- [SPARK-25271] CTAS con tabelle Hive Parquet devono sfruttare la sorgente Parquet nativa
- [SPARK-24935] Problema con l'esecuzione di Hive UDAF da Spark 2.2 e versioni successive
Aggiornamenti della manutenzione
Vedere Aggiornamenti della manutenzione di Databricks Runtime 5.0.
Ambiente di sistema
- Sistema operativo: Ubuntu 16.04.5 LTS
- Java: 1.8.0_162
- Scala: 2.11.8
- Python: 2.7.12 per cluster Python 2 e 3.5.2 per cluster Python 3.
- R: R versione 3.4.4 (2018-03-15)
-
Cluster GPU: sono installate le librerie GPU NVIDIA seguenti:
- Conducente Tesla 375,66
- CUDA 9.0
- cuDNN 7.0
Nota
Sebbene Scala 2.12 sia supportato in Apache Spark 2.4, non è supportato in Databricks Runtime 5.0.
Librerie Python installate
| Biblioteca | Versione | Biblioteca | Versione | Biblioteca | Versione |
|---|---|---|---|---|---|
| ansi2html (strumento per convertire ANSI in HTML) | 1.1.1 | argparse | 1.2.1 | backports-abc | 0,5 |
| bot | 2.42.0 | boto3 | 1.4.1 | botocore | 1.4.70 |
| brewer2mpl | 1.4.1 | certificato | 2016.2.28 | cffi | 1.7.0 |
| chardet | 2.3.0 | colorama | 0.3.7 | configobj | 5.0.6 |
| criptografia | 1,5 | ciclista | 0.10.0 | Cython, un linguaggio di programmazione | 0.24.1 |
| decoratore | 4.0.10 | docutils | 0.14 | enum34 | 1.1.6 |
| et-xmlfile | 1.0.1 | freetype-py | 1.0.2 | funcsig | 1.0.2 |
| fusepy | 2.0.4 | futures finanziari | 3.2.0 | ggplot | 0.6.8 |
| html5lib | 0,999 | IDNA | 2.1 | indirizzo IP | 1.0.16 |
| ipython | 2.2.0 | ipython-genutils | 0.1.0 | jdcal | 1,2 |
| Jinja2 | 2.8 | jmespath | 0.9.0 | llvmlite | 0.13.0 |
| lxml | 3.6.4 | MarkupSafe | 0,23 | matplotlib | 1.5.3 |
| mpld3 | 0.2 | msgpack-python | 0.4.7 | ndg-httpsclient | 0.3.3 |
| nmbalo | 0.28.1 | numpy | 1.11.1 | openpyxl | 2.3.2 |
| Panda | 0.19.2 | pathlib2 | 2.1.0 | capro espiatorio | 0.4.1 |
| pexpect | 4.0.1 | pickleshare (libreria di software Python) | 0.7.4 | Cuscino | 3.3.1 |
| seme | 18,0 | filo | 3.9 | prompt-toolkit | 1.0.7 |
| psycopg2 | 2.6.2 | ptyprocess | 0.5.1 | py4j | 0.10.3 |
| pyarrow | 0.8.0 | pyasn1 | 0.1.9 | pycparser (un parser scritto in Python) | 2.14 |
| Pygments | 2.1.3 | PyGObject | 3.20.0 | pyOpenSSL | 16.0.0 |
| pyparsing | 2.2.0 | pypng | 0.0.18 | Pitone | 2.7.12 |
| python-dateutil (libreria Python per la gestione delle date) | 2.5.3 | python-geohash | 0.8.5 | pytz | 1.6.2016 |
| richieste | 2.11.1 | s3transfer | 0.1.9 | scikit-learn | 0.18.1 |
| scipy | 0.18.1 | strofinare | 0,32 | Seaborn | 0.7.1 |
| setuptools (pacchetto Python per gestire la configurazione e la distribuzione) | 40.4.1 | simplejson | 3.8.2 | simples3 | 1.0 |
| singledispatch | 3.4.0.3 | sei | 1.10.0 | statsmodels | 0.6.1 |
| tornado | 5.1.1 | traitlets (una libreria per la configurazione dei parametri nei programmi Python) | 4.3.0 | urllib3 | 1.19.1 |
| virtualenv | 15.0.1 | wcwidth (funzione per determinare la larghezza dei caratteri) | 0.1.7 | ruota | 0.31.1 |
| wsgiref | 0.1.2 |
Le librerie R installate
| Biblioteca | Versione | Biblioteca | Versione | Biblioteca | Versione |
|---|---|---|---|---|---|
| abind | 1.4-5 | asserireChe | 0.2.0 | retroporti | 1.1.2 |
| base | 3.4.4 | base64enc | 0.1-3 | BH | 1.66.0-1 |
| bindr | 0.1.1 | bindrcpp | 0.2.2 | pezzo | 1.1-14 |
| bit 64 | 0.9-7 | bitops | 1.0-6 | BLOB | 1.1.1 |
| stivale | 1.3-20 | infuso | 1.0-6 | Scopa | 0.5.0 |
| chiamante | 3.0.0 | auto | 3.0-2 | DatiAuto | 3.0-1 |
| Interpunzione | 6.0-80 | cellranger | 1.1.0 | cronologia | 2.3-52 |
| classe | 7.3-14 | CLI | 1.0.0 | gruppo | 2.0.7-1 |
| strumenti per la codifica | 0.2-15 | spazio colore | 1.3-2 | segno comune | 1,5 |
| compilatore | 3.4.4 | pastello | 1.3.4 | curva | 3.2 |
| Trombosi Venosa del Seno Cerebrale | 0.2-2 | tabella di dati | 1.11.4 | insiemi di dati | 3.4.4 |
| DBI | 1.0.0 | ddalpha | 1.3.4 | DEoptimR | 1.0-8 |
| descrizione | 1.2.0 | strumenti per sviluppatori | 1.13.6 | sunto | 0.6.16 |
| dimRed | 0.1.0 | doMC | 1.3.5 | dplyr | 0.7.6 |
| Piano di Disaster Recovery | 0.0.3 | fan | 0.3.0 | galeotti | 0.3.0 |
| foreach | 1.4.4 | straniero | 0.8-70 | Gbm | 2.1.3 |
| geometria | 0.3-6 | ggplot2 | 3.0.0 | git2r | 0.23.0 |
| glmnet | versione 2.0-16 | colla | 1.3.0 | Gower | 0.1.2 |
| grafica | 3.4.4 | grDispositivi | 3.4.4 | griglia | 3.4.4 |
| gsubfn | 0,7 | gtable | 0.2.0 | acqua | 3.20.0.2 |
| rifugio | 1.1.2 | HMS | 0.4.2 | httr | 1.3.1 |
| hwriter | 1.3.2 | hwriterPlus | 1.0-3 | ipred | 0.9-7 |
| Iteratori | 1.0.10 | jsonlite | 1,5 | kernlab | 0.9-27 |
| KernSmooth | 2.23-15 | Etichettatura | 0,3 | reticolo | 0.20-35 |
| lava | 1.6.3 | lazyeval | 0.2.1 | più piccolo | 0.3.4 |
| lme4 | 1.1-18-1 | lubridate | 1.7.4 | magia | 1.5-8 |
| magrittr | 1,5 | mapproj | 1.2.6 | mappe | 3.3.0 |
| maptools | 0.9-3 | Massa | 7.3-50 | Matrice | 1.2-14 |
| MatrixModels | 0.4-1 | memorizzare | 1.1.0 | metodi | 3.4.4 |
| mgcv | 1.8-24 | mimo | 0,5 | minqa | 1.2.4 |
| ModelMetrics | 1.2.0 | munsell | 0.5.0 | mvtnorm | 1.0-8 |
| nlme | 3.1-137 | nloptr | 1.0.4 | nnet | 7.3-12 |
| Derivazione numerica | 2016.8-1 | openssl | 1.0.2 | openxlsx (pacchetto software per fogli di calcolo Excel) | 4.1.0 |
| parallelo | 3.4.4 | pbkrtest | 0.4-7 | Pilastro | 1.3.0 |
| pkgbuild | 1.0.0 | pkgconfig | 2.0.2 | pkgKitten | 0.1.4 |
| pkgload | 1.0.0 | plogr | 0.2.0 | per favore | 2.7-0 |
| plyr | 1.8.4 | elogio | 1.0.0 | prettyunits | 1.0.2 |
| Proc | 1.12.1 | processx | 3.2.0 | prodlim | 2018.04.18 |
| prototipo | 1.0.0 | P.S. | 1.1.0 | purrr | 0.2.5 |
| Quantreg | 5.36 | R.methodsS3 | 1.7.1 | R.oo | 1.22.0 |
| R.utils | 2.7.0 | R6 | 2.2.2 | randomForest | 4.6-14 |
| RColorBrewer | 1.1-2 | Rcpp (una libreria per il linguaggio di programmazione R) | 0.12.18 | RcppEigen | 0.3.3.4.0 |
| RcppRoll | 0.3.0 | RCurl | 1.95-4.11 | readr | 1.1.1 |
| readxl (software per leggere documenti Excel) | 1.1.0 | ricette | 0.1.3 | rivincita | 1.0.1 |
| reshape2 | 1.4.3 | fiume | 0.5.10 | rlang | 0.2.2 |
| robustbase | 0.93-2 | RODBC | 1.3-15 | roxygen2 | 6.1.0 |
| rpart | 4.1-13 | rprojroot | 1.3-2 | Rserve | 1.7-3 |
| RSQLite | 2.1.1 | rstudioapi | 0,7 | Scalabilità | 1.0.0 |
| sfsmisc | 1.1-2 | Sp | 1.3-1 | SparkR | 2.4.0 |
| SparseM | 1.77 | spaziale | 7.3-11 | Spline | 3.4.4 |
| sqldf | 0,4-11 | SQUAREM | 2017.10-1 | statmod | 1.4.30 |
| statistiche | 3.4.4 | statistiche4 | 3.4.4 | perizoma | 1.2.4 |
| stringr | 1.3.1 | Sopravvivenza | 2.42-6 | tcltk | 3.4.4 |
| Dimostrazioni di Insegnamento | 2.10 | testatat | 2.0.0 | Tibble | 1.4.2 |
| tidyr | 0.8.1 | tidyselect | 0.2.4 | orarioData | 3043.102 |
| strumenti | 3.4.4 | utf8 | 1.1.4 | Utilità | 3.4.4 |
| viridisLite | 0.3.0 | baffo / vibrissa | 0,3-2 | withr | 2.1.2 |
| xml2 | 1.2.0 | formato zip | 1.0.0 |
Librerie installate di Java e Scala (versione 2.11 del cluster Scala)
| ID gruppo | ID dell'artefatto | Versione |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | Amazon Kinesis Client | 1.8.10 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.313 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.313 |
| com.amazonaws | aws-java-sdk-config (configurazione SDK Java per AWS) | 1.11.313 |
| com.amazonaws | aws-java-sdk-core | 1.11.313 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.313 |
| com.amazonaws | aws-java-sdk-directconnect (strumento per la connessione diretta in Java di AWS) | 1.11.313 |
| com.amazonaws | aws-java-sdk-directory | 1.11.313 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.313 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.313 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.313 |
| com.amazonaws | aws-java-sdk-efs | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.313 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.313 |
| com.amazonaws | aws-java-sdk-emr | 1.11.313 |
| com.amazonaws | AWS Java SDK per Glacier | 1.11.313 |
| com.amazonaws | aws-java-sdk-iam | 1.11.313 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.313 |
| com.amazonaws | aws-java-sdk-consultas | 1.11.313 |
| com.amazonaws | aws-java-sdk-kms | 1.11.313 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.313 |
| com.amazonaws | aws-java-sdk-logs | 1.11.313 |
| com.amazonaws | AWS Java SDK Machine Learning | 1.11.313 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.313 |
| com.amazonaws | aws-java-sdk-rds | 1.11.313 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.313 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.313 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.313 |
| com.amazonaws | aws-java-sdk-ses | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.313 |
| com.amazonaws | aws-java-sdk-sns | 1.11.313 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.313 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.313 |
| com.amazonaws | aws-java-sdk-storagegateway (SDK di AWS per Java per Storage Gateway) | 1.11.313 |
| com.amazonaws | aws-java-sdk-sts | 1.11.313 |
| com.amazonaws | aws-java-sdk-support (supporto del kit di sviluppo software Java per AWS) | 1.11.313 |
| com.amazonaws | Librerie aws-java-sdk-swf | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.313 |
| com.amazonaws | jmespath-java | 1.11.313 |
| com.carrotsearch | hppc | 0.7.2 |
| com.chuusai | shapeless_2.11 | 2.3.2 |
| com.clearspring.analytics | flusso | 2.7.0 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | dbml-local_2.11 | 0.5.0-db7-spark2.4 |
| com.databricks | dbml-local_2.11-tests | 0.5.0-db7-spark2.4 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.11 | 0.4.15-9 |
| com.databricks.scalapb | scalapb-runtime_2.11 | 0.4.15-9 |
| com.mdfsoftware | ombreggiato criogenico | 4.0.2 |
| com.mdfsoftware | minlog | 1.3.0 |
| com.fasterxml | compagno di classe | 1.0.0 |
| com.fasterxml.jackson.core | annotazioni jackson | 2.6.7 |
| com.fasterxml.jackson.core | jackson-core | 2.6.7 |
| com.fasterxml.jackson.core | jackson-databind | 2.6.7.1 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.6.7 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-scala_2.11 | 2.6.7.1 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | nucleo | 1.1.2 |
| com.github.fommil.netlib | riferimento_nativo-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives (riferimenti a nativi Java) | 1.1 |
| com.github.fommil.netlib | sistema_nativo-java | 1.1 |
| com.github.fommil.netlib | sistema_nativo-java-nitidi | 1.1 |
| com.github.fommil.netlib | "netlib-native_ref-linux-x86_64-natives" | 1.1 |
| com.github.fommil.netlib | netlib-sistema_nativo-linux-x86_64-natives | 1.1 |
| com.github.luben | zstd-jni (libreria open-source per compressione con Java Native Interface) | 1.3.2-2 |
| com.github.rwl | jtransforms | 2.4.0 |
| com.google.code.findbugs | jsr305 | 2.0.1 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.guava | guaiava | 15,0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.googlecode.javaewah | JavaEWAH | 0.3.2 |
| com.h2database | h2 | 1.3.174 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RILASCIO |
| com.mchange | c3p0 | 0.9.5.1 |
| com.mchange | mchange-commons-java | 0.2.10 |
| com.microsoft.azure | Azure Data Lake Store SDK | 2.2.8 |
| com.microsoft.sqlserver | mssql-jdbc | 6.2.2.jre8 |
| com.ning | compress-lzf (algoritmo di compressione) | 1.0.3 |
| com.sun.mail | javax.mail (package Java per la gestione della posta elettronica) | 1.5.2 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.11 | 0,3 |
| com.twitter | chill-java | 0.9.3 |
| com.twitter | chill_2.11 | 0.9.3 |
| com.twitter | parquet-hadoop-bundle | 1.6.0 |
| com.twitter | util-app_2.11 | 6.23.0 |
| com.twitter | util-core_2.11 | 6.23.0 |
| com.twitter | util-jvm_2.11 | 6.23.0 |
| com.typesafe | configurazione | 1.2.1 |
| com.typesafe.scala-logging | scala-logging-api_2.11 (API di logging per Scala v2.11) | 2.1.2 |
| com.typesafe.scala-logging | scala-logging-slf4j_2.11 | 2.1.2 |
| com.univocità | univocità-parser | 2.7.3 |
| com.vlkan | FlatBuffers | 1.2.0-3f79e055 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.7.0 |
| commons-beanutils | commons-beanutils-core | 1.8.0 |
| commons-cli | commons-cli | 1,2 |
| commons-codec (libreria per la codifica comune) | commons-codec (libreria per la codifica comune) | 1.10 |
| collezioni-comuni | collezioni-comuni | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2.6 |
| commons-logging (no translation needed) | commons-logging (no translation needed) | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.7 |
| io.airlift | compressore d'aria | 0,10 |
| io.dropwizard.metrics | nucleo delle metriche | 3.1.5 |
| io.dropwizard.metrics | metrics-ganglia | 3.1.5 |
| io.dropwizard.metrics | metrics-graphite | 3.1.5 |
| io.dropwizard.metrics | metriche-verifiche di integrità | 3.1.5 |
| io.dropwizard.metrics | metrics-jetty9 | 3.1.5 |
| io.dropwizard.metrics | metrics-json (Specificare ulteriormente se necessario a seconda del contesto) | 3.1.5 |
| io.dropwizard.metrics | metrics-jvm | 3.1.5 |
| io.dropwizard.metrics | metrics-log4j | 3.1.5 |
| io.dropwizard.metrics | metriche-servlet | 3.1.5 |
| io.netty | Netty | 3.9.9.Final |
| io.netty | netty-all | 4.1.17.Final |
| io.prometheus | simpleclient | 0.0.16 |
| io.prometheus | sempliceclient_comune | 0.0.16 |
| io.prometheus | simpleclient_dropwizard | 0.0.16 |
| io.prometheus | simpleclient_servlet | 0.0.16 |
| io.prometheus.jmx | agente di raccolta | 0,7 |
| javax.activation | attivazione | 1.1.1 |
| javax.annotation | javax.annotation-api | 1,2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | Java Transaction API (JTA) | 1.1 |
| javax.validation | validation-api | 1.1.0.Final |
| javax.ws.rs | javax.ws.rs-api | 2.0.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.flusso | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.11 |
| joda-time | joda-time | 2.9.3 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| net.idromatico | eigenbase-properties | 1.1.5 |
| net.razorvine | pirolite | 4.13 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv (formato CSV avanzato) | 2.2.0 |
| net.snowflake | snowflake-jdbc | 3.6.3 |
| net.snowflake | spark-snowflake_2.11 | 2.4.1 |
| net.sourceforge.f2j | arpack_combinato_tutto | 0,1 |
| org.acplt | oncrpc | 1.0.7 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.4 |
| org.antlr | antlr4-runtime | 4.7 |
| org.antlr | modello di stringa | 3.2.1 |
| org.apache.ant | formica | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant launcher | 1.9.2 |
| org.apache.arrow | formato freccia | 0.10.0 |
| org.apache.arrow | freccia-memoria | 0.10.0 |
| org.apache.arrow | freccia-vettore | 0.10.0 |
| org.apache.avro | Avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.calcite | Calcite-Avatica | 1.2.0-incubazione |
| org.apache.calcite | nucleo di calcite | 1.2.0-incubazione |
| org.apache.calcite | calcite-linq4j | 1.2.0-incubazione |
| org.apache.commons | commons-compress | 1.8.1 |
| org.apache.commons | commons-crypto | 1.0.0 |
| org.apache.commons | commons-lang3 | 3.5 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.curator | curatore-cliente | 2.7.1 |
| org.apache.curator | framework del curatore | 2.7.1 |
| org.apache.curator | ricette dei curatori | 2.7.1 |
| org.apache.derby | derby sportivo | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-annotazioni | 2.7.3 |
| org.apache.hadoop | hadoop-auth | 2.7.3 |
| org.apache.hadoop | hadoop-cliente | 2.7.3 |
| org.apache.hadoop | hadoop-common | 2.7.3 |
| org.apache.hadoop | hadoop-hdfs | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-common (cliente comune di Hadoop MapReduce) | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.3 |
| org.apache.htrace | htrace-core | Incubazione 3.1.0 |
| org.apache.httpcomponents | httpclient | 4.5.4 |
| org.apache.httpcomponents | httpcore | 4.4.8 |
| org.apache.ivy | Edera | 2.4.0 |
| org.apache.orc | orc-core-nohive | 1.5.2 |
| org.apache.orc | orc-mapreduce-nohive | 1.5.2 |
| org.apache.orc | orc-shim | 1.5.2 |
| org.apache.parquet | colonna parquet | 1.10.1-databricks2 |
| org.apache.parquet | parquet-comune | 1.10.1-databricks2 |
| org.apache.parquet | codifica parquet | 1.10.1-databricks2 |
| org.apache.parquet | formato parquet | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1-databricks2 |
| org.apache.parquet | parquet-jackson | 1.10.1-databricks2 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.9.3 |
| org.apache.xbean | xbean-asm6-shaded | 4.8 |
| org.apache.zookeeper | guardiano dello zoo | 3.4.6 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | Commons-Compiler | 3.0.9 |
| org.codehaus.janino | janino | 3.0.9 |
| org.datanucleus | datanucleus-api-jdo | 3.2.6 |
| org.datanucleus | datanucleus-core | 3.2.10 |
| org.datanucleus | datanucleus-rdbms | 3.2.9 |
| org.eclipse.jetty | jetty-client | 9.3.20.v20170531 |
| org.eclipse.jetty | continuazione di jetty | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-http | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-io | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-jndi | 9.3.20.v20170531 |
| org.eclipse.jetty | Jetty Plus | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-proxy | 9.3.20.v20170531 |
| org.eclipse.jetty | sicurezza del molo | 9.3.20.v20170531 |
| org.eclipse.jetty | Jetty Server | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-servlet | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-servlets | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-util | 9.3.20.v20170531 |
| org.eclipse.jetty | applicazione web di Jetty | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-xml | 9.3.20.v20170531 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-localizzatore | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-utils | 2.4.0-b34 |
| org.glassfish.hk2 | localizzatore di risorse OSGi | 1.0.1 |
| org.glassfish.hk2.external | aopalliance-repackaged (riconfezionato) | 2.4.0-b34 |
| org.glassfish.hk2.external | javax.inject | 2.4.0-b34 |
| org.glassfish.jersey.bundles.repackaged | Jersey Guava | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet (servlet del contenitore Jersey) | 2.22.2 |
| org.glassfish.jersey.containers | modulo-nucleo-servlet-contenitore-jersey (if a translation is required as per the context) | 2.22.2 |
| org.glassfish.jersey.core | jersey-client | 2.22.2 |
| org.glassfish.jersey.core | maglia-comune | 2.22.2 |
| org.glassfish.jersey.core | Jersey-server | 2.22.2 |
| org.glassfish.jersey.media | jersey-media-jaxb (libreria per la gestione dei dati multimediali in Jersey usando JAXB) | 2.22.2 |
| org.hibernate | validatore di Hibernate | 5.1.1.Final |
| org.iq80.snappy | scattante | 0.2 |
| org.javassist | javassist | 3.18.1-GA |
| org.jboss.logging | jboss-logging (strumento di registrazione per JBoss) | 3.1.3.GA |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.11 | 3.5.3 |
| org.json4s | json4s-core_2.11 | 3.5.3 |
| org.json4s | json4s-jackson_2.11 | 3.5.3 |
| org.json4s | json4s-scalap_2.11 | 3.5.3 |
| org.lz4 | lz4-java | 1.4.0 |
| org.mariadb.jdbc | mariadb-java-client - Libreria Java per MariaDB | 2.1.2 |
| org.mockito | mockito-all | 1.9.5 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.5.11 |
| org.rocksdb | rocksdbjni | 5.2.1 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.11 | 2.11.8 |
| org.scala-lang | scala-library_2.11 | 2.11.8 |
| org.scala-lang | scala-reflect_2.11 | 2.11.8 |
| org.scala-lang.modules | scala-parser-combinators_2.11 | 1.0.2 |
| org.scala-lang.modules | scala-xml_2.11 | 1.0.5 |
| org.scala-sbt | interfaccia di prova | 1.0 |
| org.scalacheck | scalacheck_2.11 | 1.12.5 |
| org.scalactic | scalactic_2.11 | 3.0.3 |
| org.scalanlp | breeze-macros_2.11 | 0.13.2 |
| org.scalanlp | breeze_2.11 | 0.13.2 |
| org.scalatest | scalatest_2.11 | 3.0.3 |
| org.slf4j | jcl-over-slf4j | 1.7.16 |
| org.slf4j | jul-to-slf4j | 1.7.16 |
| org.slf4j | slf4j-api | 1.7.16 |
| org.slf4j | slf4j-log4j12 | 1.7.16 |
| org.spark-project.hive | hive-beeline | 1.2.1.spark2 |
| org.spark-project.hive | hive-cli | 1.2.1.spark2 |
| org.spark-project.hive | hive-exec | 1.2.1.spark2 |
| org.spark-project.hive | Hive-JDBC | 1.2.1.spark2 |
| org.spark-project.hive | Hive-Metastore | 1.2.1.spark2 |
| org.spark-project.spark | inutilizzato | 1.0.0 |
| org.spire-math | spire-macros_2.11 | 0.13.0 |
| org.spire-math | spire_2.11 | 0.13.0 |
| org.springframework | Spring Core | 4.1.4.RILASCIO |
| org.springframework | test di primavera | 4.1.4.RILASCIO |
| org.cortanaani | xz | 1,5 |
| org.typelevel | macchinista_2.11 | 0.6.1 |
| org.typelevel | macro-compat_2.11 | 1.1.1 |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.7.1 |
| org.yaml | snakeyaml | 1,16 |
| oro | oro | 2.0.8 |
| software.amazon.ion | ion-java | 1.0.2 |
| Stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0,52 |