Databricks Runtime 9.1 LTS
Le note sulla versione seguenti forniscono informazioni su Databricks Runtime 9.1 LTS e Databricks Runtime 9.1 LTS Photon, con tecnologia Apache Spark 3.1.2. Databricks ha rilasciato queste immagini nel settembre 2021. Photon è disponibile in anteprima pubblica.
Nota
LTS indica che questa versione è supportata a lungo termine. Vedere Ciclo di vita della versione LTS di Databricks Runtime.
Miglioramenti e nuove funzionalità
- Gli hint dello schema del caricatore automatico ora funzionano con i tipi di matrice e mappa
- Supporto di file Avro per lo schema di merge
- Supporto per l'elenco incrementale del caricatore automatico (anteprima pubblica)
- Delta supporta ora replaceWhere arbitrario
- Il caricatore automatico per Google Cloud supporta ora le notifiche dei file (anteprima pubblica)
- CREATE FUNCTION supporta ora la creazione di funzioni di tabella
- L'origine di streaming Kafka ora segnala
estimatedTotalBytesBehindLatestla metrica - Per gli struct all'interno di matrici, Delta MERGE INTO risolve ora i campi struct in base al nome ed evolve gli schemi struct
Gli hint dello schema del caricatore automatico ora funzionano con i tipi di matrice e mappa
I tipi di matrice e mapping sono supportati nell'inferenza dello schema di override con hint dello schema per il caricatore automatico.
Esempi di hint dello schema per le matrici includono:
arr Array<TYPE>modifica il tipo di matrice.arr.element TYPEmodifica il tipo di matrice (usando laelementparola chiave ).arr.element.x TYPEmodifica un tipo di campo annidato in una matrice di strutture.
I primi due esempi sono hint per modificare il tipo di matrice arr in TYPE, ma usano una sintassi diversa. Nel terzo esempio, arr è una matrice di strutture con un campo x. In questo esempio viene illustrato come modificare il tipo di x in TYPE.
Esempi di hint dello schema per le mappe includono:
m Map<KEY-TYPE, VALUE-TYPE>modifica i tipi chiave e valore della mappa.m.key TYPEmodifica il tipo di chiavi della mappa.m.value TYPEmodifica il tipo di valori della mappa.m.key.x TYPEmodifica il tipo di campo in una chiave della mappa.m.value.x TYPEmodifica il tipo di campo di un valore della mappa.
Il primo esempio modifica rispettivamente i tipi chiave e valore di map m in KEY_TYPE e VALUE_TYPE . Il secondo e il terzo esempio possono essere usati se è necessario modificare solo il tipo di chiave o solo il tipo di valore. Nel quarto e quinto esempio, m è una mappa con chiave e valore dei tipi di struttura con un campo x. In questo esempio viene illustrato come modificare il tipo di x in TYPE.
Supporto di file Avro per lo schema di merge
Il formato di file Avro supporta ora l'opzione durante la mergeSchema lettura dei file. L'impostazione mergeSchema su true durante la lettura dei file Avro dedurrà uno schema da un set di file Avro anziché da un singolo file. Ciò migliora l'usabilità deducendo uno schema che può essere in grado di leggere tutti i file anche se i singoli schemi differiscono. Vedere Configurazione.
Supporto per l'elenco incrementale del caricatore automatico (anteprima pubblica)
Nel caso di file generati in modo lessicografico, Che cos'è il caricatore automatico? ora sfrutta l'ordinamento lessicale dei file e le API ottimizzate esistenti per rendere l'elenco della directory più efficiente elencando i file inseriti in precedenza anziché elencando l'intera directory. Il caricatore automatico rileva automaticamente se una determinata directory è adatta per l'elenco incrementale per impostazione predefinita. Per controllare questo comportamento in modo esplicito, impostare la nuova cloudFiles.useIncrementalListing opzione su on (true), off (false) o automatic (auto). Se si imposta questo comportamento su true, è anche possibile impostare l'opzione cloudFiles.backfillInterval per pianificare i normali backfill sui dati, per assicurarsi che tutti i dati vengano inseriti completamente.
Delta supporta ora replaceWhere arbitrario
In combinazione con la modalità di sovrascrittura, l'opzione replaceWhere può essere usata per sovrascrivere contemporaneamente i dati corrispondenti a un predicato definito nell'opzione . In precedenza, replaceWhere supportava un predicato solo sulle colonne di partizione, ma ora può essere un'espressione arbitraria. Vedere Scrivere in una tabella.
Il caricatore automatico per Google Cloud supporta ora le notifiche dei file (anteprima pubblica)
Il caricatore automatico supporta ora la modalità di notifica dei file in Google Cloud. Impostare .option("cloudFiles.useNotifications", "true") per consentire al caricatore automatico di configurare automaticamente le risorse Google Cloud Pub/Sub. Con la modalità di notifica dei file, i nuovi file vengono rilevati e inseriti man mano che arrivano senza elencare la directory di input. Vedere Che cos'è la modalità di notifica file del caricatore automatico?.
CREATE FUNCTION supporta ora la creazione di funzioni di tabella
Oltre a creare una funzione scalare che restituisce un valore scalare, è ora possibile creare una funzione di tabella che restituisce un set di righe. Vedere CREATE FUNCTION (SQL e Python).
L'origine di streaming Kafka ora segnala estimatedTotalBytesBehindLatest la metrica
L'origine di streaming Kafka ora segnala una stima del numero di byte che il consumer è dietro l'ultimo byte disponibile dopo ogni batch. È possibile usare questa metrica per tenere traccia dello stato di avanzamento del flusso. Vedere Recuperare le metriche Kafka.
Output della metrica di esempio:
StreamingQueryProgress {
"batchId": 0,
.....
"sources": [ {
"description" : "KafkaV2[Subscribe[topic-0]]",
"metrics":{
"avgOffsetsBehindLatest" : "1.0",
"estimatedTotalBytesBehindLatest" : "80.0", // new
"maxOffsetsBehindLatest" : "1",
"minOffsetsBehindLatest" : "1"
} ],
....
}
Per gli struct all'interno di matrici, Delta MERGE INTO risolve ora i campi struct in base al nome ed evolve gli schemi struct
Delta MERGE INTO supporta ora la risoluzione dei campi struct in base al nome e all'evoluzione automatica dello schema per matrici di struct. Quando l'evoluzione automatica dello schema è abilitata impostando spark.databricks.delta.schema.autoMerge.enabled su true e UPDATEINSERT le clausole risolveranno i campi struct all'interno di una matrice in base al nome, eseguendo il cast al tipo di dati corrispondente definito nella matrice di destinazione e compilando campi aggiuntivi o mancanti nell'origine o nella destinazione con valori Null. Quando l'evoluzione automatica dello schema è disabilitata e UPDATEINSERT le clausole risolveranno i campi struct all'interno di una matrice in base al nome, ma non potranno evolvere i campi aggiuntivi. Vedere Evoluzione automatica dello schema per matrici di struct.
Correzioni di bug
- Correzione di una perdita di memoria nel connettore Amazon S3 che poteva verificarsi in processi o servizi a esecuzione prolungata, causata dalla funzionalità JVM
DeleteOnExit.
Aggiornamenti della libreria
- Librerie Python aggiornate:
- tracciato da 4.14.3 a 5.1.0
- Librerie R aggiornate:
- base da 4.1.0 a 4.1.1
- bslib da 0.2.5.1 a 0.3.0
- cachem da 1.0.5 a 1.0.6
- compilatore da 4.1.0 a 4.1.1
- set di dati da 4.1.0 a 4.1.1
- futuro da 1.21.0 a 1.22.1
- gert da 1.3.1 a 1.3.2
- grafica da 4.1.0 a 4.1.1
- grDevices dalla versione 4.1.0 alla versione 4.1.1
- griglia da 4.1.0 a 4.1.1
- Librerie Java aggiornate:
- org.eclipse.jetty da 9.4.36.v20210114 a 9.4.42.v20210604
Apache Spark
Databricks Runtime 9.1 LTS include Apache Spark 3.1.2. Questa versione include tutte le correzioni e i miglioramenti di Spark inclusi in Databricks Runtime 9.0 (non supportato), nonché le correzioni di bug e i miglioramenti aggiuntivi seguenti apportati a Spark:
- [SPARK-36674][SQL] [CHERRY-PICK] Supporto di ILIKE - LIKE senza distinzione tra maiuscole e minuscole
- [SPARK-36353][SQL] [3.1] RemoveNoopOperators deve mantenere lo schema di output
- [SPARK-35876][SQL] [3.1] ArraysZip deve mantenere i nomi dei campi per evitare di essere riscritto dall'analizzatore/ottimizzatore
- [SPARK-36398][SQL] Redact sensitive information in Spark Thrift Server log (Redact sensitive information in Spark Thrift Server log)
- [SPARK-36498][SQL] Riordinare i campi interni della query di input in scrittura byName V2
- [SPARK-36614][CORE] [interfaccia utente] Correggere il motivo della perdita dell'executor causato dalla rimozione delle autorizzazioni nell'interfaccia utente
- [SPARK-36012][SQL] Aggiungere un flag Null in SHOW CREATE TABLE
- [SPARK-36509][CORE] Risolvere il problema che gli executor non vengono mai ri pianificati se il ruolo di lavoro si arresta con un cluster autonomo
- [SPARK-36603][CORE] Usare WeakReference non SoftReference in LevelDB
- [SPARK-36564][CORE] Correzione di NullPointerException in LiveRDDDistribution.toApi
- [SPARK-36086][SQL] [3.1] CollapseProject project replace alias should use origin column name
- [SPARK-33527][SQL] Estendere la funzione di decodifica in modo che sia coerente con i database Mainstream
- [SPARK-36400][SPARK-36398][SQL] [WEBUI] Make ThriftServer recognize spark.sql.redaction.string.regex
- [SPARK-34054][CORE] Pulizia del codice BlockManagerDecommissioner
- [SPARK-36500][CORE] Correzione temp_shuffle perdita di file quando un'attività viene interrotta
- [SPARK-36489][SQL] Funzioni di aggregazione su nessuna chiave di raggruppamento, nelle tabelle con un singolo bucket, restituiscono più righe
- [SPARK-36464][CORE] Correzione dell'inizializzazione delle variabili di dimensioni sottostanti in ChunkedByteBufferOutputStream per la scrittura di dati da oltre 2 GB
- [SPARK-36339][SQL] [3.0] Riferimenti al raggruppamento che non deve essere sostituito da parte dell'aggregazione
- [SPARK-36354][CORE] EventLogFileReader deve ignorare le directory del registro eventi in sequenza senza log
- [SPARK-36242][CORE] [3.1] Assicurarsi che il file di spill chiuso prima di impostare success = true nel metodo ExternalSorter.spillMemoryIteratorToDisk
- [SPARK-36211][PYTHON] Correzione della digitazione del
udfvalore restituito - [SPARK-34222][SQL] Migliorare la regola di semplificazione booleana
- [SPARK-35027][CORE] Chiudere inputStream in FileAppender quando si esegue la scrittura in corso...
- [SPARK-36269][SQL] Correggere solo l'impostazione delle colonne di dati sulla configurazione dei nomi di colonna Hive
- [SPARK-36213][SQL] Normalize PartitionSpec per Describe Table Command with PartitionSpec
- [SPARK-36210][SQL] Mantenere l'ordine di inserimento delle colonne in Dataset.withColumns
- [SPARK-36079][SQL] La stima del filtro basata su Null deve essere sempre compresa nell'intervallo [0, 1]
- [SPARK-28266][SQL] ConvertToLogicalRelation non deve interpretare
pathla proprietà durante la lettura delle tabelle Hive
Aggiornamenti di manutenzione
Vedere Aggiornamenti della manutenzione di Databricks Runtime 9.1 LTS.
Ambiente di sistema
- Sistema operativo: Ubuntu 20.04.4 LTS
- Java: Zulu 8.56.0.21-CA-linux64
- Scala: 2.12.10
- Python: 3.8.10
- R: 4.1.1
- Delta Lake: 1.0.0
Librerie Python installate
| Libreria | Versione | Libreria | Versione | Libreria | Versione |
|---|---|---|---|---|---|
| Antergos Linux | 2015.10 (ISO-Rolling) | appdirs | 1.4.4 | backcall | 0.2.0 |
| boto3 | 1.16.7 | botocore | 1.19.7 | certifi | 2020.12.5 |
| chardet | 4.0.0 | cycler | 0.10.0 | Cython | 0.29.23 |
| dbus-python | 1.2.16 | decorator | 5.0.6 | distlib | 0.3.2 |
| informazioni sulla distribuzione | 0.23ubuntu1 | facet-overview | 1.0.0 | filelock | 3.0.12 |
| idna | 2.10 | ipykernel | 5.3.4 | ipython | 7.22.0 |
| ipython-genutils | 0.2.0 | jedi | 0.17.2 | jmespath | 0.10.0 |
| joblib | 1.0.1 | jupyter-client | 6.1.12 | jupyter-core | 4.7.1 |
| kiwisolver | 1.3.1 | koalas | 1.8.1 | matplotlib | 3.4.2 |
| numpy | 1.19.2 | pandas | 1.2.4 | parso | 0.7.0 |
| patsy | 0.5.1 | pexpect | 4.8.0 | pickleshare | 0.7.5 |
| Pillow | 8.2.0 | pip | 21.0.1 | plotly | 5.1.0 |
| prompt-toolkit | 3.0.17 | protobuf | 3.17.2 | psycopg2 | 2.8.5 |
| ptyprocess | 0.7.0 | pyarrow | 4.0.0 | Pygments | 2.8.1 |
| PyGObject | 3.36.0 | pyparsing | 2.4.7 | python-apt | 2.0.0+ubuntu0.20.4.5 |
| python-dateutil | 2.8.1 | pytz | 2020.5 | pyzmq | 20.0.0 |
| requests | 2.25.1 | requests-unixsocket | 0.2.0 | s3transfer | 0.3.7 |
| scikit-learn | 0.24.1 | Scipy | 1.6.2 | seaborn | 0.11.1 |
| setuptools | 52.0.0 | sei | 1.15.0 | ssh-import-id | 5.10 |
| statsmodels | 0.12.2 | tenacity | 8.0.1 | threadpoolctl | 2.1.0 |
| tornado | 6.1 | traitlets | 5.0.5 | aggiornamenti automatici | 0,1 |
| urllib3 | 1.25.11 | virtualenv | 20.4.1 | wcwidth | 0.2.5 |
| wheel | 0.36.2 |
Librerie R installate
Le librerie R vengono installate dallo snapshot di Microsoft CRAN nel 2021-09-08.
| Libreria | Versione | Libreria | Versione | Libreria | Versione |
|---|---|---|---|---|---|
| askpass | 1.1 | assertthat | 0.2.1 | Backports | 1.2.1 |
| base | 4.1.1 | base64enc | 0.1-3 | bit | 4.0.4 |
| bit64 | 4.0.5 | blob | 1.2.2 | boot | 1.3-28 |
| Birra | 1.0-6 | Brio | 1.1.2 | Scopa | 0.7.9 |
| bslib | 0.3.0 | cachem | 1.0.6 | chiamante | 3.7.0 |
| caret | 6.0-88 | cellranger | 1.1.0 | Chron | 2.3-56 |
| class | 7.3-19 | cli | 3.0.1 | clipr | 0.7.1 |
| cluster | 2.1.2 | codetools | 0.2-18 | spazio colori | 2.0-2 |
| segno comune | 1,7 | compilatore | 4.1.1 | config | 0.3.1 |
| cpp11 | 0.3.1 | Pastello | 1.4.1 | credentials | 1.3.1 |
| curl | 4.3.2 | data.table | 1.14.0 | datasets | 4.1.1 |
| DBI | 1.1.1 | dbplyr | 2.1.1 | desc | 1.3.0 |
| devtools | 2.4.2 | diffobj | 0.3.4 | digest | 0.6.27 |
| dplyr | 1.0.7 | dtplyr | 1.1.0 | puntini di sospensione | 0.3.2 |
| evaluate | 0,14 | fani | 0.5.0 | farver | 2.1.0 |
| fastmap | 1.1.0 | forcats | 0.5.1 | foreach | 1.5.1 |
| straniero | 0.8-81 | forge | 0.2.0 | fs | 1.5.0 |
| future | 1.22.1 | future.apply | 1.8.1 | Gargarismi | 1.2.0 |
| Generics | 0.1.0 | Gert | 1.3.2 | ggplot2 | 3.3.5 |
| Gh | 1.3.0 | gitcreds | 0.1.1 | glmnet | 4.1-2 |
| globals | 0.14.0 | Colla | 1.4.2 | googledrive | 2.0.0 |
| Googlesheets4 | 1.0.0 | Gower | 0.2.2 | grafica | 4.1.1 |
| grDevices | 4.1.1 | grid | 4.1.1 | gridExtra | 2.3 |
| gsubfn | 0,7 | gtable | 0.3.0 | Haven | 2.4.3 |
| highr | 0.9 | Hms | 1.1.0 | htmltools | 0.5.2 |
| htmlwidgets | 1.5.3 | httpuv | 1.6.2 | httr | 1.4.2 |
| hwriter | 1.3.2 | hwriterPlus | 1.0-3 | ids | 1.0.1 |
| ini | 0.3.1 | ipred | 0.9-11 | isoband | 0.2.5 |
| Iteratori | 1.0.13 | jquerylib | 0.1.4 | jsonlite | 1.7.2 |
| KernSmooth | 2.23-20 | magliare | 1.33 | Etichettatura | 0.4.2 |
| later | 1.3.0 | Reticolo | 0.20-44 | Java | 1.6.10 |
| lifecycle | 1.0.0 | listenv | 0.8.0 | lubridate | 1.7.10 |
| magrittr | 2.0.1 | Markdown | 1.1 | Un sacco | 7.3-54 |
| Con matrice | 1.3-4 | memoise | 2.0.0 | metodi | 4.1.1 |
| mgcv | 1.8-36 | Mime | 0,11 | ModelMetrics | 1.2.2.2 |
| modelr | 0.1.8 | Munsell | 0.5.0 | nlme | 3.1-152 |
| nnet | 7.3-16 | numDeriv | 2016.8-1.1 | openssl | 1.4.5 |
| parallel | 4.1.1 | parallelly | 1.27.0 | Pilastro | 1.6.2 |
| pkgbuild | 1.2.0 | pkgconfig | 2.0.3 | pkgload | 1.2.1 |
| plogr | 0.2.0 | plyr | 1.8.6 | Lode | 1.0.0 |
| prettyunits | 1.1.1 | Proc | 1.18.0 | processx | 3.5.2 |
| prodlim | 2019.11.13 | Avanzamento | 1.2.2 | progressr | 0.8.0 |
| promises | 1.2.0.1 | proto | 1.0.0 | ps | 1.6.0 |
| purrr | 0.3.4 | r2d3 | 0.2.5 | R6 | 2.5.1 |
| randomForest | 4.6-14 | rappdirs | 0.3.3 | rcmdcheck | 1.3.3 |
| RColorBrewer | 1.1-2 | Rcpp | 1.0.7 | readr | 2.0.1 |
| readxl | 1.3.1 | ricette | 0.1.16 | Rivincita | 1.0.1 |
| rematch2 | 2.1.2 | remotes | 2.4.0 | reprex | 2.0.1 |
| reshape2 | 1.4.4 | rlang | 0.4.11 | rmarkdown | 2.10 |
| RODBC | 1.3-18 | roxygen2 | 7.1.1 | rpart | 4.1-15 |
| rprojroot | 2.0.2 | Rserve | 1.8-8 | RSQLite | 2.2.8 |
| rstudioapi | 0,13 | rversions | 2.1.1 | rvest | 1.0.1 |
| Sass | 0.4.0 | Scale | 1.1.1 | selettore | 0.4-2 |
| sessioninfo | 1.1.1 | Forma | 1.4.6 | Lucido | 1.6.0 |
| sourcetools | 0.1.7 | sparklyr | 1.7.1 | SparkR | 3.1.1 |
| spaziale | 7.3-11 | Spline | 4.1.1 | sqldf | 0.4-11 |
| SQUAREM | 2021.1 | stats | 4.1.1 | stats4 | 4.1.1 |
| stringi | 1.7.4 | stringr | 1.4.0 | Sopravvivenza | 3.2-13 |
| sys | 3.4 | tcltk | 4.1.1 | TeachingDemos | 2.10 |
| testatat | 3.0.4 | tibble | 3.1.4 | tidyr | 1.1.3 |
| tidyselect | 1.1.1 | tidyverse | 1.3.1 | timeDate | 3043.102 |
| tinytex | 0.33 | tools | 4.1.1 | tzdb | 0.1.2 |
| usethis | 2.0.1 | utf8 | 1.2.2 | utils | 4.1.1 |
| uuid | 0.1-4 | vctrs | 0.3.8 | viridisLite | 0.4.0 |
| Vroom | 1.5.4 | waldo | 0.3.0 | Whisker | 0,4 |
| withr | 2.4.2 | xfun | 0.25 | xml2 | 1.3.2 |
| xopen | 1.0.0 | xtable | 1.8-4 | Yaml | 2.2.1 |
| zip | 2.2.0 |
Librerie Java e Scala installate (versione del cluster Scala 2.12)
| ID gruppo | ID artefatto | Versione |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-distribuisci-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.655 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.655 |
| com.amazonaws | aws-java-sdk-config | 1.11.655 |
| com.amazonaws | aws-java-sdk-core | 1.11.655 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.655 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.655 |
| com.amazonaws | aws-java-sdk-directory | 1.11.655 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.655 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.655 |
| com.amazonaws | aws-java-sdk-efs | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.655 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.655 |
| com.amazonaws | aws-java-sdk-emr | 1.11.655 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.655 |
| com.amazonaws | aws-java-sdk-glue | 1.11.655 |
| com.amazonaws | aws-java-sdk-iam | 1.11.655 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.655 |
| com.amazonaws | aws-java-sdk-consultas | 1.11.655 |
| com.amazonaws | aws-java-sdk-kms | 1.11.655 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.655 |
| com.amazonaws | aws-java-sdk-logs | 1.11.655 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.655 |
| com.amazonaws | aws-java-sdk-marketplace commerceanalytics | 1.11.655 |
| com.amazonaws | aws-java-sdk-marketplacemeteringservice | 1.11.655 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.655 |
| com.amazonaws | aws-java-sdk-rds | 1.11.655 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.655 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.655 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ses | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.655 |
| com.amazonaws | aws-java-sdk-sns | 1.11.655 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.655 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.655 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.655 |
| com.amazonaws | aws-java-sdk-sts | 1.11.655 |
| com.amazonaws | aws-java-sdk-support | 1.11.655 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.655 |
| com.amazonaws | jmespath-java | 1.11.655 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | stream | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.mdfsoftware | kryo-shaded | 4.0.2 |
| com.mdfsoftware | minlog | 1.3.0 |
| com.fasterxml | compagno di classe | 1.3.4 |
| com.fasterxml.jackson.core | annotazioni jackson | 2.10.0 |
| com.fasterxml.jackson.core | jackson-core | 2.10.0 |
| com.fasterxml.jackson.core | jackson-databind | 2.10.0 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.10.0 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.10.0 |
| com.github.ben-manes.caffeina | Caffeina | 2.3.4 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | core | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.joshelser | dropwizard-metrics-hadoop-metrics2-reporter | 0.1.2 |
| com.github.luben | zstd-jni | 1.4.8-1 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.crypto.tink | Tink | 1.6.0 |
| com.google.flatbuffers | flatbuffers-java | 1.9.0 |
| com.google.guava | Guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 1.4.195 |
| com.helger | profiler | 1.1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEA edizione Standard |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 9.2.1.jre8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | JSON | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.9.5 |
| com.twitter | chill_2.12 | 0.9.5 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.univocità | univocità-parser | 2.9.1 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.9.4 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1,10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-fileupload | commons-fileupload | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| hive-2.3__hadoop-2.7 | jets3t-0.7 | liball_deps_2.12 |
| hive-2.3__hadoop-2.7 | zookeeper-3.4 | liball_deps_2.12 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0,10 |
| io.delta | delta-sharing-spark_2.12 | 0.1.0 |
| io.dropwizard.metrics | metrics-core | 4.1.1 |
| io.dropwizard.metrics | metrics-graphite | 4.1.1 |
| io.dropwizard.metrics | metrics-healthchecks | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | metrics-jmx | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | metrics-jvm | 4.1.1 |
| io.dropwizard.metrics | metrics-servlets | 4.1.1 |
| io.netty | netty-all | 4.1.51.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | Collettore | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | activation | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | transaction-api | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.10.5 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| maven-trees | hive-2.3__hadoop-2.7 | liball_deps_2.12 |
| net.java.dev.jna | Jna | 5.8.0 |
| net.razorvine | pirolite | 4.30 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.13.3 |
| net.snowflake | spark-snowflake_2.12 | 2.9.0-spark_3.1 |
| net.sourceforge.f2j | arpack_combined_all | 0,1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.8-1 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | formato freccia | 2.0.0 |
| org.apache.arrow | arrow-memory-core | 2.0.0 |
| org.apache.arrow | arrow-memory-netty | 2.0.0 |
| org.apache.arrow | freccia-vettore | 2.0.0 |
| org.apache.avro | avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.commons | commons-compress | 1,20 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.10 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.commons | commons-text | 1.6 |
| org.apache.curator | curatore-cliente | 2.7.1 |
| org.apache.curator | curatore-framework | 2.7.1 |
| org.apache.curator | ricette curatori | 2.7.1 |
| org.apache.derby | Derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-annotations | 2.7.4 |
| org.apache.hadoop | hadoop-auth | 2.7.4 |
| org.apache.hadoop | hadoop-client | 2.7.4 |
| org.apache.hadoop | hadoop-common | 2.7.4 |
| org.apache.hadoop | hadoop-hdfs | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.4 |
| org.apache.hive | hive-beeline | 2.3.7 |
| org.apache.hive | hive-cli | 2.3.7 |
| org.apache.hive | hive-jdbc | 2.3.7 |
| org.apache.hive | hive-llap-client | 2.3.7 |
| org.apache.hive | hive-llap-common | 2.3.7 |
| org.apache.hive | hive-serde | 2.3.7 |
| org.apache.hive | hive-shims | 2.3.7 |
| org.apache.hive | hive-storage-api | 2.7.2 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.7 |
| org.apache.hive.shims | hive-shims-common | 2.3.7 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.7 |
| org.apache.htrace | htrace-core | Incubazione 3.1.0 |
| org.apache.httpcomponents | httpclient | 4.5.6 |
| org.apache.httpcomponents | httpcore | 4.4.12 |
| org.apache.ivy | ivy | 2.4.0 |
| org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
| org.apache.orc | orc-core | 1.5.12 |
| org.apache.orc | orc-mapreduce | 1.5.12 |
| org.apache.orc | orc-shim | 1.5.12 |
| org.apache.parquet | parquet-column | 1.10.1-databricks9 |
| org.apache.parquet | parquet-common | 1.10.1-databricks9 |
| org.apache.parquet | codifica parquet | 1.10.1-databricks9 |
| org.apache.parquet | formato parquet | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1-databricks9 |
| org.apache.parquet | parquet-jackson | 1.10.1-databricks9 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.xbean | xbean-asm7-shaded | 4.15 |
| org.apache.yetus | annotazioni del gruppo di destinatari | 0.5.0 |
| org.apache.zookeeper | zookeeper | 3.4.14 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.42.v20210604 |
| org.eclipse.jetty | jetty-continuation | 9.4.42.v20210604 |
| org.eclipse.jetty | jetty-http | 9.4.42.v20210604 |
| org.eclipse.jetty | jetty-io | 9.4.42.v20210604 |
| org.eclipse.jetty | jetty-jndi | 9.4.42.v20210604 |
| org.eclipse.jetty | jetty-plus | 9.4.42.v20210604 |
| org.eclipse.jetty | jetty-proxy | 9.4.42.v20210604 |
| org.eclipse.jetty | jetty-security | 9.4.42.v20210604 |
| org.eclipse.jetty | jetty-server | 9.4.42.v20210604 |
| org.eclipse.jetty | jetty-servlet | 9.4.42.v20210604 |
| org.eclipse.jetty | jetty-servlets | 9.4.42.v20210604 |
| org.eclipse.jetty | jetty-util | 9.4.42.v20210604 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.42.v20210604 |
| org.eclipse.jetty | jetty-webapp | 9.4.42.v20210604 |
| org.eclipse.jetty | jetty-xml | 9.4.42.v20210604 |
| org.eclipse.jetty.websocket | websocket-api | 9.4.42.v20210604 |
| org.eclipse.jetty.websocket | websocket-client | 9.4.42.v20210604 |
| org.eclipse.jetty.websocket | websocket-common | 9.4.42.v20210604 |
| org.eclipse.jetty.websocket | websocket-server | 9.4.42.v20210604 |
| org.eclipse.jetty.websocket | websocket-servlet | 9.4.42.v20210604 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.30 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.30 |
| org.glassfish.jersey.core | jersey-client | 2.30 |
| org.glassfish.jersey.core | maglia-comune | 2.30 |
| org.glassfish.jersey.core | jersey-server | 2.30 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.30 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.30 |
| org.hibernate.validator | hibernate-validator | 6.1.0.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1,7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M5 |
| org.json4s | json4s-core_2.12 | 3.7.0-M5 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M5 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M5 |
| org.lz4 | lz4-java | 1.7.1 |
| org.mariadb.jdbc | mariadb-java-client | 2.2.5 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.9.14 |
| org.roaringbitmap | Spessori | 0.9.14 |
| org.rocksdb | rocksdbjni | 6.20.3 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.10 |
| org.scala-lang | scala-library_2.12 | 2.12.10 |
| org.scala-lang | scala-reflect_2.12 | 2.12.10 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.1.1 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 1.0 |
| org.scalanlp | breeze_2.12 | 1.0 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.30 |
| org.slf4j | jul-to-slf4j | 1.7.30 |
| org.slf4j | slf4j-api | 1.7.30 |
| org.slf4j | slf4j-log4j12 | 1.7.30 |
| org.spark-project.spark | Inutilizzati | 1.0.0 |
| org.springframework | spring-core | 4.1.4.RELEA edizione Standard |
| org.springframework | spring-test | 4.1.4.RELEA edizione Standard |
| org.threeten | treten-extra | 1.5.0 |
| org.cortanaani | xz | 1,5 |
| org.typelevel | algebra_2.12 | 2.0.0-M2 |
| org.typelevel | cats-kernel_2.12 | 2.0.0-M4 |
| org.typelevel | machinist_2.12 | 0.6.8 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0-M1 |
| org.typelevel | spire-platform_2.12 | 0.17.0-M1 |
| org.typelevel | spire-util_2.12 | 0.17.0-M1 |
| org.typelevel | spire_2.12 | 0.17.0-M1 |
| org.wildfly.openssl | wildfly-openssl | 1.0.7.Final |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.8.2 |
| org.yaml | snakeyaml | 1.24 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1,5 |
| software.amazon.ion | ion-java | 1.0.2 |
| Stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0,52 |