Condividi tramite

Databricks Runtime 8.4 (EoS)

  • Articolo

Nota

Il supporto per questa versione di Databricks Runtime è terminato. Per la data di fine del supporto, vedere Cronologia di fine del supporto. Per tutte le versioni supportate di Databricks Runtime, vedere Versioni e compatibilità delle note sulla versione di Databricks Runtime.

Le note sulla versione seguenti forniscono informazioni su Databricks Runtime 8.4 e Databricks Runtime 8.4 Photon, basate su Apache Spark 3.1.2. Databricks ha rilasciato queste immagini nel luglio 2021. Photon è disponibile in anteprima pubblica.

Miglioramenti e nuove funzionalità

Funzionalità e miglioramenti di Delta Lake

Feed di dati delle modifiche della tabella delta (GA)

Il feed di dati delle modifiche della tabella Delta è ora disponibile a livello generale. Rappresenta le modifiche a livello di riga tra versioni diverse della tabella. Se abilitata, vengono registrate informazioni aggiuntive relative alle modifiche a livello di riga per ogni operazione di scrittura nella tabella. Vedere Usare il feed di dati delle modifiche delta Lake in Azure Databricks.

Caricare facilmente tabelle Delta condivise con Databricks Runtime

Il connettore Apache Spark per la condivisione Delta 0.1.0 è ora in Databricks Runtime. È possibile caricare una tabella condivisa usando spark.read.format("deltaSharing").load(uri) direttamente senza collegare il connettore Delta Sharing Spark al cluster.

Altre tabelle traggono vantaggio dall'eliminazione dinamica dei file

La funzionalità di eliminazione dinamica dei file è stata ottimizzata per attivare le tabelle con un minor numero di file. Vedere Eliminazione dinamica dei file.

Prestazioni migliori con l'ottimizzazione automatica delle dimensioni dei file di destinazione

Le dimensioni del file di destinazione per le tabelle Delta vengono ora ottimizzate automaticamente in base alle dimensioni della tabella. In precedenza, le dimensioni del file di destinazione per OPTIMIZE e OPTIMIZE ZORDER BY erano 1 GB. Con l'ottimizzazione automatica in base alle dimensioni della tabella, le tabelle Delta fino a 2,56 TB useranno 256 MB come dimensione di destinazione. Le tabelle di dimensioni superiori a 10 TB useranno 1 GB come in precedenza. Le tabelle tra queste dimensioni useranno dimensioni di destinazione che aumentano proporzionalmente con le dimensioni della tabella. Vedere Configurare Delta Lake per controllare le dimensioni dei file di dati.

Altri modi per specificare le tabelle in DeltaTable.forName

DeltaTable.forName supporta ora l'uso delta.`<path>` di per identificare le tabelle.

Flussi affidabili di scritture su più tabelle con foreachBatch

Le scritture di streaming Delta idempotenti all'interno del foreachBatch() comando sono ora supportate. Per informazioni dettagliate, vedere Scritture su più tabelle Idempotenti.

Miglioramento delle prestazioni delle query di lettura in determinati carichi di lavoro a causa di checkpoint ottimizzati

Delta Lake ora ottimizza la frequenza con cui esegue checkpoint avanzati. Invece di eseguire il checkpoint a un intervallo fisso, Delta ora regola dinamicamente la frequenza del checkpoint in base a determinati trigger di evento. Ciò migliora le prestazioni delle query di lettura nei carichi di lavoro in cui alcuni dati ignorano l'ottimizzazione non possono essere applicati in precedenza. Per usare queste ottimizzazioni, aggiornare i processi che scrivono in Delta Lake a Databricks Runtime 8.4. Vedere Abilitare checkpoint avanzati per le query structured streaming.

Creare GroupState per testare le funzioni Structured Streaming definite dall'utente

Fino ad ora, solo il motore Structured Streaming potrebbe creare istanze di GroupState. Di conseguenza, tutti gli unit test della funzione definita dall'utente richiedono l'esecuzione di una query di streaming in Apache Spark.

È ora possibile creare istanze di GroupState usando TestGroupState.create(…). In questo modo è possibile testare una funzione definita dall'utente in unit test semplici che non richiedono l'esecuzione di Spark. Vedere Testare la funzione di aggiornamento mapGroupsWithState. In particolare, produce istanze di tipo TestGroupState che estendono l'interfaccia GroupState con metodi aggiuntivi per introspezione dello stato interno dopo l'applicazione della funzione definita dall'utente.

Funzionalità e miglioramenti del caricatore automatico

Configurare il riempimento in modo da acquisire i file mancanti

Il caricatore automatico supporta ora l'esecuzione di backfill in modo asincrono per acquisire tutti i file che potrebbero non essere stati rilevati con le notifiche dei file. I sistemi di archiviazione file e i sistemi di notifica non possono garantire il 100% di tutti gli eventi di file. Databricks consiglia pertanto di abilitare i backfill periodici per acquisire tutti i dati con il caricatore automatico. Usare l'opzione cloudFiles.backfillInterval per pianificare i backfill regolari sui dati. Vedere Opzioni comuni del caricatore automatico.

Footprint di archiviazione associato per flussi di volumi di grandi dimensioni

È ora possibile configurare il caricatore automatico per scadere e rimuovere voci in RocksDB per associare il footprint di archiviazione nella posizione del checkpoint. Databricks non consiglia di usare a meno che non si inseriscano dati nell'ordine di milioni di file un'ora. L'impostazione di questa opzione in modo non corretto o il tentativo di ottimizzarla può causare molti problemi di qualità dei dati, ad esempio file non elaborati ignorati o duplicati di alcuni file invece di una sola elaborazione. Per informazioni dettagliate, vedere Conservazione degli eventi.

Configurazione semplificata con supporto senza percorso

Bucket S3

È ora possibile fornire la coda SQS che riceve eventi da più percorsi o bucket S3. Se si specifica l'URL della coda SQS, l'opzione path non è necessaria per questo caso d'uso. Il caricatore automatico costruisce i percorsi S3 usando il bucket e la chiave degli eventi S3. Se si desidera leggere i file tramite punti di montaggio DBFS, è possibile usare cloudFiles.pathRewrites per modificare i prefissi di percorso in DBFS. Questa operazione non è necessaria a meno che non si acceda ai dati in account diversi con AssumeRole.

Vedere Opzioni di notifica file.

Contenitori di Azure Data Lake Storage Gen2

È ora possibile fornire la coda di Azure che riceve eventi da più contenitori. Se si specifica il nome della coda di Azure, l'opzione path non è necessaria. Per impostazione predefinita, il caricatore automatico costruisce i percorsi di Azure Data Lake Storage Gen2 usando il contenitore e la chiave negli eventi di file. Per usare i percorsi WASB o i punti di montaggio DBFS, è possibile usare cloudFiles.pathRewrites per modificare i prefissi di percorso.

Vedere Opzioni di notifica file.

Aggiornamenti dei connettori

  • Il connettore Snowflake Spark è stato aggiornato alla versione 2.9.0.
  • La crittografia del Servizio di gestione delle chiavi è ora supportata nell'istruzione UNLOAD del connettore Redshift.

Correzioni di bug

  • È stato risolto un problema per i cluster abilitati con il controllo di accesso alle tabelle in cui select * from folder è possibile visualizzare il contenuto delle cartelle anche se l'utente non dispone di autorizzazioni di accesso ai file.
  • I proprietari di database non amministratori sono ora in grado di eliminare tabelle non di proprietà nei database. In questo modo viene risolto il problema per cui i proprietari di database non potevano eliminare un database se nel database erano presenti tabelle non di proprietà.

Aggiornamenti della libreria

  • Librerie Python aggiornate:
    • certificato aggiornato dal 2020.12.5 al 2021.5.30
    • distill aggiornato dalla versione 0.3.1 alla versione 0.3.2
    • Koalas aggiornato dalla versione 1.8.0 alla versione 1.8.1
    • protobuf aggiornato dalla versione 3.17.0 alla versione 3.17.3
  • Librerie R aggiornate:
    • base da 4.0.4 a 4.1.0
    • avvio da 1.3-27 a 1.3-28
    • classe da 7.3-18 a 7.3-19
    • cluster dalla versione 2.1.1 alla versione 2.1.2
    • compilatore da 4.0.4 a 4.1.0
    • set di dati da 4.0.4 a 4.1.0
    • grafica da 4.0.4 a 4.1.0
    • grDevices da 4.0.4 a 4.1.0
    • griglia da 4.0.4 a 4.1.0
    • KernSmooth da 2.23-18 a 2.23-20
    • reticolo da 0,20-41 a 0,20-44
    • MASS da 7.3-53.1 a 7.3-54
    • Matrice da 1.3-2 a 1.3-3
    • metodi da 4.0.4 a 4.1.0
    • mgcv da 1,8-33 a 1,8-35
    • nnet da 7.3-15 a 7.3-16
    • parallelo da 4.0.4 a 4.1.0
    • Rserve da 1.8-7 a 1.8-8
    • SparkR dalla versione 3.1.1 alla versione 3.1.2
    • spline da 4.0.4 a 4.1.0
    • statistiche da 4.0.4 a 4.1.0
    • stats4 da 4.0.4 a 4.1.0
    • sopravvivenza da 3,2-7 a 3,2-11
    • tcltk da 4.0.4 a 4.1.0
    • strumenti da 4.0.4 a 4.1.0
    • Utilità dalla versione 4.0.4 alla versione 4.1.0
  • Librerie Java aggiornate:
    • snowflake-jdbc da 3.12.8 a 3.13.3
    • spark-snowflake_2.12 da 2.8.1-spark_3.0 a 2.9.0-spark_3.1
    • RoaringBitmap da 0.9.0 a 0.9.14
    • shim da 0.9.0 a 0.9.14
    • rocksdbjni dam 6.2.2 a 6.20.3

Apache Spark

Databricks Runtime 8.4 include Apache Spark 3.1.2. Questa versione include tutte le correzioni e i miglioramenti di Spark inclusi in Databricks Runtime 8.3 (EoS), nonché le correzioni di bug e i miglioramenti aggiuntivi seguenti apportati a Spark:

  • [SPARK-35792] [SQL] La vista non deve acquisire le configurazioni usate in RelationConversions
  • [SPARK-35700] [SQL] Leggere la tabella char/varchar orc con creata e scritta da sistemi esterni
  • [SPARK-35636] [SQL] Non è consigliabile fare riferimento alle chiavi lambda all'esterno della funzione lambda
  • [SPARK-35800] [Cherry Pick] Miglioramento della testability di GroupState introducendo TestGroupState
  • [SPARK-35391] Correzione della perdita di memoria in ExecutorAllocationListener
  • [SPARK-35799] [CherryPick] Correzione della metrica allUpdatesTimeMs in FlatMapGroupsWithStateExec
  • [SPARK-35763] [SS] Rimuovere la dipendenza dell'enumerazione StateStoreCustomMetric
  • [SPARK-35791 [SQL] Release on-going map correttamente per il join ANTI compatibile con NULL
  • [SPARK-35695] [SQL] Raccogliere metriche osservate da sottoalberi di esecuzione adattiva e memorizzati nella cache
  • [SPARK-35767] [SQL] Evitare di eseguire due volte il piano figlio in CoalesceExec
  • [SPARK-35746] [interfaccia utente] Correzione dell'id attività nella sequenza temporale dell'evento dell'attività della pagina di fase
  • [SPARK-35673] [SQL] Correggere l'hint definito dall'utente e l'hint non riconosciuto nella sottoquery.
  • [SPARK-35714] [CORE] Correzione di bug per il deadlock durante l'arresto dell'executor
  • [SPARK-35689] [SS] Aggiungere un avviso del log quando keyWithIndexToValue restituisce un valore Null
  • [SPARK-35589] [CORE] [3.1] BlockManagerMasterEndpoint non deve ignorare il file shuffle solo indice durante l'aggiornamento
  • [SPARK-35643] [PYTHON] Correzione di un riferimento ambiguo in functions.py colonna()
  • [SPARK-35652] [SQL] joinWith in due tabelle generate dalla stessa tabella
  • [SPARK-35679] [SQL] instantToMicros overflow
  • [SPARK-35602] [SS] Aggiornare lo schema dello stato per poter accettare JSON di lunghezza prolungata
  • [SPARK-35653] [SQL] Correzione di CatalystToExternalMap interpretato percorso non riuscito per Map con classi case come chiavi o valori
  • [SPARK-35296] [SQL] Consentire a Dataset.observe di funzionare anche se CollectMetricsExec in un'attività gestisce più partizioni.
  • [SPARK-35659] [SS] Evitare di scrivere null in StateStore
  • [SPARK-35665] [SQL] Risolvere unresolvedAlias in CollectMetrics
  • [SPARK-35558] Ottimizza per il recupero multi quantile
  • [SPARK-35621] [SQL] Aggiungere l'eliminazione dell'ID regola alla regola TypeCoercion
  • [SPARK-35077] [SQL] Eseguire la migrazione a transformWithPruning per le regole dell'ottimizzatore di sinistra
  • [SPARK-35610] [CORE] Correggere la perdita di memoria introdotta dall'hook di arresto dell'executor
  • [SPARK-35544] [SQL] Aggiungere l'eliminazione di modelli ad albero alle regole dell'analizzatore
  • [SPARK-35566] [SS] Correzione delle righe di output StateStoreRestoreExec
  • [SPARK-35454] [SQL] [3.1] One LogicalPlan può corrispondere a più ID set di dati
  • [SPARK-35538] [SQL] Eseguire la migrazione dei siti di chiamata transformAllExpressions per usare transformAllExpressionsWithPruning
  • [SPARK-35106] [Core] [SQL] Evitare errori di ridenominazione causata dalla directory di destinazione non esistente
  • [SPARK-35287] [SQL] Consenti a RemoveRedundantProjects di mantenere ProjectExec che genera UnsafeRow per DataSourceV2ScanRelation
  • [SPARK-35495] [R] Modificare il manutentore SparkR per CRAN
  • [SPARK-27991] [CORE] Rinviare la richiesta di recupero in Netty OOM
  • [SPARK-35171] [R] Dichiarare il pacchetto markdown come dipendenza del pacchetto SparkR
  • [SPARK-35454] [SQL] Un elemento LogicalPlan può corrispondere a più ID set di dati
  • [SPARK-35298] [SQL] Eseguire la migrazione a transformWithPruning per le regole in Optimizer.scala
  • [SPARK-35480] [SQL] Rendere percentile_approx lavorare con pivot
  • [SPARK-35093] [SQL] AQE ora usa il nuovo pianoQueryStage come chiave per cercare scambi memorizzati nella cache per riutilizzare
  • [SPARK-35146] [SQL] Eseguire la migrazione a transformWithPruning o resolveWithPruning per le regole in finishAnalysis.scala
  • [SPARK-35411] [SQL] Aggiungere informazioni essenziali durante la serializzazione di TreeNode in json
  • [SPARK-35294] [SQL] Aggiungere l'eliminazione dell'attraversamento ad albero nelle regole con file dedicati in Optimizer
  • [SPARK-34897] [SQL] [3.1] Supporto della riconciliazione degli schemi in base all'indice dopo l'eliminazione della colonna nidificata
  • [SPARK-35144] [SQL] Eseguire la migrazione a transformWithPruning per le regole dell'oggetto
  • [SPARK-35155] [SQL] Aggiungere l'eliminazione dell'ID regola alle regole dell'analizzatore
  • [SPARK-35382] [PYTHON] Risolvere i problemi relativi al nome della variabile lambda nelle funzioni dataframe annidate nelle API Python.
  • [SPARK-35359] [SQL] L'inserimento di dati con tipo di dati char/varchar avrà esito negativo quando la lunghezza dei dati supera il limite di lunghezza
  • [SPARK-35381] [R] Risolvere i problemi relativi al nome della variabile lambda nelle funzioni con ordine superiore annidato nelle API R

Ambiente di sistema

  • Sistema operativo: Ubuntu 18.04.5 LTS
  • Java: Zulu 8.54.0.21-CA-linux64
  • Scala: 2.12.10
  • Python: 3.8.8
  • R: 4.1.0 (2021-05-18)
  • Delta Lake 1.0.0

Librerie Python installate

Libreria Versione Libreria Versione Libreria Versione
appdirs 1.4.4 asn1crypto 1.4.0 backcall 0.2.0
boto3 1.16.7 botocore 1.19.7 brotlipy 0.7.0
certifi 2021.5.30 cffi 1.14.3 chardet 3.0.4
Crittografia 3.1.1 cycler 0.10.0 Cython 0.29.21
decorator 4.4.2 distlib 0.3.2 docutils 0.15.2
entrypoints 0,3 facet-overview 1.0.0 filelock 3.0.12
idna 2.10 ipykernel 5.3.4 ipython 7.19.0
ipython-genutils 0.2.0 jedi 0.17.2 jmespath 0.10.0
joblib 0.17.0 jupyter-client 6.1.7 jupyter-core 4.6.3
kiwisolver 1.3.0 koalas 1.8.1 matplotlib 3.2.2
numpy 1.19.2 pandas 1.1.5 parso 0.7.0
patsy 0.5.1 pexpect 4.8.0 pickleshare 0.7.5
pip 20.2.4 plotly 4.14.3 prompt-toolkit 3.0.8
protobuf 3.17.3 psycopg2 2.8.5 ptyprocess 0.6.0
pyarrow 1.0.1 pycparser 2,20 Pygments 2.7.2
pyOpenSSL 19.1.0 pyparsing 2.4.7 PySocks 1.7.1
python-dateutil 2.8.1 pytz 2020.5 pyzmq 19.0.2
requests 2.24.0 Nuovo tentativo in corso… 1.3.3 s3transfer 0.3.6
scikit-learn 0.23.2 scipy 1.5.2 seaborn 0.10.0
setuptools 50.3.1 sei 1.15.0 statsmodels 0.12.0
threadpoolctl 2.1.0 tornado 6.0.4 traitlets 5.0.5
urllib3 1.25.11 virtualenv 20.2.1 wcwidth 0.2.5
wheel 0.35.1

Librerie R installate

Le librerie R vengono installate dallo snapshot di Microsoft CRAN nel 2020-11-02.

Libreria Versione Libreria Versione Libreria Versione
askpass 1.1 assertthat 0.2.1 backports 1.2.1
base 4.1.0 base64enc 0.1-3 BH 1.72.0-3
bit 4.0.4 bit64 4.0.5 blob 1.2.1
boot 1.3-28 brew 1.0-6 Brio 1.1.0
Scopa 0.7.2 callr 3.5.1 caret 6.0-86
cellranger 1.1.0 chron 2.3-56 class 7.3-19
cli 2.2.0 clipr 0.7.1 cluster 2.1.2
codetools 0.2-18 colorspace 2.0-0 commonmark 1,7
compilatore 4.1.0 config 0,3 covr 3.5.1
cpp11 0.2.4 crayon 1.3.4 credentials 1.3.0
crosstalk 1.1.0.1 curl 4.3 data.table 1.13.4
datasets 4.1.0 DBI 1.1.0 dbplyr 2.0.0
desc 1.2.0 devtools 2.3.2 diffobj 0.3.2
digest 0.6.27 dplyr 1.0.2 DT 0,16
puntini di sospensione 0.3.1 evaluate 0,14 fansi 0.4.1
farver 2.0.3 fastmap 1.0.1 forcats 0.5.0
foreach 1.5.1 foreign 0.8-81 forge 0.2.0
fs 1.5.0 future 1.21.0 generics 0.1.0
Gert 1.0.2 ggplot2 3.3.2 Gh 1.2.0
gitcreds 0.1.1 glmnet 4.0-2 globals 0.14.0
glue 1.4.2 Gower 0.2.2 grafica 4.1.0
grDevices 4.1.0 grid 4.1.0 gridExtra 2.3
gsubfn 0,7 gtable 0.3.0 haven 2.3.1
highr 0,8 hms 0.5.3 htmltools 0.5.0
htmlwidgets 1.5.3 httpuv 1.5.4 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ini 0.3.1
ipred 0.9-9 isoband 0.2.3 Iteratori 1.0.13
jsonlite 1.7.2 KernSmooth 2.23-20 knitr 1,30
Etichettatura 0.4.2 later 1.1.0.1 Lattice 0.20-44
Java 1.6.8.1 lazyeval 0.2.2 lifecycle 0.2.0
listenv 0.8.0 lubridate 1.7.9.2 magrittr 2.0.1
markdown 1.1 MASS 7.3-54 Matrice 1.3-3
memoise 1.1.0 methods 4.1.0 mgcv 1.8-35
mime 0.9 ModelMetrics 1.2.2.2 modelr 0.1.8
munsell 0.5.0 nlme 3.1-152 nnet 7.3-16
numDeriv 2016.8-1.1 openssl 1.4.3 parallel 4.1.0
parallelly 1.22.0 Concetto fondamentale 1.4.7 pkgbuild 1.1.0
pkgconfig 2.0.3 pkgload 1.1.0 plogr 0.2.0
plyr 1.8.6 praise 1.0.0 prettyunits 1.1.1
Proc 1.16.2 processx 3.4.5 prodlim 2019.11.13
Avanzamento 1.2.2 promises 1.1.1 proto 1.0.0
ps 1.5.0 purrr 0.3.4 r2d3 0.2.3
R6 2.5.0 randomForest 4.6-14 rappdirs 0.3.1
rcmdcheck 1.3.3 RColorBrewer 1.1-2 Rcpp 1.0.5
readr 1.4.0 readxl 1.3.1 ricette 0.1.15
rematch 1.0.1 rematch2 2.1.2 remotes 2.2.0
reprex 0.3.0 reshape2 1.4.4 rex 1.2.0
rlang 0.4.9 rmarkdown 2.6 RODBC 1.3-17
roxygen2 7.1.1 rpart 4.1-15 rprojroot 2.0.2
Rserve 1.8-8 RSQLite 2.2.1 rstudioapi 0,13
rversions 2.0.2 rvest 0.3.6 Scalabilità 1.1.1
selectr 0.4-2 sessioninfo 1.1.1 Forma 1.4.5
shiny 1.5.0 sourcetools 0.1.7 sparklyr 1.5.2
SparkR 3.1.1 spaziale 7.3-11 Spline 4.1.0
sqldf 0.4-11 SQUAREM 2020.5 stats 4.1.0
stats4 4.1.0 stringi 1.5.3 stringr 1.4.0
Sopravvivenza 3.2-11 sys 3.4 tcltk 4.1.0
TeachingDemos 2.10 testthat 3.0.0 tibble 3.0.4
tidyr 1.1.2 tidyselect 1.1.0 tidyverse 1.3.0
timeDate 3043.102 tinytex 0,28 tools 4.1.0
usethis 2.0.0 utf8 1.1.4 utils 4.1.0
uuid 0.1-4 vctrs 0.3.5 viridisLite 0.3.0
waldo 0.2.3 whisker 0,4 withr 2.3.0
xfun 0,19 xml2 1.3.2 xopen 1.0.0
xtable 1.8-4 yaml 2.2.1 zip 2.1.1

Librerie Java e Scala installate (versione del cluster Scala 2.12)

ID gruppo ID artefatto Versione
antlr antlr 2.7.7
com.amazonaws amazon-distribuisci-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-consultas 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-marketplacemeteringservice 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analitica stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.mdfsoftware kryo-shaded 4.0.2
com.mdfsoftware minlog 1.3.0
com.fasterxml compagno di classe 1.3.4
com.fasterxml.jackson.core annotazioni jackson 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.caffeina caffeina 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.8-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guaiava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning JSON 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocità univocità-parser 2.9.1
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec commons-codec 1,10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
hive-2.3__hadoop-2.7 jets3t-0.7 liball_deps_2.12
hive-2.3__hadoop-2.7 zookeeper-3.4 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,10
io.delta delta-sharing-spark_2.12 0.1.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.51.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx collettore 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-trees hive-2.3__hadoop-2.7 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pirolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8-1
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow formato freccia 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow freccia-vettore 2.0.0
org.apache.avro avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1,20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.10
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curatore-cliente 2.7.1
org.apache.curator curatore-framework 2.7.1
org.apache.curator ricette curatori 2.7.1
org.apache.derby derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-client 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-client 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive hive-shims 2.3.7
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common 2.3.7
org.apache.hive.shims hive-shims-scheduler 2.3.7
org.apache.htrace htrace-core Incubazione 3.1.0
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy ivy 2.4.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.5.12
org.apache.orc orc-mapreduce 1.5.12
org.apache.orc orc-shim 1.5.12
org.apache.parquet parquet-column 1.10.1-databricks9
org.apache.parquet parquet-common 1.10.1-databricks9
org.apache.parquet codifica parquet 1.10.1-databricks9
org.apache.parquet formato parquet 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks9
org.apache.parquet parquet-jackson 1.10.1-databricks9
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm7-shaded 4.15
org.apache.yetus annotazioni del gruppo di destinatari 0.5.0
org.apache.zookeeper zookeeper 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.36.v20210114
org.eclipse.jetty jetty-continuation 9.4.36.v20210114
org.eclipse.jetty jetty-http 9.4.36.v20210114
org.eclipse.jetty jetty-io 9.4.36.v20210114
org.eclipse.jetty jetty-jndi 9.4.36.v20210114
org.eclipse.jetty jetty-plus 9.4.36.v20210114
org.eclipse.jetty jetty-proxy 9.4.36.v20210114
org.eclipse.jetty jetty-security 9.4.36.v20210114
org.eclipse.jetty jetty-server 9.4.36.v20210114
org.eclipse.jetty jetty-servlet 9.4.36.v20210114
org.eclipse.jetty jetty-servlets 9.4.36.v20210114
org.eclipse.jetty jetty-util 9.4.36.v20210114
org.eclipse.jetty jetty-util-ajax 9.4.36.v20210114
org.eclipse.jetty jetty-webapp 9.4.36.v20210114
org.eclipse.jetty jetty-xml 9.4.36.v20210114
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.30
org.glassfish.jersey.containers jersey-container-servlet-core 2.30
org.glassfish.jersey.core jersey-client 2.30
org.glassfish.jersey.core maglia-comune 2.30
org.glassfish.jersey.core jersey-server 2.30
org.glassfish.jersey.inject jersey-hk2 2.30
org.glassfish.jersey.media jersey-media-jaxb 2.30
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M5
org.json4s json4s-core_2.12 3.7.0-M5
org.json4s json4s-jackson_2.12 3.7.0-M5
org.json4s json4s-scalap_2.12 3.7.0-M5
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap Spessori 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark inutilizzato 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten treten-extra 1.5.0
org.cortanaani xz 1,5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.2
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1,5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0,52