Databricks Runtime 7.5 (non pris en charge)

Databricks a publié cette image en décembre 2020.

Les notes de publication suivantes fournissent des informations sur Databricks Runtime 7.5, avec Apache Spark 3.0.

Nouvelles fonctionnalités

Améliorations et fonctionnalités de Delta Lake

Cette version fournit les améliorations et fonctionnalités Delta Lake suivantes :

Le point de contrôle asynchrone élimine les pics de durée des micro-lots en continu

Par défaut, Delta Lake effectue des points de contrôle toutes les 10 validations. Dans les charges de travail de diffusion en continu, les points de contrôle peuvent entraîner des pics mineurs pendant la durée du micro-lot toutes les 10 validations. Le point de contrôle asynchrone élimine ces pics.

Le point de contrôle asynchrone est activé par défaut pour toutes les charges de travail de diffusion en continu sans déclenchement. Avec les points de contrôle asynchrones, les fonctions d’écriture de diffusion en continu écrivent également des points de contrôle améliorés ; vous n’avez donc pas besoin d’accepter explicitement les points de contrôle améliorés.

Pour désactiver les points de contrôle asynchrones, définissez la configuration spark.databricks.delta.checkpoint.async.enabled false de SQL.

Les charges de travail par lots continuent à écrire des points de contrôle de façon synchrone et nous vous recommandons d’activer les points de contrôle asynchrones pour les charges de travail par lots.

Les dernières informations sur la table sont désormais propagées aux catalogues

Delta Lake propage désormais les informations les plus récentes sur les tables, telles que les propriétés de schéma et de table, aux catalogues tels que le metastore Hive, pour une base optimale. Ces informations peuvent vous aider à tirer parti des outils de catalogue pour comprendre le schéma de vos tables Delta.

Delta Lake ne dépend pas en interne de ces informations, mais tente de les tenir à jour. En outre, Delta Lake stocke les propriétés delta.lastUpdateVersion de table et delta.lastCommitTimestamp indique la version et l’horodateur de la validation qui a fait l’objet d’un push d’une modification apportée au metastore. Le magasin de clés est mis à jour uniquement lorsque le schéma de la table ou les propriétés de la table ne correspondent pas. Par conséquent, les propriétés de table mentionnées ci-dessus ne reflètent pas nécessairement la version la plus récente de la table.

Si les informations de votre table et les informations du metastore ne sont pas synchronisées, vous pouvez exécuter une commande telle que DESCRIBE <table> pour mettre à jour le metastore.

Notes

Étant donné que Hive n’autorise pas la modification des colonnes de partition, mais que les tables Delta peuvent modifier leur partitionnement, ces dernières ne s’affichent pas comme partitionnées dans Hive.

L’opération MERGE INTO prend désormais en charge l’évolution du schéma des colonnes imbriquées

L’évolution du schéma des colonnes imbriquées a désormais la même sémantique que celle des colonnes de niveau supérieur. Par exemple, de nouvelles colonnes imbriquées peuvent être automatiquement ajoutées à une colonne StructType. Pour plus d’informations, consultez Évolution automatique du schéma dans la fusion.

L’opération MERGE INTO utilise désormais automatiquement les écritures optimisées

Les écritures optimisées peuvent offrir de meilleures performances pour la commande MERGE INTO en particulier pour MERGE INTO sur les tables partitionnées. Pour désactiver les écritures optimisées, définissez la configuration Spark spark.databricks.delta.optimizeWrite.enabled sur false.

Les opérations MERGE INTO et UPDATE résolvent désormais les colonnes struct imbriquées par nom

Les commandes et les opérations UPDATE et MERGE INTO résolvent désormais les colonnes struct imbriquées par nom. Autrement dit, lors de la comparaison ou de l’affectation de colonnes de type StructType, l’ordre des colonnes imbriquées n’a pas d’importance (exactement de la même façon que l’ordre des colonnes de niveau supérieur). Pour rétablir la résolution par position, définissez la configuration Spark spark.databricks.delta.resolveMergeUpdateStructsByName.enabled sur false.

CLONE est en disponibilité générale et vous pouvez maintenant remplacer les propriétés de la table

La commande CLONE est désormais en disponibilité générale. Consultez CREATE TABLE CLONE. En outre, vous pouvez maintenant spécifier des remplacements de propriété de table lors de l’utilisation de CLONE. Pour obtenir des exemples, consultez Cloner une table sur Azure Databricks.

RESTORE est en disponibilité générale

La commande RESTORE est désormais en disponibilité générale. Consultez RESTORE.

Les implicites Scala simplifient les API de lecture et d’écriture Spark

Vous pouvez importer io.delta.implicits._ pour utiliser la méthode delta avec les API de lecture et d’écriture Spark.

import io.delta.implicits._

spark.read.delta("/my/table/path")
df.write.delta("/my/table/path")
spark.readStream.delta("/my/table/path")
df.writeStream.delta("/my/table/path")

Améliorer le débit de diffusion en continu avec l’option de connecteur fetchParallelism

Le connecteur AQS prend désormais en charge une nouvelle option fetchParallelism pour spécifier le parallélisme permettant d’extraire des messages du service de file d’attente.

Suivre la progression des flux avec les nouvelles métriques d’Auto Loader

Auto Loader signale maintenant le nombre de fichiers présents dans le backlog et la taille du backlog après chaque lot. Vous pouvez utiliser ces métriques pour suivre la progression des flux. Pour plus d’informations sur l’affichage des métriques, consultez Qu’est-ce que Auto Loader ?.

Améliorations

Support plus large des bibliothèques de portée notebook à l’aide des commandes magic %pip et %conda

Vous pouvez maintenant installer des bibliothèques de portée notebook à l’aide des commandes magic %pip et %conda sur des clusters à haute concurrence avec des ACL de table ou des informations d’identification activées.

Affichage précis de DECIMAL du langage Spark SQL

Le type de données Spark SQL DECIMAL s’affiche désormais dans des tables sans perte de précision et d’échelle.

Connecteur de stockage ADLS Gen 2 basé sur Hadoop 3.3 pour ABFS

Une version mise à niveau du connecteur de stockage ADLS Gen 2 est basée sur Hadoop 3.3 pour ABFS. Le connecteur mis à niveau contient de nombreuses améliorations de stabilité (voir Stabilité Hadoop) et inclut le support de l’authentification de jeton SAS.

Autres corrections

Le connecteur Databricks Kafka pour Spark Streaming a été supprimé. Utilisez le connecteur Apache Spark.

Mises à niveau de la bibliothèque

  • Bibliothèques Python mises à niveau :
    • koalas mis à niveau de la version 1.3.0 vers la version 1.4.0.
  • Mise à niveau de plusieurs bibliothèques R installées. Consultez Bibliothèques R installées.
  • Mise à niveau de la build OpenJDK 8 vers Zulu 8.50.0.51-CA-linux64 (build 1.8.0_275-b01).

Apache Spark

Databricks Runtime 7.5 comprend Apache Spark 3.0.1. Cette version inclut tous les correctifs et améliorations Spark figurant dans Databricks Runtime 7.4 (non pris en charge) ainsi que les correctifs de bogues et améliorations supplémentaires suivants apportés à Spark :

  • [SPARK-33611] [UI] Éviter de coder deux fois le paramètre de requête de l’URL du proxy réécrite
  • [SPARK-33587] [CORE] Tuer l’exécuteur en cas d’erreurs irrécupérables imbriquées (7.x)
  • [SPARK-33140] [SQL] Rétablir le code qui n’utilise pas le SparkSession passé pour obtenir SQLConf.
  • [SPARK-33472] [SQL] Ajuster l’ordre des règles de RemoveRedundantSorts
  • [SPARK-33422] [DOC] Corriger l’affichage correct de l’élément de menu de gauche
  • [SPARK-27421] [SQL] Correction du filtre pour la colonne int et la classe de valeur java.lang.String lors de l’élagage de la colonne de partition
  • [SPARK-33483] [INFRA][TESTS] Corriger les modèles d’exclusion de concurrence et ajouter une licence
  • [SPARK-33464] [INFRA] Ajouter/supprimer un cache nécessaire (ou non) et restructurer le fichier yaml de GitHub Actions
  • [SPARK-33407] [PYTHON][7.X] Simplifier le message d’exception des fonctions définies par l’utilisateur Python (désactivé par défaut)
  • [SPARK-33435] [SQL] DSv2 : REFRESH TABLE doit invalider les caches référençant la table
  • [SPARK-33358] [SQL] Code de retour lors de l’échec du processus de commande
  • [SPARK-33183] [DBCONNECT] Ajout de RemoveRedundantSorts.scala à ALLOW_LIST.txt
  • [SPARK-33290] [SQL] L’actualisation de la table doit invalider le cache même si la table elle-même ne peut pas être mise en cache
  • [SPARK-33140] [SQL] Correction de la compilation delta
  • [SPARK-33316] [SQL] Ajout de tests unitaires pour from_avro et to_avro avec le registre de schémas et le schéma Avro pouvant accepter la valeur Null fourni par l’utilisateur
  • [SPARK-33404] [SQL] Correction des résultats incorrects dans l’expression date_trunc
  • [SPARK-33339] [PYTHON] L’application Pyspark se bloque en raison d’une erreur de non-exception
  • [SPARK-33412] [SQL] OverwriteByExpression doit résoudre sa condition de suppression en fonction de la relation de table et non de la requête d’entrée
  • [SPARK-33391] [SQL] element_at avec CreateArray ne respecte pas un index de base
  • [SPARK-33316] [SQL] Prise en charge du schéma Avro pouvant accepter la valeur Null et fourni par l’utilisateur pour le schéma catalytique ne pouvant pas accepter la valeur Null dans l’écriture Avro
  • [SPARK-33372] [SQL] Correction du nettoyage de compartiment InSet
  • [SPARK-33371] [PYTHON] Mise à jour de setup.py et des tests pour Python 3.9
  • [SPARK-33140] [SQL] Supprimer SQLConf et SparkSession dans une sous-classe de Rule[QueryPlan]
  • [SPARK-33338] [SQL] GROUP BY avec utilisation de la mappe littérale ne doit pas échouer
  • [SPARK-33306] [SQL]Le fuseau horaire est nécessaire pour convertir une date en chaîne
  • [SPARK-33284] [WEB-UI] Dans la page de l’interface utilisateur du stockage, le fait de cliquer sur un champ pour trier le tableau entraîne la perte du contenu de l’en-tête
  • [SPARK-33362] [SQL] skipSchemaResolution doit toujours exiger la résolution de la requête
  • [SPARK-32257] [SQL] Signale des erreurs explicites pour une utilisation non valide de la commande SET/RESET
  • [SPARK-32406] [SQL] Rendre la syntaxe de RESET compatible avec la réinitialisation à configuration unique
  • [SPARK-32376] [SQL] Faire fonctionner le comportement de remplissage nul de unionByName avec les colonnes struct
  • [SPARK-32308] [SQL] Déplacer la logique de résolution par nom de unionByName du code API vers la phase d’analyse
  • [SPARK-20044] [UI] Support de l’interface utilisateur Spark derrière le proxy inverse frontal en utilisant un préfixe de chemin d’accès Revert proxy url
  • [SPARK-33268] [SQL][PYTHON] Correction de bogues pour le forçage de type des données depuis/vers PythonUserDefinedType
  • [SPARK-33292] [SQL] Supprimer l’ambiguïté de la représentation de chaîne littérale ArrayBasedMapData
  • [SPARK-33183] [SQL] Correction de la règle d’optimiseur EliminateSorts et ajout d’une règle physique pour supprimer les tris redondants
  • [SPARK-33272] [SQL] Nettoie le mappage des attributs dans QueryPlan.transformUpWithNewOutput
  • [SPARK-32090] [SQL] Améliorer UserDefinedType.equal() pour la rendre symétrique
  • [SPARK-33267] [SQL] Correction d’un problème NPE sur le filtre « In » lorsque l’une des valeurs contient null
  • [SPARK-33208] [SQL] Mettre à jour le document de SparkSession#sql
  • [SPARK-33260] [SQL] Correction des résultats incorrects de SortExec lorsque la valeur de sortOrder est Stream
  • [SPARK-33230] [SQL] Les committers Hadoop obtiennent un ID de travail unique dans « spark.sql.sources.writeJobUUID »
  • [SPARK-33197] [SQL] Apporter des modifications à spark.sql.analyzer.maxIterations pour qu’elles prennent effet au moment de l’exécution
  • [SPARK-33228] [SQL] Ne pas retirer les données du cache lors du remplacement d’un affichage ayant le même plan logique
  • [SPARK-32557] [CORE] Journalisation et ingestion de l’exception par entrée dans le serveur d’historique
  • [SPARK-32436] [CORE] Initialiser numNonEmptyBlocks dans HighlyCompressedMapStatus.readExternal
  • [SPARK-33131] [SQL] La correction des jeux de regroupement avec la clause HAVING ne peut pas résoudre le nom de colonne qualifié
  • [SPARK-32761] [SQL] Autoriser l’agrégation de plusieurs expressions distinctes pliables
  • [SPARK-33094] [SQL] Faire en sorte que le format ORC propage la configuration Hadoop des options DS au système de fichiers HDFS sous-jacent

Mises à jour de maintenance

Consultez Mises à jour de maintenance de Databricks Runtime 7.5.

Environnement du système

  • Système d’exploitation : Ubuntu 18.04.5 LTS
  • Java : Zulu 8.50.0.51-CA-linux64 (build 1.8.0_275-b01)
  • Scala : 2.12.10
  • Python : 3.7.5
  • R : R version 3.6.3 (2020-02-29)
  • Delta Lake 0.7.0

Bibliothèques Python installées

Bibliothèque Version Bibliothèque Version Bibliothèque Version
asn1crypto 1.3.0 backcall 0.1.0 boto3 1.12.0
botocore 1.15.0 certifi 2020.6.20 cffi 1.14.0
chardet 3.0.4 chiffrement 2.8 cycler 0.10.0
Cython 0.29.15 decorator 4.4.1 docutils 0.15.2
entrypoints 0.3 idna 2.8 ipykernel 5.1.4
ipython 7.12.0 ipython-genutils 0.2.0 jedi 0.17.2
jmespath 0.10.0 joblib 0.14.1 jupyter-client 5.3.4
jupyter-core 4.6.1 kiwisolver 1.1.0 koalas 1.4.0
matplotlib 3.1.3 numpy 1.18.1 pandas 1.0.1
parso 0.7.0 patsy 0.5.1 pexpect 4.8.0
pickleshare 0.7.5 pip 20.0.2 prompt-toolkit 3.0.3
psycopg2 2.8.4 ptyprocess 0.6.0 pyarrow 1.0.1
pycparser 2.19 Pygments 2.5.2 PyGObject 3.26.1
pyOpenSSL 19.1.0 pyparsing 2.4.6 PySocks 1.7.1
python-apt 1.6.5+ubuntu0.3 python-dateutil 2.8.1 pytz 2019.3
pyzmq 18.1.1 requêtes 2.22.0 s3transfer 0.3.3
scikit-learn 0.22.1 scipy 1.4.1 seaborn 0.10.0
setuptools 45.2.0 six 1.14.0 ssh-import-id 5.7
statsmodels 0.11.0 tornado 6.0.3 traitlets 4.3.3
unattended-upgrades 0.1 urllib3 1.25.8 virtualenv 16.7.10
wcwidth 0.1.8 wheel 0.34.2

Bibliothèques R installées

Les bibliothèques R sont installées à partir de l’instantané Microsoft CRAN du 02/11/2020.

Bibliothèque Version Bibliothèque Version Bibliothèque Version
askpass 1.1 assertthat 0.2.1 backports 1.1.10
base 3.6.3 base64enc 0.1-3 BH 1.72.0-3
bit 4.0.4 bit64 4.0.5 objet BLOB 1.2.1
boot 1.3-25 brew 1.0-6 brio 1.1.0
broom 0.7.2 callr 3.5.1 caret 6.0-86
cellranger 1.1.0 chron 2.3-56 class 7.3-17
cli 2.1.0 clipr 0.7.1 cluster 2.1.0
codetools 0.2-18 colorspace 1.4-1 commonmark 1.7
compiler 3.6.3 config 0.3 covr 3.5.1
cpp11 0.2.3 crayon 1.3.4 crosstalk 1.1.0.1
curl 4.3 data.table 1.13.2 jeux de données 3.6.3
DBI 1.1.0 dbplyr 1.4.4 desc 1.2.0
devtools 2.3.2 diffobj 0.3.2 digest 0.6.27
dplyr 0.8.5 DT 0.16 ellipsis 0.3.1
evaluate 0.14 fansi 0.4.1 farver 2.0.3
fastmap 1.0.1 forcats 0.5.0 foreach 1.5.1
foreign 0.8-76 forge 0.2.0 fs 1.5.0
generics 0.1.0 ggplot2 3.3.2 gh 1.1.0
git2r 0.27.1 glmnet 3.0-2 globals 0.13.1
glue 1.4.2 gower 0.2.2 graphics 3.6.3
grDevices 3.6.3 grid 3.6.3 gridExtra 2.3
gsubfn 0.7 gtable 0.3.0 haven 2.3.1
highr 0,8 hms 0.5.3 htmltools 0.5.0
htmlwidgets 1.5.2 httpuv 1.5.4 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ini 0.3.1
ipred 0.9-9 isoband 0.2.2 iterators 1.0.13
jsonlite 1.7.1 KernSmooth 2.23-18 knitr 1,30
labeling 0.4.2 later 1.1.0.1 lattice 0.20-41
lava 1.6.8 lazyeval 0.2.2 cycle de vie 0.2.0
lubridate 1.7.9 magrittr 1.5 markdown 1.1
MASS 7.3-53 Matrice 1.2-18 memoise 1.1.0
methods 3.6.3 mgcv 1.8-33 mime 0.9
ModelMetrics 1.2.2.2 modelr 0.1.8 munsell 0.5.0
nlme 3.1-150 nnet 7.3-14 numDeriv 2016.8-1.1
openssl 1.4.3 parallel 3.6.3 pillar 1.4.6
pkgbuild 1.1.0 pkgconfig 2.0.3 pkgload 1.1.0
plogr 0.2.0 plyr 1.8.6 praise 1.0.0
prettyunits 1.1.1 pROC 1.16.2 processx 3.4.4
prodlim 2019.11.13 progress 1.2.2 promises 1.1.1
proto 1.0.0 ps 1.4.0 purrr 0.3.4
r2d3 0.2.3 R6 2.5.0 randomForest 4.6-14
rappdirs 0.3.1 rcmdcheck 1.3.3 RColorBrewer 1.1-2
Rcpp 1.0.5 readr 1.4.0 readxl 1.3.1
recipes 0.1.14 rematch 1.0.1 rematch2 2.1.2
remotes 2.2.0 reprex 0.3.0 reshape2 1.4.4
rex 1.2.0 rjson 0.2.20 rlang 0.4.8
rmarkdown 2,5 RODBC 1.3-16 roxygen2 7.1.1
rpart 4.1-15 rprojroot 1.3-2 Rserve 1.8-7
RSQLite 2.2.1 rstudioapi 0.11 rversions 2.0.2
rvest 0.3.6 scales 1.1.1 selectr 0.4-2
sessioninfo 1.1.1 shape 1.4.4 shiny 1.5.0
sourcetools 0.1.7 sparklyr 1.4.0 SparkR 3.0.0
spatial 7.3-11 splines 3.6.3 sqldf 0.4-11
SQUAREM 2020.5 stats 3.6.3 stats4 3.6.3
stringi 1.5.3 stringr 1.4.0 survival 3.2-7
sys 3.4 tcltk 3.6.3 TeachingDemos 2,10
testthat 3.0.0 tibble 3.0.4 tidyr 1.1.2
tidyselect 1.1.0 tidyverse 1.3.0 timeDate 3043.102
tinytex 0,27 tools 3.6.3 usethis 1.6.3
utf8 1.1.4 utils 3.6.3 uuid 0.1-4
vctrs 0.3.4 viridisLite 0.3.0 waldo 0.2.2
whisker 0,4 withr 2.3.0 xfun 0.19
xml2 1.3.2 xopen 1.0.0 xtable 1.8-4
yaml 2.2.1

Bibliothèques Java et Scala installées (version de cluster Scala 2.12)

ID de groupe ID d’artefact Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics flux 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.4-3
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.sqlserver mssql-jdbc 8.2.1.jre8
com.microsoft.azure azure-data-lake-store-sdk 2.3.8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.0
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec commons-codec 1,10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.10
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.47.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx collecteur 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.12.8
net.snowflake spark-snowflake_2.12 2.8.1-spark_3.0
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.7.1
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 0.15.1
org.apache.arrow arrow-memory 0.15.1
org.apache.arrow arrow-vector 0.15.1
org.apache.avro avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1.8.1
org.apache.commons commons-crypto 1.0.0
org.apache.commons commons-lang3 3.9
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator curator-recipes 2.7.1
org.apache.derby derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-client 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-common 2.3.7
org.apache.hive hive-exec-core 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-client 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-metastore 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive hive-shims 2.3.7
org.apache.hive hive-storage-api 2.7.1
org.apache.hive hive-vector-code-gen 2.3.7
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common 2.3.7
org.apache.hive.shims hive-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0-incubating
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy ivy 2.4.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.5.10
org.apache.orc orc-mapreduce 1.5.10
org.apache.orc orc-shims 1.5.10
org.apache.parquet parquet-column 1.10.1-databricks6
org.apache.parquet parquet-common 1.10.1-databricks6
org.apache.parquet parquet-encoding 1.10.1-databricks6
org.apache.parquet parquet-format 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks6
org.apache.parquet parquet-jackson 1.10.1-databricks6
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.velocity vélocité 1.5
org.apache.xbean xbean-asm7-shaded 4.15
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.18.v20190429
org.eclipse.jetty jetty-continuation 9.4.18.v20190429
org.eclipse.jetty jetty-http 9.4.18.v20190429
org.eclipse.jetty jetty-io 9.4.18.v20190429
org.eclipse.jetty jetty-jndi 9.4.18.v20190429
org.eclipse.jetty jetty-plus 9.4.18.v20190429
org.eclipse.jetty jetty-proxy 9.4.18.v20190429
org.eclipse.jetty jetty-security 9.4.18.v20190429
org.eclipse.jetty jetty-server 9.4.18.v20190429
org.eclipse.jetty jetty-servlet 9.4.18.v20190429
org.eclipse.jetty jetty-servlets 9.4.18.v20190429
org.eclipse.jetty jetty-util 9.4.18.v20190429
org.eclipse.jetty jetty-webapp 9.4.18.v20190429
org.eclipse.jetty jetty-xml 9.4.18.v20190429
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.30
org.glassfish.jersey.containers jersey-container-servlet-core 2.30
org.glassfish.jersey.core jersey-client 2.30
org.glassfish.jersey.core jersey-common 2.30
org.glassfish.jersey.core jersey-server 2.30
org.glassfish.jersey.inject jersey-hk2 2.30
org.glassfish.jersey.media jersey-media-jaxb 2.30
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.6.6
org.json4s json4s-core_2.12 3.6.6
org.json4s json4s-jackson_2.12 3.6.6
org.json4s json4s-scalap_2.12 3.6.6
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.1.2
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.7.45
org.roaringbitmap shims 0.7.45
org.rocksdb rocksdbjni 6.2.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark unused 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.7.5
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0.52