Databricks Runtime 7.4(不支持)

Databricks 于 2020 年 11 月发布了此映像。

以下发行说明提供了由 Apache Spark 3.0 支持的 Databricks Runtime 7.4 的相关信息。

新增功能

本部分内容:

Delta Lake 新增功能和改进

此版本提供以下 Delta Lake 新功能和改进:

新的 API 允许 Delta Lake 验证添加到表中的数据是否满足约束

Delta Lake 现在支持 CHECK 约束。 提供时,Delta Lake 会自动验证添加到表中的数据是否满足指定的表达式。 若要添加 CHECK 约束,请使用 ALTER TABLE ADD CONSTRAINTS 命令。 有关详细信息,请参阅 Azure Databricks 的约束

新的 API 允许你将 Delta 表回退到旧版本的表

现在,你可以使用 RESTORE 命令将 Delta 表回退到旧版本:

SQL
RESTORE <table> TO VERSION AS OF n;
RESTORE <table> TO TIMESTAMP AS OF 'yyyy-MM-dd HH:mm:ss';
Python
from delta.tables import DeltaTable
DeltaTable.forPath(spark, path).restoreToVersion(n)
DeltaTable.forPath(spark, path).restoreToTimestamp('yyyy-MM-dd')
Scala
import io.delta.tables.DeltaTable
DeltaTable.forPath(spark, path).restoreToVersion(n)
DeltaTable.forPath(spark, path).restoreToTimestamp("yyyy-MM-dd")

RESTORE 将创建一个新提交,该提交将回退自要还原的版本以来对表所做的所有更改。 所有现有数据和元数据被还原,其中包括架构、约束、流式处理事务 ID、COPY INTO 元数据和表协议版本。 有关详细信息,请参阅还原 Delta 表

新的起始版本只允许返回 Delta Lake 流式处理源中的最新更改

若仅返回最新更改,请将 startingVersion 指定为 latest。 有关详细信息,请参阅指定初始位置

提高了 OPTIMIZE 的稳定性

OPTIMIZE(没有任何分区谓词)可以缩放到在具有数千万个小文件的表上运行。 以前,Apache Spark 驱动程序可能内存不足,OPTIMIZE 无法完成。OPTIMIZE 现在处理具有数千万个文件的非常大的表。

自动加载程序现在支持将文件通知资源设置委派给管理员

新的 Scala API 允许管理员为自动加载程序设置文件通知资源。 数据工程师现在可以通过将初始资源设置委派给管理员,以更少的权限操作其自动加载程序流。 请参阅手动配置或管理文件通知资源

新的 USAGE 权限使管理员对数据访问权限拥有更大的控制权

若要对数据库中的对象执行操作,除了执行该操作所需的特权以外,现在还必须被授予该数据库的 USAGE 特权。 被授予数据库或目录的 USAGE 权限。 引入 USAGE 特权后,表所有者不能再单方面决定与其他用户共享该权限;用户还必须在包含该表的数据库上具有 USAGE 权限。

在启用表访问控制的工作区中,users 组自动具有根 CATALOGUSAGE 权限。

有关详细信息,请参阅 USAGE 权限

现在为已启用传递的群集启用了 DBFS FUSE

现在,当你使用为凭据传递启用的高并发群集时,可以使用 /dbfs/ 上的 FUSE 装载从 DBFS 读取和写入。 支持常规装载。 不支持需要传递凭证的装载。

改进

Spark SQL 支持 IFFCHARINDEX 作为 IFPOSITION 的同义词

在 Databricks Runtime 中 IF()CASE WHEN <cond> THEN <expr1> ELSE <expr2> END 的同义词

Databricks Runtime 现在支持 IFF() 作为 IF() 的同义词

SELECT IFF(c1 = 1, 'Hello', 'World'), c1 FROM (VALUES (1), (2)) AS T(c1)
=> (Hello, 1)
(World, 2)

CHARINDEXPOSITION 函数的备用名称。 CHARINDEX 查找具有可选启动索引的另一个字符串中字符串第一次出现的位置。

VALUES(CHARINDEX('he', 'hello from hell', 2))
=> 12

为 Python 笔记本默认启用每个单元格的多个输出

Databricks Runtime 7.1 引入了对 Python 笔记本中每个单元格的多个输出的支持(以及非 Python 笔记本中的 %python 单元),但你需要为笔记本启用该功能。 Databricks Runtime 7.4 中默认启用此功能。 请参阅查看每个单元格的多个输出

Python 笔记本的自动完成改进

Python 的自动完成显示使用 Jedi 库从代码的静态分析生成的其他类型信息。 可以按 Tab 键以查看选项列表。

autocomplete-demo

改进了 Spark 数据帧预览中的 display Spark ML 矢量

display 格式现在显示矢量类型(稀疏或密集)、长度、索引(稀疏矢量)和值的标签。

其他修复

  • 修复了笔记本中 collections.namedtuple 的 pickling 问题。
  • 使用以交互方式定义的类和方法修复了 pickling 问题。
  • 修复了导致对 mlflow.start_run() 的调用在传递时或在为表访问控制启用的群集上失败的 bug。

库升级

  • 升级了 Python 库:
    • jedi 已从 0.14.1 升级到 0.17.2。
    • koalas 已从 1.2.0 升级到 1.3.0。
    • parso 已从 0.5.2 升级到 0.7.0。
  • 升级了多个已安装的 R 库。 请参阅已安装的 R 库

Apache Spark

Databricks Runtime 7.4 包括 Apache Spark 3.0.1。 此版本包括 Databricks Runtime 7.3 LTS 中包含的所有 Spark 修复和改进,以及对 Spark 进行的以下其他 bug 修复和改进:

  • [SPARK-33170] [SQL] 添加 SQL 配置以控制 FileFormatWriter 中的快速失败行为
  • [SPARK-33136] [SQL] 修复 V2WriteCommand.outputResolved 中错误交换的参数
  • [SPARK-33134] [SQL] 仅返回根 JSON 对象的部分结果
  • [SPARK-33038] [SQL] 合并 AQE 初始和当前计划…
  • [SPARK-33118] [SQL] CREATE TEMPORARY TABLE 位置失败
  • [SPARK-33101] [ML] 使 LibSVM 格式将 Hadoop 配置从 DS 选项传播到基础 HDFS 文件系统
  • [SPARK-33035] [SQL] 更新 QueryPlan#transformUpWithNewOutput 中已过时的属性映射条目
  • [SPARK-33091] [SQL] 避免使用 map 而不是 foreach,以避免 OrcUtils.readCatalystSchema 的调用方的潜在副作用
  • [SPARK-33073] [PYTHON] 改进关于 Pandas 到 Arrow 转换失败的错误处理
  • [SPARK-33043] [ML] 处理 spark.driver.maxResultSize=0 in RowMatrix heuristic 计算
  • [SPARK-29358] [SQL] 使 unionByName 选择性地使用 null 值填充缺失列
  • [SPARK-32996] [WEB UI] 在 ExecutorMetricsJsonSerializer 中处理空 ExecutorMetrics
  • [SPARK-32585] [SQL] 支持 ScalaReflection 中的 scala 枚举
  • [SPARK-33019] [CORE] 默认情况下使用 spark.hadoop.mapreduce.fileoutputcommitter.algorithm.version=1
  • [SPARK-33018] [SQL] 如果子级有 0 个字节,则修复估计统计信息问题
  • [SPARK-32901] [CORE] 在溢出 UnsafeExternalSorter 时不要分配内存
  • [SPARK-33015] [SQL] 在 ComputeCurrentTime 规则中使用 millisToDays()
  • [SPARK-33015] [SQL] 仅计算当前日期一次
  • [SPARK-32999] [SQL] 使用 Utils.getSimpleName 以避免在 TreeNode 中命中格式错误的类名
  • [SPARK-32659] [SQL] Broadcast Array 而不是在 InSubqueryExec 中的 Set
  • [SPARK-32718] [SQL] 删除间隔单位的不必要关键字
  • [SPARK-32886] [WEBUI] 修复事件时间线视图中的“未定义”链接
  • [SPARK-32898] [CORE] 修复在实际启动前终止任务时错误的 executorRunTime
  • [SPARK-32635] [SQL] 在 catalyst 模块中添加新的测试用例
  • [SPARK-32930] [CORE] 替换弃用的 isFile/isDirectory 方法
  • [SPARK-32906] [SQL] 结构字段名称在规范化浮点数后不应更改
  • [SPARK-24994] [SQL] 添加 UnwrapCastInBinaryComparison 优化器以简化整型文本
  • [SPARK-32635] [SQL] 修复可折叠传播
  • [SPARK-32738] [CORE] 如果在 Inbox.process 中发生严重错误,应减少活动线程的数量
  • [SPARK-32900] [CORE] 允许 UnsafeExternalSorter 在有 null 值时溢出
  • [SPARK-32897] [PYTHON] 在 SparkSession.builder.getOrCreate 中不显示弃用警告
  • [SPARK-32715] [CORE] 修复存储广播片段失败时的内存泄露
  • [SPARK-32715] [CORE] 修复存储广播片段失败时的内存泄露
  • [SPARK-32872] [CORE] 防止 BytesToBytesMap at MAX_CAPACITY 超过增长阈值
  • [SPARK-32876] [SQL] 在 HiveExternalCatalogVersionsSuite 中将默认回退版本更改为 3.0.1 和 2.4.7
  • [SPARK-32840] [SQL] 无效的间隔值可能恰好与单元粘在一起
  • [SPARK-32819] [SQL] ignoreNullability 参数应以递归方式有效
  • [SPARK-32832] [SS] 将 CaseInsensitiveMap 用于 DataStreamReader/Writer 选项
  • [SPARK-32794] [SS] 修复了微批引擎中的一些有状态查询 + 无数据批处理 + V1 源的罕见边角案例错误
  • [SPARK-32813] [SQL] 如果没有活动的 SparkSession,则获取 ParquetSource 矢量化读取器的默认配置
  • [SPARK-32823] [WEB UI] 修复主 ui 资源报告
  • [SPARK-32824] [CORE] 改进在用户忘记资源配置中的 .amount 时的错误消息
  • [SPARK-32614] [SQL] 如果未为 CSV 设置“注释”,则不应用注释处理
  • [SPARK-32638] [SQL] 更正在 WidenSetOperationTypes 中添加别名时的引用
  • [SPARK-32810] [SQL] 在推断架构时,CSV/JSON 数据源应避免使用文件名代换路径
  • [SPARK-32815] [ML] 修复 glob 元字符的文件路径上的 LibSVM 数据源加载错误
  • [SPARK-32753][SQL] 仅将标记复制到没有标记的节点
  • [SPARK-32785] [SQL] 包含无关联部件的间隔不应为 null
  • [SPARK-32764] [SQL] - 0.0 应等于 0.0
  • [SPARK-32810] [SQL] 在推断架构时,CSV/JSON 数据源应避免使用文件名代换路径
  • [SPARK-32779] [SQL] 避免在 withClient 流中使用 SessionCatalog 的已同步 API,这会导致 DeadLock
  • [SPARK-32791] [SQL] 非分区表指标不应具有动态分区修剪时间
  • [SPARK-32767] [SQL] 如果 spark.sql.shuffle.partitions 大于 bucket 数,则 bucket 联接应运作
  • [SPARK-32788] [SQL] 非分区表扫描不应具有分区筛选器
  • [SPARK-32776] [SS] 流式处理中的限制不应被 PropagateEmptyRelation 优化掉
  • [SPARK-32624] [SQL] 在嵌套 Scala 类型上修复 CodegenContext.addReferenceObj 中的回归
  • [SPARK-32659] [SQL] 改进在非原子类型上修剪 DPP 的测试
  • [SPARK-31511] [SQL] 使 BytesToBytesMap 迭代器线程安全
  • [SPARK-32693] [SQL] 将两个数据帧与相同架构进行比较,可为 null 的属性除外
  • [SPARK-28612] [SQL] 正确的 DataFrameWriterV2.replace() 方法文档

维护更新

请参阅 Databricks Runtime 7.4 维护更新

系统环境

  • 操作系统:Ubuntu 18.04.5 LTS
  • Java:Zulu 8.48.0.53-CA-linux64(版本 1.8.0_265-b11)
  • Scala:2.12.10
  • Python:3.7.5
  • R:R 版本 3.6.3 (2020-02-29)
  • Delta Lake 0.7.0

已安装的 Python 库

版本 版本 版本
asn1crypto 1.3.0 backcall 0.1.0 boto3 1.12.0
botocore 1.15.0 certifi 2020.6.20 cffi 1.14.0
chardet 3.0.4 密码系统 2.8 cycler 0.10.0
Cython 0.29.15 decorator 4.4.1 docutils 0.15.2
entrypoints 0.3 idna 2.8 ipykernel 5.1.4
ipython 7.12.0 ipython-genutils 0.2.0 jedi 0.17.2
jmespath 0.10.0 joblib 0.14.1 jupyter-client 5.3.4
jupyter-core 4.6.1 kiwisolver 1.1.0 koalas 1.3.0
matplotlib 3.1.3 numpy 1.18.1 pandas 1.0.1
parso 0.7.0 patsy 0.5.1 pexpect 4.8.0
pickleshare 0.7.5 pip 20.0.2 prompt-toolkit 3.0.3
psycopg2 2.8.4 ptyprocess 0.6.0 pyarrow 1.0.1
pycparser 2.19 Pygments 2.5.2 PyGObject 3.26.1
pyOpenSSL 19.1.0 pyparsing 2.4.6 PySocks 1.7.1
python-apt 1.6.5+ubuntu0.3 python-dateutil 2.8.1 pytz 2019.3
pyzmq 18.1.1 请求 2.22.0 s3transfer 0.3.3
scikit-learn 0.22.1 scipy 1.4.1 seaborn 0.10.0
setuptools 45.2.0 6 1.14.0 ssh-import-id 5.7
statsmodels 0.11.0 tornado 6.0.3 traitlets 4.3.3
unattended-upgrades 0.1 urllib3 1.25.8 virtualenv 16.7.10
wcwidth 0.1.8 wheel 0.34.2

已安装的 R 库

R 库安装自(XXXX-XX-XX 的 Microsoft CRAN 快照)。

版本 版本 版本
askpass 1.1 assertthat 0.2.1 backports 1.1.8
base 3.6.3 base64enc 0.1-3 BH 1.72.0-3
bit 1.1-15.2 bit64 0.9-7 blob 1.2.1
启动 1.3-25 brew 1.0-6 broom 0.7.0
callr 3.4.3 caret 6.0-86 cellranger 1.1.0
chron 2.3-55 class 7.3-17 cli 2.0.2
clipr 0.7.0 cluster 2.1.0 codetools 0.2-16
colorspace 1.4-1 commonmark 1.7 compiler 3.6.3
config 0.3 covr 3.5.0 crayon 1.3.4
crosstalk 1.1.0.1 curl 4.3 data.table 1.12.8
datasets 3.6.3 DBI 1.1.0 dbplyr 1.4.4
desc 1.2.0 devtools 2.3.0 digest 0.6.25
dplyr 0.8.5 DT 0.14 ellipsis 0.3.1
评估 0.14 fansi 0.4.1 farver 2.0.3
fastmap 1.0.1 forcats 0.5.0 foreach 1.5.0
foreign 0.8-76 forge 0.2.0 fs 1.4.2
generics 0.0.2 ggplot2 3.3.2 gh 1.1.0
git2r 0.27.1 glmnet 3.0-2 globals 0.12.5
glue 1.4.1 gower 0.2.2 graphics 3.6.3
grDevices 3.6.3 grid 3.6.3 gridExtra 2.3
gsubfn 0.7 gtable 0.3.0 haven 2.3.1
highr 0.8 hms 0.5.3 htmltools 0.5.0
htmlwidgets 1.5.1 httpuv 1.5.4 httr 1.4.1
hwriter 1.3.2 hwriterPlus 1.0-3 ini 0.3.1
ipred 0.9-9 isoband 0.2.2 iterators 1.0.12
jsonlite 1.7.0 KernSmooth 2.23-17 knitr 1.29
labeling 0.3 later 1.1.0.1 lattice 0.20-41
lava 1.6.7 lazyeval 0.2.2 lifecycle 0.2.0
lubridate 1.7.9 magrittr 1.5 markdown 1.1
MASS 7.3-53 矩阵 1.2-18 memoise 1.1.0
方法 3.6.3 mgcv 1.8-33 mime 0.9
ModelMetrics 1.2.2.2 modelr 0.1.8 munsell 0.5.0
nlme 3.1-149 nnet 7.3-14 numDeriv 2016.8-1.1
openssl 1.4.2 parallel 3.6.3 pillar 1.4.6
pkgbuild 1.1.0 pkgconfig 2.0.3 pkgload 1.1.0
plogr 0.2.0 plyr 1.8.6 praise 1.0.0
prettyunits 1.1.1 pROC 1.16.2 processx 3.4.3
prodlim 2019.11.13 进度 1.2.2 promises 1.1.1
proto 1.0.0 ps 1.3.3 purrr 0.3.4
r2d3 0.2.3 R6 2.4.1 randomForest 4.6-14
rappdirs 0.3.1 rcmdcheck 1.3.3 RColorBrewer 1.1-2
Rcpp 1.0.5 readr 1.3.1 readxl 1.3.1
recipes 0.1.13 rematch 1.0.1 rematch2 2.1.2
remotes 2.1.1 reprex 0.3.0 reshape2 1.4.4
rex 1.2.0 rjson 0.2.20 rlang 0.4.7
rmarkdown 2.3 RODBC 1.3-16 roxygen2 7.1.1
rpart 4.1-15 rprojroot 1.3-2 Rserve 1.8-7
RSQLite 2.2.0 rstudioapi 0.11 rversions 2.0.2
rvest 0.3.5 scales 1.1.1 selectr 0.4-2
sessioninfo 1.1.1 shape 1.4.4 shiny 1.5.0
sourcetools 0.1.7 sparklyr 1.3.1 SparkR 3.0.0
spatial 7.3-11 splines 3.6.3 sqldf 0.4-11
SQUAREM 2020.3 stats 3.6.3 stats4 3.6.3
stringi 1.4.6 stringr 1.4.0 survival 3.2-7
sys 3.3 tcltk 3.6.3 TeachingDemos 2.10
testthat 2.3.2 tibble 3.0.3 tidyr 1.1.0
tidyselect 1.1.0 tidyverse 1.3.0 timeDate 3043.102
tinytex 0.24 工具 3.6.3 usethis 1.6.1
utf8 1.1.4 utils 3.6.3 uuid 0.1-4
vctrs 0.3.1 viridisLite 0.3.0 whisker 0.4
withr 2.2.0 xfun 0.15 xml2 1.3.2
xopen 1.0.0 xtable 1.8-4 yaml 2.2.1

已安装的 Java 库和 Scala 库(Scala 2.12 群集版本)

组 ID 项目 ID 版本
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics 流 (stream) 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.4-3
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.2.8
com.microsoft.sqlserver mssql-jdbc 8.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.0
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.10
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.47.Final
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.12.8
net.snowflake spark-snowflake_2.12 2.8.1-spark_3.0
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.7.1
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 0.15.1
org.apache.arrow arrow-memory 0.15.1
org.apache.arrow arrow-vector 0.15.1
org.apache.avro avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1.8.1
org.apache.commons commons-crypto 1.0.0
org.apache.commons commons-lang3 3.9
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator curator-recipes 2.7.1
org.apache.derby derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-client 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-common 2.3.7
org.apache.hive hive-exec-core 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-client 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-metastore 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive hive-shims 2.3.7
org.apache.hive hive-storage-api 2.7.1
org.apache.hive hive-vector-code-gen 2.3.7
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common 2.3.7
org.apache.hive.shims hive-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0-incubating
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy ivy 2.4.0
org.apache.orc orc-core 1.5.10
org.apache.orc orc-mapreduce 1.5.10
org.apache.orc orc-shims 1.5.10
org.apache.parquet parquet-column 1.10.1-databricks6
org.apache.parquet parquet-common 1.10.1-databricks6
org.apache.parquet parquet-encoding 1.10.1-databricks6
org.apache.parquet parquet-format 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks6
org.apache.parquet parquet-jackson 1.10.1-databricks6
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.velocity 速度 1.5
org.apache.xbean xbean-asm7-shaded 4.15
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.18.v20190429
org.eclipse.jetty jetty-continuation 9.4.18.v20190429
org.eclipse.jetty jetty-http 9.4.18.v20190429
org.eclipse.jetty jetty-io 9.4.18.v20190429
org.eclipse.jetty jetty-jndi 9.4.18.v20190429
org.eclipse.jetty jetty-plus 9.4.18.v20190429
org.eclipse.jetty jetty-proxy 9.4.18.v20190429
org.eclipse.jetty jetty-security 9.4.18.v20190429
org.eclipse.jetty jetty-server 9.4.18.v20190429
org.eclipse.jetty jetty-servlet 9.4.18.v20190429
org.eclipse.jetty jetty-servlets 9.4.18.v20190429
org.eclipse.jetty jetty-util 9.4.18.v20190429
org.eclipse.jetty jetty-webapp 9.4.18.v20190429
org.eclipse.jetty jetty-xml 9.4.18.v20190429
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.30
org.glassfish.jersey.containers jersey-container-servlet-core 2.30
org.glassfish.jersey.core jersey-client 2.30
org.glassfish.jersey.core jersey-common 2.30
org.glassfish.jersey.core jersey-server 2.30
org.glassfish.jersey.inject jersey-hk2 2.30
org.glassfish.jersey.media jersey-media-jaxb 2.30
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.6.6
org.json4s json4s-core_2.12 3.6.6
org.json4s json4s-jackson_2.12 3.6.6
org.json4s json4s-scalap_2.12 3.6.6
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.1.2
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.7.45
org.roaringbitmap shims 0.7.45
org.rocksdb rocksdbjni 6.2.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark unused 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.7.5
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0.52