Databricks Runtime 8.4（不受支持）
以下发行说明提供了由 Apache Spark 3.1.2 提供支持的 Databricks Runtime 8.4 和 Databricks Runtime 8.4 Photon 的相关信息。 Databricks 于 2021 年 7 月发布了这些映像。 Photon 处于公共预览版。
新增功能和改进
Delta Lake 新增功能和改进
- Delta 表更改数据馈送 (GA)
- 使用 Databricks Runtime 轻松加载共享 Delta 表
- 更多表受益于动态文件修剪
- 通过自动优化目标文件大小提高性能
- 在
DeltaTable.forName中指定表的更多方法 - 使用
foreachBatch实现可靠的流式处理多表写入 - 由于调整了检查点，某些工作负载中的读取查询性能有所提升
- 创建
GroupState以测试用户定义的结构化流式处理函数
Delta 表更改数据馈送 (GA)
Delta 表更改数据馈送现已正式发布。 它表示表的不同版本之间的行级别更改。 启用后，系统会记录关于表上每个写入操作的行级更改的其他信息。 请参阅在 Azure Databricks 上使用 Delta Lake 更改数据馈送。
使用 Databricks Runtime 轻松加载共享 Delta 表
用于 Delta Sharing 0.1.0 的 Apache Spark 连接器现位于 Databricks Runtime 中。 可以直接使用 spark.read.format("deltaSharing").load(uri) 加载共享表，而无需将 Delta Sharing Spark 连接器附加到群集。
更多表受益于动态文件修剪
动态文件修剪功能已优化为在文件较少的表上触发。 请参阅动态文件修剪。
通过自动优化目标文件大小提高性能
Delta 表的目标文件大小现在会根据表大小自动优化。 之前，OPTIMIZE 和 OPTIMIZE ZORDER BY 的目标文件大小为 1GB。 借助基于表大小的自动调整，2.56TB 以内的 Delta 表将使用 256MB 作为目标大小。 大于 10TB 的表将像以前一样使用 1GB 的目标大小。 这两个大小之间的表将使用与表大小成比例增长的目标大小。
请参阅配置 Delta Lake 以控制数据文件大小。
在 DeltaTable.forName 中指定表的更多方法
DeltaTable.forName 现在支持使用 delta.`<path>` 来标识表。
使用 foreachBatch 实现可靠的流式处理多表写入
现支持 foreachBatch() 命令中的幂等 Delta 流式处理写入。 有关详细信息，请参阅幂等多表写入。
由于调整了检查点，某些工作负载中的读取查询性能有所提升
Delta Lake 现可调整其执行检查点增强的频率。 Delta 现根据某些事件触发器动态调整检查点频率，而不是按固定间隔设置检查点。 这提高了以前无法应用某些数据跳过优化的工作负载中的读取查询性能。 若要使用这些优化，请将写入 Delta Lake 的作业升级到 Databricks Runtime 8.4。 请参阅为结构化流式处理查询启用增强的检查点。
创建 GroupState 以测试用户定义的结构化流式处理函数
到目前为止，只有结构化流式处理引擎才能创建 GroupState 的实例。 因此，用户定义函数的任何单元测试都需要在 Apache Spark 中运行流式处理查询。
现在，你可以使用 TestGroupState.create(…) 创建 GroupState 的实例。 这允许你在无需运行 Spark 的简单单元测试中测试用户定义的函数。 请参阅测试 mapGroupsWithState 更新函数。 具体而言，它会生成类型为 TestGroupState 的实例，该实例扩展了接口 GroupState，并提供用于在应用用户定义的函数之后检查内部状态的其他方法。
自动加载程序功能和改进
配置回填以捕获丢失的文件
自动加载程序现在支持异步执行回填，以通过文件通知捕获可能遗漏的任何文件。 文件存储系统和通知系统无法保证 100% 传递所有文件事件。 因此，Databricks 建议启用定期回填，以使用自动加载程序捕获所有数据。 使用 cloudFiles.backfillInterval 选项可以计划对数据进行定期回填。 请参阅常用的自动加载程序选项。
为大型卷流绑定存储占用空间
现在可以将自动加载程序配置为过期并删除 RocksDB 中的条目，以将其存储占用空间绑定到检查点位置。 Databricks 不建议使用此选项，除非需要以每小时数百万个文件的速度引入数据。 错误地设置此选项或尝试优化它可能会导致许多数据质量问题，例如忽略未处理的文件或复制某些文件，而不是仅进行一次处理。 有关详细信息，请参阅事件保留期。
具有无路径支持的简化配置
S3 存储桶
现在，可以提供从多个路径或 S3 存储桶接收事件的 SQS 队列。
如果提供 SQS 队列 URL，则此用例不需要 path 选项。
自动加载程序使用 S3 事件中的存储桶和密钥构造 S3 路径。 如果要通过 DBFS 装入点读取文件，可以使用 cloudFiles.pathRewrites 将路径前缀更改为 DBFS。 除非使用 AssumeRole 访问不同帐户的数据，否则不需要这样做。
请参阅文件通知选项。
Azure Data Lake Storage Gen2 容器
现在，可以提供从多个容器接收事件的 Azure 队列。
如果提供 Azure 队列名称，则不需要 path 选项。
默认情况下，自动加载程序使用文件事件中的容器和密钥构造 Azure Data Lake Storage Gen2 路径。
如果要使用 WASB 路径或 DBFS 装入点，可以使用 cloudFiles.pathRewrites 更改路径前缀。
请参阅文件通知选项。
连接器升级
- Snowflake Spark 连接器已更新至 v2.9.0。
- Redshift 连接器的
UNLOAD语句中现已支持 KMS 加密。
Bug 修复
- 修复了启用表访问控制的群集中的问题：即使用户没有文件访问权限，
select * from folder也可以显示文件夹内容。 - 非管理员数据库所有者现在可以删除数据库中非拥有的表。 这修复了以下问题：数据库所有者在数据库中存在非拥有表时无法删除数据库。
库升级
- 升级了 Python 库：
- certifi 已从 2020.12.5 升级到 2021.5.30
- distill 已从 0.3.1 升级到 0.3.2
- koalas 已从 1.8.0 升级到 1.8.1
- protobuf 已从 3.17.0 升级到 3.17.3
- 升级了 R 库：
- 基础映像已从 4.0.4 升级到 4.1.0
- 启动文件已从 1.3-27 升级到 1.3-28
- 类已从 7.3-18 升级到 7.3-19
- 群集已从 2.1.1 升级到 2.1.2
- 编译器已从 4.0.4 升级到 4.1.0
- 数据集已从 4.0.4 升级到 4.1.0
- 图形已从 4.0.4 升级到 4.1.0
- grDevices 已从 4.0.4 升级到 4.1.0
- 网格已从 4.0.4 升级到 4.1.0
- KernSmooth 已从 2.23-18 升级到 2.23-20
- lattice 已从 0.20-41 升级到 0.20-44
- MASS 已从 7.3-53.1 升级到 7.3-54
- 矩阵已从 1.3-2 升级到 1.3-3
- 方法已从 4.0.4 升级到 4.1.0
- mgcv 已从 1.8-33 升级到 1.8-35
- nnet 已从 7.3-15 升级到 7.3-16
- 并行已从 4.0.4 升级到 4.1.0
- Rserve 已从 1.8-7 升级到 1.8-8
- SparkR 已从 3.1.1 升级到 3.1.2
- splines 已从 4.0.4 升级到 4.1.0
- stats 已从 4.0.4 升级到 4.1.0
- stats4 已从 4.0.4 升级到 4.1.0
- survival 已从 3.2-7 升级到 3.2-11
- tcltk 已从 4.0.4 升级到 4.1.0
- 工具已从 4.0.4 升级到 4.1.0
- utils 已从 4.0.4 升级到 4.1.0
- 升级了 Java 库：
- snowflake-jdbc 已从 3.12.8 升级到 3.13.3
- spark-snowflake_2.12 已从 2.8.1-spark_3.0 升级到 2.9.0-spark_3.1
- RoaringBitmap 已从 0.9.0 升级到 0.9.14
- shims 已从 0.9.0 升级到 0.9.14
- rocksdbjni 已从 6.2.2 升级到 6.20.3
Apache Spark
Databricks Runtime 8.4 包括 Apache Spark 3.1.2。 此版本包括 Databricks Runtime 8.3（不受支持）中所包含的所有 Spark 修复和改进，以及对 Spark 进行的以下其他 bug 修复和改进：
- [SPARK-35792] [SQL] 视图不应捕获
RelationConversions中使用的配置 - [SPARK-35700] [SQL] 读取由外部系统创建和写入的 char/varchar orc 表
- [SPARK-35636] [SQL] 不应在 Lambda 函数之外引用 Lambda 密钥
- [SPARK-35800] [Cherry Pick] 通过引入 TestGroupState 提高 GroupState 可测试性
- [SPARK-35391] 修复 ExecutorAllocationListener 中的内存泄漏
- [SPARK-35799] [CherryPick] 修复 FlatMapGroupsWithStateExec 中的 allUpdatesTimeMs 指标测量
- [SPARK-35763] [SS] 删除 StateStoreCustomMetric 子类枚举依赖项
- SPARK-35791 [SQL] 为 NULL 感知的反联接正确地发布正在进行的映射
- [SPARK-35695] [SQL] 从缓存的和自适应执行子树收集观察到的指标
- [SPARK-35767] [SQL] 避免在 CoalesceExec 中执行子计划两次
- [SPARK-35746] [UI] 在“阶段”页任务事件时间线中修复 taskid
- [SPARK-35673] [SQL] 修复子查询中用户定义的提示和未识别的提示。
- [SPARK-35714] [CORE] 执行器关闭过程中出现死锁的 Bug 修复
- [SPARK-35689] [SS] keyWithIndexToValue 返回 null 值时添加日志警告
- [SPARK-35589] [CORE] [3.1] BlockManagerMasterEndpoint 不应忽略更新过程中仅限于索引的无序文件
- [SPARK-35643] [PYTHON] 修复 functions.py column() 中的不明确引用
- [SPARK-35652] [SQL] 对同一个表生成的两个表使用 joinWith
- [SPARK-35679] [SQL] instantToMicros 溢出
- [SPARK-35602] [SS] 更新状态架构以便能够接受长的 JSON
- [SPARK-35653] [SQL] 修复 CatalystToExternalMap 解释路径对于以事例类作为键或值的映射失败
- [SPARK-35296] [SQL] 允许 Dataset.observe 继续运行，即使任务中的 CollectMetricsExec 处理多个分区。
- [SPARK-35659] [SS] 避免将 Null 写入 StateStore
- [SPARK-35665] [SQL] 解析 CollectMetrics 中的 UnresolvedAlias
- [SPARK-35558] 针对多分位数检索进行优化
- [SPARK-35621] [SQL] 向 TypeCoercion 规则添加规则 ID 修剪
- [SPARK-35077] [SQL] 为遗留的优化器规则迁移到 transformWithPruning
- [SPARK-35610] [CORE] 修复执行器的停止关闭挂钩引入的内存泄漏
- [SPARK-35544] [SQL] 向分析器规则添加树形模式
- [SPARK-35566] [SS] 修复 StateStoreRestoreExec 输出行
- [SPARK-35454] [SQL] [3.1] 一个 LogicalPlan 可以匹配多个数据集 ID
- [SPARK-35538] [SQL] 迁移 transformAllExpressions 调用站点以使用 transformAllExpressionsWithPruning
- [SPARK-35106] [Core] [SQL] 避免因目标目录不存在而导致重命名失败
- [SPARK-35287] [SQL] 允许 RemoveRedundantProjects 保留为 DataSourceV2ScanRelation 生成 UnsafeRow 的 ProjectExec
- [SPARK-35495] [R] 更改 CRAN 的 SparkR 维护程序
- [SPARK-27991] [CORE] 延迟对 Netty OOM 的提取请求
- [SPARK-35171] [R] 将 Markdown 包声明为 SparkR 包的依赖项
- [SPARK-35454] [SQL] 一个 LogicalPlan 可以匹配多个数据集 ID
- [SPARK-35298] [SQL] 为 Optimizer.scala 中的规则迁移到 transformWithPruning
- [SPARK-35480] [SQL] 使 percentile_approx 使用透视
- [SPARK-35093] [SQL] AQE 现使用 newQueryStage 计划作为键来查找缓存的交换以便重复使用
- [SPARK-35146] [SQL] 为 finishAnalysis.scala 中的规则迁移到 transformWithPruning 或 resolveWithPruning
- [SPARK-35411] [SQL] 在将 TreeNode 序列化为 json 时添加基本信息
- [SPARK-35294] [SQL] 在优化器下的专用文件中添加树形遍历修剪
- [SPARK-34897] [SQL] [3.1] 支持嵌套列修剪后根据索引对架构进行协调
- [SPARK-35144] [SQL] 为对象规则迁移到 transformWithPruning
- [SPARK-35155] [SQL] 向分析器规则添加规则 ID
- [SPARK-35382] [PYTHON] 修复 Python API 中嵌套数据帧函数的 Lambda 变量名称问题。
- [SPARK-35359] [SQL] 如果数据长度超过长度限制，则插入包含 char/varchar 数据类型的数据将失败
- [SPARK-35381] [R] 修复 R API 上嵌套的高阶函数中的 Lambda 变量名称问题
系统环境
- 操作系统：Ubuntu 18.04.5 LTS
- Java：Zulu 8.54.0.21-CA-linux64
- Scala：2.12.10
- Python3.8.8
- R：4.1.0 (2021-05-18)
- Delta Lake 1.0.0
已安装的 Python 库
| 库 | 版本 | 库 | 版本 | 库 | 版本 |
|---|---|---|---|---|---|
| appdirs | 1.4.4 | asn1crypto | 1.4.0 | backcall | 0.2.0 |
| boto3 | 1.16.7 | botocore | 1.19.7 | brotlipy | 0.7.0 |
| certifi | 2021.5.30 | cffi | 1.14.3 | chardet | 3.0.4 |
| 密码系统 | 3.1.1 | cycler | 0.10.0 | Cython | 0.29.21 |
| decorator | 4.4.2 | distlib | 0.3.2 | docutils | 0.15.2 |
| entrypoints | 0.3 | facets-overview | 1.0.0 | filelock | 3.0.12 |
| idna | 2.10 | ipykernel | 5.3.4 | ipython | 7.19.0 |
| ipython-genutils | 0.2.0 | jedi | 0.17.2 | jmespath | 0.10.0 |
| joblib | 0.17.0 | jupyter-client | 6.1.7 | jupyter-core | 4.6.3 |
| kiwisolver | 1.3.0 | koalas | 1.8.1 | matplotlib | 3.2.2 |
| numpy | 1.19.2 | pandas | 1.1.5 | parso | 0.7.0 |
| patsy | 0.5.1 | pexpect | 4.8.0 | pickleshare | 0.7.5 |
| pip | 20.2.4 | plotly | 4.14.3 | prompt-toolkit | 3.0.8 |
| protobuf | 3.17.3 | psycopg2 | 2.8.5 | ptyprocess | 0.6.0 |
| pyarrow | 1.0.1 | pycparser | 2.20 | Pygments | 2.7.2 |
| pyOpenSSL | 19.1.0 | pyparsing | 2.4.7 | PySocks | 1.7.1 |
| python-dateutil | 2.8.1 | pytz | 2020.5 | pyzmq | 19.0.2 |
| 请求 | 2.24.0 | 正在重试 | 1.3.3 | s3transfer | 0.3.6 |
| scikit-learn | 0.23.2 | scipy | 1.5.2 | seaborn | 0.10.0 |
| setuptools | 50.3.1 | 6 | 1.15.0 | statsmodels | 0.12.0 |
| threadpoolctl | 2.1.0 | tornado | 6.0.4 | traitlets | 5.0.5 |
| urllib3 | 1.25.11 | virtualenv | 20.2.1 | wcwidth | 0.2.5 |
| wheel | 0.35.1 |
已安装的 R 库
R 库安装自 2020-11-02 的 Microsoft CRAN 快照。
| 库 | 版本 | 库 | 版本 | 库 | 版本 |
|---|---|---|---|---|---|
| askpass | 1.1 | assertthat | 0.2.1 | backports | 1.2.1 |
| base | 4.1.0 | base64enc | 0.1-3 | BH | 1.72.0-3 |
| bit | 4.0.4 | bit64 | 4.0.5 | blob | 1.2.1 |
| 启动 | 1.3-28 | brew | 1.0-6 | brio | 1.1.0 |
| broom | 0.7.2 | callr | 3.5.1 | caret | 6.0-86 |
| cellranger | 1.1.0 | chron | 2.3-56 | class | 7.3-19 |
| cli | 2.2.0 | clipr | 0.7.1 | cluster | 2.1.2 |
| codetools | 0.2-18 | colorspace | 2.0-0 | commonmark | 1.7 |
| compiler | 4.1.0 | config | 0.3 | covr | 3.5.1 |
| cpp11 | 0.2.4 | crayon | 1.3.4 | 凭据 | 1.3.0 |
| crosstalk | 1.1.0.1 | curl | 4.3 | data.table | 1.13.4 |
| datasets | 4.1.0 | DBI | 1.1.0 | dbplyr | 2.0.0 |
| desc | 1.2.0 | devtools | 2.3.2 | diffobj | 0.3.2 |
| digest | 0.6.27 | dplyr | 1.0.2 | DT | 0.16 |
| ellipsis | 0.3.1 | 评估 | 0.14 | fansi | 0.4.1 |
| farver | 2.0.3 | fastmap | 1.0.1 | forcats | 0.5.0 |
| foreach | 1.5.1 | foreign | 0.8-81 | forge | 0.2.0 |
| fs | 1.5.0 | future | 1.21.0 | generics | 0.1.0 |
| gert | 1.0.2 | ggplot2 | 3.3.2 | gh | 1.2.0 |
| gitcreds | 0.1.1 | glmnet | 4.0-2 | globals | 0.14.0 |
| glue | 1.4.2 | gower | 0.2.2 | graphics | 4.1.0 |
| grDevices | 4.1.0 | 网格 | 4.1.0 | gridExtra | 2.3 |
| gsubfn | 0.7 | gtable | 0.3.0 | haven | 2.3.1 |
| highr | 0.8 | hms | 0.5.3 | htmltools | 0.5.0 |
| htmlwidgets | 1.5.3 | httpuv | 1.5.4 | httr | 1.4.2 |
| hwriter | 1.3.2 | hwriterPlus | 1.0-3 | ini | 0.3.1 |
| ipred | 0.9-9 | isoband | 0.2.3 | iterators | 1.0.13 |
| jsonlite | 1.7.2 | KernSmooth | 2.23-20 | knitr | 1.30 |
| labeling | 0.4.2 | later | 1.1.0.1 | lattice | 0.20-44 |
| lava | 1.6.8.1 | lazyeval | 0.2.2 | lifecycle | 0.2.0 |
| listenv | 0.8.0 | lubridate | 1.7.9.2 | magrittr | 2.0.1 |
| markdown | 1.1 | MASS | 7.3-54 | 矩阵 | 1.3-3 |
| memoise | 1.1.0 | 方法 | 4.1.0 | mgcv | 1.8-35 |
| mime | 0.9 | ModelMetrics | 1.2.2.2 | modelr | 0.1.8 |
| munsell | 0.5.0 | nlme | 3.1-152 | nnet | 7.3-16 |
| numDeriv | 2016.8-1.1 | openssl | 1.4.3 | parallel | 4.1.0 |
| parallelly | 1.22.0 | pillar | 1.4.7 | pkgbuild | 1.1.0 |
| pkgconfig | 2.0.3 | pkgload | 1.1.0 | plogr | 0.2.0 |
| plyr | 1.8.6 | praise | 1.0.0 | prettyunits | 1.1.1 |
| pROC | 1.16.2 | processx | 3.4.5 | prodlim | 2019.11.13 |
| 进度 | 1.2.2 | promises | 1.1.1 | proto | 1.0.0 |
| ps | 1.5.0 | purrr | 0.3.4 | r2d3 | 0.2.3 |
| R6 | 2.5.0 | randomForest | 4.6-14 | rappdirs | 0.3.1 |
| rcmdcheck | 1.3.3 | RColorBrewer | 1.1-2 | Rcpp | 1.0.5 |
| readr | 1.4.0 | readxl | 1.3.1 | recipes | 0.1.15 |
| rematch | 1.0.1 | rematch2 | 2.1.2 | remotes | 2.2.0 |
| reprex | 0.3.0 | reshape2 | 1.4.4 | rex | 1.2.0 |
| rlang | 0.4.9 | rmarkdown | 2.6 | RODBC | 1.3-17 |
| roxygen2 | 7.1.1 | rpart | 4.1-15 | rprojroot | 2.0.2 |
| Rserve | 1.8-8 | RSQLite | 2.2.1 | rstudioapi | 0.13 |
| rversions | 2.0.2 | rvest | 0.3.6 | scales | 1.1.1 |
| selectr | 0.4-2 | sessioninfo | 1.1.1 | shape | 1.4.5 |
| shiny | 1.5.0 | sourcetools | 0.1.7 | sparklyr | 1.5.2 |
| SparkR | 3.1.1 | spatial | 7.3-11 | splines | 4.1.0 |
| sqldf | 0.4-11 | SQUAREM | 2020.5 | stats | 4.1.0 |
| stats4 | 4.1.0 | stringi | 1.5.3 | stringr | 1.4.0 |
| survival | 3.2-11 | sys | 3.4 | tcltk | 4.1.0 |
| TeachingDemos | 2.10 | testthat | 3.0.0 | tibble | 3.0.4 |
| tidyr | 1.1.2 | tidyselect | 1.1.0 | tidyverse | 1.3.0 |
| timeDate | 3043.102 | tinytex | 0.28 | 工具 | 4.1.0 |
| usethis | 2.0.0 | utf8 | 1.1.4 | utils | 4.1.0 |
| uuid | 0.1-4 | vctrs | 0.3.5 | viridisLite | 0.3.0 |
| waldo | 0.2.3 | whisker | 0.4 | withr | 2.3.0 |
| xfun | 0.19 | xml2 | 1.3.2 | xopen | 1.0.0 |
| xtable | 1.8-4 | yaml | 2.2.1 | zip | 2.1.1 |
已安装的 Java 库和 Scala 库（Scala 2.12 群集版本）
| 组 ID | 项目 ID | 版本 |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.655 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.655 |
| com.amazonaws | aws-java-sdk-config | 1.11.655 |
| com.amazonaws | aws-java-sdk-core | 1.11.655 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.655 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.655 |
| com.amazonaws | aws-java-sdk-directory | 1.11.655 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.655 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.655 |
| com.amazonaws | aws-java-sdk-efs | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.655 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.655 |
| com.amazonaws | aws-java-sdk-emr | 1.11.655 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.655 |
| com.amazonaws | aws-java-sdk-glue | 1.11.655 |
| com.amazonaws | aws-java-sdk-iam | 1.11.655 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.655 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.655 |
| com.amazonaws | aws-java-sdk-kms | 1.11.655 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.655 |
| com.amazonaws | aws-java-sdk-logs | 1.11.655 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.655 |
| com.amazonaws | aws-java-sdk-marketplacemeteringservice | 1.11.655 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.655 |
| com.amazonaws | aws-java-sdk-rds | 1.11.655 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.655 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.655 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ses | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.655 |
| com.amazonaws | aws-java-sdk-sns | 1.11.655 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.655 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.655 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.655 |
| com.amazonaws | aws-java-sdk-sts | 1.11.655 |
| com.amazonaws | aws-java-sdk-support | 1.11.655 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.655 |
| com.amazonaws | jmespath-java | 1.11.655 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | 流 (stream) | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations | 2.10.0 |
| com.fasterxml.jackson.core | jackson-core | 2.10.0 |
| com.fasterxml.jackson.core | jackson-databind | 2.10.0 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.10.0 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.10.0 |
| com.github.ben-manes.caffeine | caffeine | 2.3.4 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | core | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.joshelser | dropwizard-metrics-hadoop-metrics2-reporter | 0.1.2 |
| com.github.luben | zstd-jni | 1.4.8-1 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.flatbuffers | flatbuffers-java | 1.9.0 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 1.4.195 |
| com.helger | profiler | 1.1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 9.2.1.jre8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.9.5 |
| com.twitter | chill_2.12 | 0.9.5 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.9.4 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1.10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-fileupload | commons-fileupload | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| hive-2.3__hadoop-2.7 | jets3t-0.7 | liball_deps_2.12 |
| hive-2.3__hadoop-2.7 | zookeeper-3.4 | liball_deps_2.12 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0.10 |
| io.delta | delta-sharing-spark_2.12 | 0.1.0 |
| io.dropwizard.metrics | metrics-core | 4.1.1 |
| io.dropwizard.metrics | metrics-graphite | 4.1.1 |
| io.dropwizard.metrics | metrics-healthchecks | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | metrics-jmx | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | metrics-jvm | 4.1.1 |
| io.dropwizard.metrics | metrics-servlets | 4.1.1 |
| io.netty | netty-all | 4.1.51.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | 收集器 | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | activation | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | transaction-api | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.10.5 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| maven-trees | hive-2.3__hadoop-2.7 | liball_deps_2.12 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | pyrolite | 4.30 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.13.3 |
| net.snowflake | spark-snowflake_2.12 | 2.9.0-spark_3.1 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.8-1 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | arrow-format | 2.0.0 |
| org.apache.arrow | arrow-memory-core | 2.0.0 |
| org.apache.arrow | arrow-memory-netty | 2.0.0 |
| org.apache.arrow | arrow-vector | 2.0.0 |
| org.apache.avro | avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.commons | commons-compress | 1.20 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.10 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.commons | commons-text | 1.6 |
| org.apache.curator | curator-client | 2.7.1 |
| org.apache.curator | curator-framework | 2.7.1 |
| org.apache.curator | curator-recipes | 2.7.1 |
| org.apache.derby | derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-annotations | 2.7.4 |
| org.apache.hadoop | hadoop-auth | 2.7.4 |
| org.apache.hadoop | hadoop-client | 2.7.4 |
| org.apache.hadoop | hadoop-common | 2.7.4 |
| org.apache.hadoop | hadoop-hdfs | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.4 |
| org.apache.hive | hive-beeline | 2.3.7 |
| org.apache.hive | hive-cli | 2.3.7 |
| org.apache.hive | hive-jdbc | 2.3.7 |
| org.apache.hive | hive-llap-client | 2.3.7 |
| org.apache.hive | hive-llap-common | 2.3.7 |
| org.apache.hive | hive-serde | 2.3.7 |
| org.apache.hive | hive-shims | 2.3.7 |
| org.apache.hive | hive-storage-api | 2.7.2 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.7 |
| org.apache.hive.shims | hive-shims-common | 2.3.7 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.7 |
| org.apache.htrace | htrace-core | 3.1.0-incubating |
| org.apache.httpcomponents | httpclient | 4.5.6 |
| org.apache.httpcomponents | httpcore | 4.4.12 |
| org.apache.ivy | ivy | 2.4.0 |
| org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
| org.apache.orc | orc-core | 1.5.12 |
| org.apache.orc | orc-mapreduce | 1.5.12 |
| org.apache.orc | orc-shims | 1.5.12 |
| org.apache.parquet | parquet-column | 1.10.1-databricks9 |
| org.apache.parquet | parquet-common | 1.10.1-databricks9 |
| org.apache.parquet | parquet-encoding | 1.10.1-databricks9 |
| org.apache.parquet | parquet-format | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1-databricks9 |
| org.apache.parquet | parquet-jackson | 1.10.1-databricks9 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.xbean | xbean-asm7-shaded | 4.15 |
| org.apache.yetus | audience-annotations | 0.5.0 |
| org.apache.zookeeper | zookeeper | 3.4.14 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-continuation | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-http | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-io | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-jndi | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-plus | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-proxy | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-security | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-server | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-servlet | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-servlets | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-util | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-webapp | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-xml | 9.4.36.v20210114 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.30 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.30 |
| org.glassfish.jersey.core | jersey-client | 2.30 |
| org.glassfish.jersey.core | jersey-common | 2.30 |
| org.glassfish.jersey.core | jersey-server | 2.30 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.30 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.30 |
| org.hibernate.validator | hibernate-validator | 6.1.0.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M5 |
| org.json4s | json4s-core_2.12 | 3.7.0-M5 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M5 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M5 |
| org.lz4 | lz4-java | 1.7.1 |
| org.mariadb.jdbc | mariadb-java-client | 2.2.5 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.9.14 |
| org.roaringbitmap | shims | 0.9.14 |
| org.rocksdb | rocksdbjni | 6.20.3 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.10 |
| org.scala-lang | scala-library_2.12 | 2.12.10 |
| org.scala-lang | scala-reflect_2.12 | 2.12.10 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.1.1 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 1.0 |
| org.scalanlp | breeze_2.12 | 1.0 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.30 |
| org.slf4j | jul-to-slf4j | 1.7.30 |
| org.slf4j | slf4j-api | 1.7.30 |
| org.slf4j | slf4j-log4j12 | 1.7.30 |
| org.spark-project.spark | unused | 1.0.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | spring-test | 4.1.4.RELEASE |
| org.threeten | threeten-extra | 1.5.0 |
| org.tukaani | xz | 1.5 |
| org.typelevel | algebra_2.12 | 2.0.0-M2 |
| org.typelevel | cats-kernel_2.12 | 2.0.0-M4 |
| org.typelevel | machinist_2.12 | 0.6.8 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0-M1 |
| org.typelevel | spire-platform_2.12 | 0.17.0-M1 |
| org.typelevel | spire-util_2.12 | 0.17.0-M1 |
| org.typelevel | spire_2.12 | 0.17.0-M1 |
| org.wildfly.openssl | wildfly-openssl | 1.0.7.Final |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.8.2 |
| org.yaml | snakeyaml | 1.24 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0.52 |