Databricks Runtime 10.0（不受支持）

  • 项目

以下发行说明提供了由 Apache Spark 3.2.0 提供支持的 Databricks Runtime 10.0 和 Databricks Runtime 10.0 Photon 的相关信息。 Databricks 于 2021 年 10 月发布了这些映像。 Photon 处于公共预览版。

新增功能和改进

Apache Spark 的新版本

Databricks Runtime 10.0 和 Databricks Runtime 10.0 Photon 包含 Apache Spark 3.2.0。 有关详细信息，请参阅 Apache Spark。

SELECT 语句现在支持 QUALIFY 子句以筛选窗口函数结果

SELECT 语句现在支持 QUALIFY 子句。 QUALIFY 可以用于筛选窗口函数的结果。 SELECT 列表或 QUALIFY 条件中必须存在一个或多个窗口函数。 例如：

SELECT * FROM t QUALIFY SUM(c2) OVER (PARTITION BY c1) > 0;

对 JDK 11（公开预览版）的群集支持

Databricks 现在为 Java 开发工具包 (JDK) 11提供群集支持。

创建群集时，可以指定群集使用 JDK 11（用于驱动程序和执行程序）。 为此，请将以下环境变量添加到“高级选项”>“Spark”>“环境变量”：

JNAME=zulu11-ca-amd64

自动加载程序现在将架构视为可以为 null

自动加载程序现在会在默认情况下将所有推断的和用户提供的架构都视为可以为 null。 这是为了在数据对不可为 null 的列包含 null 字段的情况下避免可能的数据损坏。 引入了一个新配置 spark.databricks.cloudFiles.schema.forceNullable 来跟踪此行为。 默认情况下，此配置包含 spark.sql.streaming.fileSource.schema.forceNullable 的设置，它由 Apache Spark 中的 FileStreamSource 使用，在默认情况下设置为 true。

中断性变更

针对所有 Spark SQL 用户的中断性变更

  • 新的 spark.databricks.behaviorChange.SC78546CorrelatedPredicate.enabled 配置：如果设置为 true，则在聚合子查询时允许相关等式谓词的子集。 默认设置为 true。
  • 新的 spark.databricks.behaviorChange.SC82201BlockAutoAlias.enabled 配置：如果设置为 true，则在创建视图时会阻止自动生成别名。 默认设置为 true。
  • 新的 spark.databricks.behaviorChange.SC81078CTASWithLocation.enabled 配置：如果设置为 true，则不允许带有非空位置的 CREATE TABLE AS SELECT。 默认设置为 true。 请注意，当 spark.sql.legacy.allowNonEmptyLocationInCTAS 也设置为 true 时，此配置不起作用，始终允许带有非空位置的 CREATE TABLE AS SELECT。

针对启用 ANSI 模式的 Spark SQL 用户的中断性变更

有关 ANSI 模式的信息，请参阅 Databricks Runtime 中的 ANSI 合规性。

  • 新的 spark.databricks.behaviorChange.SC83587NextDayDOW.enabled 配置：当设置为 true 时，next_day 函数的无效 dayOfWeek 参数会在 ANSI 模式下引发 IllegalArgumentException；否则返回 null。 默认设置为 true。
  • 新的 spark.databricks.behaviorChange.SC83796CanCast.enabled 配置：当设置为 true 时，会在 ANSI 模式下启用新的显式强制转换语法规则。 默认设置为 true。
  • 新的 spark.databricks.behaviorChange.SC79099CastStringToBoolean.enabled 配置：如果设置为 true，则会在将字符串强制转换为布尔值时引发分析错误异常；否则返回 null。 默认设置为 true。
  • 新的 spark.databricks.behaviorChange.SC79064AbsOutsideRange.enabled 配置：当设置为 true 时，如果输入超出范围，则 abs 函数会引发异常。 默认设置为 true。

针对所有 Python 用户的中断性变更

  • Python API delta.tables.DeltaTable.convertToDelta 现在会返回正确的 DeltaTable Python 对象，该对象可用于运行 Delta Lake 命令。 以前，它会返回无法直接调用的内部对象。

库升级

Apache Hadoop 3 升级

  • Databricks Runtime 10.0 将 Hadoop 依赖项从 Hadoop 2.7.4 升级到 Hadoop 3.3.1。

行为变更

  • Hadoop 3 使用 hadoop-client-api 和 hadoop-client-runtime 库，而不是 hadoop-common 库，这会遮蔽有可能在 Hadoop 公共 API 或扩展中使用的某些第三方依赖项。
  • Hadoop 3 配置选项自 Hadoop 2 以来已更改。 有关 Hadoop 3.3.1 选项，请参阅 core-default.xml。
  • Databricks 将用于 Hadoop 3 的某些默认配置更新为与 Hadoop 2 一致，以确保存储连接器具有相同的默认身份验证设置和性能级别：
    • fs.azure.authorization.caching.enable = false
    • fs.s3a.attempts.maximum = 10
    • fs.s3a.block.size = 67108864
    • fs.s3a.connection.timeout = 50000
    • fs.s3a.max.total.tasks = 1000
    • fs.s3a.retry.limit = 20
    • fs.s3a.retry.throttle.interval = 500ms
    • fs.s3a.assumed.role.credentials.provider = com.amazonaws.auth.InstanceProfileCredentialsProvider
    • fs.s3a.aws.credentials.provider = BasicAWSCredentialsProvider, DatabricksInstanceProfileCredentialsProvider, EnvironmentVariableCredentialsProvider, AnonymousAWSCredentialsProvider
  • Google Cloud Storage (GCS) 连接器已从 2.1.6 升级到 2.2.2。
  • Amazon Redshift 连接器现在使用 s3a:// 方案。 s3n:// 方案已弃用。
  • 除了遮蔽类之外，还会处理 Amazon S3 MetadataStore API 的 OSS 类名。 这样无需遮蔽类名即可处理 OSS 配置。
    • 例如，可以在 Hadoop 配置中指定 org.apache.hadoop.fs.s3a.s3guard.NullMetadataStore 类。
  • 使 new Configuration() 和 sparkContext.hadoopConfiguration 一致。
    • 现在，每次创建新 Hadoop 配置时，它都会与 Databricks Runtime 的 sparkContext.hadoopConfiguration 中的预定义 Hadoop 配置一致，包括文件系统方案及其默认配置。
  • 尽管 Databricks Runtime 中包含的 Hadoop 存储连接器与 Hadoop 3.3.1 完全兼容，但它们并不保证与 OSS Hadoop 3.3.1 连接器同步，可能会具有不同的行为。
    • Amazon S3 连接器仍然允许（尽管会显示警告）S3 URL 中的 user:secret 身份验证，而 HADOOP-14833 删除了该身份验证。
  • globStatus 现在始终返回排序结果 (HADOOP-10798)
  • 在未设置时会添加 fs.s3a.endpoint，并且 fs.s3a.endpoint 区域为 null (SPARK-35878)
    • 由于设置了全局终结点，因此在某些情况下，可能不会触发 Databricks 提供的 Amazon S3 区域自动解析。 这并不是一个问题，因为 AWS SDK 会正确地解析区域。
  • 在未设置时会添加 fs.s3a.downgrade.syncable.exceptions (SPARK-35868)
  • LZ4 和 Snappy 编解码器不依赖于本机 Hadoop 库 (HADOOP-17125)

已知问题

  • SPARK-36681 由于 Hadoop 3.3.1 中的已知问题，使用 SnappyCodec 写入序列文件会失败，并出现 UnsatisfiedLinkError (HADOOP-17891)

Apache Spark

Databricks Runtime 10.0 包括 Apache Spark 3.2.0。

本节内容：

亮点

Core 和 Spark SQL

ANSI SQL 兼容性增强功能

  • 支持 ANSI SQL INTERVAL 类型 (SPARK-27790)
  • ANSI 模式下的新类型强制转换语法规则 (SPARK-34246)

性能增强功能

  • 查询优化
    • 删除优化器中的冗余聚合 (SPARK-33122)
    • 使用 Join 通过 Project 降低限制 (SPARK-34622)
    • 联合、排序和范围运算符的基数估算 (SPARK-33411)
    • UnwrapCastInBinaryComparison 支持 In/InSet 谓词 (SPARK-35316)
    • 进行分区修剪后保留所需统计信息 (SPARK-34119)
  • 查询执行
    • 默认情况下启用 Zstandard 缓冲池（SPARK-34340、SPARK-34390）
    • 为所有联接类型的排序合并联接添加代码生成 (SPARK-34705)
    • 广播嵌套循环联接改进 (SPARK-34706)
    • 对于最终哈希聚合，支持两个级别的哈希映射 (SPARK-35141)
    • 对于写入动态分区和 bucket 表，允许并发写入 (SPARK-26164)
    • 提高在 Thriftserver 中处理 FETCH_PRIOR 的性能 (SPARK-33655)

连接器增强功能

  • Parquet
    • 将 Parquet 升级到 1.12.1 (SPARK-36726)
    • 读取在 parquet 中存储为 int32 物理类型的 parquet 无符号类型 (SPARK-34817)
    • 将存储为有符号 int64 物理类型的 Parquet 无符号 int64 逻辑类型读取为 decimal(20, 0) (SPARK-34786)
    • 在筛选器下推中改进了 Parquet (SPARK-32792)
  • ORC
  • Avro
    • 将 Avro 升级到版本 1.10.2 (SPARK-34778)
    • 对于具有“avro.schema.literal”的已分区 Hive 表支持 Avro 架构演变 (SPARK-26836)
    • 添加新 Avro 数据源选项以在读取中控制日期/时间重定基本值 (SPARK-34404)
    • 在 Avro 中添加对用户提供的架构 url 的支持 (SPARK-34416)
    • 添加对位置 Catalyst 到 Avro 架构匹配的支持 (SPARK-34365)
  • JSON
    • 将 Jackson 升级到版本 2.12.3 (SPARK-35550)
    • 允许 Json 数据源将非 ascii 字符作为码位写入 (SPARK-35047)
  • JDBC
    • 在 JDBCRelation 中计算更精确的分区跨距 (SPARK-34843)
  • Hive 元存储支持按“不含于”进行筛选 (SPARK-34538)

功能增强

其他值得注意的更改

  • 监视
    • ExternalShuffleService 的新指标 (SPARK-35258)
    • 添加新的阶段级 REST API 和参数 (SPARK-26399)
    • 支持 REST API 中的任务和执行程序指标分布 (SPARK-34488)
    • 为哈希聚合添加了回退指标 (SPARK-35529)
  • 将 count_distinct 作为选项添加到 Dataset#summary (SPARK-34165)
  • 在 sql/core 中实现 ScriptTransform (SPARK-31936)
  • 使 BlockManagerMaster 驱动程序检测信号超时可配置 (SPARK-34278)
  • 使无序服务名称可在客户端配置，并允许在服务器端进行基于类路径的配置替代 (SPARK-34828)
  • ExecutorMetricsPoller 应将阶段条目保留在 stageTCMP 中，直到出现检测信号 (SPARK-34779)
  • 在 RewriteDistinctAggregates 中将 if 为筛选子句 (SPARK-34882)
  • 修复在对自联接应用 CostBasedJoinReorder 时出现的失败 (SPARK-34354)
  • CREATE TABLE LIKE 应遵循保留表属性 (SPARK-34935)
  • 在 YARN 群集模式下将 ivySettings 文件传送到驱动程序 (SPARK-34472)
  • 解决 USING/NATURAL JOIN 中的重复公共列 (SPARK-34527)
  • 为 describe table 命令隐藏内部视图属性 (SPARK-35318)
  • 支持解决 distribute/cluster by/repartition 提示缺少属性的问题 (SPARK-35331)
  • 检查 FileStreamSink.hasMetadata 中的路径时忽略错误 (SPARK-34526)
  • 通过推断缺少的配置来改进 s3a magic 提交者支持 (SPARK-35383)
  • 允许在 STRUCT 类型字符串中省略 : (SPARK-35706)
  • 添加新运算符来区分 AQE 是否可以安全地优化 (SPARK-35786)
  • 追加新嵌套结构字段，而不是对具有 null 填充的 unionByName 进行排序 (SPARK-35290)
  • ArraysZip 应保留字段名称，以避免由分析器/优化器重新写入 (SPARK-35876)
  • 使用 Void 作为 NullType 的类型名称 (SPARK-36224)
  • 向 FileCommitProtocol 引入新 API，以便可进行灵活的文件命名 (SPARK-33298)

行为变更

请参阅每个组件的迁移指南：Spark Core。

结构化流式处理

主要功能

  • 基于 EventTime 的 sessionization（会话窗口）(SPARK-10816)
  • 将 Kafka 客户端升级到 2.8.0 (SPARK-33913)
  • 用于在 Scala 中的多个批处理中运行流查询（如 Trigger.Once）的 Trigger.AvailableNow (SPARK-36533)

其他值得注意的更改

  • 在 Kafka 源中引入一个新选项，用于指定对每个触发器要读取的最小记录数 (SPARK-35312)
  • 将最新偏移添加到源进度 (SPARK-33955)

PySpark

Project Zen

其他值得注意的更改

  • 默认情况下启用固定线程模式 (SPARK-35303)
  • 添加对 Arrow 执行的 NullType 支持 (SPARK-33489)
  • 向 toPandas 添加 Arrow self_destruct 支持 (SPARK-32953)
  • 为 pyspark 固定线程模式添加线程目标包装器 API (SPARK-35498)

行为变更

请参阅迁移指南。

MLlib

性能改进

模型训练改进

BLAS 改进

  • 将 com.github.fommil.netlib 完全替换为 dev.ludovic.netlib:2.0 (SPARK-35295)
  • 添加矢量化 BLAS 实现 (SPARK-33882)
  • 使用 dev.ludovic.netlib 加速回退 BLAS (SPARK-35150)

其他值得注意的更改

弃用的功能和删除的功能

维护更新

请参阅 Databricks Runtime 10.0 维护更新。

系统环境

  • 操作系统：Ubuntu 20.04.3 LTS
  • Java：Zulu 8.56.0.21-CA-linux64
  • Scala：2.12.14
  • Python：3.8.10
  • R：4.1.1
  • Delta Lake：1.0.0

已安装的 Python 库

库 版本 库 版本 库 版本
Antergos Linux 2015.10 (ISO-Rolling) appdirs 1.4.4 backcall 0.2.0
boto3 1.16.7 botocore 1.19.7 certifi 2020.12.5
chardet 4.0.0 cycler 0.10.0 Cython 0.29.23
dbu-python 1.2.16 decorator 5.0.6 distlib 0.3.3
distro-info 0.23ubuntu1 facets-overview 1.0.0 filelock 3.0.12
idna 2.10 ipykernel 5.3.4 ipython 7.22.0
ipython-genutils 0.2.0 jedi 0.17.2 jmespath 0.10.0
joblib 1.0.1 jupyter-client 6.1.12 jupyter-core 4.7.1
kiwisolver 1.3.1 koalas 1.8.1 matplotlib 3.4.2
numpy 1.19.2 pandas 1.2.4 parso 0.7.0
patsy 0.5.1 pexpect 4.8.0 pickleshare 0.7.5
Pillow 8.2.0 pip 21.0.1 plotly 5.1.0
prompt-toolkit 3.0.17 protobuf 3.17.2 psycopg2 2.8.5
ptyprocess 0.7.0 pyarrow 4.0.0 Pygments 2.8.1
PyGObject 3.36.0 pyparsing 2.4.7 python-apt 2.0.0+ubuntu0.20.4.6
python-dateutil 2.8.1 pytz 2020.5 pyzmq 20.0.0
请求 2.25.1 requests-unixsocket 0.2.0 s3transfer 0.3.7
scikit-learn 0.24.1 scipy 1.6.2 seaborn 0.11.1
setuptools 52.0.0 6 1.15.0 ssh-import-id 5.10
statsmodels 0.12.2 tenacity 8.0.1 threadpoolctl 2.1.0
tornado 6.1 traitlets 5.0.5 unattended-upgrades 0.1
urllib3 1.25.11 virtualenv 20.4.1 wcwidth 0.2.5
wheel 0.36.2

已安装的 R 库

R 库安装自 2021-09-21 的 Microsoft CRAN 快照。

库 版本 库 版本 库 版本
askpass 1.1 assertthat 0.2.1 backports 1.2.1
base 4.1.1 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 blob 1.2.2 启动 1.3-28
brew 1.0-6 brio 1.1.2 broom 0.7.9
bslib 0.3.0 cachem 1.0.6 callr 3.7.0
caret 6.0-88 cellranger 1.1.0 chron 2.3-56
class 7.3-19 cli 3.0.1 clipr 0.7.1
cluster 2.1.2 codetools 0.2-18 colorspace 2.0-2
commonmark 1.7 compiler 4.1.1 config 0.3.1
cpp11 0.3.1 crayon 1.4.1 凭据 1.3.1
curl 4.3.2 data.table 1.14.0 datasets 4.1.1
DBI 1.1.1 dbplyr 2.1.1 desc 1.3.0
devtools 2.4.2 diffobj 0.3.4 digest 0.6.27
dplyr 1.0.7 dtplyr 1.1.0 ellipsis 0.3.2
评估 0.14 fansi 0.5.0 farver 2.1.0
fastmap 1.1.0 forcats 0.5.1 foreach 1.5.1
foreign 0.8-81 forge 0.2.0 fs 1.5.0
future 1.22.1 future.apply 1.8.1 gargle 1.2.0
generics 0.1.0 gert 1.4.1 ggplot2 3.3.5
gh 1.3.0 gitcreds 0.1.1 glmnet 4.1-2
globals 0.14.0 glue 1.4.2 googledrive 2.0.0
googlesheets4 1.0.0 gower 0.2.2 graphics 4.1.1
grDevices 4.1.1 grid 4.1.1 gridExtra 2.3
gsubfn 0.7 gtable 0.3.0 haven 2.4.3
highr 0.9 hms 1.1.0 htmltools 0.5.2
htmlwidgets 1.5.4 httpuv 1.6.3 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ids 1.0.1
ini 0.3.1 ipred 0.9-12 isoband 0.2.5
iterators 1.0.13 jquerylib 0.1.4 jsonlite 1.7.2
KernSmooth 2.23-20 knitr 1.34 labeling 0.4.2
later 1.3.0 lattice 0.20-44 lava 1.6.10
lifecycle 1.0.0 listenv 0.8.0 lubridate 1.7.10
magrittr 2.0.1 markdown 1.1 MASS 7.3-54
矩阵 1.3-4 memoise 2.0.0 方法 4.1.1
mgcv 1.8-37 mime 0.11 ModelMetrics 1.2.2.2
modelr 0.1.8 munsell 0.5.0 nlme 3.1-152
nnet 7.3-16 numDeriv 2016.8-1.1 openssl 1.4.5
parallel 4.1.1 parallelly 1.28.1 pillar 1.6.2
pkgbuild 1.2.0 pkgconfig 2.0.3 pkgload 1.2.2
plogr 0.2.0 plyr 1.8.6 praise 1.0.0
prettyunits 1.1.1 pROC 1.18.0 processx 3.5.2
prodlim 2019.11.13 进度 1.2.2 progressr 0.8.0
promises 1.2.0.1 proto 1.0.0 ps 1.6.0
purrr 0.3.4 r2d3 0.2.5 R6 2.5.1
randomForest 4.6-14 rappdirs 0.3.3 rcmdcheck 1.3.3
RColorBrewer 1.1-2 Rcpp 1.0.7 readr 2.0.1
readxl 1.3.1 recipes 0.1.16 rematch 1.0.1
rematch2 2.1.2 remotes 2.4.0 reprex 2.0.1
reshape2 1.4.4 rlang 0.4.11 rmarkdown 2.11
RODBC 1.3-19 roxygen2 7.1.2 rpart 4.1-15
rprojroot 2.0.2 Rserve 1.8-8 RSQLite 2.2.8
rstudioapi 0.13 rversions 2.1.1 rvest 1.0.1
sass 0.4.0 scales 1.1.1 selectr 0.4-2
sessioninfo 1.1.1 shape 1.4.6 shiny 1.6.0
sourcetools 0.1.7 sparklyr 1.7.2 SparkR 3.2.0
spatial 7.3-11 splines 4.1.1 sqldf 0.4-11
SQUAREM 2021.1 stats 4.1.1 stats4 4.1.1
stringi 1.7.4 stringr 1.4.0 survival 3.2-13
sys 3.4 tcltk 4.1.1 TeachingDemos 2.10
testthat 3.0.4 tibble 3.1.4 tidyr 1.1.3
tidyselect 1.1.1 tidyverse 1.3.1 timeDate 3043.102
tinytex 0.33 工具 4.1.1 tzdb 0.1.2
usethis 2.0.1 utf8 1.2.2 utils 4.1.1
uuid 0.1-4 vctrs 0.3.8 viridisLite 0.4.0
vroom 1.5.5 waldo 0.3.1 whisker 0.4
withr 2.4.2 xfun 0.26 xml2 1.3.2
xopen 1.0.0 xtable 1.8-4 yaml 2.2.1
zip 2.2.0

已安装的 Java 库和 Scala 库（Scala 2.12 群集版本）

组 ID 项目 ID 版本
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics 流 (stream) 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.12.2
com.fasterxml.jackson.core jackson-core 2.12.2
com.fasterxml.jackson.core jackson-databind 2.12.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.12.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.12.2
com.fasterxml.jackson.module jackson-module-paranamer 2.12.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.12.2
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.0-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.0.3
com.sun.istack istack-commons-runtime 3.0.8
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 3.1.0
commons-cli commons-cli 1.2
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.8.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 1.3.2
dev.ludovic.netlib blas 1.3.2
dev.ludovic.netlib lapack 1.3.2
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.19
io.delta delta-sharing-spark_2.12 0.1.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.63.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx 收集器 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-trees hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow arrow-vector 2.0.0
org.apache.avro avro 1.10.2
org.apache.avro avro-ipc 1.10.2
org.apache.avro avro-mapred 1.10.2
org.apache.commons commons-compress 1.20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.1
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.htrace htrace-core4 4.1.0-incubating
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy ivy 2.5.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.6.10
org.apache.orc orc-mapreduce 1.6.10
org.apache.orc orc-shims 1.6.10
org.apache.parquet parquet-column 1.12.0-databricks-0003
org.apache.parquet parquet-common 1.12.0-databricks-0003
org.apache.parquet parquet-encoding 1.12.0-databricks-0003
org.apache.parquet parquet-format-structures 1.12.0-databricks-0003
org.apache.parquet parquet-hadoop 1.12.0-databricks-0003
org.apache.parquet parquet-jackson 1.12.0-databricks-0003
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.40.v20210413
org.eclipse.jetty jetty-continuation 9.4.40.v20210413
org.eclipse.jetty jetty-http 9.4.40.v20210413
org.eclipse.jetty jetty-io 9.4.40.v20210413
org.eclipse.jetty jetty-jndi 9.4.40.v20210413
org.eclipse.jetty jetty-plus 9.4.40.v20210413
org.eclipse.jetty jetty-proxy 9.4.40.v20210413
org.eclipse.jetty jetty-security 9.4.40.v20210413
org.eclipse.jetty jetty-server 9.4.40.v20210413
org.eclipse.jetty jetty-servlet 9.4.40.v20210413
org.eclipse.jetty jetty-servlets 9.4.40.v20210413
org.eclipse.jetty jetty-util 9.4.40.v20210413
org.eclipse.jetty jetty-util-ajax 9.4.40.v20210413
org.eclipse.jetty jetty-webapp 9.4.40.v20210413
org.eclipse.jetty jetty-xml 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-api 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-client 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-common 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-server 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-servlet 9.4.40.v20210413
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jaxb jaxb-runtime 2.3.2
org.glassfish.jersey.containers jersey-container-servlet 2.34
org.glassfish.jersey.containers jersey-container-servlet-core 2.34
org.glassfish.jersey.core jersey-client 2.34
org.glassfish.jersey.core jersey-common 2.34
org.glassfish.jersey.core jersey-server 2.34
org.glassfish.jersey.inject jersey-hk2 2.34
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.2.19
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap shims 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark unused 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1