Databricks Runtime 10.5（不受支持）
以下发行说明提供了由 Apache Spark 3.2.1 提供支持的 Databricks Runtime 10.5 的相关信息。 Databricks 于 2022 年 5 月发布了这些映像。
新增功能和改进
- SQL：新函数
to_number和try_to_number - SQL：新函数
try_sum - SQL：对
ceil、ceiling和floor函数的更新 - SQL：新的聚合函数
regr_avgx和regr_avgy - SQL：对
contains、startswith和endswith函数的更新 - SQL：新函数
array_size - Unity Catalog：SQL
LIST输出中删除了is_directory列，并为目录路径添加了尾部/（公共预览版） - 自动加载程序：新的 SQL 函数
CLOUD_FILES_STATE - 自动加载程序：文件通知支持现已正式发布
- Delta Lake：新的
maxRecordsPerFile选项，用于指定可写入到单个文件的最大记录数 - 弃用 Koalas
- 适用于所有文件格式的新
_metadata列 - 使用 Databricks Runtime 10.5 测试 Delta Live Tables 管道
SQL：新函数 to_number 和 try_to_number
to_number 函数和 try_to_number 函数允许将各种格式的数字字符表示形式转换为 DECIMAL。
SQL：新函数 try_sum
与 sum 不同，try_sum 聚合函数在发生溢出时返回 NULL 而不是错误。
SQL：对 ceil、ceiling 和 floor 函数的更新
ceil 函数、ceiling 函数和 floor 函数现在支持用于指定目标小数位数的第二个可选参数。
SQL：新的聚合函数 regr_avgx 和 regr_avgy
新的 regr_avgx 聚合函数和 regr_avgy 聚合函数支持线性回归。
SQL：对 contains、startswith 和 endswith 函数的更新
除了支持字符串外，contains 函数、startswith 函数和 endswith 函数现在还支持将二进制数据类型作为输入。
SQL：新函数 array_size
新的 array_size 函数计算数组的大小。
Unity Catalog：SQL LIST 输出中删除了 is_directory 列，并为目录路径添加了尾部 /（公共预览版）
更改了用于列出 Unity Catalog 控制的路径的 SQL LIST 语句输出。 不再显示 is_directory 列。 对于 path 和 name 列，表示目录的路径现在以尾部斜杠 (/) 结尾。 此项更改是为了与 dbutils.fs.ls 命令的输出保持一致。
自动加载程序：新的 SQL 函数 CLOUD_FILES_STATE
可以使用新的 CLOUD_FILES_STATE 函数来查询自动加载程序流的内部状态；请参阅查询自动加载程序发现的文件。
自动加载程序：文件通知支持现已正式发布
Google Cloud 对什么是自动加载程序？的文件通知支持现已正式发布。
Delta Lake：新的 maxRecordsPerFile 选项，用于指定可写入到单个文件的最大记录数
使用数据帧 API 写入到 Delta 表时，可以使用 maxRecordsPerFile 选项来指定可写入到单个文件的最大记录数。 指定零值或负值表示无限制。 请参阅配置 Delta Lake 以控制数据文件大小。
弃用 Koalas
Koalas 现已弃用。 Koalas 在 Apache Spark 上提供 pandas API。 Koalas 由社区贡献，从 Apache Spark 3.2 开始作为 Spark 上的 pandas API 提供。 将继续为 Databricks Runtime 10.5 预安装 Koalas，但从下一个 Databricks Runtime 版本开始将不再预安装 Koalas。
若要详细了解 Spark 上的 pandas API，请参阅：
- Azure Databricks 文档中的 Spark 上的 Pandas API
- Apache Spark 文档中的 Spark 上的 Pandas API
- Apache Spark 文档中的从 Koalas 迁移到 Spark 上的 pandas API
适用于所有文件格式的新 _metadata 列
可以使用 _metadata 列获取输入文件的元数据信息。 _metadata 列处于隐藏状态。 此列适用于所有输入文件格式。 若要将 _metadata 列包含在返回的 DataFrame 中，必须在查询中显式引用此列。 请参阅文件元数据列。
使用 Databricks Runtime 10.5 测试 Delta Live Tables 管道
Databricks Runtime 10.5 现在是 Delta Live Tables 支持的 preview 版本。 若要使用 Databricks Runtime 10.5 测试管道，请在管道设置中将 channel 设置设置为 preview。
Bug 修复
- 修复了已启用变更数据捕获 (CDC) 的 Delta 表上更新操作的
numUpdatedRows和numCopiedRows指标结果的显示。
库升级
- 升级了 Python 库：
- plotly 已从 5.5.0 升级到 5.6.0
- 升级了 R 库：
- base 已从 4.1.2 升级到 4.1.3
- caret 已从 6.0-90 升级到 6.0-91
- cluster 已从 2.1.2 升级到 2.1.3
- commonmark 已从 1.7 升级到 1.8.0
- compiler 已从 4.1.2 升级到 4.1.3
- crayon 已从 1.5.0 升级到 1.5.1
- datasets 已从 4.1.2 升级到 4.1.3
- desc 已从 1.4.0 升级到 1.4.1
- fansi 已从 1.0.2 升级到 1.0.3
- glue 已从 1.6.1 升级到 1.6.2
- graphics 已从 4.1.2 升级到 4.1.3
- grDevices 已从 4.1.2 升级到 4.1.3
- grid 已从 4.1.2 升级到 4.1.3
- knitr 已从 1.37 升级到 1.38
- MASS 已从 7.3-55 升级到 7.3-56
- Matrix 已从 1.4-0 升级到 1.4-1
- methods 已从 4.1.2 升级到 4.1.3
- mgcv 已从 1.8-39 升级到 1.8-40
- nlme 已从 3.1-155 升级到 3.1-157
- openssl 已从 1.4.6 升级到 2.0.0
- parallel 已从 4.1.2 升级到 4.1.3
- plyr 已从 1.8.6 升级到 1.8.7
- processx 已从 3.5.2 升级到 3.5.3
- r2d3 已从 0.2.5 升级到 0.2.6
- Rcpp 已从 1.0.8 升级到 1.0.8.3
- rlang 已从 1.0.1 升级到 1.0.2
- rmarkdown 已从 2.11 升级到 2.13
- RSQLite 已从 2.2.10 升级到 2.2.11
- sass 已从 0.4.0 升级到 0.4.1
- splines 已从 4.1.2 升级到 4.1.3
- stats 已从 4.1.2 升级到 4.1.3
- stats4 已从 4.1.2 升级到 4.1.3
- tcltk 已从 4.1.2 升级到 4.1.3
- tools 已从 4.1.2 升级到 4.1.3
- utils 已从 4.1.2 升级到 4.1.3
- uuid 已从 1.0-3 升级到 1.0-4
- waldo 已从 0.3.1 升级到 0.4.0
- withr 已从 2.4.3 升级到 2.5.0
- xfun 已从 0.29 升级到 0.30
- 升级了 Java 库：
- com.h2database.h2 已从 1.4.195 升级到 2.1.210
- org.apache.hadoop.hadoop-client-api 已从 3.3.1-databricks 升级到 3.3.2-databricks
- org.apache.hadoop.hadoop-client-runtime 已从 3.3.1 升级到 3.3.2
- org.rocksdb.rocksdbjni 已从 6.24.2 升级到 6.20.3
Apache Spark
Databricks Runtime 10.5 包含 Apache Spark 3.2.1。 此版本包括 Databricks Runtime 10.4 LTS 中包含的所有 Spark 修复和改进，以及对 Spark 进行的以下其他 bug 修复和改进：
- [SPARK-38354] [SC-97886] 还原“[SQL] 为随机哈希联接添加哈希探测指标”
- [SPARK-38484] [SAS-103][SAS-111][SAS-113][SC-98102][Cherry-Pick] 使用常规用途记录器检测 PySpark SQL 模块
- [SPARK-38333] [SQL] PlanExpression 表达式应跳过执行程序中的 addExprTree 函数
- [SPARK-38646] [PYTHON][10.x] 拉取 Python 函数的特征
- [SPARK-38674] [PHOTON] 向 PhotonSubqueryBroadcastExec 添加指标
- [SPARK-38787] [SS] 在键的剩余列表中将找到的值替换为非 null 元素，并从流-流联接的 keyWithIndexToValue 存储的值中删除剩余的 null 元素
- [SPARK-38446] [Core] 修复 Log4j 在 ExecutorClassLoader 和 FileDownloadCallback 之间导致的死锁
- [SPARK-38705] [SQL] 在创建和删除函数命令中使用函数标识符
- [SPARK-38684] [SS] 修复 RocksDB 状态存储提供程序的流-流外部联接的正确性问题
- [SPARK-38655] [SQL]
OffsetWindowFunctionFrameBase找不到输入不为 null 的偏移行 - [SPARK-38204] [SS] 为有状态运算符使用 StatefulOpClusteredDistribution 并遵守后向兼容性
- [SPARK-38616] [SQL] 跟踪 Catalyst TreeNode 中的 SQL 查询文本
- [SPARK-38600] [SQL] 在
TIMESTAMPADD/DIFF的 SQL 字符串中包含unit - [SPARK-34805] [SQL] 在“别名”中传播嵌套列中的元数据
- [SPARK-38535] [SQL] 添加
datetimeUnit枚举并在TIMESTAMPADD/DIFF中使用它 - [SPARK-38415] [SQL] 更新 histogram_numeric (x, y) 结果类型，使 x == 输入类型
- [SPARK-38148] [SQL] 如果存在静态分区修剪，则不添加动态分区修剪
- [SPARK-37527] [SQL] 在
H2Dialet中编译COVAR_POP、COVAR_SAMP和CORR - [SPARK-38510] [SQL] 重试 ClassSymbol.selfType 以解决循环引用问题
- [SPARK-38509] [SQL] 取消注册
TIMESTAMPADD/DIFF函数并删除DATE_ADD/DIFF - [SPARK-38504] [SQL] 无法将 TimestampNTZ 读取为 TimestampLTZ
- [SPARK-38526] [SQL] 修复 RuntimeReplaceable 的误导性函数别名
- [SPARK-38335] [SQL] 实现分析程序对 DEFAULT 列值的支持
- [SPARK-38593] [SS] 将已删除的延迟事件数指标引入 SessionWindowStateStoreSaveExec
- [SPARK-38549] [SS] 将
numRowsDroppedByWatermark添加到SessionWindowStateStoreRestoreExec - [SPARK-38583] [SQL] 还原允许数字类型的
to_timestamp的行为 - [SPARK-38481] [SQL] 将
TIMESTAMPADD中的 Java 溢出异常替换为 Spark 异常 - [SPARK-37753] [SQL] 微调逻辑以降级 DynamicJoinSelection 中的广播哈希联接
- [SPARK-37582] [SPARK-37583][SQL] CONTAINS、STARTSWITH、ENDSWITH 应支持字符串和二进制类型
- [SPARK-38345] [SQL] 引入 SQL 函数 ARRAY_SIZE
- [SPARK-38385] [SQL] 改进了 ParseException 中的空语句和
<EOF>的错误消息 - [SPARK-37614] [SQL] 支持 ANSI 聚合函数：regr_avgx & regr_avgy
- [SPARK-38560] [SQL] 如果
Sum、Count、Any伴随 distinct，则无法执行部分聚合下推。 - [SPARK-38360] [SQL][SS][PYTHON] 为
TreeNode引入exists函数以消除重复的代码模式 - [SPARK-38385] [SQL] 改善 ANTLR 的“输入不匹配”情况的错误消息
- [SPARK-38240] [SQL] 改善 RuntimeReplaceable 并添加有关新增函数的准则
- [SPARK-38542] [SQL] UnsafeHashedRelation 应序列化 numKeys
- [SPARK-38521] [SQL] 在 Scala 中将
partitionOverwriteMode从字符串更改为变量 - [SPARK-38558] [SQL] 删除 IntegerType 和 IntDecimal 之间不必要的强制转换
- [SPARK-38489] [SQL] Aggregate.groupOnly 支持可折叠表达式
- [SPARK-38410] [SQL] 支持指定用于重新平衡的初始分区编号
- [SPARK-38107] [SQL] 在 python/pandas UDF 的编译错误中使用错误类
- [SPARK-38354] [SQL] 为随机哈希联接添加哈希探测指标
- [SPARK-38112] [SQL] 在日期/时间戳处理的执行错误中使用错误类
- [SPARK-38361] [SQL] 将工厂方法
getConnection添加到JDBCDialect中。 - [SPARK-37865] [SQL] 修复联合重复数据删除正确性 bug
- [SPARK-38298] [SQL][Tests] 修复 ANSI 模式下的 DataExpressionSuite、NullExpressionsSuite、StringExpressionsSuite、complexTypesSuite、CastSuite
- [SPARK-38407] [SQL] ANSI 强制转换：放宽强制转换非 null 复杂类型的限制
- [SPARK-38352] [SQL] 修复 ANSI 模式下的 DataFrameAggregateSuite/DataFrameSetOperationsSuite/DataFrameWindowFunctionsSuite
- [SPARK-38054] [SQL] 支持 JDBC v2 MySQL 方言中的列表命名空间
- [SPARK-37960] [SQL] 用于在 DS v2 API 中表示 catalyst 表达式的新框架
- [SPARK-38103] [SQL] 将转换分析错误迁移到新的错误框架
- [SPARK-38519] [SQL] AQE 引发异常应遵循 SparkFatalException
- [SPARK-38528] [SQL] 在
ExtractGenerator中生成项目列表时立即迭代聚合序列 - [SPARK-38320] [SS] 修复包含键数据的批中的 flatMapGroupsWithState 超时
- [SPARK-38442] [SQL] 修复 ANSI 模式下的 ConstantFoldingSuite/ColumnExpressionSuite/DataFrameSuite/AdaptiveQueryExecSuite
- [SPARK-38268] [SQL] 在 Abs/CheckOverflow 的 toString 方法中隐藏“failOnError”字段
- [SPARK-37949] [SQL] 改善重新平衡统计数据估算
- [SPARK-38450] [SQL] 修复 ANSI 模式下的 HiveQuerySuite//PushFoldableIntoBranchesSuite/TransposeWindowSuite
- [SPARK-38501] [SQL] 修复 ANSI 模式下的 thriftserver 测试失败
- [SPARK-37895] [SQL] 使用带引号的列筛选下推列
- [SPARK-38449] [SQL] 当 ignoreIfExists=true 并且表存在时避免调用 createTable
- [SPARK-38406] [SQL] 提高 ShufflePartitionsUtil createSkewPartitionSpecs 的性能
- [SPARK-37947] [SQL] 从 Generate 运算符包含的 GeneratorOuter 表达式中提取生成器。
- [SPARK-38309] [CORE] 修复 SHS
shuffleTotalReads和shuffleTotalBlocks百分位指标 - [SPARK-38412] [SS] 修复 StateSchemaCompatibilityChecker 中 from 和 to 的交换顺序
- [SPARK-38267] [CORE][SQL][SS] 将布尔表达式中的模式匹配替换为条件语句
- [SPARK-38104] [SQL] 将窗口分析错误迁移到新的错误框架
- [SPARK-38434] [SQL] 更正 CheckAnalysis.getDataTypesAreCompatibleFn 方法的语义
- [SPARK-38033] [SS] SS 处理无法开始，因为...
- [SPARK-38378] [SQL] 将 ANTLR 语法定义重构为单独的 Parser 和 Lexer 文件
- [SPARK-37475] [SQL] 将 scale 参数添加到 floor 和 ceil 函数
- [SPARK-38411] [CORE] 当
doMergeApplicationListingInternal读取事件日志时使用UTF-8 - [SPARK-36553] [ML] KMeans 对于大 K 避免计算辅助统计数据
- [SPARK-38393] [SQL] 清理已弃用的
GenSeq/GenMap - [SPARK-38389] [SQL] 为
TIMESTAMPDIFF()添加DATEDIFF()和DATE_DIFF()别名 - [SPARK-33206] [CORE][3.2] 修复对小型索引文件的随机索引缓存权重计算
- [SPARK-38353] [PYTHON] 检测 Spark 上的 Pandas API 的 enter 和 exit magic 方法
- [SPARK-38323] [SQL][Streaming] 支持流式处理中的隐藏文件元数据
- [SPARK-38138] [SQL] 具体化 QueryPlan 子查询
- [SPARK-38094] 启用按字段 ID 匹配架构列名称
- [SPARK-37923] [SQL] 在分析程序中为 BucketSpec 生成分区转换
- [SPARK-38363] [SQL] 当 ANSI 模式打开时避免 Dataset.summary()/Dataset.describe() 发生运行时错误
- [SPARK-38284] [SQL] 添加
TIMESTAMPDIFF()函数 - [SPARK-38251] [SQL] 在 ANSI 模式下将 Cast.toString 更改为“cast”而不是“ansi_cast”
- [SPARK-38314] [SQL] 修复写入隐藏文件元数据后无法读取 parquet 文件的问题
请参阅 Databricks Runtime 10.5 维护更新。
系统环境
- 操作系统：Ubuntu 20.04.4 LTS
- Java：Zulu 8.56.0.21-CA-linux64
- Scala：2.12.14
- Python：3.8.10
- R：4.1.3
- Delta Lake：1.2.1
已安装的 Python 库
| 库 | 版本 | 库 | 版本 | 库 | 版本 |
|---|---|---|---|---|---|
| Antergos Linux | 2015.10 (ISO-Rolling) | appdirs | 1.4.4 | argon2-cffi | 20.1.0 |
| async-generator | 1.10 | attrs | 20.3.0 | backcall | 0.2.0 |
| bidict | 0.21.4 | bleach | 3.3.0 | boto3 | 1.16.7 |
| botocore | 1.19.7 | certifi | 2020.12.5 | cffi | 1.14.5 |
| chardet | 4.0.0 | cycler | 0.10.0 | Cython | 0.29.23 |
| dbu-python | 1.2.16 | decorator | 5.0.6 | defusedxml | 0.7.1 |
| distlib | 0.3.4 | distro-info | 0.23ubuntu1 | entrypoints | 0.3 |
| facets-overview | 1.0.0 | filelock | 3.6.0 | idna | 2.10 |
| ipykernel | 5.3.4 | ipython | 7.22.0 | ipython-genutils | 0.2.0 |
| ipywidgets | 7.6.3 | jedi | 0.17.2 | Jinja2 | 2.11.3 |
| jmespath | 0.10.0 | joblib | 1.0.1 | jsonschema | 3.2.0 |
| jupyter-client | 6.1.12 | jupyter-core | 4.7.1 | jupyterlab-pygments | 0.1.2 |
| jupyterlab-widgets | 1.0.0 | kiwisolver | 1.3.1 | koalas | 1.8.2 |
| MarkupSafe | 2.0.1 | matplotlib | 3.4.2 | mistune | 0.8.4 |
| nbclient | 0.5.3 | nbconvert | 6.0.7 | nbformat | 5.1.3 |
| nest-asyncio | 1.5.1 | 笔记本 | 6.3.0 | numpy | 1.20.1 |
| 打包 | 20.9 | pandas | 1.2.4 | pandocfilters | 1.4.3 |
| parso | 0.7.0 | patsy | 0.5.1 | pexpect | 4.8.0 |
| pickleshare | 0.7.5 | Pillow | 8.2.0 | pip | 21.0.1 |
| plotly | 5.6.0 | prometheus-client | 0.10.1 | prompt-toolkit | 3.0.17 |
| protobuf | 3.17.2 | psycopg2 | 2.8.5 | ptyprocess | 0.7.0 |
| pyarrow | 4.0.0 | pycparser | 2.20 | Pygments | 2.8.1 |
| PyGObject | 3.36.0 | pyparsing | 2.4.7 | pyrsistent | 0.17.3 |
| python-apt | 2.0.0+ubuntu0.20.4.7 | python-dateutil | 2.8.1 | python-engineio | 4.3.0 |
| python-socketio | 5.4.1 | pytz | 2020.5 | pyzmq | 20.0.0 |
| 请求 | 2.25.1 | requests-unixsocket | 0.2.0 | s3transfer | 0.3.7 |
| scikit-learn | 0.24.1 | scipy | 1.6.2 | seaborn | 0.11.1 |
| Send2Trash | 1.5.0 | setuptools | 52.0.0 | 6 | 1.15.0 |
| ssh-import-id | 5.10 | statsmodels | 0.12.2 | tenacity | 8.0.1 |
| terminado | 0.9.4 | testpath | 0.4.4 | threadpoolctl | 2.1.0 |
| tornado | 6.1 | traitlets | 5.0.5 | unattended-upgrades | 0.1 |
| urllib3 | 1.25.11 | virtualenv | 20.4.1 | wcwidth | 0.2.5 |
| webencodings | 0.5.1 | wheel | 0.36.2 | widgetsnbextension | 3.5.1 |
已安装的 R 库
R 库安装自 2022-03-28 的 Microsoft CRAN 快照。
| 库 | 版本 | 库 | 版本 | 库 | 版本 |
|---|---|---|---|---|---|
| askpass | 1.1 | assertthat | 0.2.1 | backports | 1.4.1 |
| base | 4.1.3 | base64enc | 0.1-3 | bit | 4.0.4 |
| bit64 | 4.0.5 | blob | 1.2.2 | 启动 | 1.3-28 |
| brew | 1.0-7 | brio | 1.1.3 | broom | 0.7.12 |
| bslib | 0.3.1 | cachem | 1.0.6 | callr | 3.7.0 |
| caret | 6.0-91 | cellranger | 1.1.0 | chron | 2.3-56 |
| class | 7.3-20 | cli | 3.2.0 | clipr | 0.8.0 |
| cluster | 2.1.3 | codetools | 0.2-18 | colorspace | 2.0-3 |
| commonmark | 1.8.0 | compiler | 4.1.3 | config | 0.3.1 |
| cpp11 | 0.4.2 | crayon | 1.5.1 | 凭据 | 1.3.2 |
| curl | 4.3.2 | data.table | 1.14.2 | datasets | 4.1.3 |
| DBI | 1.1.2 | dbplyr | 2.1.1 | desc | 1.4.1 |
| devtools | 2.4.3 | diffobj | 0.3.5 | digest | 0.6.29 |
| dplyr | 1.0.8 | dtplyr | 1.2.1 | e1071 | 1.7-9 |
| ellipsis | 0.3.2 | 评估 | 0.15 | fansi | 1.0.3 |
| farver | 2.1.0 | fastmap | 1.1.0 | fontawesome | 0.2.2 |
| forcats | 0.5.1 | foreach | 1.5.2 | foreign | 0.8-82 |
| forge | 0.2.0 | fs | 1.5.2 | future | 1.24.0 |
| future.apply | 1.8.1 | gargle | 1.2.0 | generics | 0.1.2 |
| gert | 1.5.0 | ggplot2 | 3.3.5 | gh | 1.3.0 |
| gitcreds | 0.1.1 | glmnet | 4.1-3 | globals | 0.14.0 |
| glue | 1.6.2 | googledrive | 2.0.0 | googlesheets4 | 1.0.0 |
| gower | 1.0.0 | graphics | 4.1.3 | grDevices | 4.1.3 |
| grid | 4.1.3 | gridExtra | 2.3 | gsubfn | 0.7 |
| gtable | 0.3.0 | hardhat | 0.2.0 | haven | 2.4.3 |
| highr | 0.9 | hms | 1.1.1 | htmltools | 0.5.2 |
| htmlwidgets | 1.5.4 | httpuv | 1.6.5 | httr | 1.4.2 |
| hwriter | 1.3.2 | hwriterPlus | 1.0-3 | ids | 1.0.1 |
| ini | 0.3.1 | ipred | 0.9-12 | isoband | 0.2.5 |
| iterators | 1.0.14 | jquerylib | 0.1.4 | jsonlite | 1.8.0 |
| KernSmooth | 2.23-20 | knitr | 1.38 | labeling | 0.4.2 |
| later | 1.3.0 | lattice | 0.20-45 | lava | 1.6.10 |
| lifecycle | 1.0.1 | listenv | 0.8.0 | lubridate | 1.8.0 |
| magrittr | 2.0.2 | markdown | 1.1 | MASS | 7.3-56 |
| Matrix | 1.4-1 | memoise | 2.0.1 | 方法 | 4.1.3 |
| mgcv | 1.8-40 | mime | 0.12 | ModelMetrics | 1.2.2.2 |
| modelr | 0.1.8 | munsell | 0.5.0 | nlme | 3.1-157 |
| nnet | 7.3-17 | numDeriv | 2016.8-1.1 | openssl | 2.0.0 |
| parallel | 4.1.3 | parallelly | 1.30.0 | pillar | 1.7.0 |
| pkgbuild | 1.3.1 | pkgconfig | 2.0.3 | pkgload | 1.2.4 |
| plogr | 0.2.0 | plyr | 1.8.7 | praise | 1.0.0 |
| prettyunits | 1.1.1 | pROC | 1.18.0 | processx | 3.5.3 |
| prodlim | 2019.11.13 | 进度 | 1.2.2 | progressr | 0.10.0 |
| promises | 1.2.0.1 | proto | 1.0.0 | proxy | 0.4-26 |
| ps | 1.6.0 | purrr | 0.3.4 | r2d3 | 0.2.6 |
| R6 | 2.5.1 | randomForest | 4.7-1 | rappdirs | 0.3.3 |
| rcmdcheck | 1.4.0 | RColorBrewer | 1.1-2 | Rcpp | 1.0.8.3 |
| RcppEigen | 0.3.3.9.1 | readr | 2.1.2 | readxl | 1.3.1 |
| recipes | 0.2.0 | rematch | 1.0.1 | rematch2 | 2.1.2 |
| remotes | 2.4.2 | reprex | 2.0.1 | reshape2 | 1.4.4 |
| rlang | 1.0.2 | rmarkdown | 2.13 | RODBC | 1.3-19 |
| roxygen2 | 7.1.2 | rpart | 4.1.16 | rprojroot | 2.0.2 |
| Rserve | 1.8-10 | RSQLite | 2.2.11 | rstudioapi | 0.13 |
| rversions | 2.1.1 | rvest | 1.0.2 | sass | 0.4.1 |
| scales | 1.1.1 | selectr | 0.4-2 | sessioninfo | 1.2.2 |
| shape | 1.4.6 | shiny | 1.7.1 | sourcetools | 0.1.7 |
| sparklyr | 1.7.5 | SparkR | 3.2.0 | spatial | 7.3-11 |
| splines | 4.1.3 | sqldf | 0.4-11 | SQUAREM | 2021.1 |
| stats | 4.1.3 | stats4 | 4.1.3 | stringi | 1.7.6 |
| stringr | 1.4.0 | survival | 3.2-13 | sys | 3.4 |
| tcltk | 4.1.3 | TeachingDemos | 2.10 | testthat | 3.1.2 |
| tibble | 3.1.6 | tidyr | 1.2.0 | tidyselect | 1.1.2 |
| tidyverse | 1.3.1 | timeDate | 3043.102 | tinytex | 0.37 |
| 工具 | 4.1.3 | tzdb | 0.2.0 | usethis | 2.1.5 |
| utf8 | 1.2.2 | utils | 4.1.3 | uuid | 1.0-4 |
| vctrs | 0.3.8 | viridisLite | 0.4.0 | vroom | 1.5.7 |
| waldo | 0.4.0 | whisker | 0.4 | withr | 2.5.0 |
| xfun | 0.30 | xml2 | 1.3.3 | xopen | 1.0.0 |
| xtable | 1.8-4 | yaml | 2.3.5 | zip | 2.2.0 |
已安装的 Java 库和 Scala 库（Scala 2.12 群集版本）
| 组 ID | 项目 ID | 版本 |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.189 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.12.189 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.189 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.12.189 |
| com.amazonaws | aws-java-sdk-config | 1.12.189 |
| com.amazonaws | aws-java-sdk-core | 1.12.189 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.12.189 |
| com.amazonaws | aws-java-sdk-directconnect | 1.12.189 |
| com.amazonaws | aws-java-sdk-directory | 1.12.189 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.12.189 |
| com.amazonaws | aws-java-sdk-ec2 | 1.12.189 |
| com.amazonaws | aws-java-sdk-ecs | 1.12.189 |
| com.amazonaws | aws-java-sdk-efs | 1.12.189 |
| com.amazonaws | aws-java-sdk-elasticache | 1.12.189 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.189 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.189 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.189 |
| com.amazonaws | aws-java-sdk-emr | 1.12.189 |
| com.amazonaws | aws-java-sdk-glacier | 1.12.189 |
| com.amazonaws | aws-java-sdk-glue | 1.12.189 |
| com.amazonaws | aws-java-sdk-iam | 1.12.189 |
| com.amazonaws | aws-java-sdk-importexport | 1.12.189 |
| com.amazonaws | aws-java-sdk-kinesis | 1.12.189 |
| com.amazonaws | aws-java-sdk-kms | 1.12.189 |
| com.amazonaws | aws-java-sdk-lambda | 1.12.189 |
| com.amazonaws | aws-java-sdk-logs | 1.12.189 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.12.189 |
| com.amazonaws | aws-java-sdk-opsworks | 1.12.189 |
| com.amazonaws | aws-java-sdk-rds | 1.12.189 |
| com.amazonaws | aws-java-sdk-redshift | 1.12.189 |
| com.amazonaws | aws-java-sdk-route53 | 1.12.189 |
| com.amazonaws | aws-java-sdk-s3 | 1.12.189 |
| com.amazonaws | aws-java-sdk-ses | 1.12.189 |
| com.amazonaws | aws-java-sdk-simpledb | 1.12.189 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.189 |
| com.amazonaws | aws-java-sdk-sns | 1.12.189 |
| com.amazonaws | aws-java-sdk-sqs | 1.12.189 |
| com.amazonaws | aws-java-sdk-ssm | 1.12.189 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.12.189 |
| com.amazonaws | aws-java-sdk-sts | 1.12.189 |
| com.amazonaws | aws-java-sdk-support | 1.12.189 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.12.189 |
| com.amazonaws | jmespath-java | 1.12.189 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | 流 (stream) | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations | 2.12.3 |
| com.fasterxml.jackson.core | jackson-core | 2.12.3 |
| com.fasterxml.jackson.core | jackson-databind | 2.12.3 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.12.3 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.12.3 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.12.3 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.12.3 |
| com.github.ben-manes.caffeine | caffeine | 2.3.4 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | core | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.luben | zstd-jni | 1.5.0-4 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.8.6 |
| com.google.crypto.tink | tink | 1.6.0 |
| com.google.flatbuffers | flatbuffers-java | 1.9.0 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 2.1.210 |
| com.helger | profiler | 1.1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.istack | istack-commons-runtime | 3.0.8 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.12 | 0.10.0 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1.15 |
| commons-collections | commons-collections | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-fileupload | commons-fileupload | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.8.0 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| dev.ludovic.netlib | arpack | 2.2.1 |
| dev.ludovic.netlib | blas | 2.2.1 |
| dev.ludovic.netlib | lapack | 2.2.1 |
| hive-2.3__hadoop-3.2 | jets3t-0.7 | liball_deps_2.12 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0.21 |
| io.delta | delta-sharing-spark_2.12 | 0.4.0 |
| io.dropwizard.metrics | metrics-core | 4.1.1 |
| io.dropwizard.metrics | metrics-graphite | 4.1.1 |
| io.dropwizard.metrics | metrics-healthchecks | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | metrics-jmx | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | metrics-jvm | 4.1.1 |
| io.dropwizard.metrics | metrics-servlets | 4.1.1 |
| io.netty | netty-all | 4.1.68.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | 收集器 | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | activation | 1.1.1 |
| javax.annotation | javax.annotation-api | 1.3.2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | transaction-api | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.10.10 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| maven-trees | hive-2.3__hadoop-3.2 | liball_deps_2.12 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | pyrolite | 4.30 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.13.3 |
| net.snowflake | spark-snowflake_2.12 | 2.9.0-spark_3.1 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.8 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | arrow-format | 2.0.0 |
| org.apache.arrow | arrow-memory-core | 2.0.0 |
| org.apache.arrow | arrow-memory-netty | 2.0.0 |
| org.apache.arrow | arrow-vector | 2.0.0 |
| org.apache.avro | avro | 1.10.2 |
| org.apache.avro | avro-ipc | 1.10.2 |
| org.apache.avro | avro-mapred | 1.10.2 |
| org.apache.commons | commons-compress | 1.21 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.12.0 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.commons | commons-text | 1.6 |
| org.apache.curator | curator-client | 2.13.0 |
| org.apache.curator | curator-framework | 2.13.0 |
| org.apache.curator | curator-recipes | 2.13.0 |
| org.apache.derby | derby | 10.14.2.0 |
| org.apache.hadoop | hadoop-client-api | 3.3.2-databricks |
| org.apache.hadoop | hadoop-client-runtime | 3.3.2 |
| org.apache.hive | hive-beeline | 2.3.9 |
| org.apache.hive | hive-cli | 2.3.9 |
| org.apache.hive | hive-jdbc | 2.3.9 |
| org.apache.hive | hive-llap-client | 2.3.9 |
| org.apache.hive | hive-llap-common | 2.3.9 |
| org.apache.hive | hive-serde | 2.3.9 |
| org.apache.hive | hive-shims | 2.3.9 |
| org.apache.hive | hive-storage-api | 2.7.2 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
| org.apache.hive.shims | hive-shims-common | 2.3.9 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
| org.apache.httpcomponents | httpclient | 4.5.13 |
| org.apache.httpcomponents | httpcore | 4.4.12 |
| org.apache.ivy | ivy | 2.5.0 |
| org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
| org.apache.orc | orc-core | 1.6.13 |
| org.apache.orc | orc-mapreduce | 1.6.13 |
| org.apache.orc | orc-shims | 1.6.13 |
| org.apache.parquet | parquet-column | 1.12.0-databricks-0004 |
| org.apache.parquet | parquet-common | 1.12.0-databricks-0004 |
| org.apache.parquet | parquet-encoding | 1.12.0-databricks-0004 |
| org.apache.parquet | parquet-format-structures | 1.12.0-databricks-0004 |
| org.apache.parquet | parquet-hadoop | 1.12.0-databricks-0004 |
| org.apache.parquet | parquet-jackson | 1.12.0-databricks-0004 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.xbean | xbean-asm9-shaded | 4.20 |
| org.apache.yetus | audience-annotations | 0.5.0 |
| org.apache.zookeeper | zookeeper | 3.6.2 |
| org.apache.zookeeper | zookeeper-jute | 3.6.2 |
| org.checkerframework | checker-qual | 3.5.0 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-continuation | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-http | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-io | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-jndi | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-plus | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-proxy | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-security | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-server | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-servlet | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-servlets | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-util | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-webapp | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-xml | 9.4.43.v20210629 |
| org.eclipse.jetty.websocket | websocket-api | 9.4.43.v20210629 |
| org.eclipse.jetty.websocket | websocket-client | 9.4.43.v20210629 |
| org.eclipse.jetty.websocket | websocket-common | 9.4.43.v20210629 |
| org.eclipse.jetty.websocket | websocket-server | 9.4.43.v20210629 |
| org.eclipse.jetty.websocket | websocket-servlet | 9.4.43.v20210629 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jaxb | jaxb-runtime | 2.3.2 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.34 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.34 |
| org.glassfish.jersey.core | jersey-client | 2.34 |
| org.glassfish.jersey.core | jersey-common | 2.34 |
| org.glassfish.jersey.core | jersey-server | 2.34 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.34 |
| org.hibernate.validator | hibernate-validator | 6.1.0.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jetbrains | annotations | 17.0.0 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
| org.json4s | json4s-core_2.12 | 3.7.0-M11 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
| org.lz4 | lz4-java | 1.7.1 |
| org.mariadb.jdbc | mariadb-java-client | 2.2.5 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.2.19 |
| org.roaringbitmap | RoaringBitmap | 0.9.14 |
| org.roaringbitmap | shims | 0.9.14 |
| org.rocksdb | rocksdbjni | 6.20.3 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.14 |
| org.scala-lang | scala-library_2.12 | 2.12.14 |
| org.scala-lang | scala-reflect_2.12 | 2.12.14 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.4.3 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 1.2 |
| org.scalanlp | breeze_2.12 | 1.2 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.30 |
| org.slf4j | jul-to-slf4j | 1.7.30 |
| org.slf4j | slf4j-api | 1.7.30 |
| org.slf4j | slf4j-log4j12 | 1.7.30 |
| org.spark-project.spark | unused | 1.0.0 |
| org.threeten | threeten-extra | 1.5.0 |
| org.tukaani | xz | 1.8 |
| org.typelevel | algebra_2.12 | 2.0.1 |
| org.typelevel | cats-kernel_2.12 | 2.1.1 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0 |
| org.typelevel | spire-platform_2.12 | 0.17.0 |
| org.typelevel | spire-util_2.12 | 0.17.0 |
| org.typelevel | spire_2.12 | 0.17.0 |
| org.wildfly.openssl | wildfly-openssl | 1.0.7.Final |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.8.4 |
| org.yaml | snakeyaml | 1.24 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |