Databricks Runtime 10.3(不受支持)

以下发行说明提供了由 Apache Spark 3.2.1 提供支持的 Databricks Runtime 10.3 和 Databricks Runtime 10.3 Photon 的相关信息。 Photon 处于公共预览版。 Databricks 于 2022 年 2 月发布了这些映像。

新增功能和改进

现在,Parquet 和 Avro 编写器在 Parquet 数据源中重新设置时间戳时使用会话时区

现在,Parquet 和 Avro 编写器使用会话时区,而时间戳在 legacy 模式下变基,而不是使用默认的 JVM 时区。 默认情况下,会话时区设置为 JVM 时区。

Spark SQL 中的新函数

此版本现在支持以下 Spark SQL 函数:

  • aes_decrypt:使用 AES 解密输入。
  • aes_encrypt:使用 AES 加密输入。
  • contains:确定一个表达式是否包含另一个表达式。
  • endswith:确定一个表达式是否以另一个表达式结尾。
  • percentile_cont:返回一个百分位值。
  • startswith:确定一个表达式是否以另一个表达式开头。

低随机合并现已正式发布

Delta 命令 MERGE INTO 使用一种称为低随机合并的技术,可减少未修改行的随机。 这提高了命令的性能并有助于保留表上的现有集群,例如 Z 排序。 此功能是在 Databricks Runtime 9.0 公共预览版中引入的,现已正式发布。 要启用低随机合并,请将 spark.databricks.delta.merge.enableLowShuffle 设置为 true。 请参阅 Azure Databricks 上的低随机合并

新的 COPY INTO 功能:验证模式和架构演变

验证模式:COPY INTO 现在支持 VALIDATE 模式,在这种模式下,要加载到表中的数据会经过验证,但不写入表中。 这些验证包括:

  • 是否可以解析数据。
  • 架构是否与表匹配,或者架构是否需要演变。
  • 是否满足所有可空性和检查约束。

示例用法:

COPY INTO <table>
FROM <path-to-files>
FILEFORMAT = <format>
VALIDATE [ALL | <num-rows> ROWS]

默认是验证所有要加载的数据。 你可以提供要使用 ROWS 关键字验证的行数,例如 VALIDATE 15 ROWS。 当小于 50 的数字与 ROWS 关键字一起使用时,COPY INTO 语句返回 50 行或更少的数据的预览)。

架构演变:COPY INTO 现在通过 COPY_OPTIONS 中的 mergeSchema 选项来支持架构演变。 要演化表的架构,你必须对表具有 OWN 权限。

用法示例:

COPY INTO <table>
FROM <path-to-files>
FILEFORMAT = <format>
COPY_OPTIONS ('mergeSchema' = 'true')

请参阅 COPY INTO

Delta 表现在支持标识列(公共预览版)

Delta Lake 现在支持标识列。 当你写入定义标识列的 Delta 表,并且你不提供该列的值时,Delta 现在会自动分配唯一且以统计方式增加或减少的值。 请参阅 CREATE TABLE [USING]

库升级

  • 升级了 Python 库:
    • distlib 已从 0.3.3 升级到 0.3.4
    • filelock 已从 3.4.0 升级到 3.4.2
    • numpy 已从 1.19.2 升级到 1.20.1
    • plotly 已从 5.3.1 升级到 5.5.0
  • 升级了 R 库:
    • backports 已从 1.4.0 升级到 1.4.1
    • brio 已从 1.1.2 升级到 1.1.3
    • broom 已从 0.7.10 升级到 0.7.11
    • class 已从 7.3-19 升级到 7.3-20
    • cpp11 已从 0.4.1 升级到 0.4.2
    • DBI 已从 1.1.1 升级到 1.1.2
    • devtools 已从 2.4.2 升级到 2.4.3
    • digest 已从 0.6.28 升级到 0.6.29
    • dtplyr 已从 1.1.0 升级到 1.2.0
    • fansi 已从 0.5.0 升级到 1.0.2
    • foreign 已从 0.8-81 升级到 0.8-82
    • fs 已从 1.5.0 升级到 1.5.2
    • gert 已从 1.4.3 升级到 1.5.0
    • glue 已从 1.5.0 升级到 1.6.0
    • httpuv 已从 1.6.3 升级到 1.6.5
    • jsonlite 已从 1.7.2 升级到 1.7.3
    • knitr 已从 1.36 升级到 1.37
    • MASS 已从 7.3-54 升级到 7.3-55
    • Matrix 已从 1.3-4 升级为 1.4-0
    • nlme 已从 3.1-152 升级到了 3.1-155
    • nnet 已从 7.3-16 升级到 7.3-17
    • openssl 已从 1.4.5 升级到 1.4.6
    • parallelly 已从 1.29.0 升级到 1.30.0
    • pkgbuild 已从 1.2.0 升级到 1.3.1
    • pkgload 已从 1.2.3 升级到 1.2.4
    • progressr 已从 0.9.0 升级到 0.10.0
    • Rcpp 已从 1.0.7 升级到 1.0.8
    • readr 已从 2.1.0 升级到 2.1.1
    • remotes 已从 2.4.1 升级到 2.4.2
    • RSQLite 已从 2.2.8 升级到 2.2.9
    • sessioninfo 已从 1.2.1 升级到 1.2.2
    • sparklyr 已从 1.7.2 升级到 1.7.4
    • testthat 已从 3.1.0 升级到 3.1.1
    • tinytex 已从 0.35 升级到 0.36
    • usethis 已从 2.1.3 升级到 2.1.5
    • vroom 已从 1.5.6 升级到 1.5.7
    • withr 已从 2.4.2 升级到 2.4.3
    • xfun 已从 0.28 升级到 0.29
    • xml2 已从 1.3.2 升级到 1.3.3
  • 升级了 Java 库:
    • dev.ludovic.netlib.arpack 已从 1.3.2 升级到 2.2.1
    • dev.ludovic.netlib.blas 已从 1.3.2 升级到 2.2.1
    • dev.ludovic.netlib.lapack 已从 1.3.2 升级到 2.2.1
    • io.delta.delta-sharing-spark_2.12 已从 0.2.0 升级到 0.3.0

Apache Spark

Databricks Runtime 10.3 包含 Apache Spark 3.2.1。 此版本包括 Databricks Runtime 10.2(不受支持)中所包含的所有 Spark 修复和改进,以及对 Spark 进行的以下其他 bug 修复和改进:

  • [SPARK-37896] [SQL] 实现 ConstantColumnVector 并提高隐藏文件元数据的性能
  • [SPARK-37924] [SQL] 在 SHOW CREATE TABLE on VIEW (v1) 中按键对表属性进行排序
  • [SPARK-37636] [SQL] 迁移 DESCRIBE NAMESPACE,因此默认使用 V2 命令
  • [SPARK-37381] [SQL] 统一了 v1 和 v2 SHOW CREATE TABLE 测试
  • [SPARK-37876] [CORE][SQL] 将 SpecificParquetRecordReaderBase.listDirectory 移至 TestUtils
  • [SPARK-37854] [CORE] 将类型检查替换为 Spark 代码中的模式匹配
  • [SPARK-36967] [CORE] 报告准确的随机块大小(如果其倾斜)
  • [SPARK-37864] [SQL] 支持矢量化读取布尔值将 RLE 编码与 Parquet DataPage V2 结合使用
  • [SPARK-37862] [SQL] RecordBinaryComparator 应该快速跳过与未对齐平台对齐的检查
  • [SPARK-37855] [SQL] 在嵌套结构中转换数组时出现 IllegalStateException
  • [SPARK-37858] [SQL] 从 AES 函数中抛出 SparkRuntimeException 并具有错误类
  • [SPARK-37841] [SQL] BasicWriteTaskStatsTracker 不应尝试获取跳过文件的状态
  • [SPARK-37860] [UI] 在“阶段”页任务事件时间线中修复 taskindex
  • [SPARK-36879] [SQL] 支持向量化路径的 Parquet v2 数据页编码 (DELTA_BINARY_PACKED)
  • [SPARK-37828] [SQL] 通过 RebalancePartitions 下推过滤器
  • [SPARK-37802] [SQL][3.2] 复合字段名称应与聚合下推一起使用
  • [SPARK-37826] [SQL] 在 Hive orc impl 的 ORC 文件名中使用 zstd 编解码器名称
  • [SPARK-37820] [SQL] 将 ApacheCommonBase64 替换为 JavaBase64 以获取字符串函数
  • [SPARK-37832] [SQL] Orc 结构转换器应该使用数组而不是链表来查找字段转换器
  • [SPARK-37786] [SQL] StreamingQueryListener 支持使用 SQLConf.get 获取对应 SessionState 的 SQLConf
  • [SPARK-37527] [SQL] 为下推翻译更多标准聚合函数
  • [SPARK-37777] [SQL] 更新 SHOW FUNCTIONS 的 SQL 语法
  • [SPARK-8582] [CORE] 真正要求检查点作业运行一次时,检查点作业预先执行了此操作
  • [SPARK-37822] [SQL] StringSplit 应该在非空元素上返回一个数组
  • [SPARK-37812] [SQL] 反序列化 Orc 结构时,尽可能重用结果行
  • [SPARK-37367] [SQL] 在 DDLParserSuite.create 视图中重新启用异常测试 - 基本
  • [SPARK-37796] [SQL] ByteArrayMethods arrayEquals 应该快速跳过与未对齐平台对齐的检查
  • [SPARK-37817] [SQL][Minor] 删除 complexTypeExtractors.scala 中无法访问的代码
  • [SPARK-37807] [SQL] 解决了 HttpAuthenticationException 消息中的输入错误
  • [SPARK-37750] [SQL] ANSI 模式:如果数组/映射中不存在元素,则可选择返回 null 结果
  • [SPARK-37789] [SQL] 增加一个类来表示 DS V2 中的通用聚合函数
  • [SPARK-37785] [SQL][CORE] 增加 Utils.isInRunningSparkTask
  • [SPARK-37780] [SQL] QueryExecutionListener 支持使用 SQLConf.get 获取对应 SessionState 的 SQLConf
  • [SPARK-37783] [SS][SQL][CORE] 尽可能启用尾递归
  • [SPARK-37726] [SQL] 为排序合并连接添加溢出大小指标
  • [SPARK-37800] [SQL] TreeNode.argString 不正确地格式化 Set[_] 类型的参数
  • [SPARK-37716] [SQL] 改进了 LateralJoin 具有非确定性表达式时的错误消息
  • [SPARK-37779] [SQL] 在(反)序列化之后使 ColumnarToRowExec 计划可规范化
  • [SPARK-37578] [SQL] 从 ds v2 自定义指标更新任务指标
  • [SPARK-37676] [SQL] 支持 ANSI 聚合函数:percentile_cont
  • [SPARK-37724] [SQL] ANSI 模式:默认禁用 ANSI 保留关键字
  • [SPARK-37705] [SQL][3.2] 在 Parquet/Avro 元数据中保存的会话时区中变基时间戳
  • [SPARK-34755] [SQL] 支持转换数字格式的实用程序
  • [SPARK-36703] [SQL] 如果排序是 RepartitionByExpression 的子级,则删除排序
  • [SPARK-37369] [SQL] 避免 InMemoryTableScan 上的冗余 ColumnarToRow 转换
  • [SPARK-37450] [SQL] 从 Generate 中删除不必要的字段
  • [SPARK-37728] [SQL] 使用 ORC 矢量化读取器读取嵌套列可能导致 ArrayIndexOutOfBoundsException
  • [SPARK-37564] [SQL] 为排序聚合添加代码生成而不对键进行分组
  • [SPARK-37659] [UI] [3.2]修复了列出和删除日志信息之间的 FsHistoryProvider 竞争条件
  • [SPARK-37727] [SQL] 显示忽略的配置并为已在 SparkSession.builder.getOrCreate 中设置的配置隐藏警告
  • [SPARK-37391] [SQL]JdbcConnectionProvider 可判断是否修改了安全上下文
  • [SPARK-37273] [SQL] 支持 Spark SQL 中的隐藏文件元数据列
  • [SPARK-36876] [SQL] 支持 HiveTableScanExec 的动态分区修剪
  • [SPARK-37546] [SQL] V2 ReplaceTableAsSelect 命令应限定位置
  • [SPARK-37545] [SQL] V2 CreateTableAsSelect 命令应该限定位置
  • [SPARK-37707] [SQL] 允许在日期时间类型之间进行存储分配和隐式转换
  • [SPARK-37644] [SQL] 支持数据源 v2 完整聚合下推
  • [SPARK-37695] [CORE][SHUFFLE] 从基于推送的随机中跳过诊断 ob 合并块
  • [SPARK-35295] [ML] 将 com.github.fommil.netlib 完全替换为 dev.ludovic.netlib:2.0
  • [SPARK-37694] [SQL] 不允许删除 spark sql cli 中的资源
  • [SPARK-37330] [SQL] 将 ReplaceTableStatement 迁移到 v2 命令
  • [SPARK-27974] [SQL] 支持 ANSI 聚合函数:array_agg
  • [SPARK-36902] [SQL] 将 CreateTableAsSelectStatement 迁移到 v2 命令
  • [SPARK-37678] [PYTHON] 修正了 _cleanup_and_return 签名
  • [SPARK-37613] [SQL] 支持 ANSI 聚合函数:regr_count
  • [SPARK-37689] [SQL] PropagateEmptyRelation 中应支持展开
  • [SPARK-37654] [SQL] 修正了当字段为 Null 时 Row.getSeq 中的 NPE
  • [SPARK-37496] [SQL] 将 ReplaceTableAsSelectStatement 迁移到 v2 命令
  • [SPARK-37483] [SQL] 支持将 top N 下推到 JDBC 数据源 V2
  • [SPARK-37577] [SQL] 修正了 ClassCastException:ArrayType 无法针对 Generate Pruning 转换为 StructType
  • [SPARK-37310] [SQL] 迁移 ALTER NAMESPACE … SET PROPERTIES 默认使用 V2 命令
  • [SPARK-37501] [SQL] CREATE/REPLACE TABLE 应限定 v2 命令的位置
  • [SPARK-37343] [SQL] 在 JDBC(Postgres 方言)中实现 createIndex、IndexExists 和 dropIndex
  • [SPARK-37060] [CORE][3.2] 处理来自备份主机的驱动程序状态响应
  • [SPARK-37629] [SQL] 加速 Expression.canonicalized
  • [SPARK-37633] [SQL] 如果向下转换失败,则展开转换应跳过...
  • [SPARK-37631] [SQL] 在数学函数中将字符串提升为双精度类型的代码清理
  • [SPARK-37569] [SQL] 不会将嵌套视图字段标记为可为空
  • [SPARK-37557] [SQL] 如果子项已排序,则将对象哈希替换为排序聚合
  • [SPARK-36850] [SQL] 将 CreateTableStatement 迁移到 v2 命令框架
  • [SPARK-37592] [SQL] 提高 JoinSelection 性能
  • [SPARK-37217] [SQL] 写入外部表时应提前检查动态分区的数量
  • [SPARK-37584] [SQL] 新 SQL 函数:map_contains_key
  • [SPARK-37455] [SQL] 如果子项已排序,则将哈希替换为排序聚合
  • [SPARK-34735] [SQL][UI] 添加修改后的配置以在 UI 中执行 SQL
  • [SPARK-37540] [SQL] 检测更多不受支持的按时间顺序查看
  • [SPARK-37376] [SQL] 引入新的 DataSource V2 接口 HasPartitionKey
  • [SPARK-37666] [SQL] 将 GCM 设置为 aes_encrypt()/aes_decrypt() 中的默认模式
  • [SPARK-37573] [SQL] IsolatedClientLoader 应该回退到相关版本,并非总是 hadoop-2.7.4
  • [SPARK-37561] [SQL] 获取 hive 的 DelegationToken 时避免加载所有函数
  • [SPARK-37370] [SQL] 添加 SQL 配置以控制 3.3 中新增的连接代码生成
  • [SPARK-37311] [SQL] 迁移 ALTER NAMESPACE … SET LOCATION 默认使用 V2 命令
  • [SPARK-37192] [SQL] 迁移 SHOW TBLPROPERTIES 以默认使用 V2 命令
  • [SPARK-37219] [SQL] 添加 AS OF 语法支持
  • [SPARK-37316] [SQL] 为存在排序合并连接添加代码生成
  • [SPARK-37591] [SQL] 通过 aes_encrypt()/aes_decrypt() 来支持 GCM 模式
  • [SPARK-37586] [SQL] 在 aes_encrypt()/aes_decrypt() 中添加了modepadding 参数
  • [SPARK-12567] [SQL] 添加 aes_encrypt 和 aes_decrypt 内置函数
  • [SPARK-37392] [SQL] 修正了推断 Generate 约束时的性能错误
  • [SPARK-37481] [Core] [WebUI] 修正了重试后跳过阶段消失的问题
  • [SPARK-37533] [SQL] 新 SQL 函数:try_element_at
  • [SPARK-37451] [SQL] 修正了以下问题:如果启用 spark.sql.legacy.allowNegativeScaleOfDecimal,则字符串类型转换为十进制类型
  • [SPARK-37062] [SS] 引入一个新的数据源,为每个微批次提供一致的行集
  • [SPARK-37552] [SQL] 添加 convert_timezone() 函数
  • [SPARK-37555] [SQL] spark-sql 应该将最后一个未关闭的注释传递给后端
  • [SPARK-37286] [SQL] 将 compileAggregates 已从 JDBCRDD 移动到 JdbcDialect
  • [SPARK-37485] [CORE][SQL] 通过 foreachmap 替换为不产生结果的表达式
  • [SPARK-37556] [SQL] Deser void 类因 Java 序列化而失败
  • [SPARK-37520] [SQL] 增加了 startswith()endswith() 字符串函数
  • [SPARK-37471] [SQL] 嵌套括号注释中的 spark-sql 支持 ;
  • [SPARK-37360] [SQL] 在 JSON 数据源中支持 TimestampNTZ
  • [SPARK-37508] [SQL] 增加了 CONTAINS() 字符串函数
  • [SPARK-37494] [SQL] 统一了 SHOW CREATE TABLE 命令 v1 和 v2 选项输出
  • [SPARK-37524] [SQL] 我们应该在测试动态分区修剪后删除所有表。
  • [SPARK-37389] [SQL] 检查未封闭的括号注释
  • [SPARK-37220] [SQL] 不使用聚合下推拆分 Parquet 读取器的输入文件
  • [SPARK-37326] [SQL] 在 CSV 数据源中支持 TimestampNTZ
  • [SPARK-35867] [SQL] 为 VectorizedPlainValuesReader.readBooleans 启用矢量化读取
  • [SPARK-37484] [CORE][SQL] 将 getgetOrElse 替换为 getOrElse
  • [SPARK-37492] [SQL] 使用 withAllNativeOrcReaders 优化 Orc 测试代码
  • [SPARK-37458] [SS] 已从 foreachBatch 的计划中删除不必要的 SerializeFromObject

维护更新

请参阅 Databricks Runtime 10.3 维护更新

系统环境

  • 操作系统:Ubuntu 20.04.3 LTS
  • Java:Zulu 8.56.0.21-CA-linux64
  • Scala:2.12.14
  • Python:3.8.10
  • R:4.1.2
  • Delta Lake:1.1.0

已安装的 Python 库

版本 版本 版本
Antergos Linux 2015.10 (ISO-Rolling) appdirs 1.4.4 argon2-cffi 20.1.0
async-generator 1.10 attrs 20.3.0 backcall 0.2.0
bidict 0.21.4 bleach 3.3.0 boto3 1.16.7
botocore 1.19.7 certifi 2020.12.5 cffi 1.14.5
chardet 4.0.0 cycler 0.10.0 Cython 0.29.23
dbu-python 1.2.16 decorator 5.0.6 defusedxml 0.7.1
distlib 0.3.4 distro-info 0.23ubuntu1 entrypoints 0.3
facets-overview 1.0.0 filelock 3.4.2 idna 2.10
ipykernel 5.3.4 ipython 7.22.0 ipython-genutils 0.2.0
ipywidgets 7.6.3 jedi 0.17.2 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.0.1 jsonschema 3.2.0
jupyter-client 6.1.12 jupyter-core 4.7.1 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 kiwisolver 1.3.1 koalas 1.8.2
MarkupSafe 2.0.1 matplotlib 3.4.2 mistune 0.8.4
nbclient 0.5.3 nbconvert 6.0.7 nbformat 5.1.3
nest-asyncio 1.5.1 笔记本 6.3.0 numpy 1.20.1
打包 20.9 pandas 1.2.4 pandocfilters 1.4.3
parso 0.7.0 patsy 0.5.1 pexpect 4.8.0
pickleshare 0.7.5 Pillow 8.2.0 pip 21.0.1
plotly 5.5.0 prometheus-client 0.10.1 prompt-toolkit 3.0.17
protobuf 3.17.2 psycopg2 2.8.5 ptyprocess 0.7.0
pyarrow 4.0.0 pycparser 2.20 Pygments 2.8.1
PyGObject 3.36.0 pyparsing 2.4.7 pyrsistent 0.17.3
python-apt 2.0.0+ubuntu0.20.4.6 python-dateutil 2.8.1 python-engineio 4.3.0
python-socketio 5.4.1 pytz 2020.5 pyzmq 20.0.0
请求 2.25.1 requests-unixsocket 0.2.0 s3transfer 0.3.7
scikit-learn 0.24.1 scipy 1.6.2 seaborn 0.11.1
Send2Trash 1.5.0 setuptools 52.0.0 6 1.15.0
ssh-import-id 5.10 statsmodels 0.12.2 tenacity 8.0.1
terminado 0.9.4 testpath 0.4.4 threadpoolctl 2.1.0
tornado 6.1 traitlets 5.0.5 unattended-upgrades 0.1
urllib3 1.25.11 virtualenv 20.4.1 wcwidth 0.2.5
webencodings 0.5.1 wheel 0.36.2 widgetsnbextension 3.5.1

已安装的 R 库

R 库安装自 2022-01-19 的 Microsoft CRAN 快照。

版本 版本 版本
askpass 1.1 assertthat 0.2.1 backports 1.4.1
base 4.1.2 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 blob 1.2.2 启动 1.3-28
brew 1.0-6 brio 1.1.3 broom 0.7.11
bslib 0.3.1 cachem 1.0.6 callr 3.7.0
caret 6.0-90 cellranger 1.1.0 chron 2.3-56
class 7.3-20 cli 3.1.0 clipr 0.7.1
cluster 2.1.2 codetools 0.2-18 colorspace 2.0-2
commonmark 1.7 compiler 4.1.2 config 0.3.1
cpp11 0.4.2 crayon 1.4.2 凭据 1.3.2
curl 4.3.2 data.table 1.14.2 datasets 4.1.2
DBI 1.1.2 dbplyr 2.1.1 desc 1.4.0
devtools 2.4.3 diffobj 0.3.5 digest 0.6.29
dplyr 1.0.7 dtplyr 1.2.0 e1071 1.7-9
ellipsis 0.3.2 评估 0.14 fansi 1.0.2
farver 2.1.0 fastmap 1.1.0 fontawesome 0.2.2
forcats 0.5.1 foreach 1.5.1 foreign 0.8-82
forge 0.2.0 fs 1.5.2 future 1.23.0
future.apply 1.8.1 gargle 1.2.0 generics 0.1.1
gert 1.5.0 ggplot2 3.3.5 gh 1.3.0
gitcreds 0.1.1 glmnet 4.1-3 globals 0.14.0
glue 1.6.0 googledrive 2.0.0 googlesheets4 1.0.0
gower 0.2.2 graphics 4.1.2 grDevices 4.1.2
grid 4.1.2 gridExtra 2.3 gsubfn 0.7
gtable 0.3.0 haven 2.4.3 highr 0.9
hms 1.1.1 htmltools 0.5.2 htmlwidgets 1.5.4
httpuv 1.6.5 httr 1.4.2 hwriter 1.3.2
hwriterPlus 1.0-3 ids 1.0.1 ini 0.3.1
ipred 0.9-12 isoband 0.2.5 iterators 1.0.13
jquerylib 0.1.4 jsonlite 1.7.3 KernSmooth 2.23-20
knitr 1.37 labeling 0.4.2 later 1.3.0
lattice 0.20-45 lava 1.6.10 lifecycle 1.0.1
listenv 0.8.0 lubridate 1.8.0 magrittr 2.0.1
markdown 1.1 MASS 7.3-55 Matrix 1.4-0
memoise 2.0.1 方法 4.1.2 mgcv 1.8-38
mime 0.12 ModelMetrics 1.2.2.2 modelr 0.1.8
munsell 0.5.0 nlme 3.1-155 nnet 7.3-17
numDeriv 2016.8-1.1 openssl 1.4.6 parallel 4.1.2
parallelly 1.30.0 pillar 1.6.4 pkgbuild 1.3.1
pkgconfig 2.0.3 pkgload 1.2.4 plogr 0.2.0
plyr 1.8.6 praise 1.0.0 prettyunits 1.1.1
pROC 1.18.0 processx 3.5.2 prodlim 2019.11.13
进度 1.2.2 progressr 0.10.0 promises 1.2.0.1
proto 1.0.0 proxy 0.4-26 ps 1.6.0
purrr 0.3.4 r2d3 0.2.5 R6 2.5.1
randomForest 4.6-14 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-2 Rcpp 1.0.8 RcppEigen 0.3.3.9.1
readr 2.1.1 readxl 1.3.1 recipes 0.1.17
rematch 1.0.1 rematch2 2.1.2 remotes 2.4.2
reprex 2.0.1 reshape2 1.4.4 rlang 0.4.12
rmarkdown 2.11 RODBC 1.3-19 roxygen2 7.1.2
rpart 4.1-15 rprojroot 2.0.2 Rserve 1.8-10
RSQLite 2.2.9 rstudioapi 0.13 rversions 2.1.1
rvest 1.0.2 sass 0.4.0 scales 1.1.1
selectr 0.4-2 sessioninfo 1.2.2 shape 1.4.6
shiny 1.7.1 sourcetools 0.1.7 sparklyr 1.7.4
SparkR 3.2.0 spatial 7.3-11 splines 4.1.2
sqldf 0.4-11 SQUAREM 2021.1 stats 4.1.2
stats4 4.1.2 stringi 1.7.6 stringr 1.4.0
survival 3.2-13 sys 3.4 tcltk 4.1.2
TeachingDemos 2.10 testthat 3.1.1 tibble 3.1.6
tidyr 1.1.4 tidyselect 1.1.1 tidyverse 1.3.1
timeDate 3043.102 tinytex 0.36 工具 4.1.2
tzdb 0.2.0 usethis 2.1.5 utf8 1.2.2
utils 4.1.2 uuid 1.0-3 vctrs 0.3.8
viridisLite 0.4.0 vroom 1.5.7 waldo 0.3.1
whisker 0.4 withr 2.4.3 xfun 0.29
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.2.1 zip 2.2.0

已安装的 Java 库和 Scala 库(Scala 2.12 群集版本)

组 ID 项目 ID 版本
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics 流 (stream) 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.12.3
com.fasterxml.jackson.core jackson-core 2.12.3
com.fasterxml.jackson.core jackson-databind 2.12.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.12.3
com.fasterxml.jackson.datatype jackson-datatype-joda 2.12.3
com.fasterxml.jackson.module jackson-module-paranamer 2.12.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.12.3
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.0-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.istack istack-commons-runtime 3.0.8
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.2
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.8.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.3.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.68.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx 收集器 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.10
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-trees hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow arrow-vector 2.0.0
org.apache.avro avro 1.10.2
org.apache.avro avro-ipc 1.10.2
org.apache.avro avro-mapred 1.10.2
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.1-databricks
org.apache.hadoop hadoop-client-runtime 3.3.1
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.htrace htrace-core4 4.1.0-incubating
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy ivy 2.5.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.6.12
org.apache.orc orc-mapreduce 1.6.12
org.apache.orc orc-shims 1.6.12
org.apache.parquet parquet-column 1.12.0-databricks-0003
org.apache.parquet parquet-common 1.12.0-databricks-0003
org.apache.parquet parquet-encoding 1.12.0-databricks-0003
org.apache.parquet parquet-format-structures 1.12.0-databricks-0003
org.apache.parquet parquet-hadoop 1.12.0-databricks-0003
org.apache.parquet parquet-jackson 1.12.0-databricks-0003
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.43.v20210629
org.eclipse.jetty jetty-continuation 9.4.43.v20210629
org.eclipse.jetty jetty-http 9.4.43.v20210629
org.eclipse.jetty jetty-io 9.4.43.v20210629
org.eclipse.jetty jetty-jndi 9.4.43.v20210629
org.eclipse.jetty jetty-plus 9.4.43.v20210629
org.eclipse.jetty jetty-proxy 9.4.43.v20210629
org.eclipse.jetty jetty-security 9.4.43.v20210629
org.eclipse.jetty jetty-server 9.4.43.v20210629
org.eclipse.jetty jetty-servlet 9.4.43.v20210629
org.eclipse.jetty jetty-servlets 9.4.43.v20210629
org.eclipse.jetty jetty-util 9.4.43.v20210629
org.eclipse.jetty jetty-util-ajax 9.4.43.v20210629
org.eclipse.jetty jetty-webapp 9.4.43.v20210629
org.eclipse.jetty jetty-xml 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-api 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-client 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-common 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-server 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-servlet 9.4.43.v20210629
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jaxb jaxb-runtime 2.3.2
org.glassfish.jersey.containers jersey-container-servlet 2.34
org.glassfish.jersey.containers jersey-container-servlet-core 2.34
org.glassfish.jersey.core jersey-client 2.34
org.glassfish.jersey.core jersey-common 2.34
org.glassfish.jersey.core jersey-server 2.34
org.glassfish.jersey.inject jersey-hk2 2.34
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.2.19
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap shims 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark unused 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1