Databricks Runtime 11.0 (不受支持)

  • 项目

以下发行说明提供了由 Apache Spark 3.3.0 提供支持的 Databricks Runtime 11.0 的相关信息。 Databricks 于 2022 年 6 月发布了这些映像。

新增功能和改进

Apache Spark 的新版本

Databricks Runtime 11.0 和 Databricks Runtime 11.0 Photon 包含 Apache Spark 3.3.0。 有关详细信息，请参阅 Apache Spark。

Python 笔记本现在使用 IPython 内核

在 Databricks Runtime 11.0 及更高版本中，Python 笔记本使用 IPython 内核执行 Python 代码。 请参阅 IPython 内核。

支持 ipywidgets

现在可使用 ipywidgets 使 Databricks Python 笔记本成为交互式笔记本。 请参阅 ipywidgets。

Synapse 连接器现以非旧模式写入 Parquet 数据

Azure Synapse 连接器现以非旧模式写入 Parquet 数据。 在将 PolyBase 和 COPY 命令用于批处理和流式传输工作负载时，它会保留 INT96 时间戳格式。

当 ABFS 客户端使用 SAS 令牌时，立即强制实施 HTTPS 方案

当 Azure Blob File System (ABFS) 客户端使用共享访问签名 (SAS) 令牌时，立即强制实施 HTTPS 方案。

SQL：DESC 现在是 DESCRIBE 的别名

现在，当描述外部位置或存储凭据时，可以使用 DESC 作为 DESCRIBE 的别名。 例如：

-- Describe an external location.
DESC EXTERNAL LOCATION location_name;

-- Describe a storage credential.
DESC STORAGE CREDENTIAL credential_name;

SQL：新的 current_version 函数输出版本详细信息

新的 current_version 函数输出当前 Databricks Runtime 版本（如果可用）、当前 Databricks SQL 版本（如果可用）以及其他相关版本详细信息。 使用此新函数查询版本相关信息。 请参阅 current_version 函数。

删除缺少的 Delta 表约束现会引发错误

如果现尝试按名称删除 Delta 表约束，且该约束不存在，则会收到错误。 要获取先前的行为（如果约束不存在则不会引发错误），现必须使用 IF EXISTS 语句。 请参阅 ALTER TABLE。

SQL：SELECT 语句中的新 EXCEPT 子句从选择中排除列

SELECT 语句现支持 EXCEPT 子句从选择中排除列。 例如，SELECT * EXCEPT (x) FROM table 返回除 x 之外的所有 table 列。 也允许嵌套列。 例如，SELECT * EXCEPT (x.a) FROM table 返回 table 的所有列，但从结构 x 中省略字段 a。

支持删除 Delta 表中的列（公共预览版）

可以使用 ALTER TABLE <table-name> DROP COLUMN [IF EXISTS] <column-name> 或 ALTER TABLE <table-name> DROP COLUMNS [IF EXISTS] (<column-name>, *) 分别从 Delta 表中删除列或列的列表，作为仅元数据操作。 这些列实际上是被“软删除”，因为它们仍存在于底层 Parquet 文件中，但不再对 Delta 表可见。

可以使用 REORG TABLE <table-name> APPLY (PURGE) 触发对包含任何软删除数据（如删除的列）的文件的文件重写。

可以使用 VACUUM 从物理存储中移除已删除的文件，包括包含已删除列并已被 REORG TABLE 重写的旧文件。

COPY INTO 改进：

现可创建空占位符 Delta 表，以便在 COPY INTO 命令期间推断架构：

CREATE TABLE IF NOT EXISTS my_table
[COMMENT <table-description>]
[TBLPROPERTIES (<table-properties>)];

COPY INTO my_table
FROM '/path/to/files'
FILEFORMAT = <format>
FORMAT_OPTIONS ('mergeSchema' = 'true')
COPY_OPTIONS ('mergeSchema' = 'true');

前面的 SQL 语句是幂等的，可以计划运行以将数据一次性完全引入 Delta 表中。

注意

空 Delta 表在超出 COPY INTO 的范围不可用。 不能使用 INSERT INTO 和 MERGE INTO 将数据写入无架构的 Delta 表中。 使用 COPY INTO 将数据插入到表中后，该表便可供查询。

如果由于某些损坏问题而无法读取要引入的数据，可通过在 FORMAT_OPTIONS 中将 ignoreCorruptFiles 设置为 true 来跳过已损坏的文件：

COPY INTO my_table
FROM '/path/to/files'
FILEFORMAT = <format>
FORMAT_OPTIONS ('ignoreCorruptFiles' = 'true')

COPY INTO 命令返回由于 num_skipped_corrupt_files 列中出现损坏而跳过的文件数。 在 Delta 表上运行 DESCRIBE HISTORY 后，该指标也会显示在 numSkippedCorruptFiles 下的 operationMetrics 列中。

损坏的文件不会被 COPY INTO 跟踪，因此，如果修复损坏，则可以在后续运行中重新加载这些文件。 可以通过在 VALIDATE 模式下运行 COPY INTO 来查看哪些文件已损坏。

CONVERT TO DELTA 现在在启用了 Unity Catalog 的环境中受支持（公共预览版）

在启用了 Unity-Catalog 的环境中，通过使用 CONVERT TO DELTA 现在可以：

  • 将外部位置中的 Parquet 文件转换为 Delta Lake。
  • 将 Parquet 外部表转换为 Delta 表。

行为变更

SQL：lpad 和 rpad 函数现支持字节序列

lpad 和 rpad 函数已更新，除字符串之外，还添加了对字节序列的支持。

format_string 和 printf 中的字符串格式不再允许 %0$

在 format_string 和 printf 函数中指定格式 %0$ 现会默认引发错误。 此更改是为了保留以前版本的 Databricks Runtime 和常见第三方数据库的预期行为。 使用参数索引来指示参数在参数列表中的位置时，第一个参数应始终引用 %1$。

CSV 文件中的 NULL 值现默认作为不带引号的空字符串写入

CSV 文件中的 NULL 值以前作为带引号的空字符串写入。 在此版本中，CSV 文件中的 NULL 值现默认作为不带引号的空字符串写入。 要改回以前的行为，对于写入操作，请将 nullValue 选项设置为 ""。

现已保留 external 表属性

默认情况下，属性 external 现为保留的表属性。 现在，将 external 属性与 CREATE TABLE ... TBLPROPERTIES 和 ALTER TABLE ... SET TBLPROPERTIES 子句一起使用时，会引发异常。

Log4j 从 Log4j 1 升级到 Log4j 2

Log4j 1 正在升级到 Log4j 2。 正在移除旧版 Log4j 1 依赖项。

如果依赖于先前包含在 Databricks Runtime 中的 Log4j 1 类，则这些类将不再存在。 应将依赖项升级到 Log4j 2。

如果有依赖于 Log4j 2 的自定义插件或配置文件，它们可能不再适用于此发行版中的 Log4j 2 版本。 要获取帮助，请联系 Azure Databricks 客户团队。

从 Maven 安装的库现在默认在计算平面中解析

在群集上安装库时，Maven 库现在默认在计算平面中解析。 群集必须有权访问 Maven Central。 或者，可以通过设置 Spark 配置属性还原到以前的行为：

spark.databricks.libraries.enableMavenResolution false

Bug 修复

  • Apache Spark 和 Databricks Runtime 之间的 LeafNode、UnaryNode 和 BinaryNode 的二进制兼容性已得到修复，这些类现在与 Apache Spark 3.3.0 及更高版本兼容。 如果在将第三方包与 Databricks Runtime 结合使用时遇到以下或类似消息，请使用 Apache Spark 3.3.0 或更高版本重新生成该包：Found interface org.apache.spark.sql.catalyst.plans.logical.UnaryNode, but class was expected。

库升级

  • 升级了 Python 库：
    • platformdirs 已从 2.5.1 升级到 2.5.2
    • protobuf 已从 3.20.0 升级到 3.20.1
  • 升级了 R 库：
    • blob 已从 1.2.2 升级到 1.2.3
    • broom 已从 0.7.12 升级到 0.8.0
    • caret 已从 6.0-91 升级到 6.0-92
    • cli 已从 3.2.0 升级到 3.3.0
    • dplyr 已从 1.0.8 升级到 1.0.9
    • future 已从 1.24.0 升级到 1.25.0
    • future.apply 已从 1.8.1 升级到 1.9.0
    • gert 已从 1.5.0 升级到 1.6.0
    • ggplot2 已从 3.3.5 升级到 3.3.6
    • glmnet 已从 4.1-3 升级到 4.1-4
    • haven 已从 2.4.3 升级到 2.5.0
    • httr 已从 1.4.2 升级到 1.4.3
    • knitr 已从 1.38 升级到 1.39
    • magrittr 已从 2.0.2 升级到 2.0.3
    • parallelly 已从 1.30.0 升级到 1.31.1
    • ps 已从 1.6.0 升级到 1.7.0
    • RColorBrewer 已从 1.1-2 升级到 1.1-3
    • RcppEigen 已从 0.3.3.9.1 升级到 0.3.3.9.2
    • readxl 已从 1.3.1 升级到 1.4.0
    • rmarkdown 已从 2.13 升级到 2.14
    • rprojroot 已从 2.0.2 升级到 2.0.3
    • RSQLite 已从 2.2.11 升级到 2.2.13
    • scales 已从 1.1.1 升级到 1.2.0
    • testthat 已从 3.1.2 升级到 3.1.4
    • tibble 已从 3.1.6 升级到 3.1.7
    • tinytex 已从 0.37 升级到 0.38
    • tzdb 已从 0.2.0 升级到 0.3.0
    • uuid 已从 1.0-4 升级到 1.1-0
    • vctrs 已从 0.3.8 升级到 0.4.1
  • 升级了 Java 库：
    • com.fasterxml.jackson.core.jackson-annotations 已从 2.13.0 升级到 2.13.3
    • com.fasterxml.jackson.core.jackson-core 已从 2.13.0 升级到 2.13.3
    • com.fasterxml.jackson.core.jackson-databind 已从 2.13.0 升级到 2.13.3
    • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor 已从 2.13.0 升级到 2.13.3
    • com.fasterxml.jackson.datatype.jackson-datatype-joda 已从 2.13.0 升级到 2.13.3
    • com.fasterxml.jackson.module.jackson-module-paranamer 已从 2.13.0 升级到 2.13.3
    • com.fasterxml.jackson.module.jackson-module-scala_2.12 已从 2.13.0 升级到 2.13.3
    • com.google.crypto.tink.tink 已从 1.6.0 升级到 1.6.1
    • com.ning.compress-lzf 已从 1.0.3 升级到 1.1
    • dev.ludovic.netlib.arpack 已从 2.2.0 升级到 2.2.1
    • dev.ludovic.netlib.blas 已从 2.2.0 升级到 2.2.1
    • dev.ludovic.netlib.lapack 已从 2.2.0 升级到 2.2.1
    • io.netty.netty-all 已从 4.1.73.Final 升级到 4.1.74.Final
    • io.netty.netty-buffer 已从 4.1.73.Final 升级到 4.1.74.Final
    • io.netty.netty-codec 已从 4.1.73.Final 升级到 4.1.74.Final
    • io.netty.netty-common 已从 4.1.73.Final 升级到 4.1.74.Final
    • io.netty.netty-handler 已从 4.1.73.Final 升级到 4.1.74.Final
    • io.netty.netty-resolver 已从 4.1.73.Final 升级到 4.1.74.Final
    • io.netty.netty-tcnative-classes 已从 2.0.46.Final 升级到 2.0.48.Final
    • io.netty.netty-transport 已从 4.1.73.Final 升级到 4.1.74.Final
    • io.netty.netty-transport-classes-epoll 已从 4.1.73.Final 升级到 4.1.74.Final
    • io.netty.netty-transport-classes-kqueue 已从 4.1.73.Final 升级到 4.1.74.Final
    • io.netty.netty-transport-native-epoll-linux-aarch_64 已从 4.1.73.Final 升级到 4.1.74.Final
    • io.netty.netty-transport-native-epoll-linux-x86_64 已从 4.1.73.Final 升级到 4.1.74.Final
    • io.netty.netty-transport-native-kqueue-osx-aarch_64 已从 4.1.73.Final 升级到 4.1.74.Final
    • io.netty.netty-transport-native-kqueue-osx-x86_64 已从 4.1.73.Final 升级到 4.1.74.Final
    • io.netty.netty-transport-native-unix-common 已从 4.1.73.Final 升级到 4.1.74.Final
    • joda-time.joda-time 已从 2.10.12 升级到 2.10.13
    • org.apache.commons.commons-math3 已从 3.4.1 升级到 3.6.1
    • org.apache.httpcomponents.httpcore 已从 4.4.12 升级到 4.4.14
    • org.apache.orc.orc-core 已从 1.7.3 升级到 1.7.4
    • org.apache.orc.orc-mapreduce 已从 1.7.3 升级到 1.7.4
    • org.apache.orc.orc-shims 已从 1.7.3 升级到 1.7.4
    • org.eclipse.jetty.jetty-client 已从 9.4.43.v20210629 升级到 9.4.46.v20220331
    • org.eclipse.jetty.jetty-continuation 已从 9.4.43.v20210629 升级到 9.4.46.v20220331
    • org.eclipse.jetty.jetty-http 已从 9.4.43.v20210629 升级到 9.4.46.v20220331
    • org.eclipse.jetty.jetty-io 已从 9.4.43.v20210629 升级到 9.4.46.v20220331
    • org.eclipse.jetty.jetty-jndi 已从 9.4.43.v20210629 升级到 9.4.46.v20220331
    • org.eclipse.jetty.jetty-plus 已从 9.4.43.v20210629 升级到 9.4.46.v20220331
    • org.eclipse.jetty.jetty-proxy 已从 9.4.43.v20210629 升级到 9.4.46.v20220331
    • org.eclipse.jetty.jetty-security 已从 9.4.43.v20210629 升级到 9.4.46.v20220331
    • org.eclipse.jetty.jetty-server 已从 9.4.43.v20210629 升级到 9.4.46.v20220331
    • org.eclipse.jetty.jetty-servlet 已从 9.4.43.v20210629 升级到 9.4.46.v20220331
    • org.eclipse.jetty.jetty-servlets 已从 9.4.43.v20210629 升级到 9.4.46.v20220331
    • org.eclipse.jetty.jetty-util 已从 9.4.43.v20210629 升级到 9.4.46.v20220331
    • org.eclipse.jetty.jetty-util-ajax 已从 9.4.43.v20210629 升级到 9.4.46.v20220331
    • org.eclipse.jetty.jetty-webapp 已从 9.4.43.v20210629 升级到 9.4.46.v20220331
    • org.eclipse.jetty.jetty-xml 已从 9.4.43.v20210629 升级到 9.4.46.v20220331
    • org.eclipse.jetty.websocket.websocket-api 已从 9.4.43.v20210629 升级到 9.4.46.v20220331
    • org.eclipse.jetty.websocket.websocket-client 已从 9.4.43.v20210629 升级到 9.4.46.v20220331
    • org.eclipse.jetty.websocket.websocket-common 已从 9.4.43.v20210629 升级到 9.4.46.v20220331
    • org.eclipse.jetty.websocket.websocket-server 已从 9.4.43.v20210629 升级到 9.4.46.v20220331
    • org.eclipse.jetty.websocket.websocket-servlet 已从 9.4.43.v20210629 升级到 9.4.46.v20220331
    • org.mariadb.jdbc.mariadb-java-client 已从 2.2.5 升级到 2.7.4
    • org.postgresql.postgresql 已从 42.2.19 升级到 42.3.3
    • org.roaringbitmap.RoaringBitmap 已从 0.9.23 升级到 0.9.25
    • org.roaringbitmap.shims 已从 0.9.23 升级到 0.9.25
    • org.rocksdb.rocksdbjni 已从 6.20.3 升级到 6.24.2
    • org.slf4j.jcl-over-slf4j 已从 1.7.32 升级到 1.7.36
    • org.slf4j.jul-to-slf4j 已从 1.7.32 升级到 1.7.36
    • org.slf4j.slf4j-api 已从 1.7.30 升级到 1.7.36

Apache Spark

Databricks Runtime 11.0 包含 Apache Spark 3.3.0。

本节内容：

Spark SQL 和 Core

ANSI 模式

  • ANSI 模式中新的显式强制转换语法规则 (SPARK-33354)
  • 如果在 ANSI 模式下 index 为 null，则 Elt() 应返回 null (SPARK-38304)
  • （可选）如果数组/映射中不存在元素，则返回 null 结果 (SPARK-37750)
  • 允许在数值类型和时间戳类型之间进行强制转换 (SPARK-37714)
  • 默认禁用 ANSI 保留关键字 (SPARK-37724)
  • 使用存储分配规则来解决函数调用 (SPARK-37438)
  • 添加配置以允许在“日期/时间”和“数值”之间进行强制转换 (SPARK-37179)
  • （可选）添加配置以强制执行 ANSI 保留关键字 (SPARK-37133)
  • 禁止间隔和字符串字面量之间的二进制运算 (SPARK-36508)

功能增强

性能增强功能

  • 全程代码生成
    • 为排序聚合添加代码生成而不对键进行分组 (SPARK-37564)
    • 为完整的外部排序合并联接添加代码生成 (SPARK-35352)
    • 为完整的外部无序散列联接添加代码生成 (SPARK-32567)
    • 为存在排序合并联接添加代码生成 (SPARK-37316)
  • 下推（筛选器）
    • 通过 RebalancePartitions 下推筛选器 (SPARK-37828)
    • 下推布尔列筛选器 (SPARK-36644)
    • 如果联接条件为空，则对左侧半/反联接的右侧实施下推限制 1 (SPARK-37917)
    • 为下推转换更多标准聚合函数 (SPARK-37527)
    • 支持通过聚合/联合传播空关系 (SPARK-35442)
    • 行级运行时筛选 (SPARK-32268)
    • 支持行级运行时筛选器中的左半联接 (SPARK-38565)
    • 支持弃用的 CTE 的谓词下推和列修剪 (SPARK-37670)
  • 向量化
    • 实现一个 ConstantColumnVector 并提高隐藏文件元数据的性能 (SPARK-37896)
    • 为 VectorizedPlainValuesReader.readBooleans 启用矢量化读取 (SPARK-35867)
  • 合并/移除/替换节点
    • 如果二者之间存在项目，则合并联合 (SPARK-37915)
    • 如果可以安全地向上强制转换两个转换，则合并为一个转换 (SPARK-37922)
    • 如果排序是 RepartitionByExpression 的子级，则删除排序 (SPARK-36703)
    • 如果外部联接仅在带有别名的流式侧具有 DISTINCT，则删除外部联接 (SPARK-37292)
    • 如果子项已排序，则将哈希替换为排序聚合 (SPARK-37455)
    • 仅在不复制成本高昂的表达式时才折叠项目 (SPARK-36718)
    • 删除 RewritePredicateSubquery 后的冗余别名(SPARK-36280)
    • 合并不相关的标量子查询 (SPARK-34079)
  • 分区
    • 如果存在静态分区修剪，则不添加动态分区修剪 (SPARK-38148)
    • 改进优化器规则中的 RebalancePartitions (SPARK-37904)
    • 为重新平衡分区添加小分区因子(SPARK-37357)
  • 联接
    • 微调逻辑以降级 DynamicJoinSelection 中的广播哈希联接 (SPARK-37753)
    • 为 SEMI/ANTI 随机哈希联接生成关系时忽略重复的联接键 (SPARK-36794)
    • 支持优化倾斜联接，即使引入了额外的 shuffle (SPARK-33832)
  • AQE
    • 支持消除 AQE 优化器中的限制 (SPARK-36424)
    • 在正常模式和 AQE 优化器中优化行计划 (SPARK-38162)
  • Aggregate.groupOnly 支持可折叠表达式 (SPARK-38489)
  • ByteArrayMethods arrayEquals 应快速跳过与未对齐平台对齐的检查 (SPARK-37796)
  • 将树模式修剪添加到 CTESubstitution 规则 (SPARK-37379)
  • 添加更多 Not 运算符简化 (SPARK-36665)
  • 支持 UnwrapCastInBinaryComparison 中的 BooleanType (SPARK-36607)
  • 在第一个不可为空的表达式之后联合删除所有表达式 (SPARK-36359)
  • 添加逻辑计划访问者以传播不同的属性 (SPARK-36194)

内置连接器增强功能

  • 常规
    • 数据源中日期/时间的宽松序列化 (SPARK-38437)
    • 当其路径的第一个字母在 create/alter 表中为斜线时，将表位置视为绝对位置 (SPARK-38236)
    • 从空的静态数值类型分区中删除前导零 (SPARK-35561)
    • 支持数据源选项中的 ignoreCorruptFiles 和 ignoreMissingFiles (SPARK-38767)
    • 添加命令 SHOW CATALOGS (SPARK-35973)
  • Parquet
    • 启用按字段 ID 匹配架构列名称 (SPARK-38094)
    • 在 parquet 中读取/写入数据时删除检查字段名称 (SPARK-27442)
    • 支持矢量化读取布尔值将 RLE 编码与 Parquet DataPage V2 结合使用 (SPARK-37864)
    • 支持矢量化路径的 Parquet v2 数据页编码 (DELTA_BINARY_PACKED) (SPARK-36879)
    • 在 Parquet/Avro 元数据中保存的会话时区中变基时间戳 (SPARK-37705)
    • 按分区列下推分组以进行聚合 (SPARK-36646)
    • 针对 Parquet 的聚合（最小/最大/计数）下推 (SPARK-36645)
    • Parquet：启用按字段 ID 匹配架构列 (SPARK-38094)
    • 如果使用 G1GC 和 ON_HEAP，则通过 LONG_ARRAY_OFFSET 减少默认页面大小 (SPARK-37593)
    • 为 Parquet V2 支持实现矢量化 DELTA_BYTE_ARRAY 和 DELTA_LENGTH_BYTE_ARRAY 编码 (SPARK-37974)
    • 支持 Parquet 矢量化读取器的复杂类型 (SPARK-34863)
  • ORC
    • 在 Orc 中读取/写入现有数据时移除检查字段名称 (SPARK-37965)
    • ORC 的聚合下推 (SPARK-34960)
    • 支持从/向 ORC 数据源读取和写入 ANSI 间隔 (SPARK-36931)
    • 支持 ORC 数据源中的仅数字列名 (SPARK-36663)
  • JSON
    • 在 JSON 读取器中分析带引号的 NaN 和无穷大值时遵循 allowNonNumericNumbers (SPARK-38060)
    • 默认情况下，将 CAST 用于 CSV/JSON 中的日期时间 (SPARK-36536)
    • 使 Json 读取器中 MapType 中不支持的键类型的错误消息保持一致 (SPARK-35320)
  • CSV
    • 修复从 CSV 引用损坏的记录列的问题 (SPARK-38534)
    • 默认情况下，NULL 值应保存为空，而不是带引号的空字符串“”(SPARK-37575)
  • JDBC
    • 将 IMMEDIATE 语句添加到 DB2 方言截断实现 (SPARK-30062)
  • Hive
    • 支持写入 Hive Bucket 表（具有 Hive 哈希的 Hive 文件格式）(SPARK-32712)
    • 在客户端使用表达式筛选 Hive 分区 (SPARK-35437)
    • 支持 HiveTableScanExec 的动态分区修剪 (SPARK-36876)
    • InsertIntoHiveDir 应使用数据源（如果可转换）(SPARK-38215)
    • 支持写入 Hive Bucket 表（具有 Hive 哈希的 Parquet/ORC 格式）(SPARK-32709)

节点停用

  • FallbackStorage 不应尝试解析任意“远程”主机名 (SPARK-38062)
  • ExecutorMonitor.onExecutorRemoved 应在完成后处理 ExecutorDecommission (SPARK-38023)

其他值得注意的更改

  • 向 BlockInfoManager 添加精细化锁定 (SPARK-37356)
  • 支持将 Spark gpu/fpga 资源类型映射到自定义 YARN 资源类型 (SPARK-37208)
  • 报告准确的 shuffle 块大小（如果其倾斜）(SPARK-36967)
  • 支持网络层的 Netty 记录 (SPARK-36719)

结构化流式处理

主要功能

  • 引入用于在多个批处理中运行流查询（如 Trigger.Once）的 Trigger.AvailableNow (SPARK-36533)

其他值得注意的更改

  • 为有状态运算符使用 StatefulOpClusteredDistribution 并遵守后向兼容性 (SPARK-38204)
  • 修复包含键数据的批次中的 flatMapGroupsWithState 超时 (SPARK-38320)
  • 修复 RocksDB 状态存储提供程序的流-流外部联接的正确性问题 (SPARK-38684)
  • 在 Kafka 数据源上支持 Trigger.AvailableNow (SPARK-36649)
  • 优化 RocksDB 状态存储提供程序的写入路径 (SPARK-37224)
  • 引入一个新的数据源，为每个微批次提供一组一致的行 (SPARK-37062)
  • 为有状态运算符使用 HashClusteredDistribution 并遵守后向兼容性 (SPARK-38204)

PySpark

Spark 上的 Pandas API

重要改进
  • 默认的“分布式序列”索引优化 (SPARK-36559、SPARK-36338)
    • 支持在 Spark 上的 pandas API 中指定索引类型和名称 (SPARK-36709)
    • 在 Spark 上 pandas API 的 SQL 计划中显示默认索引类型 (SPARK-38654)
主要功能

其他值得注意的更改

中断性变更
  • 删除 docs 和 python/docs 中对 Python 3.6 支持的引用 (SPARK-36977)
  • 通过将内置 pickle 替换为 cloudpickle 来移除 namedtuple hack (SPARK-32079)
  • 将最低 pandas 版本提升到 1.0.5 (SPARK-37465)
  • 重要改进
    • 为 Python/Pandas UDF 提供探查器 (SPARK-37443)
    • 使用 PySpark 中 SQL API 的 Python 标准字符串格式化程序 (SPARK-37516)
    • 在 PySpark 异常中公开 SQL 状态和错误类 (SPARK-36953)
    • 尝试在 Python 工作器崩溃时捕获故障处理程序 (SPARK-36062)
主要功能
  • 在 Python 中实现 DataFrame.mapInArrow (SPARK-37228)
  • 使用 PySpark 中 SQL API 的 Python 标准字符串格式化程序 (SPARK-37516)
  • 添加 df.withMetadata pyspark API (SPARK-36642)
  • 支持 Python 的 timedelta (SPARK-37275)
  • 在 pyspark.sql.catalog 中公开 tableExists (SPARK-36176)
  • 在 pyspark.sql.catalog 中公开 databaseExists (SPARK-36207)
  • 在 pyspark sql 目录中公开 functionExists (SPARK-36258)
  • 将 Dataframe.observation 添加到 PySpark (SPARK-36263)
  • 将 max_by/min_by API 添加到 PySpark (SPARK-36972)
  • 支持在创建数据帧时将嵌套的字典推断为结构 (SPARK-35929)
  • 向 Scala、Python 和 R 添加 bit/octet_length API (SPARK-36751)
  • 支持 Python 上的 ILIKE API (SPARK-36882)
  • 为 Python DataFrame API 添加 isEmpty 方法 (SPARK-37207)
  • 添加多列添加支持 (SPARK-35173)
  • 在 PySpark 中添加 SparkContext.addArchive (SPARK-38278)
  • 使 sql 类型 reprs 可评估 (SPARK-18621)
  • python/pyspark/mllib 中 fpm.py 的内联类型提示 (SPARK-37396)
  • 实现 SeriesGroupBy.value_counts 的 dropna 参数 (SPARK-38837)

MLLIB

主要功能

  • 将 distanceMeasure 参数添加到 trainKMeansModel (SPARK-37118)
  • 公开 LogisticRegression.setInitialModel，如 KMeans 等等 (SPARK-36481)
  • 支持 CrossValidatorModel 获取每个 paramMap 的指标标准偏差 (SPARK-36425)

重要改进

  • 通过延迟分配优化 MLlib 中的某些 treeAggregates (SPARK-35848)
  • 将 _shared_params_code_gen.py 重写为 ml/param/shared.py 的内联类型提示 (SPARK-37419)

其他值得注意的更改

SparkR

UI

  • 阶段级别的推测指标总结 (SPARK-36038)
  • 在 StagePage 中将随机读取块时间统一为随机读取提取等待时间 (SPARK-37469)
  • 添加修改后的配置以在 UI 中执行 SQL (SPARK-34735)
  • 让 ThriftServer 识别 spark.sql.redaction.string.regex (SPARK-36400)
  • 在 UI 中启动应用程序后附加和启动处理程序 (SPARK-36237)
  • 将提交持续时间添加到 SQL 选项卡的图形节点 (SPARK-34399)
  • 在 Spark History Server 中支持 RocksDB 后端 (SPARK-37680)
  • 在 UI 中显示 Spark 上的 Pandas API 选项 (SPARK-38656)
  • 在 SQL UI 页面，将“SQL”重命名为“SQL/数据帧”(SPARK-38657)

构建

维护更新

请参阅 Databricks Runtime 11.0（不受支持）。

系统环境

  • 操作系统：Ubuntu 20.04.4 LTS
  • Java：Zulu 8.56.0.21-CA-linux64
  • Scala：2.12.14
  • Python：3.9.5
  • R：4.1.3
  • Delta Lake：1.2.1

已安装的 Python 库

库 版本 库 版本 库 版本
Antergos Linux 2015.10 (ISO-Rolling) argon2-cffi 20.1.0 async-generator 1.10
attrs 21.2.0 backcall 0.2.0 backports.entry-points-selectable 1.1.1
bleach 4.0.0 boto3 1.21.18 botocore 1.24.18
certifi 2021.10.8 cffi 1.14.6 chardet 4.0.0
charset-normalizer 2.0.4 cycler 0.10.0 Cython 0.29.24
dbu-python 1.2.16 debugpy 1.4.1 decorator 5.1.0
defusedxml 0.7.1 distlib 0.3.4 distro-info 0.23ubuntu1
entrypoints 0.3 facets-overview 1.0.0 filelock 3.6.0
idna 3.2 ipykernel 6.12.1 ipython 7.32.0
ipython-genutils 0.2.0 ipywidgets 7.7.0 jedi 0.18.0
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.0.1
jsonschema 3.2.0 jupyter-client 6.1.12 jupyter-core 4.8.1
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 kiwisolver 1.3.1
MarkupSafe 2.0.1 matplotlib 3.4.3 matplotlib-inline 0.1.2
mistune 0.8.4 nbclient 0.5.3 nbconvert 6.1.0
nbformat 5.1.3 nest-asyncio 1.5.1 笔记本 6.4.5
numpy 1.20.3 打包 21.0 pandas 1.3.4
pandocfilters 1.4.3 parso 0.8.2 patsy 0.5.2
pexpect 4.8.0 pickleshare 0.7.5 Pillow 8.4.0
pip 21.2.4 platformdirs 2.5.2 plotly 5.6.0
prometheus-client 0.11.0 prompt-toolkit 3.0.20 protobuf 3.20.1
psutil 5.8.0 psycopg2 2.9.3 ptyprocess 0.7.0
pyarrow 7.0.0 pycparser 2.20 Pygments 2.10.0
PyGObject 3.36.0 pyodbc 4.0.31 pyparsing 3.0.4
pyrsistent 0.18.0 python-apt 2.0.0+ubuntu0.20.4.7 python-dateutil 2.8.2
pytz 2021.3 pyzmq 22.2.1 请求 2.26.0
requests-unixsocket 0.2.0 s3transfer 0.5.2 scikit-learn 0.24.2
scipy 1.7.1 seaborn 0.11.2 Send2Trash 1.8.0
setuptools 58.0.4 6 1.16.0 ssh-import-id 5.10
statsmodels 0.12.2 tenacity 8.0.1 terminado 0.9.4
testpath 0.5.0 threadpoolctl 2.2.0 tornado 6.1
traitlets 5.1.0 unattended-upgrades 0.1 urllib3 1.26.7
virtualenv 20.8.0 wcwidth 0.2.5 webencodings 0.5.1
wheel 0.37.0 widgetsnbextension 3.6.0

已安装的 R 库

R 库是通过 2022-05-06 版本中的 Microsoft CRAN 快照安装的。

库 版本 库 版本 库 版本
askpass 1.1 assertthat 0.2.1 backports 1.4.1
base 4.1.3 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 blob 1.2.3 启动 1.3-28
brew 1.0-7 brio 1.1.3 broom 0.8.0
bslib 0.3.1 cachem 1.0.6 callr 3.7.0
caret 6.0-92 cellranger 1.1.0 chron 2.3-56
class 7.3-20 cli 3.3.0 clipr 0.8.0
cluster 2.1.3 codetools 0.2-18 colorspace 2.0-3
commonmark 1.8.0 compiler 4.1.3 config 0.3.1
cpp11 0.4.2 crayon 1.5.1 凭据 1.3.2
curl 4.3.2 data.table 1.14.2 datasets 4.1.3
DBI 1.1.2 dbplyr 2.1.1 desc 1.4.1
devtools 2.4.3 diffobj 0.3.5 digest 0.6.29
dplyr 1.0.9 dtplyr 1.2.1 e1071 1.7-9
ellipsis 0.3.2 评估 0.15 fansi 1.0.3
farver 2.1.0 fastmap 1.1.0 fontawesome 0.2.2
forcats 0.5.1 foreach 1.5.2 foreign 0.8-82
forge 0.2.0 fs 1.5.2 future 1.25.0
future.apply 1.9.0 gargle 1.2.0 generics 0.1.2
gert 1.6.0 ggplot2 3.3.6 gh 1.3.0
gitcreds 0.1.1 glmnet 4.1-4 globals 0.14.0
glue 1.6.2 googledrive 2.0.0 googlesheets4 1.0.0
gower 1.0.0 graphics 4.1.3 grDevices 4.1.3
grid 4.1.3 gridExtra 2.3 gsubfn 0.7
gtable 0.3.0 hardhat 0.2.0 haven 2.5.0
highr 0.9 hms 1.1.1 htmltools 0.5.2
htmlwidgets 1.5.4 httpuv 1.6.5 httr 1.4.3
ids 1.0.1 ini 0.3.1 ipred 0.9-12
isoband 0.2.5 iterators 1.0.14 jquerylib 0.1.4
jsonlite 1.8.0 KernSmooth 2.23-20 knitr 1.39
labeling 0.4.2 later 1.3.0 lattice 0.20-45
lava 1.6.10 lifecycle 1.0.1 listenv 0.8.0
lubridate 1.8.0 magrittr 2.0.3 markdown 1.1
MASS 7.3-56 Matrix 1.4-1 memoise 2.0.1
方法 4.1.3 mgcv 1.8-40 mime 0.12
ModelMetrics 1.2.2.2 modelr 0.1.8 munsell 0.5.0
nlme 3.1-157 nnet 7.3-17 numDeriv 2016.8-1.1
openssl 2.0.0 parallel 4.1.3 parallelly 1.31.1
pillar 1.7.0 pkgbuild 1.3.1 pkgconfig 2.0.3
pkgload 1.2.4 plogr 0.2.0 plyr 1.8.7
praise 1.0.0 prettyunits 1.1.1 pROC 1.18.0
processx 3.5.3 prodlim 2019.11.13 进度 1.2.2
progressr 0.10.0 promises 1.2.0.1 proto 1.0.0
proxy 0.4-26 ps 1.7.0 purrr 0.3.4
r2d3 0.2.6 R6 2.5.1 randomForest 4.7-1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.8.3 RcppEigen 0.3.3.9.2 readr 2.1.2
readxl 1.4.0 recipes 0.2.0 rematch 1.0.1
rematch2 2.1.2 remotes 2.4.2 reprex 2.0.1
reshape2 1.4.4 rlang 1.0.2 rmarkdown 2.14
RODBC 1.3-19 roxygen2 7.1.2 rpart 4.1.16
rprojroot 2.0.3 Rserve 1.8-10 RSQLite 2.2.13
rstudioapi 0.13 rversions 2.1.1 rvest 1.0.2
sass 0.4.1 scales 1.2.0 selectr 0.4-2
sessioninfo 1.2.2 shape 1.4.6 shiny 1.7.1
sourcetools 0.1.7 sparklyr 1.7.5 SparkR 3.3.0
spatial 7.3-11 splines 4.1.3 sqldf 0.4-11
SQUAREM 2021.1 stats 4.1.3 stats4 4.1.3
stringi 1.7.6 stringr 1.4.0 survival 3.2-13
sys 3.4 tcltk 4.1.3 testthat 3.1.4
tibble 3.1.7 tidyr 1.2.0 tidyselect 1.1.2
tidyverse 1.3.1 timeDate 3043.102 tinytex 0.38
工具 4.1.3 tzdb 0.3.0 usethis 2.1.5
utf8 1.2.2 utils 4.1.3 uuid 1.1-0
vctrs 0.4.1 viridisLite 0.4.0 vroom 1.5.7
waldo 0.4.0 whisker 0.4 withr 2.5.0
xfun 0.30 xml2 1.3.3 xopen 1.0.0
xtable 1.8-4 yaml 2.3.5 zip 2.2.0

已安装的 Java 库和 Scala 库（Scala 2.12 群集版本）

组 ID 项目 ID 版本
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-machinelearning 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws aws-java-sdk-support 1.12.189
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics 流 (stream) 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.13.3
com.fasterxml.jackson.core jackson-core 2.13.3
com.fasterxml.jackson.core jackson-databind 2.13.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.13.3
com.fasterxml.jackson.datatype jackson-datatype-joda 2.13.3
com.fasterxml.jackson.module jackson-module-paranamer 2.13.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.3
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.1
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.4.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.74.Final
io.netty netty-buffer 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty netty-common 4.1.74.Final
io.netty netty-handler 4.1.74.Final
io.netty netty-resolver 4.1.74.Final
io.netty netty-tcnative-classes 2.0.48.Final
io.netty netty-transport 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-native-unix-common 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx 收集器 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.13
maven-trees hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.2
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.14
net.snowflake spark-snowflake_2.12 2.10.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 7.0.0
org.apache.arrow arrow-memory-core 7.0.0
org.apache.arrow arrow-memory-netty 7.0.0
org.apache.arrow arrow-vector 7.0.0
org.apache.avro avro 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.9
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.2-databricks
org.apache.hadoop hadoop-client-runtime 3.3.2
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy ivy 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.17.2
org.apache.logging.log4j log4j-api 2.17.2
org.apache.logging.log4j log4j-core 2.17.2
org.apache.logging.log4j log4j-slf4j-impl 2.17.2
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.7.4
org.apache.orc orc-mapreduce 1.7.4
org.apache.orc orc-shims 1.7.4
org.apache.parquet parquet-column 1.12.0-databricks-0004
org.apache.parquet parquet-common 1.12.0-databricks-0004
org.apache.parquet parquet-encoding 1.12.0-databricks-0004
org.apache.parquet parquet-format-structures 1.12.0-databricks-0004
org.apache.parquet parquet-hadoop 1.12.0-databricks-0004
org.apache.parquet parquet-jackson 1.12.0-databricks-0004
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty jetty-continuation 9.4.46.v20220331
org.eclipse.jetty jetty-http 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty jetty-plus 9.4.46.v20220331
org.eclipse.jetty jetty-proxy 9.4.46.v20220331
org.eclipse.jetty jetty-security 9.4.46.v20220331
org.eclipse.jetty jetty-server 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty jetty-util 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty jetty-webapp 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-api 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-client 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-common 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-server 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.34
org.glassfish.jersey.containers jersey-container-servlet-core 2.34
org.glassfish.jersey.core jersey-client 2.34
org.glassfish.jersey.core jersey-common 2.34
org.glassfish.jersey.core jersey-server 2.34
org.glassfish.jersey.inject jersey-hk2 2.34
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap shims 0.9.25
org.rocksdb rocksdbjni 6.24.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark unused 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1