通过

Databricks Runtime 15.1 （EoS）

  • 项目

注意

对此 Databricks Runtime 版本的支持已结束。 有关终止支持日期，请参阅终止支持历史记录。 有关所有受支持的 Databricks Runtime 版本，请参阅 Databricks Runtime 发行说明版本和兼容性。

以下发行说明提供了由 Apache Spark 3.5.0 提供支持的 Databricks Runtime 15.1 的相关信息。

Databricks 于 2024 年 4 月发布了此版本。

提示

若要查看已终止支持 (EoS) 的 Databricks Runtime 版本的发行说明，请参阅终止支持 Databricks Runtime 发行说明。 EoS Databricks Runtime 版本已停用，可能不会更新。

中断性变更

对 Databricks Runtime 15.0 和用于机器学习的 Databricks Runtime 15.0 的支持将于 2024 年 5 月 31 日结束，因为 15.0 中 pandas 库从 1.5.3 升级到 2.0.3 导致多个 Apache Spark API 发生中断性变更。 有关中断性变更的详细信息，请参阅 pandas Python 库降级至 1.5.3。 为了解决这种不兼容性的问题，Databricks 发布了 Databricks Runtime 15.1 和用于机器学习的 Databricks Runtime 15.1。 这些版本支持的功能与 15.0 版本相同，但 pandas 版本降级至 1.5.3。

使用 Databricks Runtime 15.0 版本的任何现有群集或作业会继续正常运行，但不会收到产品或安全更新。 你再也不能在 Databricks UI 中配置使用 Databricks Runtime 15.0 或 Databricks Runtime 15.0 ML 的新计算。 如果你不使用需要 pandas 2.0+ 的功能或 API，Databricks 建议你将这些工作负荷切换到 Databricks Runtime 15.1。

如果你使用的是仅在 pandas 2.0+ 中提供的功能或 API，并且不使用任何受此版本影响的功能，Databricks 建议你切换到 Databricks Runtime 15.1 并使用群集或笔记本范围的库升级默认 pandas 包。 例如，若要升级 Databricks 笔记本中的 pandas 库，请使用以下命令：

%pip install pandas==2.0.3

pandas Python 库降级至 1.5.3

在此版本中，pandas 库从版本 2.0.3 降级至 1.5.3。 之所以需要该降级，是因为 2.0.3 版 pandas 中的不兼容导致 Spark 函数上的某个 pandas API 出现错误。 下面列出了 2.0.3 版 pandas 影响的函数：

  • pyspark.date_range：缺少 closed 参数，导致现有代码调用此函数时出错。
  • 具有 MultiIndex 列的 GroupBy 的功能已更改，导致意外行为。
  • DatetimeIndex 的某些 datetime 属性（例如 day、month、year 等）返回 int32 数据类型，而不是 int64 数据类型。

PySpark spark.sql() 函数现在对无效的参数类型会失败

在 Databricks Runtime 15.1 及更高版本中，传递给 spark.sql() 函数的命名参数或位置参数的 args 参数必须是字典或列表。 如果传递任何其他对象类型，将引发以下错误：PySparkTypeError: [INVALID_TYPE] Argument `args` should not be a <arg_type>。

在 DBFS 根目录中存储库的功能已弃用，默认处于禁用状态

为了提高 Azure Databricks 工作区中库的安全性，从 Databricks Runtime 15.1 开始，在 DBFS 根中存储库文件的功能被弃用，默认处于禁用状态。 Databricks 建议将所有库（包括 Python 库、JAR 文件和 Spark 连接器）上传到工作区文件、Unity Catalog 卷或使用包存储库。 请参阅有关上传库的建议。

若要重新启用在 DBFS 根目录中存储库，请设置以下 Spark 配置参数：spark.databricks.driver.dbfsLibraryInstallationAllowed true。

默认 Python 版本从 3.10 升级到 3.11

使用 Databricks Runtime 15.1 时，默认 Python 版本为 3.11.0。 有关升级后的 Python 库的列表，请参阅库升级。

JDK 11 已删除

如之前公告的那样，JDK 11 已从 Databricks Runtime 15.1 及更高版本中移除。 Databricks 建议在升级到 Databricks Runtime 15.1 及更高版本时升级到 JDK 17。 请参阅 Databricks SDK for Java。

Python REPL 现在正常终止

使用 Databricks Runtime 15.1 时，笔记本的 Python REPL 进程现在会在退出时正常终止。 这会导致遵循任何 atexit 挂钩。 例如，在具有多个 Python 笔记本任务的工作流中，在第一个任务中注册的 atexit 挂钩在第二个 Python 笔记本任务运行之前执行。

新增功能和改进

WHERE 子句现支持 *（星号）子句

现可在 WHERE 子句中使用星号 (*) 子句以引用 SELECT 列表中的所有列。 例如 SELECT * FROM VALUES(1, 2) AS T(a1, a2) WHERE 1 IN(T.*)。

spark.sql.json.enablePartialResults 配置现在默认启用

Spark 配置 spark.sql.json.enablePartialResults 现在默认启用，允许 JSON 分析程序正确处理复杂类型（如结构、映射和数组）的分析错误，而无需删除剩余字段。 此更改修复了使用列修剪的 JSON 数据源的一致性问题。

群集库现在支持 requirements.txt 文件

现在，可以使用存储在工作区文件或 Unity Catalog 卷中的 requirements.txt 文件安装群集库。 在单个用户和共享访问模式群集中，requirements.txt 文件可以引用其他文件。 在无隔离共享访问模式群集中，仅支持 PyPI 包。 请参阅群集库。

Databricks CLI 现在可在 Web 终端中使用

现在，可以从笔记本中的 Web 终端使用 Databricks CLI。 笔记本必须附加到单个用户或无隔离共享访问模式的群集。 有关详细信息，请参阅使用 Web 终端和 Databricks CLI。

将默认 Python 库添加到群集配置

在 Databricks Runtime 15.1 及更高版本中，可以在配置群集或定义群集策略时为群集和笔记本范围的库安装配置全局 pip index-url 和 extra-index-url 参数。 要执行此操作，请设置环境变量 DATABRICKS_PIP_INDEX_URL 和 DATABRICKS_PIP_EXTRA_INDEX_URL。

已弃用凭据直通和 Hive 元存储表访问控制

凭据直通和 Hive 元存储表访问控制是旧数据治理模型。 升级到 Unity Catalog 可提供一个集中位置来管理和审核帐户中多个工作区的数据访问，从而简化数据的安全性和治理。 请参阅什么是 Unity Catalog？。

在即将推出的 DBR 版本中，将移除对凭据直通和 Hive 元存储表访问控制的支持。

库升级

  • 升级了 Python 库：
    • black 从 22.6.0 到 23.3.0
    • boto3 从 1.24.28 到 1.34.39
    • botocore 从 1.27.96 到 1.34.39
    • certifi 从 2022.12.7 到 2023.7.22
    • cryptography 从 39.0.1 到 41.0.3
    • databricks-sdk 从 0.1.6 升级到 0.20.0
    • distlib 从 0.3.7 到 0.3.8
    • googleapis-common-protos 从 1.62.0 升级到 1.63.0
    • grpcio 从 1.48.2 到 1.60.0
    • grpcio-status 从 1.48.1 到 1.60.0
    • importlib-metadata 从 4.6.4 到 6.0.0
    • ipykernel 从 6.25.0 到 6.25.1
    • ipython 从 8.14.0 到 8.15.0
    • ipywidgets 从 7.7.2 到 8.0.4
    • jupyter_core 从 5.2.0 到 5.3.0
    • jupyterlab-widgets 从 1.0.0 到 3.0.5
    • matplotlib 从 3.7.0 到 3.7.2
    • pip 从 22.3.1 到 23.2.1
    • platformdirs 从 2.5.2 到 3.10.0
    • protobuf 从 4.24.0 到 4.24.1
    • pyarrow 从 8.0.0 到 14.0.1
    • Pygments 从 2.11.2 到 2.15.1
    • pyodbc 从 4.0.32 到 4.0.38
    • requests 从 2.28.1 到 2.31.0
    • s3transfer 从 0.6.2 到 0.10.0
    • scikit-learn 从 1.1.1 到 1.3.0
    • scipy 从 1.10.0 到 1.11.1
    • setuptools 从 65.6.3 到 68.0.0
    • statsmodels 从 0.13.5 到 0.14.0
    • tenacity 从 8.1.0 到 8.2.2
    • tornado 从 6.1 到 6.3.2
    • typing_extensions 从 4.4.0 到 4.7.1
    • urllib3 从 1.26.14 到 1.26.16
    • virtualenv 从 20.16.7 到 20.24.2
    • widgetsnbextension 从 3.6.1 到 4.0.5
    • zipp 从 1.0.0 到 3.11.0
  • 升级了 R 库：
    • arrow 从 12.0.1 到 14.0.0.2
    • askpass 从 1.1 到 1.2.0
    • base 从 4.3.1 到 4.3.2
    • brew 从 1.0-8 到 1.0-10
    • brio 从 1.1.3 到 1.1.4
    • bslib 从 0.5.0 到 0.6.1
    • cli 从 3.6.1 到 3.6.2
    • commonmark 从 1.9.0 到 1.9.1
    • compiler 从 4.3.1 到 4.3.2
    • config 从 0.3.1 到 0.3.2
    • cpp11 从 0.4.4 到 0.4.7
    • credentials 从 1.3.2 到 2.0.1
    • curl 从 5.0.1 到 5.2.0
    • data.table 从 1.14.8 到 1.15.0
    • datasets 从 4.3.1 到 4.3.2
    • DBI 从 1.1.3 到 1.2.1
    • dbplyr 从 2.3.3 到 2.4.0
    • desc 从 1.4.2 到 1.4.3
    • digest 从 0.6.33 到 0.6.34
    • dplyr 从 1.1.2 到 1.1.4
    • e1071 从 1.7-13 到 1.7-14
    • evaluate 从 0.21 到 0.23
    • fansi 从 1.0.4 到 1.0.6
    • fontawesome 从 0.5.1 到 0.5.2
    • fs 从 1.6.2 到 1.6.3
    • future 从 1.33.0 到 1.33.1
    • future.apply 从 1.11.0 到 1.11.1
    • gargle 从 1.5.1 到 1.5.2
    • gert 从 1.9.2 到 2.0.1
    • ggplot2 从 3.4.2 到 3.4.4
    • glmnet 从 4.1-7 到 4.1-8
    • glue 从 1.6.2 到 1.7.0
    • graphics 从 4.3.1 到 4.3.2
    • grDevices 从 4.3.1 到 4.3.2
    • grid 从 4.3.1 到 4.3.2
    • gtable 从 0.3.3 到 0.3.4
    • hardhat 从 1.3.0 到 1.3.1
    • haven 从 2.5.3 到 2.5.4
    • htmltools 从 0.5.5 到 0.5.7
    • htmlwidgets 从 1.6.2 到 1.6.4
    • httpuv 从 1.6.11 到 1.6.14
    • httr 从 1.4.6 到 1.4.7
    • httr2 从 0.2.3 到 1.0.0
    • jsonlite 从 1.8.7 到 1.8.8
    • knitr 从 1.43 到 1.45
    • labeling 从 0.4.2 到 0.4.3
    • later 从 1.3.1 到 1.3.2
    • lava 从 1.7.2.1 到 1.7.3
    • lifecycle 从 1.0.3 到 1.0.4
    • listenv 从 0.9.0 到 0.9.1
    • lubridate 从 1.9.2 到 1.9.3
    • markdown 从 1.7 到 1.12
    • methods 从 4.3.1 到 4.3.2
    • openssl 从 2.0.6 到 2.1.1
    • parallel 从 4.3.1 到 4.3.2
    • pkgbuild 从 1.4.2 到 1.4.3
    • pkgload 从 1.3.2.1 到 1.3.4
    • plyr 从 1.8.8 到 1.8.9
    • prettyunits 从 1.1.1 到 1.2.0
    • pROC 从 1.18.4 到 1.18.5
    • processx 从 3.8.2 到 3.8.3
    • prodlim 从 2023.03.31 到 2023.08.28
    • progress 从 1.2.2 到 1.2.3
    • progressr 从 0.13.0 到 0.14.0
    • promises 从 1.2.0.1 到 1.2.1
    • ps 从 1.7.5 到 1.7.6
    • purrr 从 1.0.1 到 1.0.2
    • ragg 从 1.2.5 到 1.2.7
    • Rcpp 从 1.0.11 到 1.0.12
    • RcppEigen 从 0.3.3.9.3 到 0.3.3.9.4
    • readr 从 2.1.4 到 2.1.5
    • recipes 从 1.0.6 到 1.0.9
    • rematch 从 1.0.1 到 2.0.0
    • remotes 从 2.4.2 到 2.4.2.1
    • reprex 从 2.0.2 到 2.1.0
    • rlang 从 1.1.1 到 1.1.3
    • rmarkdown 从 2.23 到 2.25
    • RODBC 从 1.3-20 到 1.3-23
    • roxygen2 从 7.2.3 到 7.3.1
    • rprojroot 从 2.0.3 到 2.0.4
    • Rserve 从 1.8-11 到 1.8-13
    • RSQLite 从 2.3.1 到 2.3.5
    • sass 从 0.4.6 到 0.4.8
    • scales 从 1.2.1 到 1.3.0
    • shiny 从 1.7.4.1 到 1.8.0
    • sparklyr 从 1.8.1 到 1.8.4
    • splines 从 4.3.1 到 4.3.2
    • stats 从 4.3.1 到 4.3.2
    • stats4 从 4.3.1 到 4.3.2
    • stringi 从 1.7.12 到 1.8.3
    • stringr 从 1.5.0 到 1.5.1
    • systemfonts 从 1.0.4 到 1.0.5
    • tcltk 从 4.3.1 到 4.3.2
    • testthat 从 3.1.10 到 3.2.1
    • textshaping 从 0.3.6 到 0.3.7
    • tidyr 从 1.3.0 到 1.3.1
    • timechange 从 0.2.0 到 0.3.0
    • timeDate 从 4022.108 到 4032.109
    • tinytex 从 0.45 到 0.49
    • tools 从 4.3.1 到 4.3.2
    • utf8 从 1.2.3 到 1.2.4
    • utils 从 4.3.1 到 4.3.2
    • uuid 从 1.1-0 到 1.2-0
    • vctrs 从 0.6.3 到 0.6.5
    • vroom 从 1.6.3 到 1.6.5
    • waldo 从 0.5.1 到 0.5.2
    • withr 从 2.5.0 到 3.0.0
    • xfun 从 0.39 到 0.41
    • xml2 从 1.3.5 到 1.3.6
    • yaml 从 2.3.7 到 2.3.8
    • zip 从 2.3.0 到 2.3.1
  • 升级了 Java 库：
    • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 从 2.15.1 到 2.16.0
    • com.google.flatbuffers.flatbuffers-java 从 1.12.0 到 23.5.26
    • com.typesafe.config 从 1.2.1 到 1.4.3
    • org.apache.ant.ant 从 1.9.16 到 1.10.11
    • org.apache.ant.ant-jsch 从 1.9.16 到 1.10.11
    • org.apache.ant.ant-launcher 从 1.9.16 到 1.10.11
    • org.apache.arrow.arrow-format 从 12.0.1 到 15.0.0
    • org.apache.arrow.arrow-memory-core 从 12.0.1 到 15.0.0
    • org.apache.arrow.arrow-memory-netty 从 12.0.1 到 15.0.0
    • org.apache.arrow.arrow-vector 从 12.0.1 到 15.0.0
    • org.apache.avro.avro 从 1.11.2 到 1.11.3
    • org.apache.avro.avro-ipc 从 1.11.2 到 1.11.3
    • org.apache.avro.avro-mapred 从 1.11.2 到 1.11.3
    • org.apache.logging.log4j.log4j-1.2-api 从 2.20.0 到 2.22.1
    • org.apache.logging.log4j.log4j-api 从 2.20.0 到 2.22.1
    • org.apache.logging.log4j.log4j-core 从 2.20.0 到 2.22.1
    • org.apache.logging.log4j.log4j-slf4j2-impl 从 2.20.0 到 2.22.1
    • org.postgresql.postgresql 从 42.6.0 到 42.6.1

Apache Spark

Databricks Runtime 15.1 包含 Apache Spark 3.5.0。 此版本包括 Databricks Runtime 14.3 LTS 中包含的所有 Spark 修复和改进，以及对 Spark 进行的以下其他 bug 修复和改进：

  • [SPARK-45527] [DBRRM-805][ES-1073714] 还原“[SC-151626][CORE] 使用分数执行资源计算”
  • [SPARK-47102] [DBRRM-803][SC-158253][SQL] 添加 COLLATION_ENABLED 配置标志
  • [SPARK-46973] [SC-158140][DBRRM-777][SQL] 当表位于 V1 表缓存中时跳过 V2 表查找
  • [SPARK-46808] [SC-154113][PYTHON] 使用自动排序函数优化 Python 中的错误类
  • [SPARK-47251] [SC-158291][PYTHON] 阻止 sql 命令的 args 参数中的无效类型
  • [SPARK-47251] [SC-158121][PYTHON] 阻止 sql 命令的 args 参数中的无效类型
  • [SPARK-47108] [SC-157204][CORE] 在 CLI 中显式将 derby.connection.requireAuthentication 设置为 false
  • [SPARK-45599] [SC-157537][CORE] 在 OpenHashSet 中使用对象相等性
  • [SPARK-47099] [SC-157352][SQL] 使用 ordinalNumber 统一设置错误类 UNEXPECTED_INPUT_TYPE 的 paramIndex 值
  • [SPARK-46558] [SC-151363][CONNECT] 提取帮助程序函数，以消除从 GrpcExceptionConverter 中的 ErrorParams 检索 MessageParameters 的重复代码
  • [SPARK-43117] [SC-156177][CONNECT] 使 ProtoUtils.abbreviate 支持重复字段
  • [SPARK-46342] [SC-150283][SQL] 将 sql 中的 IllegalStateException 替换为 SparkException.internalError
  • [SPARK-47123] [SC-157412][CORE] JDBCRDD 无法正确处理 getQueryOutputSchema 中的错误
  • [SPARK-47189] [SC-157667][SQL] 调整列错误名称和文本
  • [SPARK-45789] [SC-157101][SQL] 支持群集列的DESCRIBE TABLE
  • [SPARK-43256] [SC-157699][SQL] 移除错误类 _LEGACY_ERROR_TEMP_2021
  • [SPARK-47201] [SC-157782][PYTHON][CONNECT] sameSemantics 检查输入类型
  • [SPARK-47183] [SC-157660][PYTHON] 修复 sameSemantics 的错误类
  • [SPARK-47179] [SC-157663][SQL] 改进 SparkThrowableSuite 的错误消息以提高可调试性
  • [SPARK-46965] [SC-155791][CORE] 检查 Utils.getLog 中的 logType
  • [SPARK-46832] [SC-156774][SQL] 引入排序规则和排序规则表达式
  • [SPARK-46946] [SC-155721][SQL] 支持在 DynamicPruning 中广播多个筛选键
  • [SPARK-47079] [VARIANT-22][SC-157598][PYTHON][SQL][CONNECT] 将 Variant 类型信息添加到 PySpark
  • [SPARK-47101] [SC-157360][SQL] 允许在顶级列名中使用逗号，并删除 HiveExternalCatalog.verifyDataSchema中的检查嵌套类型定义
  • [SPARK-47173] [SC-157571][SS][UI] 修复流式处理 UI 说明中的拼写错误
  • [SPARK-47113] [SC-157348][CORE] 还原 SPARK-35878 的 S3A 终结点修复逻辑
  • [SPARK-47130] [SC-157462][CORE] 清理驱动程序日志时使用 listStatus 绕过阻止位置信息
  • [SPARK-43259] [SC-157368][SQL] 将名称分配到错误类 _LEGACY_ERROR_TEMP_2024
  • [SPARK-47104] [SC-157355][SQL] TakeOrderedAndProjectExec 应初始化不安全投影
  • [SPARK-47137] [SC-157463][PYTHON][CONNECT] 将 getAll 添加到 spark.conf，以用于 Scala 功能奇偶一致性
  • [SPARK-46924] [SC-154905][CORE] 修复 Master/HistoryServer 日志 UI 中的 Load New 按钮
  • [SPARK-47069] [SC-157370][PYTHON][CONNECT] 为基于 SparkSession 的分析引入 spark.profile.show/dump
  • [SPARK-46812] [SC-157075][SQL][PYTHON] 使 mapInPandas / mapInArrow 支持 ResourceProfile
  • [SPARK-46833] [SC-155866][SQL] 排序规则 - 引入为支持的排序规则提供比较和哈希规则的 CollationFactory
  • [SPARK-47057] [SC-157036][PYTHON] 重新收集 MyPy 数据测试
  • [SPARK-46934] [SC-157084][SQL] 对 HMS 使用特殊字符的结构类型的读/写往返
  • [SPARK-46727] [SC-153472][SQL] 错误类的 JDBC 方言中的端口 classifyException()
  • [SPARK-46964] [SC-155740][SQL] 更改 hllInvalidLgK 查询执行错误的签名，将整数作为第 4 个参数
  • [SPARK-46949] [SC-155719][SQL] 通过 ResolveDefaultColumns 支持 CHAR/VARCHAR
  • [SPARK-46972] [SC-155888][SQL] 修复 V2SessionCatalog.createTable 中 char/varchar 的非对称替换
  • [SPARK-47014] [SC-156778][PYTHON][CONNECT] 实现 SparkSession 的方法 dumpPerfProfiles 和 dumpMemoryProfiles
  • [SPARK-46689] [SC-156221][SPARK-46690][PYTHON][CONNECT] 支持组/cogroup applyInPandas/applyInArrow 中的 v2 分析
  • [SPARK-47040] [SC-156773][CONNECT] 允许 Spark Connect 服务器脚本等待
  • [SPARK-46688] [SC-156113][SPARK-46691][PYTHON][CONNECT] 支持聚合 Pandas UDF 中的 v2 分析
  • [SPARK-47004] [SC-156499][CONNECT] 向 ClientStreamingQuerySuite 添加了更多测试，以提高 Scala 客户端测试覆盖率
  • [SPARK-46994] [SC-156169][PYTHON] 重构 PythonWrite 以准备支持 python 数据源流式写入
  • [SPARK-46979] [SC-156587][SS] 添加对单独指定键和值编码器的支持，并为 RocksDB 状态存储提供程序中的每个 col 系列添加支持
  • [SPARK-46960] [SC-155940][SS] 使用 TransformWithState 运算符测试多个输入流
  • [SPARK-46966] [SC-156112][Python] 为 ‘analyze’ 方法添加 UDTF API 以指示要选择的输入表列子集
  • [SPARK-46895] [SC-155950][CORE] 将计时器替换为单线程计划执行程序
  • [SPARK-46967] [SC-155815][CORE][UI] 隐藏 Executors UI 中 Dead 执行程序 Thread Dump 和 Heap Histogram
  • [SPARK-46512] [SC-155826][CORE] 在使用排序和组合时优化随机读取。
  • [SPARK-46958] [SC-155942][SQL] 添加缺少的时区以强制默认值
  • [SPARK-46754] [SC-153830][SQL][AVRO] 修复 avro 表定义和写入选项中的压缩代码解析
  • [SPARK-46728] [SC-154207][PYTHON] 正确检查 Pandas 安装
  • [SPARK-43403] [SC-154216][UI] 确保 HistoryServer 中的旧 SparkUI 在加载新 Spark 之前已分离
  • [SPARK-39910] [SC-156203][SQL] 在 DataSource 文件路径 globbing 期间委托文件系统的路径限定
  • [SPARK-47000] [SC-156123] 还原 “[SC-156123][CORE] 使用 getTotalMemorySize…
  • [SPARK-46819] [SC-154560][CORE] 将错误类别和状态移动到 JSON
  • [SPARK-46997] [SC-156175][CORE] 默认启用 spark.worker.cleanup.enabled
  • [SPARK-46865] [SC-156168][SS] 添加对 TransformWithState 运算符的 Batch 支持
  • [SPARK-46987] [SC-156040][CONNECT] ProtoUtils.abbreviate 避免不必要的 setField 操作
  • [SPARK-46970] [SC-155816][CORE] 使用 pattern matching 重写 OpenHashSet#hasher
  • [SPARK-46984] [SC-156024][PYTHON] 删除 pyspark.copy_func
  • [SPARK-47000] [SC-156123][CORE] 在 WorkerArguments 中使用 getTotalMemorySize
  • [SPARK-46980] [SC-155914][SQL][MINOR] 避免在数据帧端到端测试中使用内部 API
  • [SPARK-46931] 还原 “[SC-155661][PS] 实现 {Frame, Series}.to_hdf”
  • [SPARK-46618] [SC-153828][SQL] 改进 DATA_SOURCE_NOT_FOUND 错误的错误消息
  • [SPARK-46849] [SC-154586][SQL] 在 CREATE TABLE 列默认值上运行优化器
  • [SPARK-46911] [SC-155724][SS] 将 deleteIfExists 运算符添加到 StatefulProcessorHandleImpl
  • [SPARK-43273] [SQL] 支持 parquet 的 lz4raw 压缩编解码器
  • [SPARK-47002] [SC-156223][Python] 如果 UDTF UDTF ‘analyze’ 方法 ‘orderBy’ 字段意外返回字符串列表，则返回更好的错误消息
  • [SPARK-46890] [SC-155802][SQL] 修复存在默认值和列修剪的 CSV 分析 bug
  • [SPARK-46977] [SC-155892][CORE] 未能从一个 NameNode 获取令牌的请求不应跳过后续令牌请求
  • [SPARK-46608] [SC-151806][SQL] 还原 JdbcDialect.classifyException 的向后兼容性
  • [SPARK-46908] [SC-155702][SQL] 在 WHERE 子句中支持 star 子句
  • [SPARK-46908] [SC-155702][SQL] 在 WHERE 子句中支持 star 子句
  • [SPARK-46852] [SC-155665][SS] 移除显式密钥编码器的使用并将其隐式传递给 transformWithState 运算符的运算符
  • [SPARK-46864] [SC-155669][SS] 将任意 StateV2 加入到新的错误类框架
  • [SPARK-45807] [SC-155706][SQL] 调用 replaceView(..) 后返回视图
  • [SPARK-46899] [SC-154651][CORE] 在 spark.ui.killEnabled 为 false 时从 MasterWebUI 中移除 POSTAPI
  • [SPARK-46868] [SC-154539][CORE] 支持 Spark 辅助角色日志 UI
  • [SPARK-46931] [SC-155661][PS] 实现 {Frame, Series}.to_hdf
  • [SPARK-46940] [SC-155667][CORE] 移除 o.a.s.u.Utils 中未使用的 updateSparkConfigFromProperties 和 isAbsoluteURI
  • [SPARK-46929] [SC-155659][CORE][CONNECT][SS] 使用 ThreadUtils.shutdown 关闭线程池
  • [SPARK-46400] [SC-155658][CORE][SQL] 本地 maven 存储库中存在损坏的文件时，跳过此缓存并重试
  • [SPARK-46932] [SC-155655] 清理 pyspark.pandas.test_* 中的导入
  • [SPARK-46683] [SC-154120] 编写生成子查询排列的子查询生成器，以提高测试覆盖率
  • [SPARK-46914] [SC-154776][UI] 缩短历史记录页上摘要表中的应用名称
  • [SPARK-46831] [SC-154699][SQL] 排序规则 - 使用 collationId 字段扩展 StringType 和 PhysicalStringType
  • [SPARK-46816] [SC-154415][SS] 为新的任意状态管理运算符、单个 valueState 类型、多个状态变量添加基本支持，对具有/没有更改日志检查点的 RocksDBStateStoreProvider 列系列添加底层支持
  • [SPARK-46925] [SC-154890][PYTHON][CONNECT] 添加警告，指示这内存分析安装 memory_profiler
  • [SPARK-46927] [SC-154904][PYTHON] 使 assertDataFrameEqual 在没有 PyArrow 时正常工作
  • [SPARK-46021] [SC-148987][CORE] 支持取消属于作业组的未来作业
  • [SPARK-46747] [SC-154789][SQL] 避免在 getTableExistsQuery 中扫描 JDBC 方言
  • [SPARK-46904] [SC-154704][UI] 修复历史记录 UI 摘要的显示问题
  • [SPARK-46870] [SC-154541][CORE] 支持 Spark 主日志 UI
  • [SPARK-46893] [SC-154780][UI] 从 UI 说明中移除内联脚本
  • [SPARK-46910] [SC-154760][PYTHON] 消除 PySpark 安装中的 JDK 要求
  • [SPARK-46907] [SC-154736][CORE] 在 Spark History Server 中显示驱动程序日志位置
  • [SPARK-46902] [SC-154661][UI] 修复 Spark History Server UI 以使用未导出的 setAppLimit
  • [SPARK-46687] [SC-154725][PYTHON][CONNECT] 基于 SparkSession 的内存探查器的基本支持
  • [SPARK-46623] [SC-153831][CORE][MLLIB][SQL] 将 SimpleDateFormat 替换为 DateTimeFormatter
  • [SPARK-46875] [SC-154627][SQL] 当 mode 为 null 时，NullPointException 应引发 not
  • [SPARK-46872] [SC-154543][CORE] 将 log-view.js 恢复为非模块
  • [SPARK-46883] [SC-154629][CORE] 支持 /json/clusterutilization API
  • [SPARK-46886] [SC-154630][CORE] 默认启用 spark.ui.prometheus.enabled
  • [SPARK-46873] [SC-154638][SS] 不要为同一 Spark 会话重新创建新的 StreamingQueryManager
  • [SPARK-46829] [SC-154419][CORE] 从 SparkEnv 中移除 createExecutorEnv
  • [SPARK-46827] [SC-154280][CORE] 使 RocksDBPersistenceEngine 支持符号链接
  • [SPARK-46903] [SC-154662][CORE] 支持 Spark History Server 日志 UI
  • [SPARK-46874] [SC-154646][PYTHON] 从 assertDataFrameEqual 中移除 pyspark.pandas依赖项
  • [SPARK-46889] [SC-154639][CORE] 验证 spark.master.ui.decommission.allow.mode 设置
  • [SPARK-46850] [SC-154443][SQL] 将 _LEGACY_ERROR_TEMP_2102 转换为 UNSUPPORTED_DATATYPE
  • [SPARK-46704] [SC-153323][CORE][UI] 修复 MasterPage，以便正确按 Duration 列对 Running Drivers 表进行排序
  • [SPARK-46796] [SC-154279][SS] 确保在 RocksDB 版本加载上使用正确的远程文件（metadata.zip 中提及）
  • [SPARK-46888] [SC-154636][CORE] 修复 Master 以在禁用停用时拒绝 /workers/kill/ 请求
  • [SPARK-46818] [SC-154422][SQL] 使用不可折叠输入改进 Range 的错误消息
  • [SPARK-46898] [SC-154649][CONNECT] 简化 Planner 中的 protobuf 函数转换
  • [SPARK-46828] [SC-154413][SQL] 为 spark sql shell 移除远程模式的无效断言
  • [SPARK-46733] [SC-154274][CORE] 仅根据中断线程简化 BlockManager。
  • [SPARK-46777] [SC-154016][SS] 重构 StreamingDataSourceV2Relation 催化剂结构，以更符合批处理版本
  • [SPARK-46515] [SC-151716] 添加 MONTHNAME 函数
  • [SPARK-46823] [SC-154276][CONNECT][PYTHON] LocalDataToArrowConversion 应检查为 null 性
  • [SPARK-46787] [SC-154404][CONNECT] bloomFilter 函数应为无效输入引发 AnalysisException
  • [SPARK-46779] [SC-154045][SQL] InMemoryRelation 同一缓存计划的实例在语义上应等效
  • [SPARK-45827] [SC-153973] 禁止对 Variant 列进行分区
  • [SPARK-46797] [SC-154085][CORE] 将 spark.deploy.spreadOut 重命名为 spark.deploy.spreadOutApps
  • [SPARK-46094] [SC-153421] 支持执行程序 JVM 分析
  • [SPARK-46746] [SC-153557][SQL][AVRO] 将编解码器扩展附加到 avro 数据源文件
  • [SPARK-46698] [SC-153288][CORE] 将计时器替换为 ConsoleProgressBar 的单线程计划执行程序。
  • [SPARK-46629] [SC-153835] 对 STRUCT 类型 DDL 的修复无法获取为 null 性和注释
  • [SPARK-46750] [SC-153772][CONNECT][PYTHON] 数据帧 API 代码清理
  • [SPARK-46769] [SC-153979][SQL] 优化与时间戳相关的架构推理
  • [SPARK-46765] [SC-153904][PYTHON][CONNECT] 使 shuffle 指定 seed 的数据类型
  • [SPARK-46579] [SC-151481][SQL] 错误和日志中的 Redact JDBC URL
  • [SPARK-46686] [SC-153875][PYTHON][CONNECT] 基于 SparkSession 的 Python UDF 探查器的基本支持
  • [SPARK-46748] 还原“[SC-153800][CORE] 移除 *slav**.sh 脚本…
  • [SPARK-46707] [SC-153833][SQL] 向表达式添加了可引发字段以改进谓词下推
  • [SPARK-46519] [SC-151278][SQL] 清除 error-classes.json 文件中未使用的错误类
  • [SPARK-46677] [SC-153426][SQL][CONNECT] 修复 dataframe["*"] 分辨率
  • [SPARK-46317] [SC-150184][PYTHON][CONNECT] 匹配 SparkSession 中具有完整测试覆盖率的次要行为匹配
  • [SPARK-46748] [SC-153800][CORE] 移除 *slav**.sh 脚本
  • [SPARK-46663] [SC-153490][PYTHON] 使用迭代器禁用 pandas UDF 的内存探查器
  • [SPARK-46410] [SC-150776][SQL] 将错误类/子类分配给 JdbcUtils.classifyException
  • [SPARK-46277] [SC-150126][PYTHON] 验证设置配置的启动 URL
  • [SPARK-46612] [SC-153536][SQL] 不要转换从 jdbc 驱动程序检索的数组类型字符串
  • [SPARK-46254] [SC-149788][PYTHON] 移除过时的 Python 3.8/3.7 版本检查
  • [SPARK-46490] [SC-151335][SQL] 需要 SparkThrowable 子类中的错误类
  • [SPARK-46383] [SC-153274][SC-147443][WARMFIX] 通过减少 TaskInfo.accumulables()的寿命来减少驱动程序堆使用
  • [SPARK-46541] [SC-153109][SQL][CONNECT] 修复自联接中的不明确列引用
  • [SPARK-46381] [SC-150495][SQL] 将 AnalysisException 子类迁移到错误类
  • [SPARK-46351] [SC-150335][SQL] 需要 AnalysisException 中的错误类
  • [SPARK-46220] [SC-149689][SQL] 限制 decode() 中的字符集
  • [SPARK-46369] [SC-150340][CORE] 从 MasterPage 中的 RELAUNCHING 驱动程序中移除 kill 链接
  • [SPARK-46052] [SC-153284][CORE] 移除函数 TaskScheduler.killAllTaskAttempts
  • [SPARK-46536] [SC-153164][SQL] 支持 GROUP BY calendar_interval_type
  • [SPARK-46675] [SC-153209][SQL] 移除 ParquetReadSupport 中未使用的 inferTimestampNTZ
  • [SPARK-46717] [SC-153423][CORE] 仅根据中断线程简化 ReloadingX509TrustManager。
  • [SPARK-46722] [SC-153438][CONNECT] 添加有关 Spark Connect 中 StreamingQueryListener 向后兼容性检查的测试 (Scala/PySpark)
  • [SPARK-46187] [SC-149580][SQL] 对齐 StringDecode 的 codegen 和非 codegen 实现
  • [SPARK-46258] [SC-149799][CORE] 添加 RocksDBPersistenceEngine
  • [SPARK-46216] [SC-149676][CORE] 改进 FileSystemPersistenceEngine 以支持压缩
  • [SPARK-46189] [SC-149567][PS][SQL] 在各种 Pandas 聚合函数中执行相同类型的比较和算术，以避免解释模式错误
  • [SPARK-46184] [SC-149563][CORE][SQL][CONNECT][MLLIB] 通过将 Option.isDefined 替换为 Option.isEmpty 来减少堆栈深度
  • [SPARK-46700] [SC-153329][CORE] 计算随机磁盘溢出字节指标的最后溢出次数
  • [SPARK-45642] [SC-150286][CORE][SQL] 修复 FileSystem.isFile & FileSystem.isDirectory is deprecated
  • [SPARK-46640] [SC-153272][SQL] 通过排除子查询属性修复 RemoveRedundantAlias
  • [SPARK-46681] [SC-153287][CORE] 重构 ExecutorFailureTracker#maxNumExecutorFailures 以避免在配置 MAX_EXECUTOR_FAILURES 时计算 defaultMaxNumExecutorFailures
  • [SPARK-46695] [SC-153289][SQL][HIVE] 始终将 hive.execution.engine 设置为 mr
  • [SPARK-46325] [SC-150228][CONNECT] 在 ResponseValidator#wrapIterator 中构造 WrappedCloseableIterator 时移除不必要的替代函数
  • [SPARK-46232] [SC-149699][PYTHON] 将所有剩余的 ValueError 迁移到 PySpark 错误框架。
  • [SPARK-46547] [SC-153174][SS] 在维护任务中吞没非致命异常，以避免维护线程与流式处理聚合运算符之间的死锁
  • [SPARK-46169] [SC-149373][PS] 为 DataFrame API 中缺少的参数分配适当的 JIRA 编号。
  • [SPARK-45857] [SC-148096][SQL] 强制 AnalysisException 子类中的错误类

Databricks ODBC/JDBC 驱动程序支持

Databricks 支持过去 2 年发布的 ODBC/JDBC 驱动程序。 请下载最近发布的驱动程序并升级（下载 ODBC，下载 JDBC）。

维护更新

请参阅 Databricks Runtime 15.1 维护更新。

系统环境

  • 操作系统：Ubuntu 22.04.4 LTS
  • Java：Zulu 8.74.0.17-CA-linux64
  • Scala：2.12.15
  • Python：3.11.0
  • R：4.3.2
  • Delta Lake: 3.1.0

已安装的 Python 库

库 版本 库 版本 库 版本
asttokens 2.0.5 astunparse 1.6.3 azure-core 1.30.1
azure-storage-blob 12.19.1 azure-storage-file-datalake 12.14.0 backcall 0.2.0
black 23.3.0 blinker 1.4 boto3 1.34.39
botocore 1.34.39 cachetools 5.3.3 certifi 2023.7.22
cffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
单击 8.0.4 cloudpickle 2.2.1 comm 0.1.2
contourpy 1.0.5 密码系统 41.0.3 cycler 0.11.0
Cython 0.29.32 databricks-sdk 0.20.0 dbu-python 1.2.18
debugpy 1.6.7 decorator 5.1.1 distlib 0.3.8
entrypoints 0.4 执行 0.8.3 facets-overview 1.1.1
filelock 3.13.1 fonttools 4.25.0 gitdb 4.0.11
GitPython 3.1.42 google-api-core 2.17.1 google-auth 2.28.2
google-cloud-core 2.4.1 google-cloud-storage 2.15.0 google-crc32c 1.5.0
google-resumable-media 2.7.0 googleapis-common-protos 1.63.0 grpcio 1.60.0
grpcio-status 1.60.0 httplib2 0.20.2 idna 3.4
importlib-metadata 6.0.0 ipyflow-core 0.0.198 ipykernel 6.25.1
ipython 8.15.0 ipywidgets 8.0.4 isodate 0.6.1
jedi 0.18.1 jeepney 0.7.1 jmespath 0.10.0
joblib 1.2.0 jupyter_client 7.4.9 jupyter_core 5.3.0
jupyterlab-widgets 3.0.5 keyring 23.5.0 kiwisolver 1.4.4
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
matplotlib 3.7.2 matplotlib-inline 0.1.6 mlflow-skinny 2.11.1
more-itertools 8.10.0 mypy-extensions 0.4.3 nest-asyncio 1.5.6
numpy 1.23.5 oauthlib 3.2.0 打包 23.2
pandas 1.5.3 parso 0.8.3 pathspec 0.10.3
patsy 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Pillow 9.4.0 pip 23.2.1 platformdirs 3.10.0
plotly 5.9.0 prompt-toolkit 3.0.36 protobuf 4.24.1
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 pyarrow 14.0.1 pyasn1 0.4.8
pyasn1-modules 0.2.8 pyccolo 0.0.52 pycparser 2.21
pydantic 1.10.6 Pygments 2.15.1 PyGObject 3.42.1
PyJWT 2.3.0 pyodbc 4.0.38 pyparsing 3.0.9
python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1 pytz 2022.7
PyYAML 6.0 pyzmq 23.2.0 请求 2.31.0
rsa 4.9 s3transfer 0.10.0 scikit-learn 1.3.0
scipy 1.11.1 seaborn 0.12.2 SecretStorage 3.3.1
setuptools 68.0.0 6 1.16.0 smmap 5.0.1
sqlparse 0.4.4 ssh-import-id 5.11 stack-data 0.2.0
statsmodels 0.14.0 tenacity 8.2.2 threadpoolctl 2.2.0
tokenize-rt 4.2.1 tornado 6.3.2 traitlets 5.7.1
typing_extensions 4.7.1 tzdata 2022.1 ujson 5.4.0
unattended-upgrades 0.1 urllib3 1.26.16 virtualenv 20.24.2
wadllib 1.3.6 wcwidth 0.2.5 wheel 0.38.4
widgetsnbextension 4.0.5 zipp 3.11.0

已安装的 R 库

R 库安装自 2023-02-10 的 Posit Package Manager CRAN 快照。

库 版本 库 版本 库 版本
箭头 14.0.0.2 askpass 1.2.0 assertthat 0.2.1
backports 1.4.1 base 4.3.2 base64enc 0.1-3
bigD 0.2.0 bit 4.0.5 bit64 4.0.5
bitops 1.0-7 blob 1.2.4 启动 1.3-28
brew 1.0-10 brio 1.1.4 broom 1.0.5
bslib 0.6.1 cachem 1.0.8 callr 3.7.3
caret 6.0-94 cellranger 1.1.0 chron 2.3-61
class 7.3-22 CLI 3.6.2 clipr 0.8.0
clock 0.7.0 cluster 2.1.4 codetools 0.2-19
colorspace 2.1-0 commonmark 1.9.1 compiler 4.3.2
config 0.3.2 conflicted 1.2.0 cpp11 0.4.7
crayon 1.5.2 凭据 2.0.1 curl 5.2.0
data.table 1.15.0 datasets 4.3.2 DBI 1.2.1
dbplyr 2.4.0 desc 1.4.3 devtools 2.4.5
示意图 1.6.5 diffobj 0.3.5 digest 0.6.34
downlit 0.4.3 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 ellipsis 0.3.2 评估 0.23
fansi 1.0.6 farver 2.1.1 fastmap 1.1.1
fontawesome 0.5.2 forcats 1.0.0 foreach 1.5.2
foreign 0.8-85 forge 0.2.0 fs 1.6.3
future 1.33.1 future.apply 1.11.1 gargle 1.5.2
generics 0.1.3 gert 2.0.1 ggplot2 3.4.4
gh 1.4.0 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 globals 0.16.2 glue 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 gower 1.0.1
graphics 4.3.2 grDevices 4.3.2 grid 4.3.2
gridExtra 2.3 gsubfn 0.7 gt 0.10.1
gtable 0.3.4 hardhat 1.3.1 haven 2.5.4
highr 0.10 hms 1.1.3 htmltools 0.5.7
htmlwidgets 1.6.4 httpuv 1.6.14 httr 1.4.7
httr2 1.0.0 ids 1.0.1 ini 0.3.1
ipred 0.9-14 isoband 0.2.7 iterators 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 juicyjuice 0.1.0
KernSmooth 2.23-21 knitr 1.45 labeling 0.4.3
later 1.3.2 lattice 0.21-8 lava 1.7.3
lifecycle 1.0.4 listenv 0.9.1 lubridate 1.9.3
magrittr 2.0.3 markdown 1.12 MASS 7.3-60
Matrix 1.5-4.1 memoise 2.0.1 方法 4.3.2
mgcv 1.8-42 mime 0.12 miniUI 0.1.1.1
mlflow 2.10.0 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.1.1 parallel 4.3.2
parallelly 1.36.0 pillar 1.9.0 pkgbuild 1.4.3
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.4
plogr 0.2.0 plyr 1.8.9 praise 1.0.0
prettyunits 1.2.0 pROC 1.18.5 processx 3.8.3
prodlim 2023.08.28 profvis 0.3.8 进度 1.2.3
progressr 0.14.0 promises 1.2.1 proto 1.0.0
proxy 0.4-27 ps 1.7.6 purrr 1.0.2
R6 2.5.1 ragg 1.2.7 randomForest 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.12 RcppEigen 0.3.3.9.4 reactable 0.4.4
reactR 0.5.0 readr 2.1.5 readxl 1.4.3
recipes 1.0.9 rematch 2.0.0 rematch2 2.1.2
remotes 2.4.2.1 reprex 2.1.0 reshape2 1.4.4
rlang 1.1.3 rmarkdown 2.25 RODBC 1.3-23
roxygen2 7.3.1 rpart 4.1.21 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.5 rstudioapi 0.15.0
rversions 2.1.2 rvest 1.0.3 sass 0.4.8
scales 1.3.0 selectr 0.4-2 sessioninfo 1.2.2
shape 1.4.6 shiny 1.8.0 sourcetools 0.1.7-1
sparklyr 1.8.4 spatial 7.3-15 splines 4.3.2
sqldf 0.4-11 SQUAREM 2021.1 stats 4.3.2
stats4 4.3.2 stringi 1.8.3 stringr 1.5.1
survival 3.5-5 swagger 3.33.1 sys 3.4.2
systemfonts 1.0.5 tcltk 4.3.2 testthat 3.2.1
textshaping 0.3.7 tibble 3.2.1 tidyr 1.3.1
tidyselect 1.2.0 tidyverse 2.0.0 timechange 0.3.0
timeDate 4032.109 tinytex 0.49 工具 4.3.2
tzdb 0.4.0 urlchecker 1.0.1 usethis 2.2.2
utf8 1.2.4 utils 4.3.2 uuid 1.2-0
V8 4.4.1 vctrs 0.6.5 viridisLite 0.4.2
vroom 1.6.5 waldo 0.5.2 whisker 0.4.1
withr 3.0.0 xfun 0.41 xml2 1.3.6
xopen 1.0.0 xtable 1.8-4 yaml 2.3.8
zeallot 0.1.0 zip 2.3.1

已安装的 Java 库和 Scala 库（Scala 2.12 群集版本）

组 ID 项目 ID 版本
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics 流 (stream) 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.17.1
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine caffeine 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 23.5.26
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger profiler 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.25
io.delta delta-sharing-client_2.12 1.0.4
io.dropwizard.metrics metrics-annotation 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx 收集器 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow arrow-format 15.0.0
org.apache.arrow arrow-memory-core 15.0.0
org.apache.arrow arrow-memory-netty 15.0.0
org.apache.arrow arrow-vector 15.0.0
org.apache.avro avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-collections 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap shims 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-compatible 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1