Databricks Runtime 15.3
以下发行说明提供了由 Apache Spark 3.5.0 提供支持的 Databricks Runtime 15.3 的相关信息。
Databricks 于 2024 年 6 月发布此版本。
提示
若要查看已终止支持 (EoS) 的 Databricks Runtime 版本的发行说明，请参阅终止支持 Databricks Runtime 发行说明。 EoS Databricks Runtime 版本已停用，可能不会更新。
新增功能和改进
PySpark DataSources 现在支持流读取和写入
PySpark DataSources 允许从自定义数据源读取数据以及将数据写入自定义数据接收器，现在支持流读取和写入。 请参阅 PySpark 自定义数据源。
使用删除功能禁用列映射
现在可以使用 DROP FEATURE 禁用 Delta 表上的列映射并降级表协议。 请参阅禁用列映射。
公共预览版中的变体类型语法和函数
现已在 Spark DataFrames 和 SQL 中提供对于将半结构化数据用作 VARIANT 类型的本机 Apache Spark 支持。 请参阅查询变体数据。
公共预览版中 Delta Lake 的变体类型支持
现在可以使用 VARIANT 在 Delta Lake 支持的表中存储半结构化数据。 请参阅Delta Lake 中的变体支持。
支持视图中不同的架构演变模式
CREATE VIEW 和 ALTER VIEW 现在允许设置架构绑定模式，从而增强视图处理基础对象中的架构更改的方式。 此功能使视图能够容忍或适应基础对象中的架构更改。 它解决了查询架构中因对对象定义所做的修改而引起的更改。
支持添加到 Spark Connect Scala 客户端的 observe() 方法
Spark Connect Scala 客户端现在支持 Dataset.observe() 方法。 通过对这些方法的支持，你可以使用 ds.observe("name", metrics...) 或 ds.observe(observationObject, metrics...) 方法定义在 Dataset 对象上观察的指标。
改进了 Auto Loader 的流重启延迟
此版本包含一项改进 Auto Loader 的流重启延迟的更改。 此改进是通过使 RocksDB 状态存储的状态加载变为异步来实现的。 通过此更改，你应会看到具有较大状态的流的开始时间有所改进，例如，具有大量已引入文件的流。
以 pyarrow.Table 的形式返回 DataFrame
为了支持将 DataFrame 直接写入 Apache Arrow pyarrow.Table 对象，此版本包括 DataFrame.toArrow() 函数。 若要了解有关使用 PySpark 中的 Arrow 的详细信息，请参阅 PySpark 中的 Apache Arrow。
某些窗口函数的性能改进
此版本包括改进某些 Spark 窗口函数（特别是不包含 ORDER BY 子句或 window_frame 参数的函数）的性能的更改。 在这些情况下，系统可重写查询，以使用聚合函数运行查询。 这一更改通过使用部分聚合并避免运行窗口函数的开销，使查询运行得更快。 Spark 配置参数 spark.databricks.optimizer.replaceWindowsWithAggregates.enabled 控制此优化，且默认设置为 true。 若要关闭此优化，请将 spark.databricks.optimizer.replaceWindowsWithAggregates.enabled 设置为 false。
添加了对 try_mod 函数的支持
此版本添加了对 PySpark try_mod() 函数的支持。 此函数支持 ANSI SQL 兼容的两个数值相除的整数余数计算。 如果除数参数为 0，则 try_mod() 函数返回 null，而不是引发异常。 可使用 try_mod() 函数，而不是 mod 或 %（如果除数参数为 0 且启用了 ANSI SQL，它们会引发异常）。
list_secrets() 中支持可选范围参数
使用此版本可以将 list_secrets() 表函数的结果限制在特定范围内。
Bug 修复
Spark UI 中的 WriteIntoDeltaCommand 指标现在会正确显示
此版本包含一项对 Execute WriteIntoDeltaCommand 节点的 Spark UI 的 SQL 选项卡中显示的指标的修复。 以前，此节点显示的指标全部为零。
Pandas API 中的 groupby() 函数忽略了 as_index=False 参数
此版本包括对 Spark 上 Pandas API 中 groupby() 函数问题的修补程序。 在此修补程序之前，对聚合列进行重新标记的 groupby() 和 as_index=False 参数在生成的 DataFrame 中不包括组键。
引用其他函数输出的多个窗口函数的分析错误
此版本修复了 Spark 查询具有多个连续窗口函数时（此情况下，窗口函数引用来自其他窗口函数的输出）可能出现的问题。 在极少数情况下，系统可能会删除其中一个引用，从而导致评估查询时出错。 此修补程序对这些引用进行了投影，以确保查询评估。 此更改由 Spark 配置参数 spark.databricks.optimizer.collapseWindows.projectReferences（默认设置为 true）控制。 若要关闭此更改，请将 spark.databricks.optimizer.collapseWindows.projectReferences 设置为 false。
库升级
- 升级了 Python 库：
- filelock 已从 3.13.1 升级到 3.13.4
- 升级了 R 库：
- 升级了 Java 库：
- org.rocksdb.rocksdbjni 已从 8.3.2 升级到 8.11.4
Apache Spark
Databricks Runtime 15.3 包含 Apache Spark 3.5.0。 此版本包括 Databricks Runtime 15.2 中包含的所有 Spark 修复和改进，另外还包括对 Spark 进行的下列 bug 修复和改进：
- [SPARK-48211] [DBRRM-1041][15.x][15.3] 还原“[SC-165552][SQL] DB2：将 SMALLINT 读取为 Sho…
- [SPARK-47904] [DBRRM-1040][BEHAVE-33][SC-163409]还原 SPARK-47904：使用 enableStableIdentifiersForUnionType 时，在 Avro 架构中保留大小写
- [SPARK-48288] [SC-166141] 为连接器强制转换表达式添加源数据类型
- [SPARK-48175] [SC-166341][SQL][PYTHON] 为 SER/DE 在元数据中存储排序规则信息，而不是在类型中
- [SPARK-48172] [SC-166078][SQL] 修复 JDBCDialects 中的转义问题
- [SPARK-48186] [SC-165544][SQL] 添加对 AbstractMapType 的支持
- [SPARK-48031] [SC-166523] 架构绑定的祖父旧视图
- [SPARK-48369] [SC-166566][SQL][PYTHON][CONNECT] 添加函数
timestamp_add - [SPARK-48330] [SC-166458][SS][PYTHON] 修复大型触发器间隔下的 python 流式处理数据源超时问题
- [SPARK-48369] 还原“[SC-166494][SQL][PYTHON][CONNECT] 添加函数
timestamp_add” - [SPARK-48336] [SC-166495][PS][CONNECT] 在 Spark Connect 中实现
ps.sql - [SPARK-48369] [SC-166494][SQL][PYTHON][CONNECT] 添加函数
timestamp_add - [SPARK-47354] [SC-165546][SQL] 添加对变体表达式的排序规则支持
- [SPARK-48161] [SC-165325][SQL] 修复已还原的 PR - 添加对 JSON 表达式的排序规则支持
- [SPARK-48031] [SC-166391] 分解 viewSchemaMode 配置，添加 SHOW CREATE TABLE 支持
- [SPARK-48268] [SC-166217][CORE] 为 SparkContext.setCheckpointDir 添加配置
- [SPARK-48312] [ES-1076198][SQL] 改进 Alias.removeNonInheritableMetadata 性能
- [SPARK-48294] [SC-166205][SQL] 在 nestedTypeMissingElementTypeError 中处理小写
- [SPARK-47254] [SC-158847][SQL] 将名称分配到错误类 _LEGACY_ERROR_TEMP_325[1-9]
- [SPARK-47255] [SC-158749][SQL] 将名称分配给错误类 _LEGACY_ERROR_TEMP_323[6-7] 和 _LEGACY_ERROR_TEMP_324[7-9]
- [SPARK-48310] [SC-166239][PYTHON][CONNECT] 缓存属性必须返回副本
- [SPARK-48308] [SC-166152][Core] 在 FileSourceStrategy 中统一获取没有分区列的数据架构
- [SPARK-48301] [SC-166143][SQL] 将
CREATE_FUNC_WITH_IF_NOT_EXISTS_AND_REPLACE重命名为CREATE_ROUTINE_WITH_IF_NOT_EXISTS_AND_REPLACE - [SPARK-48287] [SC-166139][PS][CONNECT] 应用内置的
timestamp_diff方法 - [SPARK-47607] [SC-166129] 添加结构化记录框架的文档
- [SPARK-48297] [SC-166136][SQL] 修复具有 char/varchar 的回归 TRANSFORM 子句
- [SPARK-47045] [SC-156808][SQL] 将
sql/api中的IllegalArgumentException替换为SparkIllegalArgumentException - [SPARK-46991] [SC-156399][SQL] 将
catalyst中的IllegalArgumentException替换为SparkIllegalArgumentException - [SPARK-48031] [SC-165805][SQL] 支持视图架构演变
- [SPARK-48276] [SC-166116][PYTHON][CONNECT] 为
SQLExpression添加缺少的__repr__参数 - [SPARK-48278] [SC-166071][PYTHON][CONNECT] 优化
Cast的字符串表示形式 - [SPARK-48272] [SC-166069][SQL][PYTHON][CONNECT] 添加函数
timestamp_diff - [SPARK-47798] [SC-162492][SQL] 扩充小数值的读取失败的错误消息
- [SPARK-47158] [SC-158078][SQL] 向
_LEGACY_ERROR_TEMP_(2134|2231)分配正确的名称和sqlState - [SPARK-48218] [SC-166082][CORE] TransportClientFactory.createClient 可能会 NPE 导致 FetchFailedException
- [SPARK-48277] [SC-166066] 改进 ErrorClassesJsonReader.getErrorMessage 的错误消息
- [SPARK-47545] [SC-165444][CONNECT] Scala 客户端的数据集
observe支持 - [SPARK-48954] [SC-171672][SQL] 添加
try_mod函数 - [SPARK-43258] [SC-158151][SQL] 分配名称给错误 _LEGACY_ERROR_TEMP_202[3,5]
- [SPARK-48267] [SC-165903][SS] 使用 SPARK-47305 进行回归 e2e 测试
- [SPARK-48263] [SC-165925] 对非 UTF8_BINARY 字符串的排序规则函数支持
- [SPARK-48260] [SC-165883][SQL] 在 ParquetIOSuite 的一个测试中禁用输出提交器协调
- [SPARK-47834] [SC-165645][SQL][CONNECT] 在
SQLImplicits中使用@deprecated标记已弃用的函数 - [SPARK-48011] [SC-164061][Core] 将 LogKey 名称存储为值以避免生成新的字符串实例
- [SPARK-48074] [SC-164647][Core] 提高 JSON 日志记录的可读性
- [SPARK-44953] [SC-165866][CORE] 当与另一个 DA 支持的机制一起启用随机跟踪时记录警告
- [SPARK-48266] [SC-165897][CONNECT] 将包对象
org.apache.spark.sql.connect.dsl移动到测试目录 - [SPARK-47847] [SC-165651][CORE] 弃用
spark.network.remoteReadNioBufferConversion - [SPARK-48171] [SC-165178][CORE] 清理
o.rocksdb.Logger的已弃用构造函数的使用 - [SPARK-48235] [SC-165669][SQL] 直接传递联接而不是所有参数到 getBroadcastBuildSide 和 getShuffleHashJoinBuildSide
- [SPARK-48224] [SC-165648][SQL] 禁止映射键成为变体类型
- [SPARK-48248] [SC-165791][PYTHON] 修复嵌套数组以遵循旧版配置 inferArrayTypeFromFirstElement
- [SPARK-47409] [SC-165568][SQL] 添加对 StringTrim 类型的函数/表达式的排序规则的支持（对于 UTF8_BINARY 和 LCASE）
- [SPARK-48143] [ES-1095638][SQL] 对 UnivocityParser 和 FailureSafeParser 之间的控制流使用轻型异常
- [SPARK-48146] [SC-165668][SQL] 修复 With 表达式子断言中的聚合函数
- [SPARK-48161] 还原“[SC-165325][SQL] 添加对 JSON 表达式的排序规则支持”
- [SPARK-47963] [CORE] 使外部 Spark 生态系统可以使用结构化日志记录机制
- [SPARK-48180] [SC-165632][SQL] 改进使用 TABLE 参数的 UDTF 调用忘记多个 PARTITION/ORDER BY exprs 周围的括号时的错误
- [SPARK-48002] [SC-164132][PYTHON][SS] 在 PySpark StreamingQueryListener 中添加观察到的指标的测试
- [SPARK-47421] [SC-165548][SQL] 添加对 URL 表达式的排序规则支持
- [SPARK-48161] [SC-165325][SQL] 添加对 JSON 表达式的排序规则支持
- [SPARK-47359] [SC-164328][SQL] 支持 TRANSLATE 函数处理排序后的字符串
- [SPARK-47365] [SC-165643][PYTHON] 将 toArrow() DataFrame 方法添加到 PySpark
- [SPARK-48228] [SC-165649][PYTHON][CONNECT] 在 ApplyInXXX 中实现缺少的函数验证
- [SPARK-47986] [SC-165549][CONNECT][PYTHON] 服务器关闭默认会话时无法创建新会话
- [SPARK-47963] 还原“[CORE] 使外部 Spark 生态系统可以使用结构化日志记录机制”
- [SPARK-47963] [CORE] 使外部 Spark 生态系统可以使用结构化日志记录机制
- [SPARK-48208] [SC-165547][SS] 如果启用了有限内存使用，请跳过从 RocksDB 提供内存使用指标的步骤
- [SPARK-47566] [SC-164314][SQL] 支持 SubstringIndex 函数处理排序后的字符串
- [SPARK-47589] [SC-162127][SQL] Hive-Thriftserver：将带变量的 logError 迁移到结构化记录框架
- [SPARK-48205] [SC-165501][PYTHON] 移除 Python 数据源的 private[sql] 修饰符
- [SPARK-48173] [SC-165181][SQL] CheckAnalysis 应看到整个查询计划
- [SPARK-48197] [SC-165520][SQL] 避免无效 lambda 函数的断言错误
- [SPARK-47318] [SC-162573][CORE] 将 HKDF round 添加到 AuthEngine 密钥派生，以遵循标准 KEX 做法
- [SPARK-48184] [SC-165335][PYTHON][CONNECT] 始终在客户端设置
Dataframe.sample的种子 - [SPARK-48128] [SC-165004][SQL] 对于 BitwiseCount / bit_count 表达式，修复布尔类型输入的 codegen 语法错误
- [SPARK-48147] [SC-165144][SS][CONNECT] 本地 Spark 会话被删除时移除客户端侦听器
- [SPARK-48045] [SC-165299][PYTHON] 具有 multi-agg-relabel 的 Pandas API groupby 忽略 as_index=False
- [SPARK-48191] [SC-165323][SQL] 支持 UTF-32 用于字符串编码和解码
- [SPARK-45352] [SC-137627][SQL] 消除可折叠的窗口分区
- [SPARK-47297] [SC-165179][SQL] 添加对格式表达式的排序规则支持
- [SPARK-47267] [SC-165170][SQL] 添加对哈希表达式的排序规则支持
- [SPARK-47965] [SC-163822][CORE] 避免 TypedConfigBuilder 和 OptionalConfigEntry 中的 orNull
- [SPARK-48166] [SQL] 避免在 VariantExpressionEvalUtils 中使用 BadRecordException 作为面向用户的错误
- [SPARK-48105] [SC-165132][SS] 修复状态存储卸载和快照之间的争用条件
- [SPARK-47922] [SC-163997][SQL] 实现 try_parse_json 表达式
- [SPARK-47719] [SC-161909][SQL] 更改 Spark.sql.legacy.timeParse…
- [SPARK-48035] [SC-165136][SQL] 修复 try_add/try_multiply 语义等同于 add/multiply 的问题
- [SPARK-48107] [SC-164878][PYTHON] 从 Python 分发中排除测试
- [SPARK-46894] [SC-164447][PYTHON] 将 PySpark 错误条件移动到独立 JSON 文件中
- [SPARK-47583] [SC-163825][CORE] SQL 核心：将带变量的 logError 迁移到结构化记录框架
- [SPARK-48064] 还原“[SC-164697][SQL] 更新例程相关错误类的错误消息”
- [SPARK-48048] [SC-164846][CONNECT][SS] 添加了对 Scala 的客户端侦听器支持
- [SPARK-48064] [SC-164697][SQL] 更新例程相关错误类的错误消息
- [SPARK-48056] [SC-164715][CONNECT][PYTHON] 如果引发了 SESSION_NOT_FOUND 错误且未收到部分响应，则重新执行计划
- [SPARK-48124] [SC-165009][CORE] 默认禁用 Connect-Repl 的结构化日志记录
- [SPARK-47922] 还原“[SC-163997][SQL] 实现 try_parse_json 表达式”
- [SPARK-48065] [SC-164817][SQL] SPJ：allowJoinKeysSubsetOfPartitionKeys 过于严格
- [SPARK-48114] [SC-164956][CORE] 预编译模板正则表达式以避免不必要的工作
- [SPARK-48067] [SC-164773][SQL] 修复变体默认列
- [SPARK-47922] [SC-163997][SQL] 实现 try_parse_json 表达式
- [SPARK-48075] [SC-164709][SS] 添加 PySpark avro 函数的类型检查
- [SPARK-47793] [SC-164324][SS][PYTHON] 为 Python 流数据源实现 SimpleDataSourceStreamReader
- [SPARK-48081] [SC-164719] 修复 NTile.checkInputDataTypes() 中的 ClassCastException（如果参数不可折叠或类型错误）
- [SPARK-48102] [SC-164853][SS] 跟踪在报告流式查询进度时获取源/接收器指标的持续时间
- [SPARK-47671] [SC-164854][Core] 在 log4j2.properties.template 中启用结构化日志记录并更新文档
- [SPARK-47904] [SC-163409][SQL] 使用 enableStableIdentifiersForUnionType 时，在 Avro 架构中保留大小写
- [SPARK-48058] [SC-164695][SPARK-43727][PYTHON][CONNECT]
UserDefinedFunction.returnType分析 DDL 字符串 - [SPARK-46922] [SC-156102][CORE][SQL] 不要包装运行时用户面临的错误
- [SPARK-48047] [SC-164576][SQL] 降低空 TreeNode 标记的内存压力
- [SPARK-47934] [SC-164648][CORE] 确保
HistoryServerURL 重定向中的尾随斜杠 - [SPARK-47921] [SC-163826][CONNECT] 修复 ExecuteHolder 中的 ExecuteJobTag 创建
- [SPARK-48014] [SC-164150][SQL] 将 EvaluatePython 中的 makeFromJava 错误更改为面向用户的错误
- [SPARK-47903] [SC-163424][PYTHON] 在 PySpark Variant 库中添加对剩余标量类型的支持
- [SPARK-48068] [SC-164579][PYTHON]
mypy应具有--python-executable参数 - [SPARK-47846] [SC-163074][SQL] 在 from_json 表达式中添加对 Variant 类型的支持
- [SPARK-48050] [SC-164322][SS] 查询开始时的日志逻辑计划
- [SPARK-47810] [SC-163076][SQL] 在联接条件中将等效表达式替换为 <=>
- [SPARK-47741] [SC-164290] 在分析器中添加了堆栈溢出处理
- [SPARK-48053] [SC-164309][PYTHON][CONNECT] SparkSession.createDataFrame 应针对不支持的选项发出警告
- [SPARK-47939] [SC-164171][SQL] 实现新的分析器规则以在 ExplainCommand 和 DescribeQueryCommand 中移动 ParameterizedQuery
- [SPARK-48063] [SC-164432][CORE] 默认启用
spark.stage.ignoreDecommissionFetchFailure - [SPARK-48016] [SC-164280][SQL] 使用十进制时修复 try_divide 函数中的 bug
- [SPARK-48033] [SC-164291][SQL] 修复在默认列中使用的
RuntimeReplaceable表达式 - [SPARK-48010] [SC-164051][SQL][ES-1109148] 避免在 resolveExpression 中重复调用 conf.resolver
- [SPARK-48003] [SC-164323][SQL] 添加 hll 草图聚合的排序规则支持
- [SPARK-47994] [SC-164175][SQL] 修复了 SQLServer 中 CASE WHEN 列筛选器下推的 bug
- [SPARK-47984] [SC-163837][ML][SQL] 将
MetricsAggregate/V2Aggregator#serialize/deserialize更改为呼叫SparkSerDeUtils#serialize/deserialize - [SPARK-48042] [SC-164202][SQL] 在类级别将时间戳格式化程序与时区配合使用，而不是在方法级别创建副本
- [SPARK-47596] [SPARK-47600][SPARK-47604][SPARK-47804] 结构化日志迁移
- [SPARK-47594] [SPARK-47590][SPARK-47588][SPARK-47584] 结构化日志迁移
- [SPARK-47567] [SC-164172][SQL] 支持 LOCATE 函数使用排序后的字符串
- [SPARK-47764] [SC-163820][CORE][SQL] 基于 ShuffleCleanupMode 清理随机依赖项
- [SPARK-48039] [SC-164174][PYTHON][CONNECT] 更新
group.apply的错误类 - [SPARK-47414] [SC-163831][SQL] 对正则表达式的小写排序规则支持
- [SPARK-47418] [SC-163818][SQL] 为小写 unicode 感知的 contains、startsWith 和 endsWith 添加手工制作的实现，并优化 UTF8_BINARY_LCASE
- [SPARK-47580] [SC-163834][SQL] SQL 催化剂：消除错误日志中的未命名变量
- [SPARK-47351] [SC-164008][SQL] 添加对 StringToMap 和 Mask 字符串表达式的排序规则支持
- [SPARK-47292] [SC-164151][SS] safeMapToJValue 应考虑 null 类型化值
- [SPARK-47476] [SC-164014][SQL] 支持 REPLACE 函数处理排序后的字符串
- [SPARK-47408] [SC-164104][SQL] 修复使用 StringType 的 mathExpressions
- [SPARK-47350] [SC-164006][SQL] 添加对 SplitPart 字符串表达式的排序规则支持
- [SPARK-47692] [SC-163819][SQL] 修复隐式强制转换中的默认 StringType 含义
- [SPARK-47094] [SC-161957][SQL] SPJ：在存储桶不相等时动态重新平衡桶数
- [SPARK-48001] [SC-164000][CORE] 移除
SparkContext中未使用的private implicit def arrayToArrayWritable - [SPARK-47986] [SC-163999][CONNECT][PYTHON] 服务器关闭默认会话时无法创建新会话
- [SPARK-48019] [SC-164121] 使用字典和 null 修复 ColumnVector/ColumnarArray 中的错误行为
- [SPARK-47743] [SPARK-47592][SPARK-47589][SPARK-47581][SPARK-47586][SPARK-47593][SPARK-47595][SPARK-47587][SPARK-47603] 结构化日志迁移
- [SPARK-47999] [SC-163998][SS] 在 HDFS 支持的状态存储提供程序中改进快照创建和添加/移除状态缓存映射中的条目相关的日志记录
- [SPARK-47417] [SC-162872][SQL] 排序规则支持：Ascii、Chr、Base64、UnBase64、Decode、StringDecode、Encode、ToBinary、FormatNumber、Sentences
- [SPARK-47712] [SC-161871][CONNECT] 允许连接插件创建和处理数据集
- [SPARK-47411] [SC-163351][SQL] 支持 StringInstr 和 FindInSet 函数来处理排序后的字符串
- [SPARK-47360] [SC-163014][SQL] 排序规则支持：Overlay、FormatString、Length、BitLength、OctetLength、SoundEx、Luhncheck
- [SPARK-47413] [SC-163323][SQL] - 向 substr/left/right 添加排序规则支持
- [SPARK-47983] [SC-163835][SQL] 将 spark.sql.pyspark.legacy.inferArrayTypeFromFirstElement.enabled 降级为内部
- [SPARK-47964] [SC-163816][PYTHON][CONNECT] 在 pyspark-connect 中隐藏 SQLContext 和 HiveContext
- [SPARK-47985] [SC-163841][PYTHON] 使用
lit简化函数 - [SPARK-47633] [SC-163453][SQL] 在
LateralJoin#allAttributes中包含右侧计划输出以实现更一致的标准化 - [SPARK-47909] 还原“[PYTHON][CONNECT] 父 DataFrame 类…
- [SPARK-47767] [SC-163096][SQL] 在 TakeOrderedAndProjectExec 中显示偏移值
- [SPARK-47822] [SC-162968][SQL] 禁止哈希表达式对 Variant 数据类型进行哈希处理
- [SPARK-47490] [SC-160494][SS] 修复 RocksDB 记录器构造函数的用法以避免弃用警告
- [SPARK-47417] 还原“[SC-162872][SQL] 排序规则支持：Ascii、Chr、Base64、UnBase64、Decode、StringDecode、Encode、ToBinary、FormatNumber、Sentences”
- [SPARK-47352] [SC-163460][SQL] 修复 Upper、Lower、InitCap 排序规则感知
- [SPARK-47909] [PYTHON][CONNECT] Spark Connect 和 Spark Classic 的父 DataFrame 类
- [SPARK-47417] [SC-162872][SQL] 排序规则支持：Ascii、Chr、Base64、UnBase64、Decode、StringDecode、Encode、ToBinary、FormatNumber、Sentences
Databricks ODBC/JDBC 驱动程序支持
Databricks 支持过去 2 年发布的 ODBC/JDBC 驱动程序。 请下载最近发布的驱动程序并升级（下载 ODBC，下载 JDBC）。
系统环境
- 操作系统：Ubuntu 22.04.4 LTS
- Java：Zulu 8.78.0.19-CA-linux64
- Scala：2.12.18
- Python：3.11.0
- R：4.3.2
- Delta Lake：3.2.0
已安装的 Python 库
| 库 | 版本 | 库 | 版本 | 库 | 版本 |
|---|---|---|---|---|---|
| asttokens | 2.0.5 | astunparse | 1.6.3 | azure-core | 1.30.1 |
| azure-storage-blob | 12.19.1 | azure-storage-file-datalake | 12.14.0 | backcall | 0.2.0 |
| black | 23.3.0 | blinker | 1.4 | boto3 | 1.34.39 |
| botocore | 1.34.39 | cachetools | 5.3.3 | certifi | 2023.7.22 |
| cffi | 1.15.1 | chardet | 4.0.0 | charset-normalizer | 2.0.4 |
| 单击 | 8.0.4 | cloudpickle | 2.2.1 | comm | 0.1.2 |
| contourpy | 1.0.5 | 密码系统 | 41.0.3 | cycler | 0.11.0 |
| Cython | 0.29.32 | databricks-sdk | 0.20.0 | dbu-python | 1.2.18 |
| debugpy | 1.6.7 | decorator | 5.1.1 | distlib | 0.3.8 |
| entrypoints | 0.4 | 执行 | 0.8.3 | facets-overview | 1.1.1 |
| filelock | 3.13.4 | fonttools | 4.25.0 | gitdb | 4.0.11 |
| GitPython | 3.1.43 | google-api-core | 2.18.0 | google-auth | 2.29.0 |
| google-cloud-core | 2.4.1 | google-cloud-storage | 2.16.0 | google-crc32c | 1.5.0 |
| google-resumable-media | 2.7.0 | googleapis-common-protos | 1.63.0 | grpcio | 1.60.0 |
| grpcio-status | 1.60.0 | httplib2 | 0.20.2 | idna | 3.4 |
| importlib-metadata | 6.0.0 | ipyflow-core | 0.0.198 | ipykernel | 6.25.1 |
| ipython | 8.15.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.2 |
| isodate | 0.6.1 | jedi | 0.18.1 | jeepney | 0.7.1 |
| jmespath | 0.10.0 | joblib | 1.2.0 | jupyter_client | 7.4.9 |
| jupyter_core | 5.3.0 | keyring | 23.5.0 | kiwisolver | 1.4.4 |
| launchpadlib | 1.10.16 | lazr.restfulclient | 0.14.4 | lazr.uri | 1.0.6 |
| matplotlib | 3.7.2 | matplotlib-inline | 0.1.6 | mlflow-skinny | 2.11.3 |
| more-itertools | 8.10.0 | mypy-extensions | 0.4.3 | nest-asyncio | 1.5.6 |
| numpy | 1.23.5 | oauthlib | 3.2.0 | 打包 | 23.2 |
| pandas | 1.5.3 | parso | 0.8.3 | pathspec | 0.10.3 |
| patsy | 0.5.3 | pexpect | 4.8.0 | pickleshare | 0.7.5 |
| Pillow | 9.4.0 | pip | 23.2.1 | platformdirs | 3.10.0 |
| plotly | 5.9.0 | prompt-toolkit | 3.0.36 | proto-plus | 1.23.0 |
| protobuf | 4.24.1 | psutil | 5.9.0 | psycopg2 | 2.9.3 |
| ptyprocess | 0.7.0 | pure-eval | 0.2.2 | pyarrow | 14.0.1 |
| pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 | pyccolo | 0.0.52 |
| pycparser | 2.21 | pydantic | 1.10.6 | Pygments | 2.15.1 |
| PyGObject | 3.42.1 | PyJWT | 2.3.0 | pyodbc | 4.0.38 |
| pyparsing | 3.0.9 | python-dateutil | 2.8.2 | python-lsp-jsonrpc | 1.1.1 |
| pytz | 2022.7 | PyYAML | 6.0 | pyzmq | 23.2.0 |
| 请求 | 2.31.0 | rsa | 4.9 | s3transfer | 0.10.1 |
| scikit-learn | 1.3.0 | scipy | 1.11.1 | seaborn | 0.12.2 |
| SecretStorage | 3.3.1 | setuptools | 68.0.0 | 6 | 1.16.0 |
| smmap | 5.0.1 | sqlparse | 0.5.0 | ssh-import-id | 5.11 |
| stack-data | 0.2.0 | statsmodels | 0.14.0 | tenacity | 8.2.2 |
| threadpoolctl | 2.2.0 | tokenize-rt | 4.2.1 | tornado | 6.3.2 |
| traitlets | 5.7.1 | typing_extensions | 4.10.0 | tzdata | 2022.1 |
| ujson | 5.4.0 | unattended-upgrades | 0.1 | urllib3 | 1.26.16 |
| virtualenv | 20.24.2 | wadllib | 1.3.6 | wcwidth | 0.2.5 |
| wheel | 0.38.4 | zipp | 3.11.0 |
已安装的 R 库
R 库安装自 Posit Package Manager CRAN 快照。
| 库 | 版本 | 库 | 版本 | 库 | 版本 |
|---|---|---|---|---|---|
| 箭头 | 14.0.0.2 | askpass | 1.2.0 | assertthat | 0.2.1 |
| backports | 1.4.1 | base | 4.3.2 | base64enc | 0.1-3 |
| bigD | 0.2.0 | bit | 4.0.5 | bit64 | 4.0.5 |
| bitops | 1.0-7 | blob | 1.2.4 | 启动 | 1.3-28 |
| brew | 1.0-10 | brio | 1.1.4 | broom | 1.0.5 |
| bslib | 0.6.1 | cachem | 1.0.8 | callr | 3.7.3 |
| caret | 6.0-94 | cellranger | 1.1.0 | chron | 2.3-61 |
| class | 7.3-22 | CLI | 3.6.2 | clipr | 0.8.0 |
| clock | 0.7.0 | cluster | 2.1.4 | codetools | 0.2-19 |
| colorspace | 2.1-0 | commonmark | 1.9.1 | compiler | 4.3.2 |
| config | 0.3.2 | conflicted | 1.2.0 | cpp11 | 0.4.7 |
| crayon | 1.5.2 | 凭据 | 2.0.1 | curl | 5.2.0 |
| data.table | 1.15.0 | datasets | 4.3.2 | DBI | 1.2.1 |
| dbplyr | 2.4.0 | desc | 1.4.3 | devtools | 2.4.5 |
| 示意图 | 1.6.5 | diffobj | 0.3.5 | digest | 0.6.34 |
| downlit | 0.4.3 | dplyr | 1.1.4 | dtplyr | 1.3.1 |
| e1071 | 1.7-14 | ellipsis | 0.3.2 | 评估 | 0.23 |
| fansi | 1.0.6 | farver | 2.1.1 | fastmap | 1.1.1 |
| fontawesome | 0.5.2 | forcats | 1.0.0 | foreach | 1.5.2 |
| foreign | 0.8-85 | forge | 0.2.0 | fs | 1.6.3 |
| future | 1.33.1 | future.apply | 1.11.1 | gargle | 1.5.2 |
| generics | 0.1.3 | gert | 2.0.1 | ggplot2 | 3.4.4 |
| gh | 1.4.0 | git2r | 0.33.0 | gitcreds | 0.1.2 |
| glmnet | 4.1-8 | globals | 0.16.2 | glue | 1.7.0 |
| googledrive | 2.1.1 | googlesheets4 | 1.1.1 | gower | 1.0.1 |
| graphics | 4.3.2 | grDevices | 4.3.2 | grid | 4.3.2 |
| gridExtra | 2.3 | gsubfn | 0.7 | gt | 0.10.1 |
| gtable | 0.3.4 | hardhat | 1.3.1 | haven | 2.5.4 |
| highr | 0.10 | hms | 1.1.3 | htmltools | 0.5.7 |
| htmlwidgets | 1.6.4 | httpuv | 1.6.14 | httr | 1.4.7 |
| httr2 | 1.0.0 | ids | 1.0.1 | ini | 0.3.1 |
| ipred | 0.9-14 | isoband | 0.2.7 | iterators | 1.0.14 |
| jquerylib | 0.1.4 | jsonlite | 1.8.8 | juicyjuice | 0.1.0 |
| KernSmooth | 2.23-21 | knitr | 1.45 | labeling | 0.4.3 |
| later | 1.3.2 | lattice | 0.21-8 | lava | 1.7.3 |
| lifecycle | 1.0.4 | listenv | 0.9.1 | lubridate | 1.9.3 |
| magrittr | 2.0.3 | markdown | 1.12 | MASS | 7.3-60 |
| Matrix | 1.5-4.1 | memoise | 2.0.1 | 方法 | 4.3.2 |
| mgcv | 1.8-42 | mime | 0.12 | miniUI | 0.1.1.1 |
| mlflow | 2.10.0 | ModelMetrics | 1.2.2.2 | modelr | 0.1.11 |
| munsell | 0.5.0 | nlme | 3.1-163 | nnet | 7.3-19 |
| numDeriv | 2016.8-1.1 | openssl | 2.1.1 | parallel | 4.3.2 |
| parallelly | 1.36.0 | pillar | 1.9.0 | pkgbuild | 1.4.3 |
| pkgconfig | 2.0.3 | pkgdown | 2.0.7 | pkgload | 1.3.4 |
| plogr | 0.2.0 | plyr | 1.8.9 | praise | 1.0.0 |
| prettyunits | 1.2.0 | pROC | 1.18.5 | processx | 3.8.3 |
| prodlim | 2023.08.28 | profvis | 0.3.8 | 进度 | 1.2.3 |
| progressr | 0.14.0 | promises | 1.2.1 | proto | 1.0.0 |
| proxy | 0.4-27 | ps | 1.7.6 | purrr | 1.0.2 |
| R6 | 2.5.1 | ragg | 1.2.7 | randomForest | 4.7-1.1 |
| rappdirs | 0.3.3 | rcmdcheck | 1.4.0 | RColorBrewer | 1.1-3 |
| Rcpp | 1.0.12 | RcppEigen | 0.3.3.9.4 | reactable | 0.4.4 |
| reactR | 0.5.0 | readr | 2.1.5 | readxl | 1.4.3 |
| recipes | 1.0.9 | rematch | 2.0.0 | rematch2 | 2.1.2 |
| remotes | 2.4.2.1 | reprex | 2.1.0 | reshape2 | 1.4.4 |
| rlang | 1.1.3 | rmarkdown | 2.25 | RODBC | 1.3-23 |
| roxygen2 | 7.3.1 | rpart | 4.1.21 | rprojroot | 2.0.4 |
| Rserve | 1.8-13 | RSQLite | 2.3.5 | rstudioapi | 0.15.0 |
| rversions | 2.1.2 | rvest | 1.0.3 | sass | 0.4.8 |
| scales | 1.3.0 | selectr | 0.4-2 | sessioninfo | 1.2.2 |
| shape | 1.4.6 | shiny | 1.8.0 | sourcetools | 0.1.7-1 |
| sparklyr | 1.8.4 | spatial | 7.3-15 | splines | 4.3.2 |
| sqldf | 0.4-11 | SQUAREM | 2021.1 | stats | 4.3.2 |
| stats4 | 4.3.2 | stringi | 1.8.3 | stringr | 1.5.1 |
| survival | 3.5-5 | swagger | 3.33.1 | sys | 3.4.2 |
| systemfonts | 1.0.5 | tcltk | 4.3.2 | testthat | 3.2.1 |
| textshaping | 0.3.7 | tibble | 3.2.1 | tidyr | 1.3.1 |
| tidyselect | 1.2.0 | tidyverse | 2.0.0 | timechange | 0.3.0 |
| timeDate | 4032.109 | tinytex | 0.49 | 工具 | 4.3.2 |
| tzdb | 0.4.0 | urlchecker | 1.0.1 | usethis | 2.2.2 |
| utf8 | 1.2.4 | utils | 4.3.2 | uuid | 1.2-0 |
| V8 | 4.4.1 | vctrs | 0.6.5 | viridisLite | 0.4.2 |
| vroom | 1.6.5 | waldo | 0.5.2 | whisker | 0.4.1 |
| withr | 3.0.0 | xfun | 0.41 | xml2 | 1.3.6 |
| xopen | 1.0.0 | xtable | 1.8-4 | yaml | 2.3.8 |
| zeallot | 0.1.0 | zip | 2.3.1 |
已安装的 Java 库和 Scala 库（Scala 2.12 群集版本）
| 组 ID | 项目 ID | 版本 |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.12.610 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.12.610 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.12.610 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.12.610 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.12.610 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.12.610 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.12.610 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.610 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.12.610 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.610 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.12.610 |
| com.amazonaws | aws-java-sdk-config | 1.12.610 |
| com.amazonaws | aws-java-sdk-core | 1.12.610 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.12.610 |
| com.amazonaws | aws-java-sdk-directconnect | 1.12.610 |
| com.amazonaws | aws-java-sdk-directory | 1.12.610 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.12.610 |
| com.amazonaws | aws-java-sdk-ec2 | 1.12.610 |
| com.amazonaws | aws-java-sdk-ecs | 1.12.610 |
| com.amazonaws | aws-java-sdk-efs | 1.12.610 |
| com.amazonaws | aws-java-sdk-elasticache | 1.12.610 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.610 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.610 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.610 |
| com.amazonaws | aws-java-sdk-emr | 1.12.610 |
| com.amazonaws | aws-java-sdk-glacier | 1.12.610 |
| com.amazonaws | aws-java-sdk-glue | 1.12.610 |
| com.amazonaws | aws-java-sdk-iam | 1.12.610 |
| com.amazonaws | aws-java-sdk-importexport | 1.12.610 |
| com.amazonaws | aws-java-sdk-kinesis | 1.12.610 |
| com.amazonaws | aws-java-sdk-kms | 1.12.610 |
| com.amazonaws | aws-java-sdk-lambda | 1.12.610 |
| com.amazonaws | aws-java-sdk-logs | 1.12.610 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.12.610 |
| com.amazonaws | aws-java-sdk-opsworks | 1.12.610 |
| com.amazonaws | aws-java-sdk-rds | 1.12.610 |
| com.amazonaws | aws-java-sdk-redshift | 1.12.610 |
| com.amazonaws | aws-java-sdk-route53 | 1.12.610 |
| com.amazonaws | aws-java-sdk-s3 | 1.12.610 |
| com.amazonaws | aws-java-sdk-ses | 1.12.610 |
| com.amazonaws | aws-java-sdk-simpledb | 1.12.610 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.610 |
| com.amazonaws | aws-java-sdk-sns | 1.12.610 |
| com.amazonaws | aws-java-sdk-sqs | 1.12.610 |
| com.amazonaws | aws-java-sdk-ssm | 1.12.610 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.12.610 |
| com.amazonaws | aws-java-sdk-sts | 1.12.610 |
| com.amazonaws | aws-java-sdk-support | 1.12.610 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.12.610 |
| com.amazonaws | jmespath-java | 1.12.610 |
| com.clearspring.analytics | 流 (stream) | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | databricks-sdk-java | 0.17.1 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations | 2.15.2 |
| com.fasterxml.jackson.core | jackson-core | 2.15.2 |
| com.fasterxml.jackson.core | jackson-databind | 2.15.2 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.15.2 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-yaml | 2.15.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.15.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.16.0 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.15.2 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.15.2 |
| com.github.ben-manes.caffeine | caffeine | 2.9.3 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java | 1.1-natives |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1-natives |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64 | 1.1-natives |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64 | 1.1-natives |
| com.github.luben | zstd-jni | 1.5.5-4 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.10.1 |
| com.google.crypto.tink | tink | 1.9.0 |
| com.google.errorprone | error_prone_annotations | 2.10.0 |
| com.google.flatbuffers | flatbuffers-java | 23.5.26 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.helger | profiler | 1.1.1 |
| com.ibm.icu | icu4j | 72.1 |
| com.jcraft | jsch | 0.1.55 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 11.2.2.jre8 |
| com.ning | compress-lzf | 1.1.2 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.sun.xml.bind | jaxb-core | 2.2.11 |
| com.sun.xml.bind | jaxb-impl | 2.2.11 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.12 | 0.10.0 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.4.3 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.uber | h3 | 3.7.3 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| commons-cli | commons-cli | 1.5.0 |
| commons-codec | commons-codec | 1.16.0 |
| commons-collections | commons-collections | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-fileupload | commons-fileupload | 1.5 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.13.0 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-pool | commons-pool | 1.5.4 |
| dev.ludovic.netlib | arpack | 3.0.3 |
| dev.ludovic.netlib | blas | 3.0.3 |
| dev.ludovic.netlib | lapack | 3.0.3 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0.25 |
| io.delta | delta-sharing-client_2.12 | 1.0.5 |
| io.dropwizard.metrics | metrics-annotation | 4.2.19 |
| io.dropwizard.metrics | metrics-core | 4.2.19 |
| io.dropwizard.metrics | metrics-graphite | 4.2.19 |
| io.dropwizard.metrics | metrics-healthchecks | 4.2.19 |
| io.dropwizard.metrics | metrics-jetty9 | 4.2.19 |
| io.dropwizard.metrics | metrics-jmx | 4.2.19 |
| io.dropwizard.metrics | metrics-json | 4.2.19 |
| io.dropwizard.metrics | metrics-jvm | 4.2.19 |
| io.dropwizard.metrics | metrics-servlets | 4.2.19 |
| io.netty | netty-all | 4.1.96.Final |
| io.netty | netty-buffer | 4.1.96.Final |
| io.netty | netty-codec | 4.1.96.Final |
| io.netty | netty-codec-http | 4.1.96.Final |
| io.netty | netty-codec-http2 | 4.1.96.Final |
| io.netty | netty-codec-socks | 4.1.96.Final |
| io.netty | netty-common | 4.1.96.Final |
| io.netty | netty-handler | 4.1.96.Final |
| io.netty | netty-handler-proxy | 4.1.96.Final |
| io.netty | netty-resolver | 4.1.96.Final |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-linux-aarch_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-linux-x86_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-osx-aarch_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-osx-x86_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-windows-x86_64 |
| io.netty | netty-tcnative-classes | 2.0.61.Final |
| io.netty | netty-transport | 4.1.96.Final |
| io.netty | netty-transport-classes-epoll | 4.1.96.Final |
| io.netty | netty-transport-classes-kqueue | 4.1.96.Final |
| io.netty | netty-transport-native-epoll | 4.1.96.Final |
| io.netty | netty-transport-native-epoll | 4.1.96.Final-linux-aarch_64 |
| io.netty | netty-transport-native-epoll | 4.1.96.Final-linux-x86_64 |
| io.netty | netty-transport-native-kqueue | 4.1.96.Final-osx-aarch_64 |
| io.netty | netty-transport-native-kqueue | 4.1.96.Final-osx-x86_64 |
| io.netty | netty-transport-native-unix-common | 4.1.96.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | 收集器 | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | activation | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | transaction-api | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.11 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.12.1 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | pickle | 1.3 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.9.3 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.10.11 |
| org.apache.ant | ant-jsch | 1.10.11 |
| org.apache.ant | ant-launcher | 1.10.11 |
| org.apache.arrow | arrow-format | 15.0.0 |
| org.apache.arrow | arrow-memory-core | 15.0.0 |
| org.apache.arrow | arrow-memory-netty | 15.0.0 |
| org.apache.arrow | arrow-vector | 15.0.0 |
| org.apache.avro | avro | 1.11.3 |
| org.apache.avro | avro-ipc | 1.11.3 |
| org.apache.avro | avro-mapred | 1.11.3 |
| org.apache.commons | commons-collections4 | 4.4 |
| org.apache.commons | commons-compress | 1.23.0 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.12.0 |
| org.apache.commons | commons-math3 | 3.6.1 |
| org.apache.commons | commons-text | 1.10.0 |
| org.apache.curator | curator-client | 2.13.0 |
| org.apache.curator | curator-framework | 2.13.0 |
| org.apache.curator | curator-recipes | 2.13.0 |
| org.apache.datasketches | datasketches-java | 3.1.0 |
| org.apache.datasketches | datasketches-memory | 2.0.0 |
| org.apache.derby | derby | 10.14.2.0 |
| org.apache.hadoop | hadoop-client-runtime | 3.3.6 |
| org.apache.hive | hive-beeline | 2.3.9 |
| org.apache.hive | hive-cli | 2.3.9 |
| org.apache.hive | hive-jdbc | 2.3.9 |
| org.apache.hive | hive-llap-client | 2.3.9 |
| org.apache.hive | hive-llap-common | 2.3.9 |
| org.apache.hive | hive-serde | 2.3.9 |
| org.apache.hive | hive-shims | 2.3.9 |
| org.apache.hive | hive-storage-api | 2.8.1 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
| org.apache.hive.shims | hive-shims-common | 2.3.9 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
| org.apache.httpcomponents | httpclient | 4.5.14 |
| org.apache.httpcomponents | httpcore | 4.4.16 |
| org.apache.ivy | ivy | 2.5.1 |
| org.apache.logging.log4j | log4j-1.2-api | 2.22.1 |
| org.apache.logging.log4j | log4j-api | 2.22.1 |
| org.apache.logging.log4j | log4j-core | 2.22.1 |
| org.apache.logging.log4j | log4j-layout-template-json | 2.22.1 |
| org.apache.logging.log4j | log4j-slf4j2-impl | 2.22.1 |
| org.apache.orc | orc-core | 1.9.2-shaded-protobuf |
| org.apache.orc | orc-mapreduce | 1.9.2-shaded-protobuf |
| org.apache.orc | orc-shims | 1.9.2 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.ws.xmlschema | xmlschema-core | 2.3.0 |
| org.apache.xbean | xbean-asm9-shaded | 4.23 |
| org.apache.yetus | audience-annotations | 0.13.0 |
| org.apache.zookeeper | zookeeper | 3.6.3 |
| org.apache.zookeeper | zookeeper-jute | 3.6.3 |
| org.checkerframework | checker-qual | 3.31.0 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.collections | eclipse-collections | 11.1.0 |
| org.eclipse.collections | eclipse-collections-api | 11.1.0 |
| org.eclipse.jetty | jetty-client | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-continuation | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-http | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-io | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-jndi | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-plus | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-proxy | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-security | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-server | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-servlet | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-servlets | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-util | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-webapp | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-xml | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-api | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-client | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-common | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-server | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-servlet | 9.4.52.v20230823 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.40 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.40 |
| org.glassfish.jersey.core | jersey-client | 2.40 |
| org.glassfish.jersey.core | jersey-common | 2.40 |
| org.glassfish.jersey.core | jersey-server | 2.40 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.40 |
| org.hibernate.validator | hibernate-validator | 6.1.7.Final |
| org.ini4j | ini4j | 0.5.4 |
| org.javassist | javassist | 3.29.2-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jetbrains | annotations | 17.0.0 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
| org.json4s | json4s-core_2.12 | 3.7.0-M11 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
| org.lz4 | lz4-java | 1.8.0 |
| org.mlflow | mlflow-spark_2.12 | 2.9.1 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.6.1 |
| org.roaringbitmap | RoaringBitmap | 0.9.45-databricks |
| org.roaringbitmap | shims | 0.9.45-databricks |
| org.rocksdb | rocksdbjni | 8.11.4 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.15 |
| org.scala-lang | scala-library_2.12 | 2.12.15 |
| org.scala-lang | scala-reflect_2.12 | 2.12.15 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.11.0 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.2.15 |
| org.scalanlp | breeze-macros_2.12 | 2.1.0 |
| org.scalanlp | breeze_2.12 | 2.1.0 |
| org.scalatest | scalatest-compatible | 3.2.15 |
| org.scalatest | scalatest-core_2.12 | 3.2.15 |
| org.scalatest | scalatest-diagrams_2.12 | 3.2.15 |
| org.scalatest | scalatest-featurespec_2.12 | 3.2.15 |
| org.scalatest | scalatest-flatspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-freespec_2.12 | 3.2.15 |
| org.scalatest | scalatest-funspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-funsuite_2.12 | 3.2.15 |
| org.scalatest | scalatest-matchers-core_2.12 | 3.2.15 |
| org.scalatest | scalatest-mustmatchers_2.12 | 3.2.15 |
| org.scalatest | scalatest-propspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-refspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-shouldmatchers_2.12 | 3.2.15 |
| org.scalatest | scalatest-wordspec_2.12 | 3.2.15 |
| org.scalatest | scalatest_2.12 | 3.2.15 |
| org.slf4j | jcl-over-slf4j | 2.0.7 |
| org.slf4j | jul-to-slf4j | 2.0.7 |
| org.slf4j | slf4j-api | 2.0.7 |
| org.slf4j | slf4j-simple | 1.7.25 |
| org.threeten | threeten-extra | 1.7.1 |
| org.tukaani | xz | 1.9 |
| org.typelevel | algebra_2.12 | 2.0.1 |
| org.typelevel | cats-kernel_2.12 | 2.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0 |
| org.typelevel | spire-platform_2.12 | 0.17.0 |
| org.typelevel | spire-util_2.12 | 0.17.0 |
| org.typelevel | spire_2.12 | 0.17.0 |
| org.wildfly.openssl | wildfly-openssl | 1.1.3.Final |
| org.xerial | sqlite-jdbc | 3.42.0.0 |
| org.xerial.snappy | snappy-java | 1.1.10.3 |
| org.yaml | snakeyaml | 2.0 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.cryptools | AmazonCorrettoCryptoProvider | 1.6.1-linux-x86_64 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |