備註
針對此 Databricks Runtime 版本的支援已結束。 如需了解終止支援日期，請參閱終止支援歷程記錄。 如需查看所有支援的 Databricks Runtime 版本，請參閱 Databricks Runtime 版本說明和相容性。
以下版本資訊提供由 Apache Spark 3.5.0 支援的 Databricks Runtime 14.1 的相關資訊。
Databricks 於 2023 年 10 月發行此版本。
新功能和改善
- array_insert() 使用從 1 開始的負數索引
- Delta v2 檢查點依預設會搭配液體叢集啟用
- 在公開預覽中卸除 Delta 資料表功能
- Delta Sharing：收件者可以使用刪除向量在共用資料表上執行批次查詢 (公開預覽)
- Delta Sharing：接收者可以在共用資料表上使用欄位對應執行批次查詢（公開預覽版）
- 公開預覽中的 Unity 目錄檢視串流
- 公開預覽中的 Apache Pulsar 連接器
- 升級的 Snowflake 驅動程式
- SQL 工作階段變數
- 在 SQL 和 Python UDF 上使用具名參數調用。
- 函式的資料表引數支援資料分割和排序。
- 新的和增強的內建 SQL 函式
- 改善相互關聯的子查詢處理
array_insert() 對於負索引是以 1 為基準的。
array_insert 函式對於正索引和負索引都以 1 為基礎。 它現在會在索引 -1 的輸入數位列結尾插入新元素。 若要還原先前的行為，請將 spark.sql.legacy.negativeIndexInArrayInsert 設定為 true。
依預設會啟用 Delta v2 檢查點與液體叢集
新建立的 Delta 資料表與液體叢集預設會使用 v2 檢查點。 請參閱與液態叢集的資料表相容性。
在公開預覽中卸除 Delta 資料表功能
您現在可以移除 Delta 資料表的一部分功能。 目前的支援包括卸除 deletionVectors 和 v2Checkpoint。 請參閱 刪除 Delta Lake 資料表功能和降級資料表協議。
Delta Sharing：收件者可以使用刪除向量在共用資料表上執行批次查詢 (公開預覽)
Delta 共用收件者現在可以在使用刪除向量的共用資料表上執行批次查詢。 請參閱 將具有刪除向量或欄位映射的表格新增至共用，讀取已啟用刪除向量或欄位映射的表格，以及 讀取已啟用刪除向量或欄位映射的表格。
Delta Sharing：收件者可以在對應欄位的共用資料表上執行批次查詢（公開預覽版）
Delta 共享收件者現在可以對使用欄位對應的共享資料表執行批次查詢。 請參閱 將具有刪除向量或欄位映射的表格新增至共用，讀取已啟用刪除向量或欄位映射的表格，以及 讀取已啟用刪除向量或欄位映射的表格。
在公開預覽中從 Unity Catalog 檢視進行串流
您現在可以使用結構化串流，從向 Unity 目錄註冊的檢視中執行串流讀取。 Azure Databricks 僅支持針對 Delta 數據表定義的檢視串流讀取。
公開預覽中的 Apache Pulsar 連接器
您現在可以使用結構化串流技術，從 Azure Databricks 上的 Apache Pulsar 對資料進行串流。 請參閱來自 Apache Pulsar 的串流。
升級的 Snowflake 驅動程式
Snowflake JDBC 驅動程序現在使用 3.13.33 版。
SQL 工作階段變數
此版本引入了在工作階段中宣告臨時變數的功能，可以設定這些臨時變數，然後在查詢中引用這些臨時變數。 請參閱<變數>。
在 SQL 和 Python UDF 上使用具名參數調用。
您現在可以在 SQL 和 Python UDF 上使用具名參數調用。
函式的資料表引數支援資料分割和排序。
您現在可以使用 PARTITION BY 和 ORDER BY 子句來控制在函式調用期間將資料表自變數傳遞至函式的方式。
新的和增強的內建 SQL 函式
已新增下列內建函式：
-
from_xml：將 XML
STRING剖析成STRUCT。 -
schema_of_xml：從 XML
STRING衍生結構描述。 - session_user：傳回登入的使用者。
-
try_reflect：如果 Java 方法失敗，則傳回
NULL而不是例外狀況。
下列內建函式已被強化：
- 模式：支援強制確定性結果的選擇性參數。
-
to_char：
DATE、TIMESTAMP和BINARY的新支援。 -
to_varchar：
DATE、TIMESTAMP和BINARY的新支援。
改善相互關聯的子查詢處理
已擴充在子查詢中處理相互關聯的能力：
- 在相互關聯的純量（橫向）子查詢中處理限制和排序。
- 支援相互關聯的純量子查詢中的視窗函式。
- 在聯結述詞中支援純量和橫向子查詢的相互關聯參考
行為變更
Photon Parquet 讀取器中的嚴格類型檢查
嘗試從不是十進位類型的 Parquet 資料欄讀取十進位值時，Photon 會失敗。 從 Parquet 讀取固定長度位元組陣列做為字串時，Photon 也會失敗。
圖書館升級
- 升級的 Python 程式庫：
- filelock 從 3.12.2 更新到 3.12.3
- s3transfer 從版本 0.6.1 更新到 版本 0.6.2
- 升級的 Java 程式庫：
- com.uber.h3 從 3.7.0 到 3.7.3
- io.airlift.aircompressor 從 0.24 更新至 0.25
- io.delta.delta-sharing-spark_2.12 版本從 0.7.1 升級到 0.7.5
- io.netty.netty-all 從 4.1.93.Final 到 4.1.96.Final
- io.netty.netty-buffer 從版本 4.1.93.Final 升級至 4.1.96.Final
- 從 4.1.93.Final 到 4.1.96.Final 的 io.netty.netty-codec
- io.netty.netty-codec-http：從 4.1.93.Final 到 4.1.96.Final
- io.netty.netty-codec-http2，從 4.1.93.Final 到 4.1.96.Final
- io.netty.netty-codec-socks 從 4.1.93.Final 到 4.1.96.Final
- io.netty.netty-common 從版本 4.1.93.Final 升級到 4.1.96.Final
- 將 io.netty.netty-handler 從 4.1.93.Final 更新至 4.1.96.Final
- io.netty.netty-handler-proxy 從 4.1.93.Final 升級到 4.1.96.Final
- io.netty.netty-resolver 從 4.1.93.Final 更新至 4.1.96.Final
- 從 4.1.93.Final 到 4.1.96.Final 的 io.netty.netty-transport
- io.netty.netty-transport-classes-epoll 從 4.1.93.Final 到 4.1.96.Final
- io.netty.netty-transport-classes-kqueue 從 4.1.93.Final 到 4.1.96.Final
- io.netty.netty-transport-native-epoll 從版本 4.1.93.Final-linux-x86_64 升級到版本 4.1.96.Final-linux-x86_64
- io.netty.netty-transport-native-kqueue 從 4.1.93.Final-osx-x86_64 到 4.1.96.Final-osx-x86_64
- io.netty.netty-transport-native-unix-common，版本從 4.1.93.Final 更新至 4.1.96.Final
- net.snowflake.snowflake-jdbc 從 3.13.29 到 3.13.33
- org.apache.orc.orc-core：從 1.9.0-shaded-protobuf 到 1.9.1-shaded-protobuf
- org.apache.orc.orc-mapreduce 從版本 1.9.0-shaded-protobuf 升級到版本 1.9.1-shaded-protobuf
- org.apache.orc.orc-shims，從版本 1.9.0 到版本 1.9.1
Apache Spark
Databricks Runtime 14.1 包含 Apache Spark 3.5.0。 此版本包含 Databricks Runtime 14.0 (EoS) 中包含的所有 Spark 修正和改善，以及下列對 Spark 進行的其他錯誤修正和改進：
- [SPARK-45088] [DBRRM-557] 還原 “[SC-142785][python][CONNECT] 使 getitem 可處理重複的欄位”
-
[SPARK-43453] [DBRRM-557]Revert “[SC-143135][ps] 當為
names執行MultiIndex時，忽略axis=1的concat” - [SPARK-45225] [SC-143207][sql] XML： XSD 檔案 URL 支援
-
[SPARK-45156] [SC-142782][sql] 用反引號包裝
inputName，位於NON_FOLDABLE_INPUT錯誤類別中 - [SPARK-44910] [SC-143082][sql] Encoders.bean 不支援具有泛型類型自變數的超級類別
-
[SPARK-43453] [SC-143135][ps] 當
namesMultiIndex時，忽略axis=1的concat - [SPARK-44463] [SS][connect] 改善連線處理 Python 工作程序的錯誤處理
- [SPARK-44960] [SC-141023][ui] Unescape，並在 UI 頁面上包含錯誤摘要
- [SPARK-44788] [SC-142980][connect][PYTHON][sql] 將from_xml和schema_of_xml新增至 pyspark、spark connect 和 sql 函式
- [SPARK-44614] [SC-138460][python][CONNECT][3.5] 在 setup.py 中新增遺漏的套件
- [SPARK-45151] [SC-142861][core][UI] 工作層級執行緒擷取支援
- [SPARK-45056] [SC-142779][python][SS][connect] streamingQueryListener 和 foreachBatch 的終止測試
- [SPARK-45084] [SC-142828][ss] 將 StateOperatorProgress 調整為使用精確的有效 shuffle 分區編號
- [SPARK-44872] [SC-142405][connect] 伺服器測試基礎結構和 ReattachableExecuteSuite
-
[SPARK-45197] [SC-142984][core]
StandaloneRestServer將JavaModuleOptions新增至驅動程式 - [SPARK-44404] [SC-139601][sql] 將名稱指派給錯誤類別 LEGACY_ERROR_TEMP[1009,1010,1013,1015,1016,1278]
- [SPARK-44647] [SC-142297][sql] 支援 SPJ，其中聯結密鑰小於叢集密鑰
-
[SPARK-45088] [SC-142785][python][CONNECT] 讓
getitem使用重複的數據行 -
[SPARK-45128] [SC-142851][sql] 支援
CalendarIntervalType在 Arrow 中 - [SPARK-45130] [SC-142976][connect][ML][python] 避免 Spark Connect ML 模型變更輸入 pandas 資料框
- [SPARK-45034] [SC-142959][sql] 支持確定性模式函式
- [SPARK-45173] [SC-142931][ui] 移除 UI 中一些不必要的 sourceMapping 檔案
-
[SPARK-45162] [SC-142781][sql] 支援透過
call_function建構的映射和陣列參數 - [SPARK-45143] [SC-142840][python][CONNECT] 讓 PySpark 與 PyArrow 13.0.0 兼容
-
[SPARK-45174] [SC-142837][core] 支援
spark.deploy.maxDrivers -
[SPARK-45167] [SC-142956][connect][PYTHON] Python 用戶端必須呼叫
release_all - [SPARK-36191] [SC-142777][sql] 處理相互關聯的純量（橫向）子查詢中的限制和排序
- [SPARK-45159] [SC-142829][python] 僅在必要時處理具名自變數
- [SPARK-45133] [SC-142512][connect] 讓 Spark Connect 查詢在最後一個結果工作完成時完成
- [SPARK-44801] [SC-140802][sql][UI] 在監聽器和 UI 中捕獲分析失敗的查詢
- [SPARK-45139] [SC-142527][sql] 新增 DatabricksDialect 來處理 SQL 類型轉換
-
[SPARK-45157] [SC-142546][sql] 避免在
if中重複[On|Off|HeapColumnVector檢查 - [SPARK-45077] 還原 “[SC-142069][ui] 從 04.3 升級 dagre-d3.js 至 0.6.4”
- [SPARK-45145] [SC-142521][example] 新增 JavaSparkSQLCli 範例
-
[SPARK-43295] 撤銷 “[SC-142254][ps] 支援
DataFrameGroupBy.sum的字串類型欄位” - [SPARK-44915] [ SC-142383][核心] 在復原之前驗證重新掛接的PVC洗牌數據總和檢查碼
-
[SPARK-45147] [SC-142524][core] 移除
System.setSecurityManager的使用 -
[SPARK-45104] [SC-142206][ui]
graphlib-dot.min.js升級至 1.0.2 -
[SPARK-44238] [SC-141606][core][SQL] 引進具有位元組陣列輸入的新
readFrom方法BloomFilter -
[SPARK-45060] [SC-141742][sql] 修正
to_char()在NULL格式中的內部錯誤 -
[SPARK-43252] [SC-142381][sql] 以內部錯誤取代錯誤類別
_LEGACY_ERROR_TEMP_2016 - [SPARK-45069] [SC-142279][sql] SQL 變數應該一律會在外部參考之後解析
- [SPARK-44911] [SC-142388][sql] 建立具有無效欄位的 Hive 表格應該會發出錯誤類別
- [SPARK-42754] [SC-125567][sql][UI] 修正巢狀 SQL 執行中的回溯相容性問題
-
[SPARK-45121] [SC-142375][connect][PS] 支援 Spark Connect 的
Series.empty。 - [SPARK-44805] [SC-142203][sql] getBytes/getShorts/getInts/etc. 應該在具有字典的列向量中運作
-
[SPARK-45027] [SC-142248][python] 隱藏自動完成
pyspark.sql.functions中的內部函式/變數 -
[SPARK-45073] [SC-141791][ps][CONNECT] 以
LastNotNull取代Last(ignoreNulls=True) - [SPARK-44901] [ SC-141676][sql] 手動反向移植：在 Python UDTF 'analyze' 方法中新增 API 以傳回分割/排序表達式
-
[SPARK-45076] [SC-141795][ps] 切換至內建
repeat函式 - [SPARK-44162] [SC-141605][core] 支援 Spark 效能指標中的 G1GC
- [SPARK-45053] [SC-141733][python][小改進] 改善 python 版本不符的日誌記錄
-
[SPARK-44866] [SC-142221][sql] 新增
SnowflakeDialect以正確處理 BOOLEAN 類型 -
[SPARK-45064] [SC-141775][python][CONNECT] 在
scale中新增遺漏的ceil/ceiling參數 -
[SPARK-45059] [SC-141757][connect][PYTHON] 將
try_reflect函式新增至 Scala 和 Python -
[SPARK-43251] [SC-142280][sql] 以內部錯誤取代錯誤類別
_LEGACY_ERROR_TEMP_2015 - [SPARK-45052] [SC-141736][sql][PYTHON][connect] 使函式別名輸出數據行名稱與 SQL 一致
- [SPARK-44239] [SC-141502][sql] 當向量重設時，釋放由大型向量配置的記憶體
-
[SPARK-43295] [SC-142254][ps] 支援
DataFrameGroupBy.sum的字串類型的欄位 - [SPARK-45080] [SC-142062][ss] 明確指出對 DSv2 串流數據源中柱狀格式的支援
- [SPARK-45036] [SC-141768][sql] SPJ：簡化邏輯來處理部分叢集分佈
- [SPARK-45077] [SC-142069][ui] 將 dagre-d3.js 從 0.4.3 升級至 0.6.4
-
[SPARK-45091] [SC-142020][python][CONNECT][sql] 函式
floor/round/bround接受數據行類型scale -
[SPARK-45090] [SC-142019][python][CONNECT]
DataFrame.{cube, rollup}支持列序數 -
[SPARK-44743] [SC-141625][sql] 新增
try_reflect函式 - [SPARK-45086] [SC-142052][ui] 顯示線程鎖定哈希碼的十六進位
- [SPARK-44952] [SC-141644][sql][PYTHON] 支持匯總 Pandas UDF 中的具名自變數
-
[SPARK-44987] [SC-141552][sql] 將名稱指派給錯誤類別
_LEGACY_ERROR_TEMP_1100 -
[SPARK-45032] [SC-141730][connect] 修正與
Top-level wildcard is not allowed and will error under -Xsource:3相關的編譯警告 - [SPARK-45048] [SC-141629][connect] 增加針對 Python 客戶端和可附加執行的附加測試
- [SPARK-45072] [SC-141807][connect] 修正 Ammonite 類的外部範圍
-
[SPARK-45033] [SC-141759][sql] 支援透過參數化的映射
sql() -
[SPARK-45066] [SC-141772][sql][PYTHON][connect] 讓函式
repeat接受數據行類型n - [SPARK-44860] [SC-141103][sql] 新增SESSION_USER函式
-
[SPARK-45074] [SC-141796][python][CONNECT]
DataFrame.{sort, sortWithinPartitions}支援欄位序數 -
[SPARK-45047] [SC-141774][python][CONNECT]
DataFrame.groupBy支援序數 - [SPARK-44863] [SC-140798][ui] 在 Spark UI 中新增按鈕，以 txt 格式下載線程傾印檔案
-
[SPARK-45026] [SC-141604][connect]
spark.sql應該支援與箭號不相容的數據類型 -
[SPARK-44999] [SC-141145][core] 重構
ExternalSorter在呼叫shouldPartition時減少對getPartition的檢查 -
[SPARK-42304] [SC-141501][sql] 將
_LEGACY_ERROR_TEMP_2189重新命名為GET_TABLES_BY_TYPE_UNSUPPORTED_BY_HIVE_VERSION - [SPARK-43781] [SC-139450][sql] 修正從相同來源衍生的兩個數據集進行聯合分組時的 IllegalStateException
- [SPARK-45018] [SC-141516][python][CONNECT] 將 CalendarIntervalType 新增至 Python 用戶端
- [SPARK-45024] [SC-141513][python][CONNECT] 篩選出會話建立中的某些設定
-
[SPARK-45017] [SC-141508][python] 將
CalendarIntervalType新增至 PySpark - [SPARK-44720] [SC-139375][connect] 讓數據集使用編碼器，而不是 AgnosticEncoder
- [SPARK-44982] [SC-141027][connect] 將 Spark Connect 伺服器組態標示為靜態
- [SPARK-44839] [SC-140900][ss][CONNECT] 當使用者嘗試串行化 Spark 會話時，更好的錯誤記錄
- [SPARK-44865] [SC-140905][ss] 讓 StreamingRelationV2 支援元數據行
- [SPARK-45001] [SC-141141][python][CONNECT] 實作 DataFrame.foreachPartition
- [SPARK-44497] [SC-141017][webui] 在工作數據表中顯示工作分割標識符
- [SPARK-45006] [SC-141143][ui] 針對時間軸 x 軸使用其他 UI 日期元素的相同日期格式
- [SPARK-45000] [SC-141135][python][CONNECT] 實作 DataFrame.foreach
- [SPARK-44967] [SC-141137][sql][CONNECT] 在使用 Boolean 作為 TreeNodeTag 前應首先考慮單位
-
[SPARK-44993] [SC-141088][core] 新增
ShuffleChecksumUtils.compareChecksums透過重複使用ShuffleChecksumTestHelp.compareChecksums - [SPARK-44807] [SC-140176][connect] 將 Dataset.metadataColumn 新增至 Scala 用戶端
-
[SPARK-44965] [SC-141098][python] 將內部函式/變數從
pyspark.sql.functions隱藏起來 -
[SPARK-44983] [SC-141030][sql] 將二進位檔轉換成字串的格式使用
to_char：hex、base64、utf-8 - [SPARK-44980] [DBRRM-462][sc-141024][PYTHON][connect] 修正繼承的命名元組以在 createDataFrame 中使用
- [SPARK-44985] [SC-141033][core] 將使用 toString 替代堆疊追蹤以生成任務回收器的執行緒轉儲
-
[SPARK-44984] [SC-141028][python][CONNECT] 從 DataFrame 移除
_get_alias - [SPARK-44975] [SC-141013][sql] 移除已解析的二進位算術無效覆寫
-
[SPARK-44969] [SC-140957][sql] 在
ArrayInsert中重複使用ArrayAppend - [SPARK-44549] [SC-140714][sql] 在相互關聯的純量子查詢中支持視窗函式
-
[SPARK-44938] [SC-140811][sql] 將預設值
spark.sql.maxSinglePartitionBytes變更為 128m - [SPARK-44918] [SC-140816][sql][PYTHON] 支援純量 Python/Pandas UDF 中的具名自變數
-
[SPARK-44966] [SC-140907][core][CONNECT] 永不變更的
var改為val - [SPARK-41471] [SC-140804][sql] 當聯結的一端使用 KeyGroupedPartitioning 時，減少 Spark shuffle 过程。
- [SPARK-44214] [SC-140528][core] 支援 Spark 驅動程式實時記錄 UI
- [SPARK-44861] [ SC-140716][connect] jsonignore SparkListenerConnectOperationStarted.planRequest
- [SPARK-44776] [SC-140519][connect] 將 ProducedRowCount 新增至 SparkListenerConnectOperationFinished
-
[SPARK-42017] [SC-140765][python][CONNECT]
df['col_name']應該驗證數據行名稱 - [SPARK-40178] [SC-140433][sql][CONNECT] 支援 PySpark 和 R 的合併提示
-
[SPARK-44840] [SC-140593][sql] 將負索引改為以 1 為基底的
array_insert() - [SPARK-44939] [SC-140778][r] 在 SparkR SystemRequirements 中支援 Java 21
- [SPARK-44936] [SC-140770][core] 在 Spark HybridStore 達到記憶體限制時簡化記錄
- [SPARK-44908] [SC-140712][ml][CONNECT] 修正交叉驗證器中的foldCol參數功能
- [SPARK-44816] [SC-140717][connect] 在找不到 UDF 類別時改善錯誤訊息
- [SPARK-44909] [SC-140710][ml] 當無法使用時，跳過啟動 PyTorch 分布器日誌串流伺服器
- [SPARK-44920] [SC-140707][core] 在TransportClientFactory.createClient()中使用await()而不是awaitUninterruptibly()
- [SPARK-44905] [SC-140703][sql] lastRegex 具狀態的 regexp_replace 在 eval 上會導致 NullPointerException
- [SPARK-43987] [SC-139594][Shuffle] 將 finalizeShuffleMerge 處理分離到專用執行緒池
- [SPARK-42768] [SC-140549][sql] 依默認啟用快取計劃套用 AQE
-
[SPARK-44741] [SC-139447][core]
StatsdSink支援以 regex 為基礎的 MetricFilter - [SPARK-44751] [SC-140532][sql] XML FileFormat 介面實作
-
[SPARK-44868] [SC-140438][sql]
to_char/to_varchar將日期時間轉換成字符串 - [SPARK-44748] [SC-140504][sql] UDTF PARTITION 自變數中 TABLE BY 子句的查詢執行
- [SPARK-44873] [SC-140427] 在Hive用戶端中使用巢狀資料欄支援改變檢視
- [SPARK-44876] [SC-140431][python] 修正 Spark Connect 上使用 Arrow 優化的 Python UDF
- [SPARK-44520] [SC-137845][sql] 將字詞 UNSUPPORTED_DATA_SOURCE_FOR_DIRECT_QUERY 修改為 UNSUPPORTED_DATASOURCE_FOR_DIRECT_QUERY，同時揭露根 AE。
-
[SPARK-42664] [SC-139769][connect] 支援
bloomFilter函式DataFrameStatFunctions -
[SPARK-43567] [SC-139227][ps] 支援
use_na_sentinel給factorize - [SPARK-44859] [SC-140254][ss] 修正結構化串流檔中不正確的屬性名稱
- [SPARK-44822] [SC-140182][python][SQL] 預設將 Python UDDF 設為不具決定性
- [SPARK-44731] [SC-139524][python][CONNECT] 讓 TimestampNTZ 與 Python Spark Connect 中的常值搭配運作
- [SPARK-44836] [SC-140180][python] 重構 Arrow Python UDTF
- [SPARK-44714] [SC-139238] 放寬有關使用 having 子句查詢的 LCA 解析限制
- [SPARK-44749] [SC-139664][sql][PYTHON] 支援 Python UDTF 中的具名自變數
- [SPARK-44737] [SC-139512][sql][UI] 不應顯示 SQL 頁面上 SQL 標籤中非 SparkThrowables 的 JSON 格式錯誤
- [SPARK-44665] [SC-139307][python] 新增 pandas DataFrame assertDataFrameEqual 的支援
- [SPARK-44736] [SC-139622][connect] 將 Dataset.explode 新增至 Spark Connect Scala 用戶端
- [SPARK-44732] [SC-139422][sql] 內建 XML 數據源支援
- [SPARK-44694] [SC-139213][python][CONNECT] 重構使用中會話，並將其公開為 API
- [SPARK-44652] [SC-138881] 當只有一個 df 為 None 時引發錯誤
- [SPARK-44562] [SC-138824][sql] 在 Subquery 批次中新增 OptimizeOneRowRelationSubquery
- [SPARK-44717] [SC-139319][python][PS] 在重新取樣中尊重 TimestampNTZ
- [SPARK-42849] [SC-139365][SQL] 會話變數
-
[SPARK-44236] [SC-139239][sql] 將
spark.sql.codegen.factoryMode設為 NO_CODEGEN時停用 WholeStageCodegen -
[SPARK-44695] [SC-139316][python] 改善
DataFrame.toDF的錯誤訊息 -
[SPARK-44680] [SC-139234][sql] 改善
DEFAULT中的參數錯誤 - [SPARK-43402] [SC-138321][sql] FileSourceScanExec 支援使用純量子查詢向下推送數據篩選
- [SPARK-44641] [SC-139216][sql] 在未觸發 SPJ 時在某些情況下出現錯誤結果
-
[SPARK-44689] [SC-139219][connect] 讓函式的例外狀況處理
SparkConnectPlanner#unpackScalarScalaUDF更加普遍 -
[SPARK-41636] [SC-139061][sql] 確定
selectFilters以決定性順序傳回述詞 -
[SPARK-44132] [SC-139197][sql] 實體化聯結欄位名稱
Stream以避免 codegen 失敗 -
[SPARK-42330] [SC-138838][sql] 將名稱指派給錯誤類別
RULE_ID_NOT_FOUND_LEGACY_ERROR_TEMP_2175 - [SPARK-44683] [SC-139214][ss] 記錄層級未正確傳遞至 RocksDB 狀態存放區提供者
-
[SPARK-44658] [SC-138868][core]
ShuffleStatus.getMapStatus應該傳回None，而不是Some(null) - [SPARK-44603] [SC-138353] 將 pyspark.testing 新增至 setup.py
- [SPARK-44252] [SC-137505][ss] 定義新的錯誤類別，並適用於從 DFS 載入狀態失敗的情況
- [SPARK-29497] [DBRRM-396][sc-138477][CONNECT] 當 UDF 無法反序列化時擲回錯誤。
- [SPARK-44624] [ DBRRM-396][sc-138900][CONNECT] 若初始請求未送達伺服器的情況下，重試 ExecutePlan
- [SPARK-41400] [DBRRM-396][sc-138287][CONNECT] 移除 Connect 用戶端催化劑相依性
- [SPARK-44059] [SC-138833][sql] 為名為 argumnts 的 SQL 新增更好的錯誤訊息
-
[SPARK-44620] [SC-138831][sql][PS][connect] 讓
ResolvePivot保留Plan_ID_TAG - [SPARK-43838] [ SC-137413][sql] 修正單一表格上有 Having 子句的子查詢無法進行優化
- [SPARK-44555] [SC-138820][sql] 使用 checkError（） 檢查命令套件中的例外狀況，& 指派一些錯誤類別名稱
- [SPARK-44280] [SC-138821][sql] 新增 convertJavaTimestampToTimestamp 至 JDBCDialect API 中
-
[SPARK-44602] [SC-138337][sql][CONNECT][ps] 讓
WidenSetOperationTypes保留Plan_ID_TAG - [SPARK-42941] [SC-138389][ss][CONNECT] Python 串流查詢監聽器
- [SPARK-43838] 還原 “[SC-137413][sql] 修正子查詢在單一表格時的問題…”
- [SPARK-44538] [SC-138178][connect][SQL] 恢復 Row.jsonValue 和相關功能
- [SPARK-44421] [SC-138434][spark-44423][CONNECT] 在 Spark Connect 中可重新連接的執行
- [SPARK-43838] [ SC-137413][sql] 修正單一表格上有 Having 子句的子查詢無法進行優化
- [SPARK-44587] [SC-138315][sql][CONNECT] 增加 protobuf 序列化工具的遞歸限制
- [SPARK-44605] [SC-138338][核心] 優化內部 ShuffleWriteProcessor API
- [SPARK-44394] [SC-138291][connect][WEBUI] 新增一個 Spark Connect 的 Spark UI 頁面
- [SPARK-44585] [SC-138286][mllib] 修正 MLLib RankMetrics ndcgAk 中的警告條件
- [SPARK-44198] [SC-138137][core] 支援將記錄層級傳播至執行程式
- [SPARK-44454] [SC-138071][sql][HIVE] HiveShim getTablesByType 支援後備方案
- [SPARK-44425] [SC-138135][connect] 驗證使用者提供的 sessionId 是否為 UUID
-
[SPARK-43611] [SC-138051][sql][PS][conncect] 讓
ExtractWindowExpressions保留PLAN_ID_TAG - [SPARK-44560] [SC-138117][python][CONNECT] 改善 Apache Arrow Python UDF 的測試與文件。
- [SPARK-44482] [SC-138067][connect] Connect 伺服器應該可以指定系結位址
- [SPARK-44528] [SC-138047][connect] 支援適當使用 Connect 資料框的hasattr()
- [SPARK-44525] [SC-138043][sql] 在找不到 Invoke 方法時改善錯誤訊息
- [SPARK-44355] [SC-137878][sql] 將 WithCTE 移至命令查詢
Databricks ODBC/JDBC 驅動程序支援服務
Databricks 支援在過去 2 年中發行的 ODBC/JDBC 驅動程式。 請下載最近發行的驅動程式和升級 （下載 ODBC，下載 JDBC）。
請參閱 Databricks Runtime 14.1 維護更新。
系統環境
- 作業系統：Ubuntu 22.04.3 LTS
- Java：Zulu 8.72.0.17-CA-linux64
- Scala：2.12.15
- Python：3.10.12
- R：4.3.1
- Delta Lake：3.0.0
已安裝的 Python 函式庫
| 圖書館 | 版本 | 圖書館 | 版本 | 圖書館 | 版本 |
|---|---|---|---|---|---|
| anyio | 3.5.0 | argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 |
| asttokens（Python 資源分析與處理庫） | 2.0.5 | 屬性 (attrs) | 22.1.0 | backcall（回呼） | 0.2.0 |
| beautifulsoup4 | 4.11.1 | 黑色 | 22.6.0 | 漂白劑 | 4.1.0 |
| 閃爍器 | 1.4 | boto3 | 1.24.28 | botocore（AWS的Python程式庫） | 1.27.96 |
| 證書 | 2022.12.7 | cffi | 1.15.1 | chardet | 4.0.0 |
| charset-normalizer（字符集正規化器） | 2.0.4 | 點擊 | 8.0.4 | 通訊 | 0.1.2 |
| 「contourpy」 | 1.0.5 | 加密 | 39.0.1 | 騎車者 | 0.11.0 |
| Cython | 0.29.32 | databricks-sdk（資料磚開發工具包） | 0.1.6 | dbus-python | 1.2.18 |
| debugpy | 1.6.7 | 裝飾項目 | 5.1.1 | defusedxml（安全解析XML的Python函式庫） | 0.7.1 |
| distlib | 0.3.7 | 將Docstring轉換為Markdown | 0.11 | 入口點 | 0.4 |
| 執行中 | 0.8.3 | facets概覽 | 1.1.1 | fastjsonschema | 2.18.0 |
| 文件鎖 | 3.12.3 | fonttools（字體工具） | 4.25.0 | GCC 執行階段程式庫 | 1.10.0 |
| googleapis-common-protos | 1.60.0 | grpcio | 1.48.2 | grpcio-status | 1.48.1 |
| httplib2 | 0.20.2 | IDNA | 3.4 | importlib-metadata (匯入庫-元資料) | 4.6.4 |
| ipykernel | 6.25.0 | ipython | 8.14.0 | ipython-genutils（IPython 工具程式庫） | 0.2.0 |
| ipywidgets （互動插件） | 7.7.2 | 絕地武士 | 0.18.1 | 吉普尼 | 0.7.1 |
| Jinja2 | 3.1.2 | jmespath | 0.10.0 | joblib | 1.2.0 |
| jsonschema | 4.17.3 | Jupyter 客戶端 | 7.3.4 | Jupyter伺服器 | 1.23.4 |
| Jupyter核心 | 5.2.0 | jupyterlab-pygments | 0.1.2 | jupyterlab-widgets（JupyterLab 元件） | 1.0.0 |
| 鑰匙圈 | 23.5.0 | kiwisolver（開源程式庫） | 1.4.4 | launchpadlib | 1.10.16 |
| lazr.restfulclient | 0.14.4 | lazr.uri | 1.0.6 | lxml | 4.9.1 |
| MarkupSafe | 2.1.1 | matplotlib | 3.7.0 | matplotlib-inline | 0.1.6 |
| 麥卡貝 | 0.7.0 | 米斯圖恩 | 0.8.4 | more-itertools | 8.10.0 |
| mypy-extensions（MyPy 擴充套件） | 0.4.3 | nbclassic | 0.5.2 | 「nbclient」 | 0.5.13 |
| nbconvert（Jupyter 文件轉換工具） | 6.5.4 | nbformat | 5.7.0 | nest-asyncio | 1.5.6 |
| nodeenv | 1.8.0 | 筆記本 | 6.5.2 | 筆記本支架 | 0.2.2 |
| numpy（數值計算Python函式庫） | 1.23.5 | oauthlib (OAuth程式庫) | 3.2.0 | 包裝 | 22.0 |
| 熊貓 | 1.5.3 | pandocfilters (潘多克過濾器) | 1.5.0 | 派索 | 0.8.3 |
| 路徑規格 (pathspec) | 0.10.3 | 替罪羊 | 0.5.3 | pexpect (一個用於程序自動化和測試的軟體庫) | 4.8.0 |
| 皮克爾共享 (Pickleshare) | 0.7.5 | 枕頭 | 9.4.0 | pip（Python 軟體包管理工具） | 22.3.1 |
| platformdirs | 2.5.2 | plotly（數據可視化工具） | 5.9.0 | Pluggy（外掛管理工具） | 1.0.0 |
| prometheus-client | 0.14.1 | prompt-toolkit（提示工具組） | 3.0.36 | 協議緩衝區 (Protocol Buffers) | 4.24.0 |
| psutil | 5.9.0 | psycopg2 | 2.9.3 | pty進程 | 0.7.0 |
| pure-eval | 0.2.2 | pyarrow | 8.0.0 | pycparser（Python 的 C 語法分析器） | 2.21 |
| pydantic（Python 軟體庫） | 1.10.6 | pyflakes (Python 代碼分析工具) | 3.0.1 | Pygments | 2.11.2 |
| PyGObject | 3.42.1 | PyJWT | 2.3.0 | pyodbc | 4.0.32 |
| pyparsing（Python 字符串解析库） | 3.0.9 | pyright | 1.1.294 | pyrsistent（持續性資料庫的Python函式庫） | 0.18.0 |
| python-dateutil | 2.8.2 | python-lsp-jsonrpc | 1.0.0 | python-lsp-server | 1.7.1 |
| pytoolconfig | 1.2.5 | pytz（Python 時區程式庫） | 2022年7月 | pyzmq | 23.2.0 |
| 要求 | 2.28.1 | 繩子 | 1.7.0 | s3transfer | 0.6.2 |
| scikit-learn（機器學習庫） | 1.1.1 | 海上出生 | 0.12.2 | SecretStorage | 3.3.1 |
| Send2Trash | 1.8.0 | setuptools | 65.6.3 | 六 | 1.16.0 |
| sniffio | 1.2.0 | 湯篩 | 2.3.2.post1 | ssh-import-id（匯入 SSH ID） | 5.11 |
| 堆疊數據 | 0.2.0 | statsmodels (統計模型庫) | 0.13.5 | 堅韌性 | 8.1.0 |
| 結束了 | 0.17.1 | 線程池控制器 | 2.2.0 | tinycss2 | 1.2.1 |
| tokenize-rt | 4.2.1 | tomli | 2.0.1 | 龍捲風 | 6.1 |
| 特性 | 5.7.1 | typing_extensions（打字擴充套件） | 4.4.0 | ujson（超快速 JSON 解析庫） | 5.4.0 |
| 無人看管自動升級 | 0.1 | urllib3 | 1.26.14 | virtualenv | 20.16.7 |
| wadllib | 1.3.6 | wcwidth（字符寬度函數） | 0.2.5 | 網路編碼 | 0.5.1 |
| WebSocket 客戶端 | 0.58.0 | 何謂補丁 | 1.0.2 | Wheel | 0.38.4 |
| widgetsnbextension | 3.6.1 | yapf (Python 程式碼格式化工具) | 0.31.0 | 拉鏈 | 1.0.0 |
| SciPy | 1.10.1 |
已安裝的 R 程式庫
R 函式庫已經從 Posit 套件管理員於 2023-02-10 的 CRAN 快照中安裝。
| 圖書館 | 版本 | 圖書館 | 版本 | 圖書館 | 版本 |
|---|---|---|---|---|---|
| 箭頭 | 12.0.1 | askpass（要求密碼） | 1.1 | assertthat (一個用於斷言測試的函數庫) | 0.2.1 |
| 向後移植 | 1.4.1 | 基礎映像 | 4.3.1 | base64enc | 0.1-3 |
| 位元 | 4.0.5 | 64位元 | 4.0.5 | blob | 1.2.4 |
| 靴子 | 1.3-28 | 釀製 | 1.0-8 | 活力 | 1.1.3 |
| 掃帚 | 1.0.5 | bslib | 0.5.0 | 卡榭姆 | 1.0.8 |
| 卡爾 | 3.7.3 | 脫字符 | 6.0-94 | cellranger (細胞測序工具) | 1.1.0 |
| 紀事 | 2.3-61 | 類別 | 7.3-22 | 命令行界面 (CLI) | 3.6.1 |
| 克麗普 | 0.8.0 | 時鐘 | 0.7.0 | 叢集 | 2.1.4 |
| codetools | 0.2-19 | 色彩空間 | 2.1-0 | 通用標記 | 1.9.0 |
| 編譯器 | 4.3.1 | 設定 | 0.3.1 | 糾結 | 1.2.0 |
| cpp11 | 0.4.4 | 蠟筆 | 1.5.2 | 憑證 | 1.3.2 |
| curl (Unix指令) | 5.0.1 | 資料表格 (data.table) | 1.14.8 | 數據集 | 4.3.1 |
| DBI | 1.1.3 | dbplyr | 2.3.3 | 說明 | 1.4.2 |
| devtools | 2.4.5 | 圖示 | 1.6.5 | diffobj | 0.3.5 |
| 摘要 | 0.6.33 | 向下照明 | 0.4.3 | dplyr資料處理套件 | 1.1.2 |
| dtplyr | 1.3.1 | e1071 | 1.7-13 | 省略符號 | 0.3.2 |
| 評估 | 0.21 | 粉絲 | 1.0.4 | 顏色 | 2.1.1 |
| fastmap（快速映射） | 1.1.1 | fontawesome | 0.5.1 | 給貓的 | 1.0.0 |
| foreach | 1.5.2 | 外來 | 0.8-82 | 鍛造 | 0.2.0 |
| f s | 1.6.2 | 未來 | 1.33.0 | 未來應用 (future.apply) | 1.11.0 |
| 漱口 | 1.5.1 | 泛型 | 0.1.3 | 格特 | 1.9.2 |
| ggplot2 | 3.4.2 | gh | 1.4.0 | gitcreds | 0.1.2 |
| glmnet | 4.1-7 | 全域變數 | 0.16.2 | 膠水 | 1.6.2 |
| Google 雲端硬碟 | 2.1.1 | googlesheets4 | 1.1.1 | 戈爾（Gower） | 1.0.1 |
| 圖形 | 4.3.1 | grDevices | 4.3.1 | 格線 | 4.3.1 |
| gridExtra | 2.3 | gsubfn | 0.7 | gtable | 0.3.3 |
| 安全帽 | 1.3.0 | 庇護所 | 2.5.3 | 更高 | 0.10 |
| 如果 "hms" 是一個專有名詞、縮寫或具有特殊意涵的術語，則需要確保對其進行適當的翻譯或說明。 | 1.1.3 | HTML工具 | 0.5.5 | htmlwidgets（網頁小工具） | 1.6.2 |
| httpuv | 1.6.11 | httr | 1.4.6 | httr2 | 0.2.3 |
| 身份識別碼 | 1.0.1 | ini | 0.3.1 | 艾普瑞德 | 0.9-14 |
| 等高帶 (isoband) | 0.2.7 | 迭代器 | 1.0.14 | jquerylib | 0.1.4 |
| jsonlite | 1.8.7 | KernSmooth | 2.23-21 | 針織機 | 1.43 |
| 標示 | 0.4.2 | 稍後 | 1.3.1 | 格子狀結構 | 0.21-8 |
| 熔岩 | 1.7.2.1 | 生命週期 | 1.0.3 | 保留原名 "listenv" 並附加描述 (if necessary based on context, otherwise just retain "listenv") | 0.9.0 |
| 「lubridate」 | 1.9.2 | magrittr | 2.0.3 | Markdown | 1.7 |
| 質量 | 7.3-60 | 矩陣 | 1.5-4.1 | 記憶化 | 2.0.1 |
| 方法 | 4.3.1 | mgcv | 1.8-42 | 默劇 | 0.12 |
| 迷你用戶界面 | 0.1.1.1 | ModelMetrics | 1.2.2.2 | 模型師 | 0.1.11 |
| 蒙塞爾 | 0.5.0 | nlme | 3.1-162 | nnet | 7.3-19 |
| numDeriv (數值導數) | 2016年8月-2017年1月 | openssl | 2.0.6 | 並行 | 4.3.1 |
| 並行地 | 1.36.0 | 柱子 | 1.9.0 | pkgbuild | 1.4.2 |
| pkgconfig | 2.0.3 | pkgdown | 2.0.7 | pkgload | 1.3.2.1 |
| plogr (普勒格) | 0.2.0 | plyr播放器（plyr Player） | 1.8.8 | 讚美 | 1.0.0 |
| prettyunits | 1.1.1 | pROC | 1.18.4 | 流程x | 3.8.2 |
| prodlim | 2023年03月31日 | 視覺分析工具 Profvis | 0.3.8 | 進展 | 1.2.2 |
| progressr | 0.13.0 | 承諾 | 1.2.0.1 | 原型 | 1.0.0 |
| Proxy | 0.4-27 | 附註 | 1.7.5 | purrr | 1.0.1 |
| r2d3 | 0.2.6 | R6 | 2.5.1 | 拉格 | 1.2.5 |
| 隨機森林 (randomForest) | 4.7-1.1 | rappdirs | 0.3.3 | rcmdcheck | 1.4.0 |
| RColorBrewer | 1.1-3 | Rcpp | 1.0.11 | RcppEigen | 0.3.3.9.3 |
| 閱讀器 | 2.1.4 | readxl（讀取Excel檔案） | 1.4.3 | 食譜 | 1.0.6 |
| 復賽 | 1.0.1 | Rematch 2 | 2.1.2 | 遙控器 | 2.4.2 |
| 重現範例 | 2.0.2 | reshape2 | 1.4.4 | rlang | 1.1.1 |
| rmarkdown（R程式碼標記語言） | 2.23 | RODBC | 1.3-20 | roxygen2 | 7.2.3 |
| rpart（R語言中的一個統計計算和機器學習模組） | 4.1.19 | rprojroot | 2.0.3 | Rserve | 1.8-11 |
| RSQLite | 2.3.1 | rstudioapi | 0.15.0 | r版本 | 2.1.2 |
| rvest（用於網頁抓取的 R 語言套件） | 1.0.3 | Sass | 0.4.6 | 磅秤 | 1.2.1 |
| 擇選器 (selectr) | 0.4-2 | 會議資訊 | 1.2.2 | 圖形 | 1.4.6 |
| 閃亮 | 1.7.4.1 | sourcetools | 0.1.7-1 | sparklyr | 1.8.1 |
| SparkR | 3.5.0 | 空間 | 7.3-15 | 樣條 | 4.3.1 |
| sqldf | 0.4-11 | SQUAREM | 2021.1 | 統計數據 | 4.3.1 |
| 統計學4 | 4.3.1 | 字串處理工具包 (stringi) | 1.7.12 | "stringr" 是 R 語言中的一個處理字串操作的函式庫。 | 1.5.0 |
| 生存 | 3.5-5 | sys | 3.4.2 | 系統字體 | 1.0.4 |
| tcltk（程式設計工具包） | 4.3.1 | testthat(測試工具) | 3.1.10 | 文字排版 | 0.3.6 |
| tibble | 3.2.1 | tidyr | 1.3.0 | tidyselect | 1.2.0 |
| tidyverse（整潔世界） | 2.0.0 | 時間更動 | 0.2.0 | 時間日期 | 4022.108 |
| tinytex | 0.45 | 工具 | 4.3.1 | tzdb | 0.4.0 |
| urlchecker (URL 檢查工具) | 1.0.1 | usethis | 2.2.2 | utf8 | 1.2.3 |
| 實用工具 | 4.3.1 | 全域唯一識別碼 (UUID) | 1.1-0 | vctrs | 0.6.3 |
| viridisLite | 0.4.2 | vroom | 1.6.3 | 瓦爾多 | 0.5.1 |
| 觸鬚 | 0.4.1 | withr代碼庫 (assuming withr refers to a specific codebase or library, use context to clarify) | 2.5.0 | xfun | 0.39 |
| xml2 | 1.3.5 | xopen | 1.0.0 | xtable | 1.8-4 |
| YAML（Yet Another Markup Language）解析器 | 2.3.7 | 壓縮檔 | 2.3.0 |
安裝的 Java 與 Scala 函式庫（Scala 2.12 叢集版本）
| 群組識別碼 | 文物識別碼 | 版本 |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-用戶端 | 1.12.0 |
| com.amazonaws | aws-java-sdk-自動擴展 | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudfront (雲端前端 Java SDK) | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudsearch（雲端搜索） | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.390 |
| com.amazonaws | aws-java-sdk-codedeploy (AWS Java SDK的CodeDeploy模組) | 1.12.390 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.390 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.12.390 |
| com.amazonaws | aws-java-sdk-config（AWS Java開發套件配置） | 1.12.390 |
| com.amazonaws | aws-java-sdk-core | 1.12.390 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.12.390 |
| com.amazonaws | aws-java-sdk-directconnect (AWS Java 軟體開發套件 - 直接連接) | 1.12.390 |
| com.amazonaws | aws-java-sdk-directory | 1.12.390 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.12.390 |
| com.amazonaws | aws-java-sdk-ec2 | 1.12.390 |
| com.amazonaws | aws-java-sdk-ecs | 1.12.390 |
| com.amazonaws | aws-java-sdk-efs | 1.12.390 |
| com.amazonaws | AWS Java SDK for ElastiCache (AWS Java SDK 用於 ElastiCache) | 1.12.390 |
| com.amazonaws | AWS Java SDK Elasticbeanstalk（AWS Java 軟體開發套件，Elasticbeanstalk） | 1.12.390 |
| com.amazonaws | AWS Java SDK 彈性負載平衡 (aws-java-sdk-elasticloadbalancing) | 1.12.390 |
| com.amazonaws | AWS Java SDK 彈性轉碼器 (aws-java-sdk-elastictranscoder) | 1.12.390 |
| com.amazonaws | aws-java-sdk-emr | 1.12.390 |
| com.amazonaws | aws-java-sdk-glacier（AWS開發工具包，Glacier存儲服務） | 1.12.390 |
| com.amazonaws | aws-java-sdk-glue（AWS 繫結程式庫） | 1.12.390 |
| com.amazonaws | aws-java-sdk-iam | 1.12.390 |
| com.amazonaws | AWS Java SDK 匯入匯出 | 1.12.390 |
| com.amazonaws | aws-java-sdk-kinesis（AWS Java 開發工具包-Kinesis） | 1.12.390 |
| com.amazonaws | aws-java-sdk-kms (AWS Java 軟體開發工具包 - KMS) | 1.12.390 |
| com.amazonaws | aws-java-sdk-lambda | 1.12.390 |
| com.amazonaws | aws-java-sdk-logs (Amazon Java SDK 日誌) | 1.12.390 |
| com.amazonaws | aws-java-sdk-機器學習 | 1.12.390 |
| com.amazonaws | aws-java-sdk-opsworks | 1.12.390 |
| com.amazonaws | aws-java-sdk-rds | 1.12.390 |
| com.amazonaws | aws-java-sdk-redshift (Amazon Web Services 的 Redshift Java 軟體開發工具包) | 1.12.390 |
| com.amazonaws | aws-java-sdk-route53 | 1.12.390 |
| com.amazonaws | aws-java-sdk-s3 | 1.12.390 |
| com.amazonaws | aws-java-sdk-ses | 1.12.390 |
| com.amazonaws | aws-java-sdk-simpledb | 1.12.390 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.390 |
| com.amazonaws | aws-java-sdk-sns | 1.12.390 |
| com.amazonaws | AWS Java SDK 的 SQS 模組 | 1.12.390 |
| com.amazonaws | aws-java-sdk-ssm | 1.12.390 |
| com.amazonaws | aws-java-sdk-storagegateway (AWS Java SDK 儲存閘道) | 1.12.390 |
| com.amazonaws | aws-java-sdk-sts | 1.12.390 |
| com.amazonaws | AWS Java SDK 支援 (aws-java-sdk-support) | 1.12.390 |
| com.amazonaws | aws-java-sdk-js-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces（AWS Java SDK 工作空間） | 1.12.390 |
| com.amazonaws | jmespath-java | 1.12.390 |
| com.clearspring.analytics | 串流 | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | databricks-sdk-java | 0.7.0 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | 冷凍陰影技術 (kryo-shaded) | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | 同學 | 1.3.4 |
| com.fasterxml.jackson.core | Jackson 註解 | 2.15.2 |
| com.fasterxml.jackson.core | jackson-core (資料處理核心) | 2.15.2 |
| com.fasterxml.jackson.core | jackson-databind | 2.15.2 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor (一個用於CBOR數據格式的Java庫) | 2.15.2 |
| com.fasterxml.jackson.datatype | 杰克森數據類型-Joda | 2.15.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-jsr310（Jackson數據類型JSR310） | 2.15.1 |
| com.fasterxml.jackson.module | jackson模組-參數名稱解析器 | 2.15.2 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.15.2 |
| com.github.ben-manes.咖啡因 | 咖啡因 | 2.9.3 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | 原生引用-java | 1.1 |
| com.github.fommil.netlib | 原生引用-java | 1.1 原生 |
| com.github.fommil.netlib | 原生系統-Java | 1.1 |
| com.github.fommil.netlib | 原生系統-Java | 1.1 原生 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64 | 1.1 原生 |
| com.github.fommil.netlib | netlib-原生系統-linux-x86_64 | 1.1 原生 |
| com.github.luben | zstd-jni | 1.5.5-4 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.10.1 |
| com.google.crypto.tink | 叮咚 | 1.9.0 |
| com.google.errorprone | 易於出錯的標註 (error_prone_annotations) | 2.10.0 |
| com.google.flatbuffers | flatbuffers-java | 1.12.0 |
| com.google.guava | 番石榴 | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.helger | 分析工具 | 1.1.1 |
| com.jcraft | jsch | 0.1.55 |
| com.jolbox | bonecp | 0.8.0.釋出版本 |
| com.lihaoyi | 原始碼_2.12 | 0.1.9 |
| com.microsoft.azure | Azure Data Lake Store SDK (Azure 資料湖存儲 SDK) | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 11.2.2.jre8 |
| com.ning | 壓縮-LZF | 1.1.2 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.sun.xml.bind | jaxb-core（JAXB核心） | 2.2.11 |
| com.sun.xml.bind | jaxb-impl | 2.2.11 |
| com.tdunning | JSON（JavaScript物件表示法） | 1.8 |
| com.thoughtworks.paranamer | paranamer (參數命名器) | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.12 | 0.10.0 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | 設定 | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.uber | h3 | 3.7.3 |
| com.univocity | univocity-parsers（統一解析器的名稱） | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| commons-cli | commons-cli | 1.5.0 |
| commons-codec (公共編碼) | commons-codec (公共編碼) | 1.16.0 |
| 通用集合 | 通用集合 | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-fileupload（公共文件上傳） | commons-fileupload（公共文件上傳） | 1.5 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.13.0 |
| commons-lang | commons-lang | 2.6 |
| commons-logging (共通日誌記錄) | commons-logging (共通日誌記錄) | 1.1.3 |
| 公共池 | 公共池 | 1.5.4 |
| dev.ludovic.netlib | arpack | 3.0.3 |
| dev.ludovic.netlib | BLAS（基本線性代數程式庫） | 3.0.3 |
| dev.ludovic.netlib | lapack（線性代數軟體包） | 3.0.3 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | 空氣壓縮機 | 0.25 |
| io.delta | delta-sharing-spark_2.12 | 0.7.5 |
| io.dropwizard.metrics | 指標註釋 | 4.2.19 |
| io.dropwizard.metrics | 核心指標 | 4.2.19 |
| io.dropwizard.metrics | metrics-graphite | 4.2.19 |
| io.dropwizard.metrics | 衡量指標-健康檢查 | 4.2.19 |
| io.dropwizard.metrics | metrics-jetty9 | 4.2.19 |
| io.dropwizard.metrics | 指標-JMX | 4.2.19 |
| io.dropwizard.metrics | 度量標準-JSON | 4.2.19 |
| io.dropwizard.metrics | 指標-JVM | 4.2.19 |
| io.dropwizard.metrics | metrics-servlet | 4.2.19 |
| io.netty | netty-all（Netty 完整版本） | 4.1.96.最終版 |
| io.netty | ネッティ緩衝區 (netty-buffer) | 4.1.96.最終版 |
| io.netty | netty-編解碼器 | 4.1.96.最終版 |
| io.netty | netty-codec-http（Netty HTTP 編解碼器） | 4.1.96.最終版 |
| io.netty | Netty 解碼器 HTTP/2 | 4.1.96.最終版 |
| io.netty | netty-codec-socks（Netty編解碼Socks模組） | 4.1.96.最終版 |
| io.netty | Netty公共模組 | 4.1.96.最終版 |
| io.netty | netty-handler | 4.1.96.最終版 |
| io.netty | netty-handler-proxy (代理處理程序) | 4.1.96.最終版 |
| io.netty | netty-resolver (網絡解決方案) | 4.1.96.最終版 |
| io.netty | netty-tcnative-boringssl-static (Netty 原生 BoringSSL 靜態版本) | 2.0.61.Final-linux-aarch_64 |
| io.netty | netty-tcnative-boringssl-static (Netty 原生 BoringSSL 靜態版本) | 2.0.61.Final-linux-x86_64 |
| io.netty | netty-tcnative-boringssl-static (Netty 原生 BoringSSL 靜態版本) | 2.0.61.Final-osx-aarch_64 |
| io.netty | netty-tcnative-boringssl-static (Netty 原生 BoringSSL 靜態版本) | 2.0.61.Final-osx-x86_64 |
| io.netty | netty-tcnative-boringssl-static (Netty 原生 BoringSSL 靜態版本) | 2.0.61.Final-windows-x86_64 |
| io.netty | Netty-TCNative-類別 | 2.0.61.Final |
| io.netty | netty-transport | 4.1.96.最終版 |
| io.netty | netty-transport-classes-epoll | 4.1.96.最終版 |
| io.netty | netty-transport-classes-kqueue (Netty 傳輸類別 - KQueue) | 4.1.96.最終版 |
| io.netty | netty-transport-native-epoll | 4.1.96.最終版 |
| io.netty | netty-transport-native-epoll | 4.1.96.Final-linux-aarch_64 |
| io.netty | netty-transport-native-epoll | 4.1.96.Final-linux-x86_64 |
| io.netty | netty-transport-native-kqueue（Netty 原生傳輸 KQueue） | 4.1.96.Final-osx-aarch_64 |
| io.netty | netty-transport-native-kqueue（Netty 原生傳輸 KQueue） | 4.1.96.Final-osx-x86_64 |
| io.netty | netty-transport-native-unix-common（Netty 傳輸本地 Unix 公用程式） | 4.1.96.最終版 |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | 簡易客戶端_通用 | 0.7.0 |
| io.prometheus | simpleclient_dropwizard (簡易客戶端_dropwizard) | 0.7.0 |
| io.prometheus | 簡易客戶端推送網關 | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | 收集器 | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api（註解API） | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api 驗證接口 | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | 啟用 | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | 交易API | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.11 |
| Javolution | Javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.12.1 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | 醃製品 | 1.3 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv (開源 CSV 解析庫) | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| 網絡.雪花 | snowflake-ingest-sdk（Snowflake 資料引入 SDK） | 0.9.6 |
| 網絡.雪花 | Snowflake-JDBC | 3.13.33 |
| net.sourceforge.f2j | arpack_combined_all (程式的函數名稱，通常保持不翻譯) | 0.1 |
| org.acplt.remotetea | 遠程茶-OncRPC | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime (ANTLR 4 執行時) | 4.9.3 |
| org.antlr | 字串模板 (stringtemplate) | 3.2.1 |
| org.apache.ant | 螞蟻 | 1.9.16 |
| org.apache.ant | ant-jsch | 1.9.16 |
| org.apache.ant | 螞蟻發射器 | 1.9.16 |
| org.apache.arrow | 箭頭格式 | 12.0.1 |
| org.apache.arrow | 箭頭記憶核心 | 12.0.1 |
| org.apache.arrow | 箭頭記憶-netty | 12.0.1 |
| org.apache.arrow | 箭頭向量 | 12.0.1 |
| org.apache.avro | Avro | 1.11.2 |
| org.apache.avro | avro-ipc | 1.11.2 |
| org.apache.avro | avro-mapred | 1.11.2 |
| org.apache.commons | 共享-集合4 | 4.4 |
| org.apache.commons | commons-compress（通用壓縮工具） | 1.23.0 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.12.0 |
| org.apache.commons | commons-math3 | 3.6.1 |
| org.apache.commons | commons-text（共用文字處理庫） | 1.10.0 |
| org.apache.curator | 策展人-客戶 | 2.13.0 |
| org.apache.curator | curator-framework (策展人框架) | 2.13.0 |
| org.apache.curator | 策展者食譜 | 2.13.0 |
| org.apache.datasketches | datasketches-java | 3.1.0 |
| org.apache.datasketches | datasketches-memory (資料素描-內存) | 2.0.0 |
| org.apache.derby | 德比 | 10.14.2.0 |
| org.apache.hadoop | hadoop客户端運作環境 | 3.3.6 |
| org.apache.hive | hive-beeline (Hive 的 Beeline) | 2.3.9 |
| org.apache.hive | hive-cli | 2.3.9 |
| org.apache.hive | hive-jdbc | 2.3.9 |
| org.apache.hive | hive-llap-client（Hive LLAP用戶端） | 2.3.9 |
| org.apache.hive | hive-llap-common | 2.3.9 |
| org.apache.hive | hive-serde (資料序列化和解序列化庫) | 2.3.9 |
| org.apache.hive | 蜂箱墊片 | 2.3.9 |
| org.apache.hive | hive-storage-api (蜂巢存儲 API) | 2.8.1 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
| org.apache.hive.shims | hive-shims-common 套件 | 2.3.9 |
| org.apache.hive.shims | hive-shims-排程器 | 2.3.9 |
| org.apache.httpcomponents | HttpClient | 4.5.14 |
| org.apache.httpcomponents | httpcore | 4.4.16 |
| org.apache.ivy | 常春藤 | 2.5.1 |
| org.apache.logging.log4j | log4j-1.2-api | 2.20.0 |
| org.apache.logging.log4j | log4j-api | 2.20.0 |
| org.apache.logging.log4j | log4j-core | 2.20.0 |
| org.apache.logging.log4j | log4j-slf4j2-impl | 2.20.0 |
| org.apache.mesos | Mesos | 1.11.0-shaded-protobuf |
| org.apache.orc | 奧克核心 | 1.9.1-shaded-protobuf |
| org.apache.orc | orc-mapreduce | 1.9.1-shaded-protobuf |
| org.apache.orc | 獸人襯墊 | 1.9.1 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.ws.xmlschema | xmlschema-core (XML 架構核心) | 2.3.0 |
| org.apache.xbean | xbean-asm9-shaded | 4.23 |
| org.apache.yetus | 觀眾註解 | 0.13.0 |
| org.apache.zookeeper | 動物園管理員 | 3.6.3 |
| org.apache.zookeeper | ZooKeeper-Jute | 3.6.3 |
| org.checkerframework | 品質檢查器 | 3.31.0 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl（程式庫名稱） | 1.9.13 |
| org.codehaus.janino | 公共編譯器 (commons-compiler) | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core (數據核心) | 4.1.17 |
| org.datanucleus | 資料核心-RDBMS | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-continuation (Jetty 延續機制) | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-http | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-io | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-jndi | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-plus | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-proxy (代理伺服器) | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-security（Jetty 安全模組） | 9.4.52.v20230823 |
| org.eclipse.jetty | Jetty伺服器 | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-servlet | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-servlets | 9.4.52.v20230823 |
| org.eclipse.jetty | 傑堤工具 (jetty-util) | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-util-ajax（捷特工具-AJAX） | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-webapp（Jetty 網頁應用程式） | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-xml | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | WebSocket API | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | WebSocket 客戶端 | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | WebSocket-Common | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | WebSocket 伺服器 | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-servlet | 9.4.52.v20230823 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2 定位器 | 2.6.1 |
| org.glassfish.hk2 | hk2實用程式 | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator（OSGi 資源定位器） | 1.0.3 |
| org.glassfish.hk2.external | aopalliance重新打包 | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet (Jersey 容器 servlet) | 2.40 |
| org.glassfish.jersey.containers | jersey 容器 servlet 核心模块 | 2.40 |
| org.glassfish.jersey.core | jersey-客戶端 | 2.40 |
| org.glassfish.jersey.core | 球衣-通用 | 2.40 |
| org.glassfish.jersey.core | Jersey伺服器 | 2.40 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.40 |
| org.hibernate.validator | hibernate-validator（驗證器） | 6.1.7.Final |
| org.ini4j | ini4j | 0.5.4 |
| org.javassist | javassist | 3.29.2-GA |
| org.jboss.logging | jboss-logging（記錄模組） | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jetbrains | 附註 | 17.0.0 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
| org.json4s | json4s-core_2.12 | 3.7.0-M11 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
| org.lz4 | lz4-java | 1.8.0 |
| org.mariadb.jdbc | mariadb-java-client（MariaDB Java 客戶端） | 2.7.9 |
| org.mlflow | mlflow-spark | 2.2.0 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.6.0 |
| org.roaringbitmap | RoaringBitmap | 0.9.45 |
| org.roaringbitmap | 墊片 | 0.9.45 |
| org.rocksdb | rocksdbjni | 8.3.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.15 |
| org.scala-lang | scala-library_2.12 | 2.12.15 |
| org.scala-lang | scala-reflect_2.12 | 2.12.15 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.9.0 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | 測試介面 | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.2.15 |
| org.scalanlp | breeze-macros_2.12 | 2.1.0 |
| org.scalanlp | breeze_2.12 | 2.1.0 |
| org.scalatest | 與 scalatest 相容 | 3.2.15 |
| org.scalatest | scalatest-core_2.12 | 3.2.15 |
| org.scalatest | scalatest-diagrams_2.12 | 3.2.15 |
| org.scalatest | scalatest-featurespec_2.12 | 3.2.15 |
| org.scalatest | scalatest-flatspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-freespec_2.12 | 3.2.15 |
| org.scalatest | scalatest-funspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-funsuite_2.12 | 3.2.15 |
| org.scalatest | scalatest-matchers-core_2.12 | 3.2.15 |
| org.scalatest | scalatest-mustmatchers_2.12 (Scala 測試必須匹配器_2.12) | 3.2.15 |
| org.scalatest | scalatest-propspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-refspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-shouldmatchers_2.12 | 3.2.15 |
| org.scalatest | scalatest-wordspec_2.12 | 3.2.15 |
| org.scalatest | scalatest_2.12 | 3.2.15 |
| org.slf4j | jcl-over-slf4j | 2.0.7 |
| org.slf4j | jul-to-slf4j | 2.0.7 |
| org.slf4j | slf4j-api | 2.0.7 |
| org.threeten | threeten-extra | 1.7.1 |
| org.tukaani | xz | 1.9 |
| org.typelevel | algebra_2.12 | 2.0.1 |
| org.typelevel | cats-kernel_2.12 | 2.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0 |
| org.typelevel | spire-platform_2.12 | 0.17.0 |
| org.typelevel | spire-util_2.12 | 0.17.0 |
| org.typelevel | spire_2.12 | 0.17.0 |
| org.wildfly.openssl | wildfly-openssl（野飛開放SSL） | 1.1.3.Final |
| org.xerial | sqlite-jdbc | 3.42.0.0 |
| org.xerial.snappy | snappy-java | 1.1.10.3 |
| org.yaml | SnakeYAML | 2.0 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.cryptools | AmazonCorrettoCryptoProvider | 1.6.1-linux-x86_64 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |