Databricks Runtime 14.1
下列版本資訊提供由 Apache Spark 3.5.0 提供之 Databricks Runtime 14.1 的相關信息。
Databricks 於 2023 年 10 月發行了這些映像。
新功能和改善
- array_insert（） 是負數索引的 1 基底
- 依預設會啟用差異 v2 檢查點與液體叢集
- 在公開預覽中卸除 Delta 數據表功能
- 差異共用：收件者可以使用刪除向量在共享資料表上執行批次查詢 （公開預覽）
- 差異共用：收件者可以使用資料行對應在共享資料表上執行批次查詢 （公開預覽）
- 公開預覽版中的 Unity 目錄檢視串流
- 公開預覽中的 Apache Pulsar 連接器
- 升級的 Snowflake 驅動程式
- SQL 會話變數
- SQL 和 Python UDF 的具名參數調用。
- 函式的數據表自變數支援數據分割和排序。
- 新的和增強的內建 SQL 函式
- 改善相互關聯的子查詢處理
array_insert（） 是負數索引的 1 基底
函 array_insert 式是正和負索引的 1 基底。 它現在會在索引 -1 的輸入數位列結尾插入新元素。 若要還原先前的行為，請將 設定 spark.sql.legacy.negativeIndexInArrayInsert 為 true。
依預設會啟用差異 v2 檢查點與液體叢集
新建立的 Delta 資料表與液體叢集預設會使用 v2 檢查點。 請參閱 與液體叢集的數據表相容性。
在公開預覽中卸除 Delta 數據表功能
您現在可以卸除 Delta 數據表的一些數據表功能。 目前的支援包括卸除 deletionVectors 和 v2Checkpoint。 請參閱 卸除差異數據表功能。
差異共用：收件者可以使用刪除向量在共享資料表上執行批次查詢 （公開預覽）
差異共用收件者現在可以在使用刪除向量的共享數據表上執行批次查詢。 請參閱 新增具有刪除向量或數據行對應至共享的數據表、 啟用刪除向量或數據行對應的讀取數據表，以及 啟用刪除向量或數據行對應的讀取數據表。
差異共用：收件者可以使用資料行對應在共享資料表上執行批次查詢 （公開預覽）
差異共用收件者現在可以對使用數據行對應的共享數據表執行批次查詢。 請參閱 新增具有刪除向量或數據行對應至共享的數據表、 啟用刪除向量或數據行對應的讀取數據表，以及 啟用刪除向量或數據行對應的讀取數據表。
公開預覽版中的 Unity 目錄檢視串流
您現在可以使用結構化串流，從向 Unity 目錄註冊的檢視執行串流讀取。 Azure Databricks 僅支持針對 Delta 數據表定義的檢視串流讀取。 請參閱 從 Unity 目錄檢視串流。
公開預覽中的 Apache Pulsar 連接器
您現在可以使用結構化串流從 Azure Databricks 上的 Apache Pulsar 串流數據。 請參閱 來自 Apache Pulsar 的串流。
升級的 Snowflake 驅動程式
Snowflake JDBC 驅動程序現在使用 3.13.33 版。
SQL 會話變數
此版本引進了在會話中宣告暫存變數的功能，該會話可以設定，然後從查詢內參考。 請參閱 變數。
SQL 和 Python UDF 的具名參數調用。
您現在可以在 SQL 和 Python UDF 上使用具名參數調用。
函式的數據表自變數支援數據分割和排序。
您現在可以使用 PARTITION BY 和 ORDER BY 子句來控制在函式調用期間將數據表自變數傳遞至函式的方式。
新的和增強的內建 SQL 函式
新增下列內建函式：
- from_xml：將 XML
STRING剖析成STRUCT。 - schema_of_xml：從 XML
STRING衍生架構。 - session_user：傳回登入的使用者。
- try_reflect：如果 Java 方法失敗，則傳回
NULL而不是例外狀況。
下列內建函式已增強：
- mode：支持選擇性參數強制確定性結果。
- to_char：、 和
BINARY的新支援DATETIMESTAMP。 - to_varchar：、 和
BINARY的新支援DATETIMESTAMP。
改善相互關聯的子查詢處理
已擴充在子查詢中處理相互關聯的能力：
- 以相互關聯的純量 （橫向） 子查詢處理限制和順序。
- 支援相互關聯的純量子查詢中的視窗函式。
- 在聯結述詞中支援純量和橫向子查詢的相互關聯參考
行為變更
Photon Parquet 讀取器中的嚴格類型檢查
嘗試從不是十進位類型的 Parquet 數據行讀取十進位值時，Photon 會失敗。 從 Parquet 讀取固定長度位元組陣組做為字串時，Photon 也會失敗。
連結庫升級
- 升級的 Python 連結庫：
- 從 3.12.2 到 3.12.3 的 filelock
- s3transfer 從 0.6.1 到 0.6.2
- 升級的 Java 連結庫：
- com.uber.h3 從 3.7.0 到 3.7.3
- io.airlift.aircompressor from 0.24 to 0.25
- io.delta.delta-sharing-spark_2.12，從 0.7.1 到 0.7.5
- io.netty.netty-all 從 4.1.93.Final 到 4.1.96.Final
- 從 4.1.93.Final 到 4.1.96.Final 的 io.netty.netty-buffer
- 從 4.1.93.Final 到 4.1.96.Final 的 io.netty.netty-codec
- io.netty.netty-codec-http，從 4.1.93.Final 到 4.1.96.Final
- io.netty.netty-codec-http2，從 4.1.93.Final 到 4.1.96.Final
- io.netty.netty-codec-socks 從 4.1.93.Final 到 4.1.96.Final
- 從 4.1.93.Final 到 4.1.96.Final 的 io.netty.netty-common
- 從 4.1.93.Final 到 4.1.96.Final 的 io.netty.netty-handler
- 從 4.1.93.Final 到 4.1.96.Final 的 io.netty.netty-handler-proxy
- io.netty.netty-resolver 從 4.1.93.Final 到 4.1.96.Final
- 從 4.1.93.Final 到 4.1.96.Final 的 io.netty.netty-transport
- io.netty.netty-transport-classes-epoll 從 4.1.93.Final 到 4.1.96.Final
- io.netty.netty-transport-classes-kqueue 從 4.1.93.Final 到 4.1.96.Final
- io.netty.netty-transport-native-epoll，從 4.1.93.Final-linux-x86_64 到 4.1.96.Final-linux-x86_64
- io.netty.netty-transport-native-kqueue 從 4.1.93.Final-osx-x86_64 到 4.1.96.Final-osx-x86_64
- io.netty.netty-transport-native-unix-common，從 4.1.93.Final 到 4.1.96.Final
- net.snowflake.snowflake-jdbc 從 3.13.29 到 3.13.33
- org.apache.orc.orc-core，從 1.9.0-shaded-protobuf 到 1.9.1-shaded-protobuf
- org.apache.orc.orc-mapreduce 從 1.9.0-shaded-protobuf 到 1.9.1-shaded-protobuf
- org.apache.orc.orc-shims，從 1.9.0 到 1.9.1
Apache Spark
Databricks Runtime 14.1 包含 Apache Spark 3.5.0。 此版本包含 Databricks Runtime 14.0 中所包含的所有 Spark 修正和改善，以及下列對 Spark 進行的其他錯誤修正和改進：
- [SPARK-45088] [DBRRM-557]還原 “[SC-142785][PYTHON][CONNECT] 讓 getitem 使用重複的數據行”
- [SPARK-43453][DBRRM-557]還原 “[SC-143135][PS] 忽略
namesMultiIndex的時機，concataxis=1 - [SPARK-45225] [SC-143207][SQL]XML：XSD 檔案 URL 支援
- [SPARK-45156][SC-142782][SQL]在錯誤類別中
NON_FOLDABLE_INPUT以反引號換行inputName - [SPARK-44910] [SC-143082][SQL]Encoders.bean 不支援具有泛型類型自變數的超級類別
- [SPARK-43453][SC-143135][PS]忽略的
namesMultiIndex時機axis=1concat - [SPARK-44463][SS][CONNECT]改善 連線 串流 Python 背景工作角色的錯誤處理
- [SPARK-44960] [SC-141023][UI]Unescape 並跨UI頁面包含錯誤摘要
- [SPARK-44788] [SC-142980][CONNECT][PYTHON][SQL]將from_xml和schema_of_xml新增至 pyspark、spark connect 和 sql 函式
- [SPARK-44614] [SC-138460][PYTHON][CONNECT][3.5] 在 setup.py 中新增遺漏的套件
- [SPARK-45151] [SC-142861][CORE][UI]工作層級線程傾印支援
- [SPARK-45056] [SC-142779][PYTHON][SS][CONNECT]streamingQueryListener 和 foreachBatch 的終止測試
- [SPARK-45084] [SC-142828][SS]StateOperatorProgress 使用精確的有效隨機分割區編號
- [SPARK-44872] [SC-142405][CONNECT]伺服器測試基礎結構和 ReattachableExecuteSuite
- [SPARK-45197] [SC-142984][CORE]將
StandaloneRestServer新增JavaModuleOptions至驅動程式 - [SPARK-44404] [SC-139601][SQL]將名稱指派給錯誤類別 LEGACY_ERROR_TEMP[1009,1010,1013,1015,1016,1278]
- [SPARK-44647] [SC-142297][SQL]支援SPJ，其中聯結金鑰小於叢集金鑰
- [SPARK-45088] [SC-142785][PYTHON][CONNECT]使用
getitem重複的數據行 - [SPARK-45128][SC-142851][SQL]箭號中的支援
CalendarIntervalType - [SPARK-45130] [SC-142976][CONNECT][ML][PYTHON]避免 Spark 連線 ML 模型以變更輸入 pandas 數據框架
- [SPARK-45034] [SC-142959][SQL]支援決定性模式函式
- [SPARK-45173] [SC-142931][UI]拿掉 UI 中一些不必要的 sourceMapping 檔案
- [SPARK-45162] [SC-142781][SQL]支援透過建構的對應和陣列參數
call_function - [SPARK-45143] [SC-142840][PYTHON][CONNECT]讓 PySpark 與 PyArrow 13.0.0 相容
- [SPARK-45174] [SC-142837][CORE]支援
spark.deploy.maxDrivers - [SPARK-45167] [SC-142956][CONNECT][PYTHON]Python 用戶端必須呼叫
release_all - [SPARK-36191] [SC-142777][SQL]以相互關聯的純量 （橫向） 子查詢處理限制和順序
- [SPARK-45159] [SC-142829][PYTHON]僅在必要時處理具名自變數
- [SPARK-45133][SC-142512][CONNECT]讓Spark連線查詢在最後一個結果工作完成時完成
- [SPARK-44801] [SC-140802][SQL][UI]擷取接聽程式和UI中分析失敗的查詢
- [SPARK-45139] [SC-142527][SQL]新增 DatabricksDialect 來處理 SQL 類型轉換
- [SPARK-45157] [SC-142546][SQL]避免重複
if簽入[On|Off|HeapColumnVector - [SPARK-45077] 將 “[SC-142069][UI] 升級dagre-d3.js從 04.3 還原為 0.6.4”
- [SPARK-45145] [SC-142521][範例]新增 JavaSparkSQLCli 範例
- [SPARK-43295] 還原 “[SC-142254][PS] 支援 的
DataFrameGroupBy.sum字元串類型數據行” - [SPARK-44915] [SC-142383][CORE]在復原之前驗證重新掛接的PVC隨機數據總和檢查碼
- [SPARK-45147] [SC-142524][CORE]拿掉
System.setSecurityManager使用量 - [SPARK-45104] [SC-142206][UI]升級
graphlib-dot.min.js至 1.0.2 - [SPARK-44238] [SC-141606][CORE][SQL]引進具有位元組陣列輸入的新
readFrom方法BloomFilter - [SPARK-45060] [SC-141742][SQL]修正格式
to_char()的內部NULL錯誤 - [SPARK-43252][SC-142381][SQL]以內部錯誤取代錯誤類別
_LEGACY_ERROR_TEMP_2016 - [SPARK-45069] [SC-142279][SQL]SQL 變數應該一律在外部參考之後解析
- [SPARK-44911] [SC-142388][SQL]建立具有無效數據行的Hive資料表應該會傳回錯誤類別
- [SPARK-42754] [SC-125567][SQL][UI]修正巢狀 SQL 執行中的回溯相容性問題
- [SPARK-45121][SC-142375][CONNECT][PS]支援
Series.emptySpark 連線。 - [SPARK-44805] [SC-142203][SQL] getBytes/getShorts/getInts/etc.應該在具有字典的數據行向量中運作
- [SPARK-45027] [SC-142248][PYTHON]在中
pyspark.sql.functions隱藏內部函式/變數，不要自動完成 - [SPARK-45073] [SC-141791][PS][CONNECT]將取代
LastNotNull為Last(ignoreNulls=True) - [SPARK-44901] [SC-141676][SQL]手動反向移植：在 Python UDTF 'analyze' 方法中新增 API 以傳回數據分割/排序表達式
- [SPARK-45076] [SC-141795][PS]切換至內
repeat建函式 - [SPARK-44162] [SC-141605][CORE]支援Spark計量中的 G1GC
- [SPARK-45053] [SC-141733][PYTHON][MINOR]Python 版本不符的記錄改善
- [SPARK-44866] [SC-142221][SQL]新增
SnowflakeDialect以正確處理 BOOLEAN 類型 - [SPARK-45064] [SC-141775][PYTHON][CONNECT]在中新增遺漏
scale的參數ceil/ceiling - [SPARK-45059] [SC-141757][CONNECT][PYTHON]將函式新增
try_reflect至 Scala 和 Python - [SPARK-43251][SC-142280][SQL]以內部錯誤取代錯誤類別
_LEGACY_ERROR_TEMP_2015 - [SPARK-45052] [SC-141736][SQL][PYTHON][CONNECT]讓函式別名輸出數據行名稱與 SQL 一致
- [SPARK-44239] [SC-141502][SQL]重設向量時，釋放由大型向量配置的記憶體
- [SPARK-43295] [SC-142254][PS]支援的字串類型數據行
DataFrameGroupBy.sum - [SPARK-45080] [SC-142062][SS]在 DSv2 串流數據源中明確呼叫單欄式支援
- [SPARK-45036] [SC-141768][SQL]SPJ：簡化邏輯以處理部分叢集散發
- [SPARK-45077] [SC-142069][UI]將dagre-d3.js從0.4.3升級至0.6.4
- [SPARK-45091] [SC-142020][PYTHON][CONNECT][SQL]函式
floor/round/bround接受數據行類型scale - [SPARK-45090] [SC-142019][PYTHON][CONNECT]
DataFrame.{cube, rollup}支援資料行序數 - [SPARK-44743] [SC-141625][SQL]新增
try_reflect函式 - [SPARK-45086] [SC-142052][UI]顯示線程鎖定哈希程式代碼的十六進位
- [SPARK-44952] [SC-141644][SQL][PYTHON]支持匯總 Pandas UDF 中的具名自變數
- [SPARK-44987] [SC-141552][SQL]將名稱指派給錯誤類別
_LEGACY_ERROR_TEMP_1100 - [SPARK-45032] [SC-141730][CONNECT]修正與相關的編譯警告
Top-level wildcard is not allowed and will error under -Xsource:3 - [SPARK-45048] [SC-141629][CONNECT]新增 Python 用戶端和可附加執行的其他測試
- [SPARK-45072] [SC-141807][CONNECT]修正氟化素類別的外部範圍
- [SPARK-45033] [SC-141759][SQL]依參數化支持對應
sql() - [SPARK-45066] [SC-141772][SQL][PYTHON][CONNECT]讓函式
repeat接受數據行類型n - [SPARK-44860] [SC-141103][SQL]新增SESSION_USER函式
- [SPARK-45074] [SC-141796][PYTHON][CONNECT]
DataFrame.{sort, sortWithinPartitions}支援資料行序數 - [SPARK-45047] [SC-141774][PYTHON][CONNECT]
DataFrame.groupBy支持序數 - [SPARK-44863] [SC-140798][UI]在 Spark UI 中新增按鈕以 txt 身分下載線程傾印
- [SPARK-45026] [SC-141604][CONNECT]
spark.sql應該支援與箭號不相容的數據類型 - [SPARK-44999][SC-141145][CORE]重構
ExternalSorter以減少呼叫時的檢查shouldPartitiongetPartition - [SPARK-42304] [SC-141501][SQL]將重新命名
_LEGACY_ERROR_TEMP_2189為GET_TABLES_BY_TYPE_UNSUPPORTED_BY_HIVE_VERSION - [SPARK-43781] [SC-139450][SQL]修正在將衍生自相同來源的兩個數據集群組在一起時修正 IllegalStateException
- [SPARK-45018] [SC-141516][PYTHON][CONNECT]將 CalendarIntervalType 新增至 Python 用戶端
- [SPARK-45024] [SC-141513][PYTHON][CONNECT]篩選掉會話建立中的一些組態
- [SPARK-45017] [SC-141508][PYTHON]新增
CalendarIntervalType至 PySpark - [SPARK-44720] [SC-139375][CONNECT]讓數據集使用編碼器，而不是 AgnosticEncoder
- [SPARK-44982][SC-141027][CONNECT]將 Spark 連線 伺服器組態標示為靜態
- [SPARK-44839] [SC-140900][SS][CONNECT]當用戶嘗試串行化 Spark 工作階段時，更好的錯誤記錄
- [SPARK-44865] [SC-140905][SS]讓 StreamingRelationV2 支援元數據行
- [SPARK-45001] [SC-141141][PYTHON][CONNECT]實作 DataFrame.foreachPartition
- [SPARK-44497] [SC-141017][WEBUI]在 [工作數據表] 中顯示工作分割標識碼
- [SPARK-45006] [SC-141143][UI]使用時間軸 X 軸之其他 UI 日期元素的相同日期格式
- [SPARK-45000] [SC-141135][PYTHON][CONNECT]實作 DataFrame.foreach
- [SPARK-44967] [SC-141137][SQL][CONNECT]使用 TreeNodeTag 的布爾值之前，請先考慮單位
- [SPARK-44993] [SC-141088][CORE]
ShuffleChecksumUtils.compareChecksums重複使用新增ShuffleChecksumTestHelp.compareChecksums - [SPARK-44807] [SC-140176][CONNECT]將 Dataset.metadataColumn 新增至 Scala 用戶端
- [SPARK-44965] [SC-141098][PYTHON]隱藏內部函式/變數的來源
pyspark.sql.functions - [SPARK-44983][SC-141030][SQL]針對下列格式，將二進位轉換成字串
to_char：hex、、base64utf-8 - [SPARK-44980] [DBRRM-462][SC-141024][PYTHON][CONNECT]修正繼承的具名圖ple，以在 createDataFrame 中運作
- [SPARK-44985] [SC-141033][CORE]使用 toString，而不是工作重新執行線程Dump 的 stacktrace
- [SPARK-44984][SC-141028][PYTHON][CONNECT]從 DataFrame 移除
_get_alias - [SPARK-44975] [SC-141013][SQL]拿掉已解析的二進位算術無用覆寫
- [SPARK-44969][SC-140957][SQL]在中重複使用
ArrayInsertArrayAppend - [SPARK-44549] [SC-140714][SQL]支援相互關聯的純量子查詢中的視窗函式
- [SPARK-44938] [SC-140811][SQL]將預設值
spark.sql.maxSinglePartitionBytes變更為 128m - [SPARK-44918] [SC-140816][SQL][PYTHON]支援純量 Python/Pandas UDF 中的具名自變數
- [SPARK-44966] [SC-140907][CORE][CONNECT]將永不變更變更
var為val - [SPARK-41471] [SC-140804][SQL]當聯結只有一端是 KeyGroupedPartitioning 時減少 Spark 隨機顯示
- [SPARK-44214] [SC-140528][CORE]支援 Spark 驅動程式實時記錄 UI
- [SPARK-44861][SC-140716][CONNECT] jsonignore SparkListener 連線 OperationStarted.planRequest
- [SPARK-44776][SC-140519][CONNECT]將 ProducedRowCount 新增至 SparkListener 連線 OperationFinished
- [SPARK-42017] [SC-140765][PYTHON][CONNECT]
df['col_name']應該驗證數據行名稱 - [SPARK-40178] [SC-140433][SQL][COONECT]輕鬆支援 PySpark 和 R 的聯合提示
- [SPARK-44840] [SC-140593][SQL]針對負索引建立
array_insert()以 1 為基底 - [SPARK-44939] [SC-140778][R] 在 SparkR SystemRequirements 中支援 Java 21
- [SPARK-44936] [SC-140770][CORE]當 Spark HybridStore 達到記憶體限制時，請簡化記錄
- [SPARK-44908] [SC-140712][ML][CONNECT]修正交叉驗證程式 foldCol 參數功能
- [SPARK-44816] [SC-140717][CONNECT]找不到UDF類別時改善錯誤訊息
- [SPARK-44909] [SC-140710][ML] 在無法使用火炬散發者記錄串流伺服器時略過啟動火炬散發者記錄串流伺服器
- [SPARK-44920] [SC-140707][CORE]在 TransportClientFactory.createClient（） 中使用 await（） 而不是 awaitUninterruptibly（）
- [SPARK-44905] [SC-140703][SQL]具狀態 lastRegex 會在 eval 上造成 nullPointerException regexp_replace
- [SPARK-43987] [SC-139594][Shuffle]將 finalizeShuffleMerge 處理分隔至專用線程集區
- [SPARK-42768] [SC-140549][SQL]依預設啟用快取方案套用 AQE
- [SPARK-44741] [SC-139447][CORE]在中支援以 regex 為基礎的 MetricFilter
StatsdSink - [SPARK-44751] [SC-140532][SQL]XML FileFormat 介面實作
- [SPARK-44868] [SC-140438][SQL]將 datetime 轉換成字串依據
to_char/to_varchar - [SPARK-44748] [SC-140504][SQL]UDTF TABLE 自變數中 PARTITION BY 子句的查詢執行
- [SPARK-44873] [SC-140427]在Hive用戶端中使用巢狀資料行支援改變檢視
- [SPARK-44876][SC-140431][PYTHON]修正 Spark 上的箭頭優化 Python UDF 連線
- [SPARK-44520] [SC-137845][SQL]以UNSUPPORTED_DATASOURCE_FOR_DIRECT_QUERY和洩漏根 AE 取代字詞UNSUPPORTED_DATA_SOURCE_FOR_DIRECT_QUERY
- [SPARK-42664][SC-139769][CONNECT]的支援函式
bloomFilterDataFrameStatFunctions - [SPARK-43567][SC-139227][PS]支援
use_na_sentinelfactorize - [SPARK-44859] [SC-140254][SS]修正結構化串流檔中不正確的屬性名稱
- [SPARK-44822] [SC-140182][PYTHON][SQL]默認將 Python UDDF 設為不具決定性
- [SPARK-44731][SC-139524][PYTHON][CONNECT]讓 TimestampNTZ 與 Python Spark 中的常值搭配運作 連線
- [SPARK-44836] [SC-140180][PYTHON]重構箭號 Python UDTF
- [SPARK-44714] [SC-139238]輕鬆限制 LCA 解決具有的查詢
- [SPARK-44749] [SC-139664][SQL][PYTHON]支援 Python UDTF 中的具名自變數
- [SPARK-44737] [SC-139512][SQL][UI]不應該在 SQL 頁面上針對 SQL 索引標籤上的非 SparkThrowable 顯示 JSON 格式錯誤
- [SPARK-44665] [SC-139307][PYTHON]新增 pandas DataFrame assertDataFrameEqual 的支援
- [SPARK-44736][SC-139622][CONNECT]將 Dataset.explode 新增至 Spark 連線 Scala 用戶端
- [SPARK-44732] [SC-139422][SQL]內建 XML 資料源支援
- [SPARK-44694] [SC-139213][PYTHON][CONNECT]重構作用中的會話，並將其公開為 API
- [SPARK-44652] [SC-138881]當只有一個 df 為 None 時引發錯誤
- [SPARK-44562] [SC-138824][SQL]在子查詢批次中新增 OptimizeOneRowRelationSubquery
- [SPARK-44717] [SC-139319][PYTHON][PS]在重新取樣中尊重 TimestampNTZ
- [SPARK-42849] [SC-139365][SQL]會話變數
- [SPARK-44236][SC-139239][SQL]當設定
spark.sql.codegen.factoryMode為 NO_CODEGEN 時，停用 神秘 leStageCodegen - [SPARK-44695] [SC-139316][PYTHON]改善的錯誤訊息
DataFrame.toDF - [SPARK-44680] [SC-139234][SQL]改善中的參數錯誤
DEFAULT - [SPARK-43402] [SC-138321][SQL]FileSourceScanExec 支援使用純量子查詢向下推入數據篩選
- [SPARK-44641] [SC-139216][SQL]未觸發SPJ時，某些案例不正確
- [SPARK-44689] [SC-139219][CONNECT]讓函式的
SparkConnectPlanner#unpackScalarScalaUDF例外狀況處理更加普遍 - [SPARK-41636] [SC-139061][SQL]確定
selectFilters以決定性順序傳回述詞 - [SPARK-44132] [SC-139197][SQL]具體化
Stream聯結數據行名稱以避免codegen 失敗 - [SPARK-42330] [SC-138838][SQL]將名稱
RULE_ID_NOT_FOUND指派給錯誤類別_LEGACY_ERROR_TEMP_2175 - [SPARK-44683] [SC-139214][SS]記錄層級未正確傳遞至 RocksDB 狀態存放區提供者
- [SPARK-44658] [SC-138868][CORE]
ShuffleStatus.getMapStatus應該傳回None而不是Some(null) - [SPARK-44603] [SC-138353]將 pyspark.testing 新增至 setup.py
- [SPARK-44252] [SC-137505][SS]定義新的錯誤類別，並套用從 DFS 載入狀態失敗的情況
- [SPARK-29497] [DBRRM-396][SC-138477][CONNECT]當 UDF 無法還原串行化時擲回錯誤。
- [SPARK-44624] [DBRRM-396][SC-138900][CONNECT]如果初始要求未連線到伺服器，請重試 ExecutePlan
- [SPARK-41400][DBRRM-396][SC-138287][CONNECT]拿掉用戶端催化劑相依性 連線
- [SPARK-44059] [SC-138833][SQL]為名為argumnts的 SQL 新增更好的錯誤訊息
- [SPARK-44620][SC-138831][SQL][PS][CONNECT]保留
ResolvePivotPlan_ID_TAG - [SPARK-43838] [SC-137413][SQL]修正具有 子句的單一數據表子查詢無法優化
- [SPARK-44555] [SC-138820][SQL]使用 checkError（） 在命令套件中檢查 Exception ， 並指派一些錯誤類別名稱
- [SPARK-44280] [SC-138821][SQL]在 JDBCDialect API 中新增 convertJavaTimestampToTimestamp
- [SPARK-44602][SC-138337][SQL][CONNECT][PS]保留
WidenSetOperationTypesPlan_ID_TAG - [SPARK-42941] [SC-138389][SS][CONNECT]Python StreamingQueryListener
- [SPARK-43838] 還原 “[SC-137413][SQL] 修正單一 ta... 上的子查詢
- [SPARK-44538] [SC-138178][CONNECT][SQL]恢復 Row.jsonValue 和 friend
- [SPARK-44421][SC-138434][SPARK-44423][CONNECT]在Spark連線中重新附加執行
- [SPARK-43838] [SC-137413][SQL]修正具有 子句的單一數據表子查詢無法優化
- [SPARK-44587] [SC-138315][SQL][CONNECT]增加 protobuf 封送器遞歸限制
- [SPARK-44605] [SC-138338][CORE]精簡內部 ShuffleWriteProcessor API
- [SPARK-44394][SC-138291][CONNECT][WEBUI]新增Spark連線的Spark UI頁面
- [SPARK-44585] [SC-138286][MLLIB]修正 MLLib RankMetrics ndcgAk 中的警告條件
- [SPARK-44198] [SC-138137][CORE]支援將記錄層級傳播至執行程式
- [SPARK-44454] [SC-138071][SQL][HIVE]HiveShim getTablesByType 支援後援
- [SPARK-44425] [SC-138135][CONNECT]驗證使用者提供的 sessionId 是否為 UUID
- [SPARK-43611][SC-138051][SQL][PS][CONNCECT]保留
ExtractWindowExpressionsPLAN_ID_TAG - [SPARK-44560] [SC-138117][PYTHON][CONNECT]改善箭頭 Python UDF 的測試與檔
- [SPARK-44482][SC-138067][CONNECT]連線 伺服器應該可以指定系結位址
- [SPARK-44528][SC-138047][CONNECT]支援適當使用hasattr（） 連線數據框架
- [SPARK-44525] [SC-138043][SQL]找不到 Invoke 方法時改善錯誤訊息
- [SPARK-44355] [SC-137878][SQL]將WithCTE移至命令查詢
Databricks ODBC/JDBC 驅動程序支援
Databricks 支援在過去 2 年中發行的 ODBC/JDBC 驅動程式。 請下載最近發行的驅動程式和升級 （下載 ODBC， 下載 JDBC）。
系統環境
- 操作系統：Ubuntu 22.04.3 LTS
- Java：Zulu 8.72.0.17-CA-linux64
- Scala：2.12.15
- Python：3.10.12
- R：4.3.1
- Delta Lake：3.0.0
已安裝的 Python 程式庫
| 程式庫 | 版本 | 程式庫 | 版本 | 程式庫 | 版本 |
|---|---|---|---|---|---|
| anyio | 3.5.0 | argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 |
| asttokens | 2.0.5 | attrs | 22.1.0 | backcall | 0.2.0 |
| beautifulsoup4 | 4.11.1 | black | 22.6.0 | bleach | 4.1.0 |
| blinker | 1.4 | boto3 | 1.24.28 | botocore | 1.27.96 |
| certifi | 2022.12.7 | cffi | 1.15.1 | chardet | 4.0.0 |
| charset-normalizer | 2.0.4 | 按一下 | 8.0.4 | 通訊 | 0.1.2 |
| contourpy | 1.0.5 | 密碼編譯 | 39.0.1 | cycler | 0.11.0 |
| Cython | 0.29.32 | databricks-sdk | 0.1.6 | dbus-python | 1.2.18 |
| debugpy | 1.6.7 | decorator | 5.1.1 | defusedxml | 0.7.1 |
| distlib | 0.3.7 | docstring-to-markdown | 0.11 | entrypoints | 0.4 |
| 執行 | 0.8.3 | facets-overview | 1.1.1 | fastjsonschema | 2.18.0 |
| filelock | 3.12.3 | fonttools | 4.25.0 | GCC 執行時間連結庫 | 1.10.0 |
| googleapis-common-protos | 1.60.0 | grpcio | 1.48.2 | grpcio-status | 1.48.1 |
| httplib2 | 0.20.2 | idna | 3.4 | importlib-metadata | 4.6.4 |
| ipykernel | 6.25.0 | ipython | 8.14.0 | ipython-genutils | 0.2.0 |
| ipywidgets | 7.7.2 | jedi | 0.18.1 | jeepney | 0.7.1 |
| Jinja2 | 3.1.2 | jmespath | 0.10.0 | joblib | 1.2.0 |
| jsonschema | 4.17.3 | jupyter-client | 7.3.4 | jupyter-server | 1.23.4 |
| jupyter_core | 5.2.0 | jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 |
| keyring | 23.5.0 | kiwisolver | 1.4.4 | launchpadlib | 1.10.16 |
| lazr.restfulclient | 0.14.4 | lazr.uri | 1.0.6 | lxml | 4.9.1 |
| MarkupSafe | 2.1.1 | matplotlib | 3.7.0 | matplotlib-inline | 0.1.6 |
| mccabe | 0.7.0 | mistune | 0.8.4 | more-itertools | 8.10.0 |
| mypy-extensions | 0.4.3 | nbclassic | 0.5.2 | nbclient | 0.5.13 |
| nbconvert | 6.5.4 | nbformat | 5.7.0 | nest-asyncio | 1.5.6 |
| nodeenv | 1.8.0 | notebook | 6.5.2 | notebook_shim | 0.2.2 |
| numpy | 1.23.5 | oauthlib | 3.2.0 | 封裝 | 22.0 |
| pandas | 1.5.3 | pandocfilters | 1.5.0 | parso | 0.8.3 |
| pathspec | 0.10.3 | patsy | 0.5.3 | pexpect | 4.8.0 |
| pickleshare | 0.7.5 | Pillow | 9.4.0 | pip | 22.3.1 |
| platformdirs | 2.5.2 | plotly | 5.9.0 | pluggy | 1.0.0 |
| prometheus-client | 0.14.1 | prompt-toolkit | 3.0.36 | protobuf | 4.24.0 |
| psutil | 5.9.0 | psycopg2 | 2.9.3 | ptyprocess | 0.7.0 |
| pure-eval | 0.2.2 | pyarrow | 8.0.0 | pycparser | 2.21 |
| pydantic | 1.10.6 | pyflakes | 3.0.1 | Pygments | 2.11.2 |
| PyGObject | 3.42.1 | PyJWT | 2.3.0 | pyodbc | 4.0.32 |
| pyparsing | 3.0.9 | pyright | 1.1.294 | 火熱 | 0.18.0 |
| python-dateutil | 2.8.2 | python-lsp-jsonrpc | 1.0.0 | python-lsp-server | 1.7.1 |
| pytoolconfig | 1.2.5 | pytz | 2022.7 | pyzmq | 23.2.0 |
| requests | 2.28.1 | 繩 | 1.7.0 | s3transfer | 0.6.2 |
| scikit-learn | 1.1.1 | seaborn | 0.12.2 | 秘密 儲存體 | 3.3.1 |
| Send2Trash | 1.8.0 | setuptools | 65.6.3 | 六次 | 1.16.0 |
| sniffio | 1.2.0 | soupsieve | 2.3.2.post1 | ssh-import-id | 5.11 |
| stack-data | 0.2.0 | statsmodels | 0.13.5 | tenacity | 8.1.0 |
| terminado | 0.17.1 | threadpoolctl | 2.2.0 | tinycss2 | 1.2.1 |
| tokenize-rt | 4.2.1 | tomli | 2.0.1 | tornado | 6.1 |
| traitlets | 5.7.1 | typing_extensions | 4.4.0 | ujson | 5.4.0 |
| 自動升級 | 0.1 | urllib3 | 1.26.14 | virtualenv | 20.16.7 |
| wadllib | 1.3.6 | wcwidth | 0.2.5 | webencodings | 0.5.1 |
| websocket-client | 0.58.0 | whatthepatch | 1.0.2 | wheel | 0.38.4 |
| widgetsnbextension | 3.6.1 | yapf | 0.31.0 | zipp | 1.0.0 |
| SciPy | 1.10.1 |
已安裝的 R 連結庫
R 連結庫會從 2023-02-10 上的 Posit 封裝管理員 CRAN 快照集安裝。
| 程式庫 | 版本 | 程式庫 | 版本 | 程式庫 | 版本 |
|---|---|---|---|---|---|
| 箭號 | 12.0.1 | askpass | 1.1 | assertthat | 0.2.1 |
| backports | 1.4.1 | base | 4.3.1 | base64enc | 0.1-3 |
| bit | 4.0.5 | bit64 | 4.0.5 | blob | 1.2.4 |
| boot | 1.3-28 | brew | 1.0-8 | brio | 1.1.3 |
| broom | 1.0.5 | bslib | 0.5.0 | cachem | 1.0.8 |
| callr | 3.7.3 | caret | 6.0-94 | cellranger | 1.1.0 |
| chron | 2.3-61 | class | 7.3-22 | cli | 3.6.1 |
| clipr | 0.8.0 | clock | 0.7.0 | 叢集 | 2.1.4 |
| codetools | 0.2-19 | colorspace | 2.1-0 | commonmark | 1.9.0 |
| compiler | 4.3.1 | config | 0.3.1 | 矛盾 | 1.2.0 |
| cpp11 | 0.4.4 | crayon | 1.5.2 | credentials | 1.3.2 |
| curl | 5.0.1 | data.table | 1.14.8 | datasets | 4.3.1 |
| DBI | 1.1.3 | dbplyr | 2.3.3 | 遞減 | 1.4.2 |
| devtools | 2.4.5 | 圖 | 1.6.5 | diffobj | 0.3.5 |
| digest | 0.6.33 | downlit | 0.4.3 | dplyr | 1.1.2 |
| dtplyr | 1.3.1 | e1071 | 1.7-13 | 省略符號 | 0.3.2 |
| evaluate | 0.21 | fansi | 1.0.4 | farver | 2.1.1 |
| fastmap | 1.1.1 | fontawesome | 0.5.1 | forcats | 1.0.0 |
| foreach | 1.5.2 | foreign | 0.8-82 | forge | 0.2.0 |
| fs | 1.6.2 | future | 1.33.0 | future.apply | 1.11.0 |
| 漱口 | 1.5.1 | 泛型 | 0.1.3 | 格特 | 1.9.2 |
| ggplot2 | 3.4.2 | gh | 1.4.0 | gitcreds | 0.1.2 |
| glmnet | 4.1-7 | globals | 0.16.2 | glue | 1.6.2 |
| googledrive | 2.1.1 | googlesheets4 | 1.1.1 | gower | 1.0.1 |
| graphics | 4.3.1 | grDevices | 4.3.1 | grid | 4.3.1 |
| gridExtra | 2.3 | gsubfn | 0.7 | gtable | 0.3.3 |
| hardhat | 1.3.0 | 避風港 | 2.5.3 | highr | 0.10 |
| hms | 1.1.3 | htmltools | 0.5.5 | htmlwidgets | 1.6.2 |
| httpuv | 1.6.11 | httr | 1.4.6 | httr2 | 0.2.3 |
| ids | 1.0.1 | ini | 0.3.1 | ipred | 0.9-14 |
| isoband | 0.2.7 | iterators | 1.0.14 | jquerylib | 0.1.4 |
| jsonlite | 1.8.7 | KernSmooth | 2.23-21 | 針織機 | 1.43 |
| labeling | 0.4.2 | later | 1.3.1 | lattice | 0.21-8 |
| Lava | 1.7.2.1 | 生命週期 | 1.0.3 | listenv | 0.9.0 |
| lubridate | 1.9.2 | magrittr | 2.0.3 | markdown | 1.7 |
| MASS | 7.3-60 | 矩陣 | 1.5-4.1 | 備忘 | 2.0.1 |
| 方法 | 4.3.1 | mgcv | 1.8-42 | mime | 0.12 |
| miniUI | 0.1.1.1 | ModelMetrics | 1.2.2.2 | modelr | 0.1.11 |
| 蒙塞爾 | 0.5.0 | nlme | 3.1-162 | nnet | 7.3-19 |
| numDeriv | 2016.8-1.1 | openssl | 2.0.6 | parallel | 4.3.1 |
| parallelly | 1.36.0 | pillar | 1.9.0 | pkgbuild | 1.4.2 |
| pkgconfig | 2.0.3 | pkgdown | 2.0.7 | pkgload | 1.3.2.1 |
| plogr | 0.2.0 | plyr | 1.8.8 | 讚美 | 1.0.0 |
| prettyunits | 1.1.1 | pROC | 1.18.4 | processx | 3.8.2 |
| prodlim | 2023.03.31 | profvis | 0.3.8 | 進度 | 1.2.2 |
| progressr | 0.13.0 | promises | 1.2.0.1 | proto | 1.0.0 |
| proxy | 0.4-27 | ps | 1.7.5 | purrr | 1.0.1 |
| r2d3 | 0.2.6 | R6 | 2.5.1 | 不雅 | 1.2.5 |
| randomForest | 4.7-1.1 | rappdirs | 0.3.3 | rcmdcheck | 1.4.0 |
| RColorBrewer | 1.1-3 | Rcpp | 1.0.11 | RcppEigen | 0.3.3.9.3 |
| readr | 2.1.4 | readxl | 1.4.3 | recipes | 1.0.6 |
| rematch | 1.0.1 | rematch2 | 2.1.2 | remotes | 2.4.2 |
| reprex | 2.0.2 | reshape2 | 1.4.4 | rlang | 1.1.1 |
| rmarkdown | 2.23 | RODBC | 1.3-20 | roxygen2 | 7.2.3 |
| rpart | 4.1.19 | rprojroot | 2.0.3 | Rserve | 1.8-11 |
| RSQLite | 2.3.1 | rstudioapi | 0.15.0 | rversions | 2.1.2 |
| rvest | 1.0.3 | sass | 0.4.6 | scales | 1.2.1 |
| selectr | 0.4-2 | sessioninfo | 1.2.2 | shape | 1.4.6 |
| shiny | 1.7.4.1 | sourcetools | 0.1.7-1 | sparklyr | 1.8.1 |
| SparkR | 3.5.0 | spatial | 7.3-15 | splines | 4.3.1 |
| sqldf | 0.4-11 | SQUAREM | 2021.1 | stats | 4.3.1 |
| stats4 | 4.3.1 | stringi | 1.7.12 | stringr | 1.5.0 |
| survival | 3.5-5 | sys | 3.4.2 | systemfonts | 1.0.4 |
| tcltk | 4.3.1 | testthat | 3.1.10 | textshaping | 0.3.6 |
| tibble | 3.2.1 | tidyr | 1.3.0 | tidyselect | 1.2.0 |
| tidyverse | 2.0.0 | timechange | 0.2.0 | timeDate | 4022.108 |
| tinytex | 0.45 | tools | 4.3.1 | tzdb | 0.4.0 |
| urlchecker | 1.0.1 | usethis | 2.2.2 | utf8 | 1.2.3 |
| utils | 4.3.1 | uuid | 1.1-0 | vctrs | 0.6.3 |
| viridisLite | 0.4.2 | vroom | 1.6.3 | waldo | 0.5.1 |
| 晶須 | 0.4.1 | withr | 2.5.0 | xfun | 0.39 |
| xml2 | 1.3.5 | xopen | 1.0.0 | xtable | 1.8-4 |
| yaml | 2.3.7 | zip | 2.3.0 |
已安裝的 Java 和 Scala 連結庫 （Scala 2.12 叢集版本）
| 群組識別碼 | 成品標識碼 | 版本 |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.390 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.12.390 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.390 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.12.390 |
| com.amazonaws | aws-java-sdk-config | 1.12.390 |
| com.amazonaws | aws-java-sdk-core | 1.12.390 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.12.390 |
| com.amazonaws | aws-java-sdk-directconnect | 1.12.390 |
| com.amazonaws | aws-java-sdk-directory | 1.12.390 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.12.390 |
| com.amazonaws | aws-java-sdk-ec2 | 1.12.390 |
| com.amazonaws | aws-java-sdk-ecs | 1.12.390 |
| com.amazonaws | aws-java-sdk-efs | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticache | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.390 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.390 |
| com.amazonaws | aws-java-sdk-emr | 1.12.390 |
| com.amazonaws | aws-java-sdk-glacier | 1.12.390 |
| com.amazonaws | aws-java-sdk-glue | 1.12.390 |
| com.amazonaws | aws-java-sdk-iam | 1.12.390 |
| com.amazonaws | aws-java-sdk-importexport | 1.12.390 |
| com.amazonaws | aws-java-sdk-kinesis | 1.12.390 |
| com.amazonaws | aws-java-sdk-kms | 1.12.390 |
| com.amazonaws | aws-java-sdk-lambda | 1.12.390 |
| com.amazonaws | aws-java-sdk-logs | 1.12.390 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.12.390 |
| com.amazonaws | aws-java-sdk-opsworks | 1.12.390 |
| com.amazonaws | aws-java-sdk-rds | 1.12.390 |
| com.amazonaws | aws-java-sdk-redshift | 1.12.390 |
| com.amazonaws | aws-java-sdk-route53 | 1.12.390 |
| com.amazonaws | aws-java-sdk-s3 | 1.12.390 |
| com.amazonaws | aws-java-sdk-ses | 1.12.390 |
| com.amazonaws | aws-java-sdk-simpledb | 1.12.390 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.390 |
| com.amazonaws | aws-java-sdk-sns | 1.12.390 |
| com.amazonaws | aws-java-sdk-sqs | 1.12.390 |
| com.amazonaws | aws-java-sdk-ssm | 1.12.390 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.12.390 |
| com.amazonaws | aws-java-sdk-sts | 1.12.390 |
| com.amazonaws | aws-java-sdk-support | 1.12.390 |
| com.amazonaws | aws-java-sdk-js-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.12.390 |
| com.amazonaws | jmespath-java | 1.12.390 |
| com.clearspring.analytics | stream | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | databricks-sdk-java | 0.7.0 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | 同學 | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations | 2.15.2 |
| com.fasterxml.jackson.core | jackson-core | 2.15.2 |
| com.fasterxml.jackson.core | jackson-databind | 2.15.2 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.15.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.15.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.15.1 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.15.2 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.15.2 |
| com.github.ben-manes.咖啡因 | 咖啡因 | 2.9.3 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java | 1.1 原生 |
| com.github.fommil.netlib | native_system java | 1.1 |
| com.github.fommil.netlib | native_system java | 1.1 原生 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64 | 1.1 原生 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64 | 1.1 原生 |
| com.github.luben | zstd-jni | 1.5.5-4 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.10.1 |
| com.google.crypto.tink | 小 叮噹 | 1.9.0 |
| com.google.errorprone | error_prone_annotations | 2.10.0 |
| com.google.flatbuffers | flatbuffers-java | 1.12.0 |
| com.google.guava | 番 石榴 | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.helger | 分析器 | 1.1.1 |
| com.jcraft | jsch | 0.1.55 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 11.2.2.jre8 |
| com.ning | compress-lzf | 1.1.2 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.sun.xml.bind | jaxb-core | 2.2.11 |
| com.sun.xml.bind | jaxb-impl | 2.2.11 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.12 | 0.10.0 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.uber | h3 | 3.7.3 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| commons-cli | commons-cli | 1.5.0 |
| commons-codec | commons-codec | 1.16.0 |
| commons-collections | commons-collections | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-fileupload | commons-fileupload | 1.5 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.13.0 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-pool | commons-pool | 1.5.4 |
| dev.ludovic.netlib | arpack | 3.0.3 |
| dev.ludovic.netlib | blas | 3.0.3 |
| dev.ludovic.netlib | lapack | 3.0.3 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0.25 |
| io.delta | delta-sharing-spark_2.12 | 0.7.5 |
| io.dropwizard.metrics | metrics-annotation | 4.2.19 |
| io.dropwizard.metrics | metrics-core | 4.2.19 |
| io.dropwizard.metrics | metrics-graphite | 4.2.19 |
| io.dropwizard.metrics | metrics-healthchecks | 4.2.19 |
| io.dropwizard.metrics | metrics-jetty9 | 4.2.19 |
| io.dropwizard.metrics | metrics-jmx | 4.2.19 |
| io.dropwizard.metrics | metrics-json | 4.2.19 |
| io.dropwizard.metrics | metrics-jvm | 4.2.19 |
| io.dropwizard.metrics | metrics-servlet | 4.2.19 |
| io.netty | netty-all | 4.1.96.Final |
| io.netty | netty-buffer | 4.1.96.Final |
| io.netty | netty-codec | 4.1.96.Final |
| io.netty | netty-codec-http | 4.1.96.Final |
| io.netty | netty-codec-http2 | 4.1.96.Final |
| io.netty | netty-codec-socks | 4.1.96.Final |
| io.netty | netty-common | 4.1.96.Final |
| io.netty | netty-handler | 4.1.96.Final |
| io.netty | netty-handler-proxy | 4.1.96.Final |
| io.netty | netty-resolver | 4.1.96.Final |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-linux-aarch_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-linux-x86_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-osx-aarch_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-osx-x86_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-windows-x86_64 |
| io.netty | netty-tcnative-classes | 2.0.61.Final |
| io.netty | netty-transport | 4.1.96.Final |
| io.netty | netty-transport-classes-epoll | 4.1.96.Final |
| io.netty | netty-transport-classes-kqueue | 4.1.96.Final |
| io.netty | netty-transport-native-epoll | 4.1.96.Final |
| io.netty | netty-transport-native-epoll | 4.1.96.Final-linux-aarch_64 |
| io.netty | netty-transport-native-epoll | 4.1.96.Final-linux-x86_64 |
| io.netty | netty-transport-native-kqueue | 4.1.96.Final-osx-aarch_64 |
| io.netty | netty-transport-native-kqueue | 4.1.96.Final-osx-x86_64 |
| io.netty | netty-transport-native-unix-common | 4.1.96.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | 收藏家 | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | 啟用 | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | Jta | 1.1 |
| javax.transaction | transaction-api | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.11 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.12.1 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | 泡菜 | 1.3 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.13.33 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.9.3 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.16 |
| org.apache.ant | ant-jsch | 1.9.16 |
| org.apache.ant | ant-launcher | 1.9.16 |
| org.apache.arrow | arrow-format | 12.0.1 |
| org.apache.arrow | arrow-memory-core | 12.0.1 |
| org.apache.arrow | arrow-memory-netty | 12.0.1 |
| org.apache.arrow | arrow-vector | 12.0.1 |
| org.apache.avro | avro | 1.11.2 |
| org.apache.avro | avro-ipc | 1.11.2 |
| org.apache.avro | avro-mapred | 1.11.2 |
| org.apache.commons | commons-collections4 | 4.4 |
| org.apache.commons | commons-compress | 1.23.0 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.12.0 |
| org.apache.commons | commons-math3 | 3.6.1 |
| org.apache.commons | commons-text | 1.10.0 |
| org.apache.curator | curator-client | 2.13.0 |
| org.apache.curator | curator-framework | 2.13.0 |
| org.apache.curator | 策展人-食譜 | 2.13.0 |
| org.apache.datasketches | datasketches-java | 3.1.0 |
| org.apache.datasketches | datasketches-memory | 2.0.0 |
| org.apache.derby | Derby | 10.14.2.0 |
| org.apache.hadoop | hadoop-client-runtime | 3.3.6 |
| org.apache.hive | hive-beeline | 2.3.9 |
| org.apache.hive | hive-cli | 2.3.9 |
| org.apache.hive | hive-jdbc | 2.3.9 |
| org.apache.hive | hive-llap-client | 2.3.9 |
| org.apache.hive | hive-llap-common | 2.3.9 |
| org.apache.hive | hive-serde | 2.3.9 |
| org.apache.hive | hive-shims | 2.3.9 |
| org.apache.hive | hive-storage-api | 2.8.1 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
| org.apache.hive.shims | hive-shims-common | 2.3.9 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
| org.apache.httpcomponents | httpclient | 4.5.14 |
| org.apache.httpcomponents | httpcore | 4.4.16 |
| org.apache.ivy | 常春藤 | 2.5.1 |
| org.apache.logging.log4j | log4j-1.2-api | 2.20.0 |
| org.apache.logging.log4j | log4j-api | 2.20.0 |
| org.apache.logging.log4j | log4j-core | 2.20.0 |
| org.apache.logging.log4j | log4j-slf4j2-impl | 2.20.0 |
| org.apache.mesos | mesos | 1.11.0-shaded-protobuf |
| org.apache.orc | orc-core | 1.9.1-shaded-protobuf |
| org.apache.orc | orc-mapreduce | 1.9.1-shaded-protobuf |
| org.apache.orc | orc-shims | 1.9.1 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.ws.xmlschema | xmlschema-core | 2.3.0 |
| org.apache.xbean | xbean-asm9-shaded | 4.23 |
| org.apache.yetus | audience-annotations | 0.13.0 |
| org.apache.zookeeper | zookeeper | 3.6.3 |
| org.apache.zookeeper | zookeeper-jute | 3.6.3 |
| org.checkerframework | checker-qual | 3.31.0 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-continuation | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-http | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-io | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-jndi | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-plus | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-proxy | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-security | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-server | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-servlet | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-servlets | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-util | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-webapp | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-xml | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-api | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-client | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-common | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-server | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-servlet | 9.4.52.v20230823 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.40 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.40 |
| org.glassfish.jersey.core | jersey-client | 2.40 |
| org.glassfish.jersey.core | 澤西-通用 | 2.40 |
| org.glassfish.jersey.core | jersey-server | 2.40 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.40 |
| org.hibernate.validator | hibernate-validator | 6.1.7.Final |
| org.ini4j | ini4j | 0.5.4 |
| org.javassist | javassist | 3.29.2-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jetbrains | annotations | 17.0.0 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
| org.json4s | json4s-core_2.12 | 3.7.0-M11 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
| org.lz4 | lz4-java | 1.8.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.7.9 |
| org.mlflow | mlflow-spark | 2.2.0 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.6.0 |
| org.roaringbitmap | RoaringBitmap | 0.9.45 |
| org.roaringbitmap | 墊片 | 0.9.45 |
| org.rocksdb | rocksdbjni | 8.3.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.15 |
| org.scala-lang | scala-library_2.12 | 2.12.15 |
| org.scala-lang | scala-reflect_2.12 | 2.12.15 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.9.0 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.2.15 |
| org.scalanlp | breeze-macros_2.12 | 2.1.0 |
| org.scalanlp | breeze_2.12 | 2.1.0 |
| org.scalatest | scalatest 相容 | 3.2.15 |
| org.scalatest | scalatest-core_2.12 | 3.2.15 |
| org.scalatest | scalatest-diagrams_2.12 | 3.2.15 |
| org.scalatest | scalatest-featurespec_2.12 | 3.2.15 |
| org.scalatest | scalatest-flatspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-freespec_2.12 | 3.2.15 |
| org.scalatest | scalatest-funspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-funsuite_2.12 | 3.2.15 |
| org.scalatest | scalatest-matchers-core_2.12 | 3.2.15 |
| org.scalatest | scalatest-mustmatchers_2.12 | 3.2.15 |
| org.scalatest | scalatest-propspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-refspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-shouldmatchers_2.12 | 3.2.15 |
| org.scalatest | scalatest-wordspec_2.12 | 3.2.15 |
| org.scalatest | scalatest_2.12 | 3.2.15 |
| org.slf4j | jcl-over-slf4j | 2.0.7 |
| org.slf4j | jul-to-slf4j | 2.0.7 |
| org.slf4j | slf4j-api | 2.0.7 |
| org.threeten | threeten-extra | 1.7.1 |
| org.tukaani | xz | 1.9 |
| org.typelevel | algebra_2.12 | 2.0.1 |
| org.typelevel | cats-kernel_2.12 | 2.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0 |
| org.typelevel | spire-platform_2.12 | 0.17.0 |
| org.typelevel | spire-util_2.12 | 0.17.0 |
| org.typelevel | spire_2.12 | 0.17.0 |
| org.wildfly.openssl | wildfly-openssl | 1.1.3.Final |
| org.xerial | sqlite-jdbc | 3.42.0.0 |
| org.xerial.snappy | snappy-java | 1.1.10.3 |
| org.yaml | 蛇形 | 2.0 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.cryptools | AmazonCorrettoCryptoProvider | 1.6.1-linux-x86_64 |
| software.amazon.ion | ion-java | 1.0.2 |
| Stax | stax-api | 1.0.1 |