Share via

Databricks Runtime 13.3 LTS

  • 發行項

下列版本資訊提供由 Apache Spark 3.4.1 提供之 Databricks Runtime 13.3 LTS 的相關信息。

Databricks 於 2023 年 8 月發行了這些映射。

新功能和改善

共用叢集的 Scala 支援

使用 Databricks Runtime 13.3 和更新版本時，已啟用 Unity 目錄的共用叢集現在支援 Scala。

Unity 目錄共用叢集上 init 腳本、JAR 和 Maven 座標的 Allowlist 處於公開預覽狀態

您現在可以使用 Unity 目錄 allowlist 來控制 Init 腳本、JAR 和 Maven 座標的安裝，以及執行 Databricks Runtime 13.3 和更新版本的共用存取模式。 請參閱 共享計算上的 Allowlist 連結庫和 init 腳本。

init 腳本和 JAR 的磁碟區支持處於公開預覽狀態

您現在可以使用 Unity 目錄磁碟區，在計算上使用執行 Databricks Runtime 13.3 和更新版本的已指派或共用存取模式來儲存 init 腳本和 JAR。 請參閱 Init 腳本的安裝位置？ 和 叢集範圍連結庫。

Delta Lake 作業預設啟用安全轉換

當值無法安全地轉換成目標數據表架構中的類型時，差異 UPDATE 和 MERGE 作業現在會產生錯誤。 Delta 中的所有隱含轉換現在都遵循 spark.sql.storeAssignmentPolicy ，而不是 spark.sql.ansi.enabled。 請參閱 Databricks Runtime 中的 ANSI 合規性。

使用 Unity 目錄的標籤簡介

使用 Databricks Runtime 13.3 LTS 和更新版本，您可以將標籤套用至安全性實體物件。 卷標可協助您組織安全性實體物件，並簡化數據資產的搜尋和探索。 請參閱 將標籤套用至 Unity 目錄安全性實體物件。

如果查詢規劃和調用之間修改檔案，Databricks Runtime 會傳回錯誤

Databricks 運行時間查詢現在會在查詢規劃和叫用之間更新檔案時傳回錯誤。 在此變更之前，Databricks Runtime 會在這些階段之間讀取檔案，這偶爾會導致無法預期的結果。

使用動態分割覆寫時封鎖架構覆寫

您無法在 Delta Lake 中會動態分割區覆寫設定 overwriteSchema 為 true 。 這可防止因為架構不符而導致可能的數據表損毀。 請參閱 動態分割區覆寫。

將 copyFile API 整合到 dbutils.fs.cp

dbutils copy 命令 dbutils.fs.cp 現在已針對更快速的複製進行優化。 有了這項改善，複製作業的速度可能會快 100 倍，視檔案大小而定。 此功能可在 Azure Databricks 中存取的所有文件系統中使用，包括 Unity 目錄磁碟區和 Databricks 文件系統掛接。

Databricks ODBC/JDBC 驅動程序支援

Azure Databricks 支援在過去 2 年中發行的 ODBC 和 JDBC 驅動程式。 在下載 ODBC 驅動程式並下載 JDBC 驅動程式下載最新的驅動程式。

支援未命名（位置）參數標記

除了 SparkSession.sql() 使用語法的參數化查詢之外，API 現在還支援使用 ?:parm 語法的參數化查詢。 請參閱 參數標記。

啟用時間序列資料行標籤

您現在可以在建立主鍵條件約束時，為時間序列數據行加上標籤。

新的點陣圖 SQL 函式

Azure Databricks 現在提供了一組函式，可用來將整數數值對應至位圖並加以匯總。 這可用來預先計算相異值的數目。

改善的加密函式

aes_encrypt、aes_decrypt和try_aes_decrypt函式已改善，並支援初始化向量（IV）和已驗證的其他數據（AAD）。

REFRESH FOREIGN 的 Unity 目錄支援

您現在可以使用 REFRESH FOREIGN CATALOG、 REFRESH FOREIGN SCHEMA和 REFRESH FOREIGN TABLE更新 Unity 目錄中的外部目錄、架構和資料表。 請參閱 REFRESH FOREIGN （CATALOG、SCHEMA 和 TABLE）。

INSERT BY NAME

將數據列插入數據表時，您現在可以讓 Azure Databricks 依名稱自動將源查詢中的數據行和欄位對應至資料表的數據行。 請參閱 INSERT INTO。

使用 Delta Sharing 共用具體化檢視

ALTER SHARE 語句現在支持具體化檢視。

重大變更

使用 MERGE INTO 和 UPDATE 將資料列儲存在資料表中時，隱含轉換的變更

Azure Databricks 現在會遵循在 spark.sql.storeAssignmentPolicy 數據表中儲存數據列時隱含轉換的設定。 預設值 ANSI 會在儲存溢位的值時擲回錯誤。 先前，值預設會儲存為 NULL 。

如下列範例所示，您可以藉由重寫數據表來針對造成錯誤的數據行使用更廣泛的類型來解決溢位問題。

-- Enable column mapping
ALTER TABLE MyTable SET TBLPROPERTIES (
    'delta.minReaderVersion' = '2',
    'delta.minWriterVersion' = '5',
    'delta.columnMapping.mode' = 'name'
  )

-- Rename the old column and create a new column with the new type using the old name
ALTER TABLE MyTable RENAME ID to ID_old
ALTER TABLE MyTable ADD COLUMN ID BIGINT

-- Rewrite the entire table
UPDATE MyTable SET ID = ID_old

-- Drop the old column
ALTER TABLE MyTable DROP COLUMN ID_old

連結庫升級

  • 升級的 Python 連結庫：
    • debugpy 從 1.5.1 到 1.6.0
    • 從 0.3.6 到 0.3.7 的 distlib
    • fastjsonschema 從 2.16.3 到 2.18.0
    • filelock from 3.12.0 to 3.12.2
  • 升級的 R 連結庫：
    • 從 3.4.0 到 3.4.1 的 SparkR
  • 升級的 Java 連結庫：
    • org.apache.orc.orc-core，從 1.8.3-shaded-protobuf 到 1.8.4-shaded-protobuf
    • org.apache.orc.orc-mapreduce 從 1.8.3-shaded-protobuf 到 1.8.4-shaded-protobuf
    • org.apache.orc.orc-shims from 1.8.3 到 1.8.4
    • org.eclipse.jetty.jetty-client 從 9.4.50.v20221201 到 9.4.51.v20230217
    • org.eclipse.jetty.jetty-continuation 從 9.4.50.v20221201 到 9.4.51.v20230217
    • org.eclipse.jetty.jetty-http，從 9.4.50.v20221201 到 9.4.51.v20230217
    • org.eclipse.jetty.jetty-io 從 9.4.50.v20221201 到 9.4.51.v20230217
    • org.eclipse.jetty.jetty-jndi，從 9.4.50.v20221201 到 9.4.51.v20230217
    • org.eclipse.jetty.jetty-plus，從 9.4.50.v20221201 到 9.4.51.v20230217
    • org.eclipse.jetty.jetty-proxy，從 9.4.50.v20221201 到 9.4.51.v20230217
    • org.eclipse.jetty.jetty-security，從 9.4.50.v20221201 到 9.4.51.v20230217
    • org.eclipse.jetty.jetty-server，從 9.4.50.v20221201 到 9.4.51.v20230217
    • org.eclipse.jetty.jetty-servlet，從 9.4.50.v20221201 到 9.4.51.v20230217
    • org.eclipse.jetty.jetty-servlets from 9.4.50.v20221201 到 9.4.51.v20230217
    • org.eclipse.jetty.jetty-util 從 9.4.50.v20221201 到 9.4.51.v20230217
    • org.eclipse.jetty.jetty-util-ajax，從 9.4.50.v20221201 到 9.4.51.v20230217
    • org.eclipse.jetty.jetty-webapp，從 9.4.50.v20221201 到 9.4.51.v20230217
    • org.eclipse.jetty.jetty-xml，從 9.4.50.v20221201 到 9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-api，從 9.4.50.v20221201 到 9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-client 從 9.4.50.v20221201 到 9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-common，從 9.4.50.v20221201 到 9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-server，從 9.4.50.v20221201 到 9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-servlet，從 9.4.50.v20221201 到 9.4.51.v20230217
    • org.xerial.snappy.snappy-java 從 1.1.8.4 到 1.1.10.1

Apache Spark

Databricks Runtime 13.3 包含 Apache Spark 3.4.1。 此版本包含 Databricks Runtime 13.2 （不支援）中包含的所有 Spark 修正和改善，以及下列對 Spark 所做的其他錯誤修正和改進：

  • 您現在可以將叢集環境變數 SNOWFLAKE_SPARK_CONNECTOR_VERSION=2.12 設定為使用 Spark-snowflake 連接器 v2.12.0。
  • [SPARK-43380] [DBRRM-383]還原 “[SC-133100][SQL] 修正 Avro 數據類型...
  • [SPARK-44504] [Backport][13.2][13.x][13.3] 卸除提供者，藉此強制 DB 實例關閉並釋放維護工作錯誤的資源
  • [SPARK-44059] [SC-137023]為內建函式新增具名自變數的分析器支援
  • [SPARK-44485] [SC-137653][SQL]優化 TreeNode.generateTreeString
  • [SPARK-42944] [SC-137164][SS][PYTHON]在 Python 中串流 ForeachBatch
  • [SPARK-44446] [SC-136994][PYTHON]新增預期的清單類型特殊案例檢查
  • [SPARK-44439] [SC-136973][CONNECT][SS]已修正 listListeners 僅將標識碼傳回用戶端
  • [SPARK-44216] [SC-136941][PYTHON]將 assertSchemaEqual API 設為公用
  • [SPARK-44201][SC-136778][CONNECT][SS]在 Scala 中新增 Spark 的串流接聽程式支援 連線
  • [SPARK-43915] [SC-134766][SQL]將名稱指派給錯誤類別 LEGACY_ERROR_TEMP[2438-2445]
  • [SPARK-43798] 還原 “[SC-133990][SQL][PYTHON] 支援 Python 使用者定義數據表函式”
  • [SPARK-44398] [SC-136720][CONNECT]Scala foreachBatch API
  • [SPARK-44476] [SC-137169][CORE][CONNECT]修正 JobArtifactState 沒有相關聯成品的成品母體擴展
  • [SPARK-44269] [SC-135817][SQL]將名稱指派給錯誤類別 LEGACY_ERROR_TEMP[2310-2314]
  • [SPARK-44395] [SC-136744][SQL]更新TVF自變數，以在TABLE關鍵詞後面要求標識碼前後加上括號
  • [SPARK-43915] [SC-134766][SQL]將名稱指派給錯誤類別 LEGACY_ERROR_TEMP[2438-2445]
  • [SPARK-43995][SC-136794][SPARK-43996][CONNECT]將 UDFRegistration 的支援新增至 連線 Scala 用戶端
  • [SPARK-44109] [SC-134755][CORE]拿掉每個 RDD 磁碟分區的重複慣用位置
  • [SPARK-44169] [SC-135497][SQL]將名稱指派給錯誤類別 LEGACY_ERROR_TEMP[2300-2304]
  • [SPARK-41487] [SC-135636][SQL]將名稱指派給_LEGACY_ERROR_TEMP_1020
  • [SPARK-44398] [SC-136720][CONNECT]Scala foreachBatch API
  • [SPARK-44153][SC-134977][CORE][UI]索引標籤中的Executors支持Heap Histogram資料行
  • [SPARK-44044] [SC-135695][SS]使用串流改善視窗函式的錯誤訊息
  • [SPARK-43914] [SC-135414][SQL]將名稱指派給錯誤類別 LEGACY_ERROR_TEMP[2433-2437]
  • [SPARK-44217] [SC-136805][PYTHON]允許 fp 近似號的自定義精確度
  • [SPARK-44370] [SC-136575][CONNECT]將 Buf 遠端產生 Alpha 移轉至遠端外掛程式
  • [SPARK-44410] [SC-136930][PYTHON][CONNECT]在 create 中設定使用中的會話，而不只是 getOrCreate
  • [SPARK-44348] [SAS-1910][SC-136644][13.X][CORE][CONNECT][PYTHON]具有相關變更的可重新test_artifact
  • [SPARK-44145] [SC-136698][SQL]準備好執行時的回呼
  • [SPARK-44264] [SC-136870][PYTHON][ML] FunctionPickler 類別
  • [SPARK-43986] [SC-135623][SQL]建立 HyperLogLog 函式呼叫失敗的錯誤類別
  • [SPARK-44139] [SC-134967][SQL]捨棄以群組為基礎的 MERGE 作業中完全向下推送篩選
  • [SPARK-44338] [SC-136718][SQL]修正檢視架構不符錯誤訊息
  • [SPARK-44208] [SC-135505][CORE][SQL]為直接使用例外狀況的某些邏輯指派明確的錯誤類別名稱
  • [SPARK-44364] [SC-136773][PYTHON]針對預期新增 List[Row] 資料類型的支援
  • [SPARK-44180] [SC-136792][SQL]DistributionAndOrderingUtils 應套用 ResolveTimeZone
  • [SPARK-43389] [SC-136772][SQL]已新增lineSep選項的 Null 檢查
  • [SPARK-44388] [SC-136695][CONNECT]修正更新 UDF 實例時的 protobuf 轉換問題
  • [SPARK-44352] [SC-136373][CONNECT]將 SameType 和 friend 放回 DataType。
  • [SPARK-43975] [SC-134265][SQL]DataSource V2：處理群組型來源的 UPDATE 命令
  • [SPARK-44360] [SC-136461][SQL]支持差異型 MERGE 作業中的架構剪除
  • [SPARK-44138] [SC-134907][SQL]禁止 MERGE 條件中的不具決定性表達式、子查詢和匯總
  • [SPARK-43321][SC-136678][連線][待處理] 適用於 Scala 用戶端聯結中之 API 的更好名稱With
  • [SPARK-44263] [SC-136447][CONNECT]自定義攔截器支援
  • [SPARK-39851] [SC-123383][SQL]如果一端可以保留唯一性，請改善聯結統計數據估計
  • [SPARK-44390] [SC-136677][CORE][SQL]將重新命名 SparkSerDerseUtils 為 SparkSerDeUtils
  • [SPARK-44004] [SC-134751][SQL]指派名稱並改善常見 LEGACY 錯誤的錯誤訊息。
  • [SPARK-44322] [SC-136204][CONNECT]讓剖析器使用 SqlApiConf 而非 SQLConf。
  • [SPARK-44271] [SC-136347][SQL]將預設值函式從 StructType 移至 ResolveDefaultColumns
  • [SPARK-44332] [SC-136413][CORE][WEBUI]修正執行程式 UI 頁面上執行程式識別碼數據行的排序錯誤
  • [SPARK-44282][SC-135948][CONNECT]準備 DataType 剖析以用於 Spark 連線 Scala 用戶端
  • [SPARK-44349] [SC-136581][R] 將數學函式新增至 SparkR
  • [SPARK-44397] [SC-136647][PYTHON]在 pyspark.testing.utils 中公開 assertDataFrameEqual
  • [SPARK-42981] [SC-136620][CONNECT]新增直接箭號串行化
  • [SPARK-44373] [SC-136577][SQL]包裝與 Active for Dataset API w/ parse 邏輯，讓剖析器相關的組態運作
  • [SPARK-44340] [SC-136574][SQL]透過 PartitionEvaluator API 定義運算邏輯，並將其用於 WindowGroupLimitExec
  • [SPARK-43665][SC-136573][CONNECT][PS]讓 PandasSQLStringFormatter.vformat 與 Spark 連線
  • [SPARK-44325] [SC-136572][SQL]在 SortMergeJoinExec 中使用 PartitionEvaluator API
  • [SPARK-44315] [SC-136171][SQL][CONNECT]將 DefinedByConstructorParams 移至 sql/api
  • [SPARK-44275][SC-136184][CONNECT]將可設定的重試機制新增至 Scala Spark 連線
  • [SPARK-44326] [SC-136208][SQL][CONNECT]將所使用的公用程式從 Scala 用戶端移至通用模組
  • [SPARK-43321][SC-136156][連線] Dataset#Joinwith
  • [SPARK-44343][SC-136372][CONNECT]準備 Scala 反思 移至 SQL/API
  • [SPARK-44313] [SC-136081][SQL]修正架構中有 char/varchar 數據行時產生的數據行表達式驗證
  • [SPARK-43963] [SC-134145][SQL]DataSource V2：處理群組型來源的 MERGE 命令
  • [SPARK-44363] [SC-136433][PYTHON]在 DataFrame 比較中顯示不相等數據列的百分比
  • [SPARK-44251] [SC-136432][SQL]在完整外部 USING 聯結的聯結索引鍵上正確設定可為 Null
  • [SPARK-43948] [SC-133366][SQL]將名稱指派給錯誤類別 LEGACY_ERROR_TEMP[0050|0057|0058|0059]
  • [SPARK-44329] [SC-136326][CONNECT][PYTHON]將hll_sketch_agg、hll_union_agg、to_varchar、try_aes_decrypt新增至 Scala 和 Python
  • [SPARK-44351] [SC-136353][SQL]製作一些語法簡化
  • [SPARK-44281] [SC-135963][SQL]將 DataType 所使用的 QueryCompilation 錯誤移至 sql/api 作為 DataTypeErrors
  • [SPARK-44283] [SC-136109][CONNECT]將 Origin 移至 SQL/API
  • [SPARK-43926] [SC-135590][CONNECT][PYTHON]將array_agg、array_size、基數、count_min_sketch、mask、named_struct、json_* 新增至 Scala 和 Python
  • [SPARK-44327] [SC-136187][SQL][CONNECT]將函式 any 和 新增 len 至 Scala
  • [SPARK-44290][SC-136300][CONNECT]Spark 連線 中的會話型檔案和封存
  • [SPARK-44061] [SC-136299][PYTHON]新增 assertDataFrameEqual util 函式
  • [SPARK-44331] [SC-136324][CONNECT][PYTHON]將點陣圖函式新增至 Scala 和 Python
  • [SPARK-44342] [SC-136334][SQL]將 SQLContext 取代為 GenTPCDSData 的 SparkSession
  • [SPARK-42583] [SC-124190][SQL]如果外部聯結全都是相異聚合函數，請移除外部聯結
  • [SPARK-44333] [SC-136206][CONNECT][SQL]將 EnhancedLogicalPlan 移出 ParserUtils
  • [SPARK-43824] [SC-132655][SPARK-43825][SQL]將名稱指派給錯誤類別_LEGACY_ERROR_TEMP_128[1-2]
  • [SPARK-43939] [SC-134602][CONNECT][PYTHON]將 try_* 函式新增至 Scala 和 Python
  • [SPARK-44193] [SC-135886][CONNECT]實作 GRPC 例外狀況攔截以進行轉換
  • [SPARK-44284] [SC-136107][CONNECT]建立 sql/api 的簡單 conf 系統
  • [SPARK-43913] [SC-133368][SQL]將名稱指派給錯誤類別 LEGACY_ERROR_TEMP[2426-2432]
  • [SPARK-44291] 還原 “[SC-135924][SPARK-43416][CONNECT] 修正範圍查詢不正確的架構”
  • [SPARK-44312] [SC-136185][CONNECT][PYTHON]允許使用環境變數設定使用者代理程式
  • [SPARK-44154] [SC-136060]實作點圖函式
  • [SPARK-43885] [SC-133996][SQL]DataSource V2：處理差異型來源的 MERGE 命令
  • [SPARK-43924] [SC-135161][CONNECT][PYTHON]將Misc函式新增至 Scala 和 Python
  • [SPARK-43969] [SC-134556][SQL]重構和將名稱指派給錯誤類別_LEGACY_ERROR_TEMP_1170
  • [SPARK-44185] [SC-135730][SQL]修正目錄和數據作業之間的不一致路徑限定
  • [SPARK-44073][SC-134562][SQL][PYTHON][CONNECT]將日期時間函式新增至 Scala、Python 和 連線 - 第 2 部分
  • [SPARK-43942] [SC-134527][CONNECT][PYTHON]將字串函式新增至 Scala 和 Python - 第 1 部分
  • [SPARK-44266] [SC-135813][SQL]將 Util.truncatedString 移至 sql/api
  • [SPARK-44195] [SC-135722][R] 將 JobTag API 新增至 SparkR SparkContext
  • [SPARK-44200] [SC-135736][SQL]支援 TableValuedFunction 的 TABLE 自變數剖析器規則
  • [SPARK-44254] [SC-135709][SQL]將 DataType 所使用的 QueryExecutionErrors 移至 sql/api 作為 DataTypeErrors
  • [SPARK-44291] [SC-135924][SPARK-43416][CONNECT]修正範圍查詢的架構不正確
  • [SPARK-43922] [SC-135612][SQL]在剖析器中新增函式呼叫的具名參數支援
  • [SPARK-44300] [SC-135882][CONNECT]修正成品清除，以限制會話特定成品的刪除範圍
  • [SPARK-44293][SC-135849][CONNECT]修正 Spark 連線 中自定義 JAR 無效的 URI
  • [SPARK-44215] [SC-135850][SHUFFLE]如果 num 區塊為 0，則伺服器應該擲回 RuntimeException
  • [SPARK-44245] [SC-135851][PYTHON] pyspark.sql.dataframe 範例（） doctests 應該僅供說明
  • [SPARK-44274] [SC-135814][CONNECT]將 ArtifactManager 所使用的 util 函式移至 common/utils
  • [SPARK-44194] [SC-135815][PYTHON][CORE]將 JobTag API 新增至 PySpark SparkContext
  • [SPARK-42828] [SC-135733][PYTHON][SQL]GroupedData 更明確的 Python 類型批注
  • [SPARK-44079] [SC-135486][SQL]修正 ArrayIndexOutOfBoundsException 使用 PERMISSIVE 模式搭配損毀記錄將數位剖析為結構時
  • [SPARK-44255][SC-135809][SQL]將 儲存體 Level 重新配置至一般/公用程式
  • [SPARK-42169] [SC-135795][SQL]實作to_csv函式的程式代碼產生 （StructsToCsv）
  • [SPARK-44249] [SC-135719][SQL][PYTHON]重構 PythonUDTFRunner 以個別傳送其傳回類型
  • [SPARK-43353] [SC-132734][PYTHON]將剩餘的工作階段錯誤移轉至錯誤類別
  • [SPARK-44211] [SC-135718][PYTHON][CONNECT]實作SparkSession.is_stopped
  • [SPARK-42784] [SC-135691] 當合併 dir 中的 subDir 數目小於 conf 時，仍應該建立 subDir
  • [SPARK-41599] [SC-135616]使用 InProcessLauncher 將應用程式提交至安全叢集時，FileSystem.CACHE 中的記憶體流失
  • [SPARK-44241] [SC-135613][Core]錯誤地將 io.connectionTimeout/connectionCreationTimeout 設定為零或負數會導致不斷執行程式 cons/destructions
  • [SPARK-44133] [SC-134795][13.X][PYTHON]將 MyPy 從 0.920 升級至 0.982
  • [SPARK-42941] [SC-134707][SS][CONNECT][1/2] StreamingQueryListener - JSON 格式的事件 Serde
  • [SPARK-44188] [SC-135173][CORE]在中移除無 resetAllPartitions 用方法 ActiveJob
  • [SPARK-43757] [SC-135418][CONNECT]將用戶端相容性從允許清單變更為拒絕清單
  • [SPARK-43474] [SC-135521][SS][CONNECT]新增 Spark 依標識符連線至運行時間數據框架的存取權。
  • [SPARK-44183] [SC-135209][PYTHON]將最低版本建立 PyArrow 為 4.0.0
  • [SPARK-44248] [SC-135554][SS][SQL][Kafka]在 kafka 來源 v2 中新增慣用的位置
  • [SPARK-43929][SC-134510][SQL][PYTHON][CONNECT]將日期時間函式新增至 Scala、Python 和 連線 API - 第 1 部分
  • [SPARK-44161][SC-135326][連線] 處理 UDF 的數據列輸入
  • [SPARK-44227] [SC-135520][SQL]從 StructField 擷取 SchemaUtils
  • [SPARK-44064] [SC-135116][CORE][SQL]將新的 apply 函式新增至 NonFateSharingCache
  • [SPARK-44171] [SC-135269][SQL]將名稱指派給錯誤類別 LEGACY_ERROR_TEMP[2279-2282] 並刪除一些未使用的錯誤類別
  • [SPARK-44056] [SC-134758][SQL]可用時，在 UDF 執行失敗錯誤訊息中包含 UDF 名稱
  • [SPARK-44205] [SC-135422][SQL]從 DecimalType 擷取 Catalyst 程式代碼
  • [SPARK-44220] [SC-135484][SQL]將 StringConcat 移至 sql/api
  • [SPARK-44146][SC-135230][CONNECT]隔離 Spark 連線 工作階段 jar 和 classfiles
  • [SPARK-44206] [SC-135411][SQL]DataSet.selectExpr 範圍 Session.active
  • [SPARK-40850] [SC-135417][SQL]修正測試案例解譯查詢可能會執行 Codegen
  • [SPARK-44204] [SC-135253][SQL][HIVE]為 getPartitionNames 新增遺漏的 recordHiveCall
  • [SPARK-44237] [SC-135485][CORE]簡化 DirectByteBuffer 建構函式查閱邏輯
  • [SPARK-44189] [SC-135170][CONNECT][PYTHON]支援位置參數依據 sql()
  • [SPARK-44140] [SC-134893][SQL][PYTHON]在 Python 中支援位置參數 sql()
  • [SPARK-44164] [SC-135158][SQL]將 toAttribute 方法從 StructField 擷取至 Util 類別
  • [SPARK-44178] [SC-135113][CONNECT]在中支援位置參數 sql()
  • [SPARK-43208] [SC-128955][SQL][HIVE]IsolatedClassLoader 在讀取后應該關閉屏障類別 InputStream
  • [SPARK-43063] [SC-128382][SQL] df.show handle null 應該列印 NULL 而不是 null
  • [SPARK-42539] [SC-124464][SQL][HIVE]針對元數據用戶端使用 『builtin』 Hive 版本時，消除個別的類別載入器
  • [SPARK-43992] [SC-133645][SQL][PYTHON][CONNECT]新增 Catalog.listFunctions 的選擇性模式
  • [SPARK-44066] [SC-134878][SQL]支援 Scala/Java 中的位置參數 sql()
  • [SPARK-44078] [SC-134869][CONNECT][CORE]新增 classloader/資源隔離的支援
  • [SPARK-43470] [SC-135187][CORE]將 OS、Java、Python 版本資訊新增至應用程式記錄
  • [SPARK-43136] [SC-135238][CONNECT][待處理]新增 KeyAs 的測試
  • [SPARK-39740] [SC-135093][UI]：將 vis timeline 升級至 7.7.2 以修正 CVE-2020-28487
  • [SPARK-42298] [SC-133952][SQL]將名稱指派給_LEGACY_ERROR_TEMP_2132
  • [SPARK-43961] [SC-133459][SQL][PYTHON][CONNECT]新增 Catalog.listTables 的選擇性模式
  • [SPARK-44026] [SC-135181]允許提供 SQLMetrics 的初始值
  • [SPARK-44202] [SC-135244][CORE]將 JobTag API 新增至 JavaSparkContext
  • [SPARK-44030] [SC-135237][SQL]實作 DataTypeExpression 以提供 Unapply for expression
  • [SPARK-43876] 還原 “[SC-134603][SQL] 為不同的查詢啟用快速哈希對應”
  • [SPARK-40082] [SC-126437]排程 mergeFinalize 時推送合併隨機MapStage 重試，但沒有執行中的工作
  • [SPARK-43888] [SC-132893][CORE]將記錄重新放置至一般/公用程式
  • [SPARK-43474][SC-134400][SS][CONNECT]將 SessionHolder 新增至 Spark 連線 Planner
  • [SPARK-43944] [SC-134490][CONNECT][PYTHON]將字串函式新增至 Scala 和 Python - 第 2 部分
  • [SPARK-44134] [SC-134954][CORE]修正在spark-defaults.conf 中設定資源時，將資源設定為0
  • [SPARK-44142] [SC-134947][PYTHON]將類型取代為公用程式中的 tpe，以將 Python 類型轉換為 spark 類型
  • [SPARK-43952] [SC-134695][CORE][CONNECT][SQL]新增SparkContext API，以依標記取消查詢
  • [SPARK-44000] [SC-133634][SQL]新增提示以停用廣播和復寫聯結的一端
  • [SPARK-43937] [SC-134362][CONNECT][PYTHON]將 ifnull、isnotnull、equal_null、nullif、nvl、nvl2 新增至 Scala 和 Python
  • [SPARK-43624][13.x][SC-134557][PS][CONNECT]新增EWM至 Spark 連線 Planner。
  • [SPARK-44040] [SC-134366][SQL]修正在 QueryStageExec 上方的 AggregateExec 節點時計算統計數據
  • [SPARK-43485][SC-131264][SQL]修正 datetime add/diff 函式自變數的錯誤訊息unit
  • [SPARK-43794] [SC-132561][SQL]將名稱指派給錯誤類別_LEGACY_ERROR_TEMP_1335
  • [SPARK-43511][SC-134749][CONNECT][SS]已實作 MapGroupsWithState 和 FlatMapGroupsWithState API for Spark 連線
  • [SPARK-43529] [SQL]支援 CREATE/REPLACE TABLE OPTIONS 運算式 + 程式代碼清除
  • [SPARK-44106][SC-134750][PYTHON][CONNECT]新增__repr__GroupedData
  • [SPARK-42299] [SC-133190]將名稱指派給_LEGACY_ERROR_TEMP_2206
  • [SPARK-43290] [SC-134388][SQL]新增對 aes_encrypt IV 和 AAD 的支援
  • [SPARK-43932] [SC-134138][SQL][PYTHON][CONNECT]將 like 函式新增 current 至 Scala 和 Python
  • [SPARK-43934] [SC-134108][SQL][PYTHON][CONNECT]將 regexp_* 函式新增至 Scala 和 Python
  • [SPARK-44107] [SC-134746][CONNECT][PYTHON]從自動完成隱藏不支持的數據行方法
  • [SPARK-42941] [SC-134707][SS][CONNECT][1/2] StreamingQueryListener - JSON 格式的事件 Serde
  • [SPARK-43773] [SC-132659][CONNECT][PYTHON]在 python 用戶端中實作 'levenshtein（str1， str2[， threshold]）' 函式
  • [SPARK-44125] [SC-134745][R] 在 SparkR 中支援 Java 21
  • [SPARK-43919] [SC-133374][SQL]從數據列擷取 JSON 功能
  • [SPARK-43769] [SC-132520][CONNECT]實作 'levenshtein（str1， str2[， threshold]）' 函式
  • [SPARK-44012] [SC-134662][SS]KafkaDataConsumer 列印一些讀取狀態
  • [SPARK-43876] [SC-134603][SQL]為不同的查詢啟用快速哈希對應
  • [SPARK-44024] [SC-134497][SQL] map 變更為僅用來擷取單一元素時 unzip 使用
  • [SPARK-43928][SC-134467][SQL][PYTHON][CONNECT]將位作業新增至 Scala、Python 和 連線 API
  • [SPARK-44092] [SC-134506][CORE]使用Java 21新增 Utils.isJavaVersionAtLeast21 和製作 core 模組傳遞
  • [SPARK-44018] [SC-134512][SQL]改善某些 DS V2 表達式的 hashCode 和 toString
  • [SPARK-44105] [SC-134582][SQL] LastNonNull 應該懶散地解決
  • [SPARK-44081] [SC-134434]簡化 PartitionedFileUtil API 一點點
  • [SPARK-43791] [SC-132531][SQL]將名稱指派給錯誤類別_LEGACY_ERROR_TEMP_1336
  • [SPARK-44071] [SC-134435]定義和使用未解決[分葉|一元]節點特性。
  • [SPARK-43852] [SC-132890][SPARK-43853][SPARK-43854][SPARK-43855][SPARK-43856]將名稱指派給錯誤類別 _LEGACY_ERROR_TEMP_2418-2425
  • [SPARK-43742] [SC-132684][SQL]重構預設數據行值解析
  • [SPARK-43493] [SC-132063][SQL]將最大距離自變數新增至 levenshtein（） 函式
  • [SPARK-44075] [SC-134382][CONNECT]讓 transformStatCorr 懶惰
  • [SPARK-43925][SC-134381][SQL][PYTHON][CONNECT]將一些、bool_or、bool_and、每個 新增至 Scala、Python 和 連線
  • [SPARK-43931] [SC-134158][SQL][PYTHON][CONNECT]將 make_* 函式新增至 Scala 和 Python
  • [SPARK-43762] [SC-132602][SPARK-43763][SPARK-43764][SPARK-43765][SPARK-43766][SQL]將名稱指派給錯誤類別_LEGACY_ERROR_TEMP_24[06-10]
  • [SPARK-43962][SC-133367][SQL]改善錯誤訊息：CANNOT_DECODE_URL、、、CANNOT_READ_FILE_FOOTERCANNOT_PARSE_DECIMALCANNOT_MERGE_INCOMPATIBLE_DATA_TYPE、 CANNOT_RECOGNIZE_HIVE_TYPE。
  • [SPARK-43938] [SC-133887][CONNECT][PYTHON]將to_* 函式新增至 Scala 和 Python
  • [SPARK-44055] [SC-134321][CORE]從中移除備援 override 函式 CheckpointRDD
  • [SPARK-43802] [SC-132597][SQL]使用 failOnError=true 修正 unhex 和 unbase64 的程式代碼gen
  • [SPARK-43798] [SC-133990][SQL][PYTHON]支援 Python 使用者定義數據表函式
  • [SPARK-43941][SC-134286][SQL][PYTHON][CONNECT]將 any_value、approx_percentile、count_if、first_value、histogram_numeric、last_value、縮減為 Scala、Python 和 連線 API
  • [SPARK-43380] [SC-133100][SQL]修正 Avro 資料類型轉換問題，以避免產生不正確的結果
  • [SPARK-43803] [SC-133729][SS][CONNECT]改善 awaitTermination（） 以處理用戶端中斷連線
  • [SPARK-43179] [SC-129070][SHUFFLE]允許應用程式控制其元數據是否由外部隨機服務儲存在資料庫中

Databricks ODBC/JDBC 驅動程序支援

Databricks 支援在過去 2 年中發行的 ODBC/JDBC 驅動程式。 請下載最近發行的驅動程式和升級 （下載 ODBC， 下載 JDBC）。

系統環境

  • 操作系統：Ubuntu 22.04.2 LTS
  • Java：Zulu 8.70.0.23-CA-linux64
  • Scala：2.12.15
  • Python：3.10.12
  • R：4.2.2
  • Delta Lake：2.4.0

已安裝的 Python 程式庫

程式庫 版本 程式庫 版本 程式庫 版本
appdirs 1.4.4 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
asttokens 2.2.1 attrs 21.4.0 backcall 0.2.0
beautifulsoup4 4.11.1 black 22.6.0 bleach 4.1.0
blinker 1.4 boto3 1.24.28 botocore 1.27.28
certifi 2022.9.14 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 按一下 8.0.4 密碼編譯 37.0.1
cycler 0.11.0 Cython 0.29.32 databricks-sdk 0.1.6
dbus-python 1.2.18 debugpy 1.6.0 decorator 5.1.1
defusedxml 0.7.1 distlib 0.3.7 docstring-to-markdown 0.12
entrypoints 0.4 執行 1.2.0 facets-overview 1.0.3
fastjsonschema 2.18.0 filelock 3.12.2 fonttools 4.25.0
googleapis-common-protos 1.56.4 grpcio 1.48.1 grpcio-status 1.48.1
httplib2 0.20.2 idna 3.3 importlib-metadata 4.6.4
ipykernel 6.17.1 ipython 8.10.0 ipython-genutils 0.2.0
ipywidgets 7.7.2 jedi 0.18.1 jeepney 0.7.1
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.2.0
jsonschema 4.16.0 jupyter-client 7.3.4 jupyter_core 4.11.2
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 keyring 23.5.0
kiwisolver 1.4.2 launchpadlib 1.10.16 lazr.restfulclient 0.14.4
lazr.uri 1.0.6 MarkupSafe 2.0.1 matplotlib 3.5.2
matplotlib-inline 0.1.6 mccabe 0.7.0 mistune 0.8.4
more-itertools 8.10.0 mypy-extensions 0.4.3 nbclient 0.5.13
nbconvert 6.4.4 nbformat 5.5.0 nest-asyncio 1.5.5
nodeenv 1.8.0 notebook 6.4.12 numpy 1.21.5
oauthlib 3.2.0 封裝 21.3 pandas 1.4.4
pandocfilters 1.5.0 parso 0.8.3 pathspec 0.9.0
patsy 0.5.2 pexpect 4.8.0 pickleshare 0.7.5
Pillow 9.2.0 pip 22.2.2 platformdirs 2.5.2
plotly 5.9.0 pluggy 1.0.0 prometheus-client 0.14.1
prompt-toolkit 3.0.36 protobuf 3.19.4 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 8.0.0 pycparser 2.21 pydantic 1.10.6
pyflakes 3.0.1 Pygments 2.11.2 PyGObject 3.42.1
PyJWT 2.3.0 pyodbc 4.0.32 pyparsing 3.0.9
pyright 1.1.294 火熱 0.18.0 python-dateutil 2.8.2
python-lsp-jsonrpc 1.0.0 python-lsp-server 1.7.1 pytoolconfig 1.2.2
pytz 2022.1 pyzmq 23.2.0 requests 2.28.1
繩 1.7.0 s3transfer 0.6.0 scikit-learn 1.1.1
scipy 1.9.1 seaborn 0.11.2 秘密 儲存體 3.3.1
Send2Trash 1.8.0 setuptools 63.4.1 六次 1.16.0
soupsieve 2.3.1 ssh-import-id 5.11 stack-data 0.6.2
statsmodels 0.13.2 tenacity 8.1.0 terminado 0.13.1
testpath 0.6.0 threadpoolctl 2.2.0 tokenize-rt 4.2.1
tomli 2.0.1 tornado 6.1 traitlets 5.1.1
typing_extensions 4.3.0 ujson 5.4.0 自動升級 0.1
urllib3 1.26.11 virtualenv 20.16.3 wadllib 1.3.6
wcwidth 0.2.5 webencodings 0.5.1 whatthepatch 1.0.2
wheel 0.37.1 widgetsnbextension 3.6.1 yapf 0.31.0
zipp 1.0.0

已安裝的 R 連結庫

R 連結庫會從 2023-02-10 上的 Microsoft CRAN 快照集安裝。

程式庫 版本 程式庫 版本 程式庫 版本
箭號 10.0.1 askpass 1.1 assertthat 0.2.1
backports 1.4.1 base 4.2.2 base64enc 0.1-3
bit 4.0.5 bit64 4.0.5 blob 1.2.3
boot 1.3-28 brew 1.0-8 brio 1.1.3
broom 1.0.3 bslib 0.4.2 cachem 1.0.6
callr 3.7.3 caret 6.0-93 cellranger 1.1.0
chron 2.3-59 class 7.3-21 cli 3.6.0
clipr 0.8.0 clock 0.6.1 叢集 2.1.4
codetools 0.2-19 colorspace 2.1-0 commonmark 1.8.1
compiler 4.2.2 config 0.3.1 cpp11 0.4.3
crayon 1.5.2 credentials 1.3.2 curl 5.0.0
data.table 1.14.6 datasets 4.2.2 DBI 1.1.3
dbplyr 2.3.0 遞減 1.4.2 devtools 2.4.5
diffobj 0.3.5 digest 0.6.31 downlit 0.4.2
dplyr 1.1.0 dtplyr 1.2.2 e1071 1.7-13
省略符號 0.3.2 evaluate 0.20 fansi 1.0.4
farver 2.1.1 fastmap 1.1.0 fontawesome 0.5.0
forcats 1.0.0 foreach 1.5.2 foreign 0.8-82
forge 0.2.0 fs 1.6.1 future 1.31.0
future.apply 1.10.0 漱口 1.3.0 泛型 0.1.3
格特 1.9.2 ggplot2 3.4.0 gh 1.3.1
gitcreds 0.1.2 glmnet 4.1-6 globals 0.16.2
glue 1.6.2 googledrive 2.0.0 googlesheets4 1.0.1
gower 1.0.1 graphics 4.2.2 grDevices 4.2.2
grid 4.2.2 gridExtra 2.3 gsubfn 0.7
gtable 0.3.1 hardhat 1.2.0 避風港 2.5.1
highr 0.10 hms 1.1.2 htmltools 0.5.4
htmlwidgets 1.6.1 httpuv 1.6.8 httr 1.4.4
ids 1.0.1 ini 0.3.1 ipred 0.9-13
isoband 0.2.7 iterators 1.0.14 jquerylib 0.1.4
jsonlite 1.8.4 KernSmooth 2.23-20 針織機 1.42
labeling 0.4.2 later 1.3.0 lattice 0.20-45
Lava 1.7.1 生命週期 1.0.3 listenv 0.9.0
lubridate 1.9.1 magrittr 2.0.3 markdown 1.5
MASS 7.3-58.2 矩陣 1.5-1 備忘 2.0.1
方法 4.2.2 mgcv 1.8-41 mime 0.12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.10
蒙塞爾 0.5.0 nlme 3.1-162 nnet 7.3-18
numDeriv 2016.8-1.1 openssl 2.0.5 parallel 4.2.2
parallelly 1.34.0 pillar 1.8.1 pkgbuild 1.4.0
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2
plogr 0.2.0 plyr 1.8.8 讚美 1.0.0
prettyunits 1.1.1 pROC 1.18.0 processx 3.8.0
prodlim 2019.11.13 profvis 0.3.7 進度 1.2.2
progressr 0.13.0 promises 1.2.0.1 proto 1.0.0
proxy 0.4-27 ps 1.7.2 purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 不雅 1.2.5
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.10 RcppEigen 0.3.3.9.3
readr 2.1.3 readxl 1.4.2 recipes 1.0.4
rematch 1.0.1 rematch2 2.1.2 remotes 2.4.2
reprex 2.0.2 reshape2 1.4.4 rlang 1.0.6
rmarkdown 2.20 RODBC 1.3-20 roxygen2 7.2.3
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-12
RSQLite 2.2.20 rstudioapi 0.14 rversions 2.1.2
rvest 1.0.3 sass 0.4.5 scales 1.2.1
selectr 0.4-2 sessioninfo 1.2.2 shape 1.4.6
shiny 1.7.4 sourcetools 0.1.7-1 sparklyr 1.7.9
SparkR 3.4.1 spatial 7.3-15 splines 4.2.2
sqldf 0.4-11 SQUAREM 2021.1 stats 4.2.2
stats4 4.2.2 stringi 1.7.12 stringr 1.5.0
survival 3.5-3 sys 3.4.1 systemfonts 1.0.4
tcltk 4.2.2 testthat 3.1.6 textshaping 0.3.6
tibble 3.1.8 tidyr 1.3.0 tidyselect 1.2.0
tidyverse 1.3.2 timechange 0.2.0 timeDate 4022.108
tinytex 0.44 tools 4.2.2 tzdb 0.3.0
urlchecker 1.0.1 usethis 2.1.6 utf8 1.2.3
utils 4.2.2 uuid 1.1-0 vctrs 0.5.2
viridisLite 0.4.1 vroom 1.6.1 waldo 0.4.0
晶須 0.4.1 withr 2.5.0 xfun 0.37
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.7 zip 2.2.2

已安裝的 Java 和 Scala 連結庫 （Scala 2.12 叢集版本）

群組識別碼 成品標識碼 版本
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-js-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.2.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml 同學 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.14.2
com.fasterxml.jackson.core jackson-core 2.14.2
com.fasterxml.jackson.core jackson-databind 2.14.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.14.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.14.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.14.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.14.2
com.github.ben-manes.咖啡因 咖啡因 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1 原生
com.github.fommil.netlib native_system java 1.1
com.github.fommil.netlib native_system java 1.1 原生
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1 原生
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1 原生
com.github.luben zstd-jni 1.5.2-5
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.9
com.google.crypto.tink 小 叮噹 1.7.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava 番 石榴 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.1.214
com.helger 分析器 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.7.1
io.dropwizard.metrics metrics-core 4.2.10
io.dropwizard.metrics metrics-graphite 4.2.10
io.dropwizard.metrics metrics-healthchecks 4.2.10
io.dropwizard.metrics metrics-jetty9 4.2.10
io.dropwizard.metrics metrics-jmx 4.2.10
io.dropwizard.metrics metrics-json 4.2.10
io.dropwizard.metrics metrics-jvm 4.2.10
io.dropwizard.metrics metrics-servlet 4.2.10
io.netty netty-all 4.1.87.Final
io.netty netty-buffer 4.1.87.Final
io.netty netty-codec 4.1.87.Final
io.netty netty-codec-http 4.1.87.Final
io.netty netty-codec-http2 4.1.87.Final
io.netty netty-codec-socks 4.1.87.Final
io.netty netty-common 4.1.87.Final
io.netty netty-handler 4.1.87.Final
io.netty netty-handler-proxy 4.1.87.Final
io.netty netty-resolver 4.1.87.Final
io.netty netty-transport 4.1.87.Final
io.netty netty-transport-classes-epoll 4.1.87.Final
io.netty netty-transport-classes-kqueue 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.87.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.87.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx 收藏家 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation 啟用 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction Jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
ml.combust.mleap mleap-databricks-runtime_2.12 v0.20.0-db2
net.java.dev.jna jna 5.8.0
net.razorvine 泡菜 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.33
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow arrow-format 11.0.0
org.apache.arrow arrow-memory-core 11.0.0
org.apache.arrow arrow-memory-netty 11.0.0
org.apache.arrow arrow-vector 11.0.0
org.apache.avro avro 1.11.1
org.apache.avro avro-ipc 1.11.1
org.apache.avro avro-mapred 1.11.1
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator 策展人-食譜 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy 常春藤 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.19.0
org.apache.logging.log4j log4j-api 2.19.0
org.apache.logging.log4j log4j-core 2.19.0
org.apache.logging.log4j log4j-slf4j2-impl 2.19.0
org.apache.mesos mesos 1.11.0-shaded-protobuf
org.apache.orc orc-core 1.8.4-shaded-protobuf
org.apache.orc orc-mapreduce 1.8.4-shaded-protobuf
org.apache.orc orc-shims 1.8.4
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.22
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.19.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.51.v20230217
org.eclipse.jetty jetty-continuation 9.4.51.v20230217
org.eclipse.jetty jetty-http 9.4.51.v20230217
org.eclipse.jetty jetty-io 9.4.51.v20230217
org.eclipse.jetty jetty-jndi 9.4.51.v20230217
org.eclipse.jetty jetty-plus 9.4.51.v20230217
org.eclipse.jetty jetty-proxy 9.4.51.v20230217
org.eclipse.jetty jetty-security 9.4.51.v20230217
org.eclipse.jetty jetty-server 9.4.51.v20230217
org.eclipse.jetty jetty-servlet 9.4.51.v20230217
org.eclipse.jetty jetty-servlets 9.4.51.v20230217
org.eclipse.jetty jetty-util 9.4.51.v20230217
org.eclipse.jetty jetty-util-ajax 9.4.51.v20230217
org.eclipse.jetty jetty-webapp 9.4.51.v20230217
org.eclipse.jetty jetty-xml 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-api 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-client 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-common 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-server 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-servlet 9.4.51.v20230217
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.36
org.glassfish.jersey.containers jersey-container-servlet-core 2.36
org.glassfish.jersey.core jersey-client 2.36
org.glassfish.jersey.core 澤西-通用 2.36
org.glassfish.jersey.core jersey-server 2.36
org.glassfish.jersey.inject jersey-hk2 2.36
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 2.2.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.8
org.roaringbitmap RoaringBitmap 0.9.39
org.roaringbitmap 墊片 0.9.39
org.rocksdb rocksdbjni 7.8.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest 相容 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.6
org.slf4j jul-to-slf4j 2.0.6
org.slf4j slf4j-api 2.0.6
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.1
org.yaml 蛇形 1.33
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1