Databricks Runtime 14.3 LTS
下列版本資訊提供由 Apache Spark 3.5.0 提供之 Databricks Runtime 14.3 LTS 的相關信息。
Databricks 於 2024 年 2 月發行此版本。
注意
LTS 表示此版本受到長期支援。 請參閱 Databricks Runtime LTS 版本生命週期 (英文)。
提示
若要查看已達到終止支援 (EoS) 之 Databricks Runtime 版本的版本資訊，請參閱終止支援 Databricks Runtime 版本資訊。 EoS Databricks Runtime 版本已淘汰，且可能未更新。
新功能和改進
- 共用叢集上的 PySpark 使用者定義函式 （UDF） 中的工作區檔案系統支援
- 支援不使用 Photon 的刪除向量
MERGE優化 - Spark 類別目錄 API 現在在共用存取模式中完全支援
- Delta UniForm 現已正式推出
- 新的 SQL 函式 EXECUTE IMMEDIATE
- 重新計算略過差異數據表統計數據的數據
- 具狀態串流查詢的查詢狀態資訊
- 在共用叢集上使用 Microsoft Kafka 驗證的 Entra 識別碼
- 已新增檔案和分割區剪除的支援，以改善查詢效能
- 在 SQL 工作階段中宣告暫存變數
- Thriftserver 更新以移除未使用的功能
- 在 Unity 目錄磁碟區中使用信任存放區和金鑰存放區檔案
- 原生 XML 檔案格式支援 (公開預覽)
- Cloudflare R2 記憶體的支援 （公開預覽）
- 在共用存取 Unity 目錄叢集上支援對工作區檔案的 Spark 和 dbutils 存取
- 共用存取 Unity 目錄叢集上的 Init 腳本和叢集連結庫支援
共用叢集上的 PySpark 使用者定義函式 （UDF） 中的工作區檔案系統支援
共用叢集上的 PySpark UDF 現在可以從 Git 資料夾、 工作區檔案或 UC 磁碟區匯入 Python 模組。
如需在 Git 資料夾或工作區檔案中使用模組的詳細資訊，請參閱 使用 Python 和 R 模組。
支援不使用 Photon 的刪除向量 MERGE 優化
作業不再需要 MERGE Photon 來利用刪除向量優化。 請參閱什麼是刪除向量？。
Spark 類別目錄 API 現在在共用存取模式中完全支援
您現在可以在以共用存取模式設定的 spark.catalog 計算上，在 PYTHON 和 Scala 中使用 API 中的所有函式。
Delta UniForm 現已正式推出
UniForm 現已正式推出，並使用 IcebergCompatV2 數據表功能。 您現在可以在現有的資料表上啟用或升級 UniForm。 請參閱<使用 UniForm 來讀取 Delta 資料表與 Iceberg 使用者端>。
新的 SQL 函式 EXECUTE IMMEDIATE
您現在可以使用 EXECUTE IMMEDIATE 語法來支援 SQL 中的參數化查詢。 請參閱 EXECUTE IMMEDIATE。
重新計算略過差異數據表統計數據的數據
您現在可以在變更用於略過數據的數據行之後，重新計算儲存在 Delta 記錄中的統計數據。 請參閱<指定 Delta 統計資料資料欄>。
具狀態串流查詢的查詢狀態資訊
您現在可以查詢結構化串流狀態數據和元數據。 請參閱 讀取結構化串流狀態資訊。
在共用叢集上使用 Microsoft Kafka 驗證的 Entra 識別碼
您現在可以透過 OAuth 驗證事件中樞服務，並在以共用存取模式設定的計算上，使用 Microsoft Entra 識別符。 請參閱使用 Microsoft Entra ID 和 Azure 事件中樞進行服務主體驗證。
已新增檔案和分割區剪除的支援，以改善查詢效能
為了加速一些依賴 NULL 容錯相等的查詢在 JOIN 條件中，我們現在支援 DynamicFilePruning 和 DynamicPartitionPruning EqualNullSafe JOIN 中的 運算符。
在 SQL 工作階段中宣告暫存變數
此版本引入了在工作階段中宣告臨時變數的功能，可以設定這些臨時變數，然後在查詢中引用這些臨時變數。 請參閱<變數>。
Thriftserver 更新以移除未使用的功能
Thriftserver 程式代碼已更新，以移除過時功能的程序代碼。 由於這些變更，不再支援下列設定：
- 已使用
hive.aux.jars.path屬性設定的Hive輔助 JAR 不再支援連線hive-thriftserver。 - 聯機不再支援使用
hive.server2.global.init.file.location屬性或HIVE_CONF_DIR環境變數設定位置的Hive全域 init 檔案 （.hiverc）。hive-thriftserver
在 Unity Catalog 磁碟區中使用信任存放區和金鑰儲存區檔案
您現在可以使用 Unity 目錄磁碟區中的信任存放區和金鑰存放區檔案，向 Confluent 架構登錄進行驗證，以取得 avro 或通訊協定緩衝區數據。 請參閱avro或通訊協定緩衝區的檔。
原生 XML 檔案格式支援 (公開預覽)
原生 XML 檔案格式支援現在是公開預覽。 XML 檔案格式支援可允許擷取、查詢和剖析 XML 資料，以進行批次處理或串流處理。 它可以自動推斷和演進結構描述和資料類型、支援 SQL 運算式（例如 from_xml），並且可以產生 XML 文件。 它不需要外部 jar，並且可與自動載入器、read_files、COPY INTO 和 Delta Live 資料表搭配運作。 請參閱<讀取和寫入 XML 檔案>。
Cloudflare R2 記憶體的支援 （公開預覽）
您現在可以使用 Cloudflare R2 做為 Unity Catalog 中註冊資料的雲端儲存。 Cloudflare R2 主要適用於差異共用使用案例，可讓您在跨區域傳輸資料時，避免雲端提供者收取的資料輸出費用。 R2 儲存體支援 AWS S3、Azure Data Lake Storage Gen2 與 Google Cloud Storage 中支援的所有 Databricks 資料和 AI 資產。 請參閱使用 Cloudflare R2 複本或將儲存體移轉至 R2 和建立儲存體認證以便連線至 Cloudflare R2。
在共用存取 Unity 目錄叢集上支援對工作區檔案的 Spark 和 dbutils 存取
在共用存取模式的 Unity 目錄叢集上，現在支援 Spark 和dbutils工作區檔案的讀取和寫入存取權。 請參閱 使用工作區檔案。
共用存取 Unity 目錄叢集上的 Init 腳本和叢集連結庫支援
現在已正式推出在共用存取模式中，在 Unity 目錄叢集上安裝叢集範圍的 init 腳本和 Python 和 JAR 連結庫，包括使用叢集原則進行安裝。 Databricks 建議從 Unity 目錄磁碟區安裝 init 腳本和連結庫。
連結庫升級
- 升級的 Python 連結庫：
- fastjsonschema 從 2.19.0 到 2.19.1
- filelock from 3.12.4 to 3.13.1
- googleapis-common-protos，從 1.61.0 到 1.62.0
- 封裝從 22.0 到 23.2
- 升級的 R 連結庫：
- foreign from 0.8-82 to 0.8-85
- nlme 從 3.1-162 到 3.1-163
- 從 4.1.19 到 4.1.21 的 rpart
- 升級的 Java 程式庫：
- com.databricks.databricks-sdk-java 從 0.7.0 到 0.13.0
- org.apache.orc.orc-core，從 1.9.1-shaded-protobuf 到 1.9.2-shaded-protobuf
- org.apache.orc.orc-mapreduce 從 1.9.1-shaded-protobuf 到 1.9.2-shaded-protobuf
- org.apache.orc.orc-shims from 1.9.1 到 1.9.2
- org.scala-lang.modules.scala-collection-compat_2.12，從 2.9.0 到 2.11.0
Apache Spark
Databricks Runtime 14.3 包含 Apache Spark 3.5.0。 此版本包含 Databricks Runtime 14.2 （EoS） 中包含的所有 Spark 修正和改善，以及下列對 Spark 所做的其他錯誤修正和改進：
- [SPARK-46541] [SC-153546][SQL][CONNECT]修正自我聯結中的模棱兩可數據行參考
- [SPARK-45433] 還原 “[SC-145163][SQL] 修正 CSV/JSON 架構推斷...
- [SPARK-46723] [14.3][SASP-2792][SC-153425][CONNECT][SCALA]讓 addArtifact 可重試
- [SPARK-46660] [SC-153391][CONNECT]ReattachExecute 要求更新 SessionHolder 的活躍度
- [SPARK-46670] [SC-153273][PYTHON][SQL]藉由分隔靜態和運行時間 Python 數據源，讓 DataSourceManager 能夠自我複製
- [SPARK-46720] [SC-153410][SQL][PYTHON]重構 Python 數據源以與其他 DSv2 內建數據源一致
- [SPARK-46684] [SC-153275][PYTHON][CONNECT]修正 CoGroup.applyInPandas/Arrow 以正確傳遞自變數
- [SPARK-46667] [SC-153271][SC-153263][SQL]XML：在多個 XML 數據源上擲回錯誤
- [SPARK-46382] [SC-151881][SQL]XML：預設 ignoreSurroundingSpaces 為 true
- [SPARK-46382] [SC-153178][SQL]XML：更新檔
ignoreSurroundingSpaces - [SPARK-45292] 還原 “[SC-151609][SQL][HIVE] 從 IsolatedClientLoader 移除共用類別的 Guava”
- [SPARK-45292] [SC-151609][SQL][HIVE]從 IsolatedClientLoader 移除共享類別的 Guava
- [SPARK-46311] [SC-150137][CORE]在期間記錄驅動程式的最終狀態
Master.removeDriver - [SPARK-46413] [SC-151052][PYTHON]驗證箭頭 Python UDF 的 returnType
- [SPARK-46633] [WARMFIX][SC-153092][SQL]修正 Avro 讀取器以處理零長度區塊
- [SPARK-46537] [SC-151286][SQL]將 NPE 和判斷提示從命令轉換成內部錯誤
- [SPARK-46179] [SC-151678][SQL]新增 CrossDbmsQueryTestSuites，從 Postgres 開始，針對其他 DBMS 的黃金檔案執行其他 DBMS
- [SPARK-44001] [SC-151413][PROTOBUF]新增選項以允許解除包裝 Protobuf 已知的包裝函式類型
- [SPARK-40876] [SC-151786][SQL]在 Parquet 讀取器中擴大小數位數的類型提升
- [SPARK-46605] [SC-151769][CONNECT]在連線模組中建立
lit/typedLit函式支援s.c.immutable.ArraySeq - [SPARK-46634] [SC-153005][SQL] 常值驗證不應該向下切入至 Null 字段
- [SPARK-37039] [SC-153094][PS]修正
Series.astype以正常運作遺漏值 - [SPARK-46312][SC-150163][CORE]在中使用
lower_camel_casestore_types.proto - [SPARK-46630] [SC-153084][SQL]XML：在寫入時驗證 XML 項目名稱
- [SPARK-46627] [SC-152981][SS][UI]修正串流 UI 上的時程表工具提示內容
- [SPARK-46248] [SC-151774][SQL]XML：支援 ignoreCorruptFiles 和 ignoreMissingFiles 選項
- [SPARK-46386] [SC-150766][PYTHON]改善觀察判斷提示 （pyspark.sql.observation）
- [SPARK-46581] [SC-151789][CORE]在 AccumulatorV2 中更新 isZero 的更新批注
- [SPARK-46601] [SC-151785][CORE]修正 handleStatusMessage 中的記錄錯誤
- [SPARK-46568] [SC-151685][PYTHON]將 Python 數據源選項設為不區分大小寫的字典
- [SPARK-46611] [SC-151783][CORE]使用 DateTimeFormatter 取代 SimpleDateFormat 以移除 ThreadLocal
- [SPARK-46604] [SC-151768][SQL]提出
Literal.apply支援s.c.immuable.ArraySeq - [SPARK-46324] [SC-150223][SQL][PYTHON]修正 pyspark.sql.functions.user 和 session_user的輸出名稱
- [SPARK-46621] [SC-151794][PYTHON]在 Py4J 擷取的例外狀況中從 Exception.getMessage 尋址 Null
- [SPARK-46598] [SC-151767][SQL]OrcColumnarBatchReader 在建立遺漏數據行的數據行向量時，應該遵守記憶體模式
- [SPARK-46613] [SC-151778][SQL][PYTHON]無法查閱 Python 數據源時記錄完整例外狀況
- [SPARK-46559] [SC-151364][MLLIB]
export將包裝在套件名稱中並加上反引號 - [SPARK-46522] [SC-151784][PYTHON]封鎖名稱衝突的 Python 數據源註冊
- [SPARK-45580] [SC-149956][SQL]處理巢狀子查詢變成存在聯結的情況
- [SPARK-46609] [SC-151714][SQL]避免 PartitioningPreservingUnaryExecNode 中的指數爆炸
- [SPARK-46535] [SC-151288][SQL]修正當描述沒有 col 統計數據的數據行擴充時，修正 NPE
- [SPARK-46599] [SC-147661][SC-151770][SQL]XML：使用 TypeCoercion.findTightestCommonType 進行兼容性檢查
- [SPARK-40876] [SC-151129][SQL]在 Parquet 讀取器中擴大類型升階
- [SPARK-46179] [SC-151069][SQL]將程式代碼提取到 SQLQueryTestSuite 中可重複使用的函式
- [SPARK-46586][SC-151679][SQL]支援
s.c.immutable.ArraySeq，如 中所示customCollectionClsMapObjects - [SPARK-46585] [SC-151622][CORE]直接建構
metricPeaks為immutable.ArraySeq，而不是在mutable.ArraySeq.toSeq中使用Executor - [SPARK-46488] [SC-151173][SQL]略過 trimAll 呼叫在時間戳剖析期間
- [SPARK-46231] [SC-149724][PYTHON]將所有剩餘
NotImplementedError和TypeError移轉至 PySpark 錯誤架構 - [SPARK-46348] [SC-150281][CORE]支援
spark.deploy.recoveryTimeout - [SPARK-46313] [SC-150164][CORE]記錄
Spark HA復原持續時間 - [SPARK-46358] [SC-150307][CONNECT]簡化中的條件檢查
ResponseValidator#verifyResponse - [SPARK-46380] [SC-151078][SQL]取代評估內嵌數據表運算式之前的目前時間/日期。
- [SPARK-46563] [SC-151441][SQL]檢視 simpleString 未遵循 conf spark.sql.debug.maxToStringFields
- [SPARK-46101] [SC-149211][CORE][SQL][MLLIB][SS][R][CONNCT][GRAPHX]使用 （string|array）length 取代 #string|array）size 來減少堆棧深度
- [SPARK-46539] [SC-151469][SQL]SELECT * EXCEPT（結構中的所有欄位）會導致判斷提示失敗
- [SPARK-46565] [SC-151414][PYTHON]精簡 Python 資料源的錯誤類別和錯誤訊息
- [SPARK-46576] [SC-151614][SQL]改善不支援數據源儲存模式的錯誤訊息
- [SPARK-46540] [SC-151355][PYTHON]當 Python 數據源讀取函式輸出名為 Row 物件的時，尊重數據行名稱
- [SPARK-46577] [SC-151448][SQL]HiveMetastoreLazyInitializationSuite 會洩漏 hive 的 SessionState
- [SPARK-44556][SC-151562][SQL]啟用 vectorizedReader 時重複使用
OrcTail - [SPARK-46587] [SC-151618][SQL]XML：修正 XSD 大整數轉換
- [SPARK-46382] [SC-151297][SQL]XML：擷取插入項目之間的值
- [SPARK-46567] [SC-151447][CORE]拿掉 ReadAheadInputStream 的 ThreadLocal
- [SPARK-45917] [SC-151269][PYTHON][SQL]啟動時自動註冊 Python 數據源
- [SPARK-28386] [SC-151014][SQL]無法解析 GROUP BY 和 HAVING 的 ORDER BY 資料行
- [SPARK-46524] [SC-151446][SQL]改善無效儲存模式的錯誤訊息
- [SPARK-46294] [SC-150672][SQL]清除 init 與零值的語意
- [SPARK-46301] [SC-150100][CORE]支援
spark.worker.(initial|max)RegistrationRetries - [SPARK-46542][SC-151324][SQL]從 中移除檢查
c>=0ExternalCatalogUtils#needsEscaping，因為它一律為 true - [SPARK-46553] [SC-151360][PS]
FutureWarningforinterpolatewith object dtype - [SPARK-45914] [SC-151312][PYTHON]支援 Python 數據源寫入的認可和中止 API
- [SPARK-46543] [SC-151350][PYTHON][CONNECT]針對空白欄位進行
json_tuple擲回 PySparkValueError - [SPARK-46520] [SC-151227][PYTHON]支援 Python 數據源寫入的覆寫模式
- [SPARK-46502] [SC-151235][SQL]支援 UnwrapCastInBinaryComparison 中的時間戳類型
- [SPARK-46532] [SC-151279][CONNECT]在的元數據中傳遞訊息參數
ErrorInfo - [SPARK-46397] 還原 “[SC-151311][PYTHON][CONNECT] 函
sha2式應該引發PySparkValueError無效numBits” - [SPARK-46170] [SC-149472][SQL]支援在 SparkSessionExtensions 中插入調適型查詢後規劃策略規則
- [SPARK-46444] [SC-151195][SQL]V2SessionCatalog#createTable 不應該載入數據表
- [SPARK-46397] [SC-151311][PYTHON][CONNECT]函
sha2式應引發PySparkValueError無效numBits - [SPARK-46145] [SC-149471][SQL] spark.catalog.listTables 在找不到數據表或檢視表時不會擲回例外狀況
- [SPARK-46272] [SC-151012][SQL]使用 DSv2 來源支援 CTAS
- [SPARK-46480] [SC-151127][CORE][SQL]修正數據表快取工作嘗試時的 NPE
- [SPARK-46100] [SC-149051][CORE][PYTHON]使用 （string|array）length 取代 #string|array）size 來減少堆棧深度
- [SPARK-45795] [SC-150764][SQL]DS V2 支援下推模式
- [SPARK-46485] [SC-151133][SQL]不需要時，V1Write 不應該新增 Sort
- [SPARK-46468] [SC-151121][SQL]使用匯總處理 EXISTS 子查詢的 COUNT 錯誤，而不需分組索引鍵
- [SPARK-46246] [SC-150927][SQL]EXECUTE IMMEDIATE SQL 支援
- [SPARK-46498][SC-151199][CORE]從中移除
shuffleServiceEnabledo.a.spark.util.Utils#getConfiguredLocalDirs - [SPARK-46440] [SC-150807][SQL]根據預設，將重新基底組態設定設定為
CORRECTED模式 - [SPARK-45525] [SC-151120][SQL][PYTHON]使用 DSv2 支援 Python 數據源寫入
- [SPARK-46505] [SC-151187][CONNECT]在 中設定位元組臨界值
ProtoUtils.abbreviate - [SPARK-46447] [SC-151025][SQL]拿掉舊版日期時間重新設定 SQL 組態
- [SPARK-46443] [SC-151123][SQL]十進位有效位數和小數字數應該由 H2 方言決定。
- [SPARK-46384] [SC-150694][SPARK-46404][SS][UI]修正結構化串流頁面上的作業持續時間堆疊圖
- [SPARK-46207] [SC-151068][SQL]支援 DataFrameWriterV2 中的 MergeInto
- [SPARK-46452] [SC-151018][SQL]在 DataWriter 中新增 API 以寫入記錄反覆運算器
- [SPARK-46273] [SC-150313][SQL]使用 DSv2 來源支援 INSERT INTO/OVERWRITE
- [SPARK-46344] [SC-150267][CORE]當驅動程式成功存在但 master 已中斷連線時，請正確發出警告
- [SPARK-46284] [SC-149944][PYTHON][CONNECT]將函式新增
session_user至 Python - [SPARK-46043] [SC-149786][SQL]支援使用 DSv2 來源建立數據表
- [SPARK-46323] [SC-150191][PYTHON]修正 pyspark.sql.functions.now 的輸出名稱
- [SPARK-46465][SC-151059][PYTHON][CONNECT]在 PySpark 中新增
Column.isNaN - [SPARK-46456] [SC-151050][CORE]新增
spark.ui.jettyStopTimeout以設定 Jetty 伺服器停止逾時以解除封鎖 SparkContext 關機 - [SPARK-43427] [SC-150356][PROTOBUF] spark protobuf：允許向上傳播不帶正負號的整數類型
- [SPARK-46399] [SC-151013][14.x][Core]將結束狀態新增至 Application End 事件以使用 Spark 接聽程式
- [SPARK-46423] [SC-150752][PYTHON][SQL]在 DataSource.lookupDataSourceV2 建立 Python 數據源實例
- [SPARK-46424] [SC-150765][PYTHON][SQL]在 Python 數據源中支援 Python 計量
- [SPARK-46330] [SC-151015]啟用 HybridStore 時長時間載入 Spark UI 區塊
- [SPARK-46378] [SC-150397][SQL]將匯總轉換為項目之後，仍移除 Sort
- [SPARK-45506] [SC-146959][CONNECT]將 ivy URI 支援新增至 SparkConnect addArtifact
- [SPARK-45814] [SC-147871][CONNECT][SQL]讓 ArrowConverters.createEmptyArrowBatch 呼叫 close（） 以避免記憶體流失
- [SPARK-46427] [SC-150759][PYTHON][SQL]將 Python 數據源的描述變更為相當清楚的說明
- [SPARK-45597] [SC-150730][PYTHON][SQL]支援在 SQL 中使用 Python 數據源建立數據表 （DSv2 exec）
- [SPARK-46402] [SC-150700][PYTHON]新增 getMessageParameters 和 getQueryContext 支援
- [SPARK-46453][SC-150897][CONNECT]從擲回例外狀況
internalError()SessionHolder - [SPARK-45758] [SC-147454][SQL]引進hadoop壓縮編解碼器的對應程式
- [SPARK-46213][PYTHON]錯誤架構簡介
PySparkImportError - [SPARK-46230] [SC-149960][PYTHON]遷移
RetriesExceeded至 PySpark 錯誤 - [SPARK-45035] [SC-145887][SQL]修正 ignoreCorruptFiles/ignoreMissingFiles 與多行 CSV/JSON 將報告錯誤
- [SPARK-46289] [SC-150846][SQL]支援在解譯模式中排序 UDT
- [SPARK-46229] [SC-150798][PYTHON][CONNECT]在 Spark Connect 中將 applyInArrow 新增至 groupBy 和 cogroup
- [SPARK-46420] [SC-150847][SQL]拿掉 SparkSQLCLIDriver 中未使用的傳輸
- [SPARK-46226] [PYTHON]將所有剩餘
RuntimeError專案移轉至 PySpark 錯誤架構 - [SPARK-45796] [SC-150613][SQL]支援模式（） GROUP 內 （ORDER BY col）
- [SPARK-40559] [SC-149686][PYTHON][14.X]將 applyInArrow 新增至 groupBy 和 cogroup
- [SPARK-46069] [SC-149672][SQL]支援解除包裝時間戳類型至日期類型
- [SPARK-46406] [SC-150770][SQL]將名稱指派給錯誤類別_LEGACY_ERROR_TEMP_1023
- [SPARK-46431][SC-150782][SS]在工作階段反覆運算器中轉換為
IllegalStateExceptioninternalError - [SPARK-45807] [SC-150751][SQL]改善 ViewCatalog API
- [SPARK-46009] [SC-149771][SQL][CONNECT]將 PercentileCont 和 PercentileDisc 的剖析規則合併至 functionCall
- [SPARK-46403] [SC-150756][SQL]使用 getBytesUnsafe 方法譯碼 parquet 二進制檔
- [SPARK-46389][SC-150779][CORE]擲回例外狀況時
checkVersion手動關閉RocksDB/LevelDB實例 - [SPARK-46360] [SC-150376][PYTHON]使用新的
getMessageAPI 增強錯誤訊息偵錯 - [SPARK-46233] [SC-149766][PYTHON]將所有剩餘
AttributeError專案移轉至 PySpark 錯誤架構 - [SPARK-46394] [SC-150599][SQL]修正spark.catalog.listDatabases（） 設定為 true 時
spark.sql.legacy.keepCommandOutputSchema，具有特殊字元的架構問題 - [SPARK-45964] [SC-148484][SQL]在催化劑套件下移除 XML 和 JSON 套件中的私人 SQL 存取子
- [SPARK-45856] [SC-148691]將 ArtifactManager 從 Spark Connect 移至 SparkSession （sql/core）
- [SPARK-46409] [SC-150714][CONNECT]修正 spark-connect-scala-client 啟動腳本
- [SPARK-46416] [SC-150699][CORE]新增
@tailrec至HadoopFSUtils#shouldFilterOutPath - [SPARK-46115] [SC-149154][SQL]在中限制字元集
encode() - [SPARK-46253] [SC-150416][PYTHON]使用 MapInArrow 規劃 Python 數據源讀取
- [SPARK-46339] [SC-150266][SS]具有批次編號名稱的目錄不應視為元數據記錄檔
- [SPARK-46353] [SC-150396][CORE]重構以改善
RegisterWorker單元測試涵蓋範圍 - [SPARK-45826] [SC-149061][SQL]在 DataFrame 查詢內容中新增堆疊追蹤的 SQL 組態
- [SPARK-45649] [SC-150300][SQL]整合 OffsetWindowFunctionFrame 的準備架構
- [SPARK-46346] [SC-150282][CORE]修正 Master 以將背景工作角色從
UNKNOWN更新為ALIVERegisterWorkermsg - [SPARK-46388] [SC-150496][SQL]HiveAnalysis 遺漏 的模式防護
query.resolved - [SPARK-46401] [SC-150609][CORE]使用
!isEmpty()onRoaringBitmap而非getCardinality() > 0inRemoteBlockPushResolver - [SPARK-46393] [SC-150603][SQL]分類 JDBC 資料表目錄中的例外狀況
- [SPARK-45798] [SC-150513][CONNECT]待處理：將 serverSessionId 新增至 SessionHolderInfo
- [SPARK-46153] [SC-146564][SC-150508][SQL]XML：新增 TimestampNTZType 支援
- [SPARK-46075] [SC-150393][CONNECT]SparkConnectSessionManager 的改善
- [SPARK-46357] [SC-150596]將 setConf 的檔使用不正確取代為 conf.set
- [SPARK-46202] [SC-150420][CONNECT]公開新的 ArtifactManager API 以支援自定義目標目錄
- [SPARK-45824] [SC-147648][SQL]在中強制執行錯誤類別
ParseException - [SPARK-45845] [SC-148163][SS][UI]將收回的狀態數據列數目新增至串流 UI
- [SPARK-46316][SC-150181][CORE]在模組上
core啟用buf-lint-action - [SPARK-45816][SC-147656][SQL]從時間戳轉換成整數期間溢位時傳回
NULL - [SPARK-46333][SC-150263][SQL]
SparkException.internalError在催化劑中取代IllegalStateException - [SPARK-45762] [SC-148486][CORE]藉由變更啟動順序，支援使用者 jar 中定義的隨機管理員
- [SPARK-46239] [SC-149752][CORE]隱藏
Jetty資訊 - [SPARK-45886] [SC-148089][SQL]在 DataFrame 內容中
callSite輸出完整堆疊追蹤 - [SPARK-46290] [SC-150059][PYTHON]將 saveMode 變更為 DataSourceWriter 的布爾值旗標
- [SPARK-45899] [SC-148097][CONNECT]在 errorInfoToThrowable 中設定 errorClass
- [SPARK-45841] [SC-147657][SQL]公開堆疊追蹤依據
DataFrameQueryContext - [SPARK-45843][SC-147721][CORE]REST 提交 API 中的支援
killall - [SPARK-46234][SC-149711][PYTHON]PySpark 錯誤架構簡介
PySparkKeyError - [SPARK-45606] [SC-147655][SQL]多層運行時間篩選的發行限制
- [SPARK-45725] [SC-147006][SQL]拿掉非預設 IN 子查詢運行時間篩選
- [SPARK-45694] [SC-147314][SPARK-45695][SQL]清除已淘汰的 API 使用量
View.force和ScalaNumberProxy.signum - [SPARK-45805] [SC-147488][SQL]讓
withOrigin更多泛型 - [SPARK-46292] [SC-150086][CORE][UI]在 MasterPage 中顯示背景工作角色的摘要
- [SPARK-45685] [SC-146881][CORE][SQL]使用
LazyList而非Stream - [SPARK-45888] [SC-149945][SS]將錯誤類別架構套用至狀態 （元數據） 資料源
- [SPARK-46261] [SC-150111][CONNECT]
DataFrame.withColumnsRenamed應保留聽寫/地圖排序 - [SPARK-46263] [SC-149933][SQL][SS][ML][MLLIB][UI]清除
SeqOps.view和ArrayOps.view轉換 - [SPARK-46029] [SC-149255][SQL]逸出單引號，
_並%針對 DS V2 下推 - [SPARK-46275] [SC-150189]Protobuf：還原串行化失敗時，以寬鬆模式傳回 Null。
- [SPARK-46320] [SC-150187][CORE]支援
spark.master.rest.host - [SPARK-46092] [SC-149658][SQL]不要向下推下 Overflow 的 Parquet 數據列群組篩選
- [SPARK-46300] [SC-150097][PYTHON][CONNECT]比對數據行中具有完整測試涵蓋範圍的次要行為比對
- [SPARK-46298] [SC-150092][PYTHON][CONNECT]比對 Catalog.createExternalTable 的淘汰警告、測試案例和錯誤
- [SPARK-45689] [SC-146898][SPARK-45690][SPARK-45691][CORE][SQL]清除與
StringContext/StringOps/RightProjection/LeftProjection/Either和類型使用相關的已淘汰 API 使用方式BufferedIterator/CanBuildFrom/Traversable - [SPARK-33393] [SC-148407][SQL]支援 v2 中的 SHOW TABLE EXTENDED
- [SPARK-45737][SC-147011][SQL]在中移除不必要的
.toArray[InternalRow]SparkPlan#executeTake - [SPARK-46249] [SC-149797][SS]需要實例鎖定以取得 RocksDB 計量，以防止與背景作業競爭
- [SPARK-46260] [SC-149940][PYTHON][SQL]
DataFrame.withColumnsRenamed應遵守聽寫順序 - [SPARK-46274] [SC-150043][SQL]修正 Range 運算子 computeStats（） 以在轉換之前檢查長效性
- [SPARK-46040] [SC-149767][SQL][Python]更新UDTF API以進行「分析」資料分割/排序數據行，以支援一般表達式
- [SPARK-46287] [SC-149949][PYTHON][CONNECT]
DataFrame.isEmpty應該使用所有數據類型 - [SPARK-45678] [SC-146825][CORE]涵蓋 tryOrFetchFailedException 下的 BufferReleasingInputStream.available/reset
- [SPARK-45667] [SC-146716][CORE][SQL][CONNECT]清除與相關的
IterableOnceExtensionMethods已淘汰 API 使用量。 - [SPARK-43980] [SC-148992][SQL] 簡介
select * except語法 - [SPARK-46269] [SC-149816][PS]啟用更多 NumPy 相容性函式測試
- [SPARK-45807] [SC-149851][SQL]將 createOrReplaceView（..） / replaceView（..） 新增至 ViewCatalog
- [SPARK-45742] [SC-147212][CORE][CONNECT][MLLIB][PYTHON]引進適用於 Scala Array 的隱含函式，以包裝成
immutable.ArraySeq。 - [SPARK-46205] [SC-149655][CORE]使用改善
PersistenceEngine效能KryoSerializer - [SPARK-45746] [SC-149359][Python]如果 UDTF 'analyze' 或 'eval' 方法接受或傳回錯誤值，則傳回特定的錯誤訊息
- [SPARK-46186] [SC-149707][CONNECT]修正 ExecuteThreadRunner 在啟動前中斷時不合法的狀態轉換
- [SPARK-46262] [SC-149803][PS]啟用
np.left_shiftPandas-on-Spark 對象的測試。 - [SPARK-45093] [SC-149679][CONNECT][PYTHON]正確支援 AddArtifactHandler 的錯誤處理和轉換
- [SPARK-46188] [SC-149571][Doc][3.5] 修正 Spark 檔所產生數據表的 CSS
- [SPARK-45940] [SC-149549][PYTHON]將 InputPartition 新增至 DataSourceReader 介面
- [SPARK-43393] [SC-148301][SQL]解決序列表達式溢位錯誤。
- [SPARK-46144] [SC-149466][SQL]INSERT INTO 失敗... 如果條件包含子查詢，REPLACE 語句
- [SPARK-46118] [SC-149096][SQL][SS][CONNECT]使用
SparkSession.sessionState.conf而非SQLContext.conf，並將標示SQLContext.conf為已被取代 - [SPARK-45760] [SC-147550][SQL]新增With表達式以避免複製表達式
- [SPARK-43228] [SC-149670][SQL]聯結索引鍵也會比對 CoalesceBucketsInJoin 中的 PartitioningCollection
- [SPARK-46223] [SC-149691][PS]使用清除未使用的程式代碼測試 SparkPandasNotImplementedError
- [SPARK-46119] [SC-149205][SQL]覆寫
toString方法UnresolvedAlias - [SPARK-46206] [SC-149674][PS]針對 SQL 處理器使用較窄的範圍例外狀況
- [SPARK-46191] [SC-149565][CORE]改善
FileSystemPersistenceEngine.persist現有檔案的錯誤訊息 - [SPARK-46036] [SC-149356][SQL]從raise_error函式移除錯誤類別
- [SPARK-46055] [SC-149254][SQL]重寫目錄資料庫 API 實作
- [SPARK-46152] [SC-149454][SQL]XML：在 XML 架構推斷中新增 DecimalType 支援
- [SPARK-45943] [SC-149452][SQL]將 DetermineTableStats 移至解析規則
- [SPARK-45887] [SC-148994][SQL]對齊的 codegen 和非 codegen 實作
Encode - [SPARK-45022] [SC-147158][SQL]提供資料集 API 錯誤的內容
- [SPARK-45469][SC-145135][CORE][SQL][CONNECT][PYTHON]將取代
toIterator為iteratorIterableOnce - [SPARK-46141] [SC-149357][SQL]將 spark.sql.legacy.ctePrecedencePolicy 的預設值變更為 CORRECTED
- [SPARK-45663] [SC-146617][CORE][MLLIB]將取代
IterableOnceOps#aggregate為IterableOnceOps#foldLeft - [SPARK-45660] [SC-146493][SQL]在 ComputeCurrentTime 規則中重複使用 Literal 物件
- [SPARK-45803] [SC-147489][CORE]拿掉不再使用的
RpcAbortException - [SPARK-46148] [SC-149350][PS]修正pyspark.pandas.mlflow.load_model測試 （Python 3.12）
- [SPARK-46110] [SC-149090][PYTHON]在目錄、conf、connect、觀察、pandas 模組中使用錯誤類別
- [SPARK-45827] [SC-149203][SQL]已停用 codegen 和向量化讀取器的 Variant 修正
- [SPARK-46080] 將 “[SC-149012][PYTHON] 將 Cloudpickle 升級至 3.0.0”
- [SPARK-45460] [SC-144852][SQL]將取代
scala.collection.convert.ImplicitConversions為scala.jdk.CollectionConverters - [SPARK-46073] [SC-149019][SQL]拿掉特定命令之 UnresolvedNamespace 的特殊解析
- [SPARK-45600] [SC-148976][PYTHON]建立 Python 數據源註冊會話層級
- [SPARK-46074] [SC-149063][CONNECT][SCALA]UDF 失敗時錯誤訊息中的詳細數據不足
- [SPARK-46114] [SC-149076][PYTHON]為錯誤架構新增 PySparkIndexError
- [SPARK-46120] [SC-149083][CONNECT][PYTHON]拿掉協助程式函式
DataFrame.withPlan - [SPARK-45927] [SC-148660][PYTHON]更新 Python 數據源的路徑處理
- [SPARK-46062] [14.x][SC-148991][SQL]同步 CTE 定義與參考之間的isStreaming 旗標
- [SPARK-45698] [SC-146736][CORE][SQL][SS]清除已淘汰的 API 使用方式
Buffer - [SPARK-46064] [SC-148984][SQL][SS]將 EliminateEventTimeWatermark 移至分析器，並變更為只對已解析的子系生效
- [SPARK-45922] [SC-149038][CONNECT][CLIENT]次要重試重構 （後續追蹤多個原則）
- [SPARK-45851] [SC-148419][CONNECT][SCALA]支援 Scala 用戶端中的多個原則
- [SPARK-45974] [SC-149062][SQL]為 RowLevelOperationRuntimeGroupFiltering 新增 scan.filterAttributes 非空白判斷
- [SPARK-46085] [SC-149049][CONNECT]Scala Spark Connect 用戶端中的 Dataset.groupingSets
- [SPARK-45136] [SC-146607][CONNECT]增強 ClosureCleaner 與 Blobte 支援
- [SPARK-46084] [SC-149020][PS]重構類別類型的數據類型轉換作業。
- [SPARK-46083] [SC-149018][PYTHON]將 SparkNoSuchElementException 設為標準錯誤 API
- [SPARK-46048] [SC-148982][PYTHON][CONNECT]在 Python Spark Connect 中支援 DataFrame.groupingSets
- [SPARK-46080] [SC-149012][PYTHON]將 Cloudpickle 升級至 3.0.0
- [SPARK-46082] [SC-149015][PYTHON][CONNECT]使用 Spark Connect 修正 Pandas Functions API 的 Protobuf 字串表示法
- [SPARK-46065] [SC-148985][PS]重構
(DataFrame|Series).factorize()以使用create_map。 - [SPARK-46070] [SC-148993][SQL]在 Hot 循環外部的 SparkDateTimeUtils.getZoneId 中編譯 regex 模式
- [SPARK-46063] [SC-148981][PYTHON][CONNECT]改善與可愛、匯總、groupby 和 pivot 中自變數類型相關的錯誤訊息
- [SPARK-44442] [SC-144120][MESOS]拿掉 Mesos 支援
- [SPARK-45555] [SC-147620][PYTHON]包含失敗判斷提示的可偵錯物件
- [SPARK-46048] [SC-148871][PYTHON][SQL]支援 PySpark 中的 DataFrame.groupingSets
- [SPARK-45768] [SC-147304][SQL][PYTHON]讓 Faulthandler 成為 SQL 中 Python 執行的運行時間組態
- [SPARK-45996] [SC-148586][PYTHON][CONNECT]顯示 Spark Connect 的適當相依性需求訊息
- [SPARK-45681] [SC-146893][UI]複製UIUtils.errorMessageCell的 js 版本，以在UI上呈現一致的錯誤
- [SPARK-45767] [SC-147225][CORE]刪除
TimeStampedHashMap及其UT - [SPARK-45696] [SC-148864][CORE]修正方法 tryCompleteWith 在特性 Promise 中已被取代
- [SPARK-45503] [SC-146338][SS]新增 Conf 以設定 RocksDB 壓縮
- [SPARK-45338] [SC-143934][CORE][SQL]將取代
scala.collection.JavaConverters為scala.jdk.CollectionConverters - [SPARK-44973][SC-148804][SQL]修正
ArrayIndexOutOfBoundsExceptionconv() - [SPARK-45912] [SC-144982][SC-148467][SQL]XSDToSchema API 的增強功能：變更為適用於雲端記憶體輔助功能的 HDFS API
- [SPARK-45819][SC-147570][CORE]REST 提交 API 中的支援
clear - [SPARK-45552] [14.x][SC-146874][PS]將彈性參數引入
assertDataFrameEqual - [SPARK-45815] [SC-147877][SQL][串流][14.x][櫻桃挑選]提供其他串流來源的介面以新增
_metadata數據行 - [SPARK-45929] [SC-148692][SQL]支持數據框架 API 中的 groupingSets 作業
- [SPARK-46012] [SC-148693][CORE]如果應用程式狀態檔遺失，EventLogFileReader 不應該讀取滾動記錄
- [SPARK-45965] [SC-148575][SQL]將 DSv2 資料分割表達式移至 functions.partitioning
- [SPARK-45971] [SC-148541][CORE][SQL]將的套件名稱
SparkCollectionUtils更正為org.apache.spark.util - [SPARK-45688] [SC-147356][SPARK-45693][CORE]清除與 修正相關的
MapOps已淘汰 API 使用量method += in trait Growable is deprecated - [SPARK-45962] [SC-144645][SC-148497][SQL]在 XML 中改為移除
treatEmptyValuesAsNulls和使用nullValue選項 - [SPARK-45988] [SC-148580][SPARK-45989][PYTHON]修正 typehints 以處理
listPython 3.11+ 中的 GenericAlias - [SPARK-45999][SC-148595][PS]在中使用專用
PandasProductcumprod - [SPARK-45986][SC-148583][ML][PYTHON]在 Python 3.11 中修正
pyspark.ml.torch.tests.test_distributor - [SPARK-45994] [SC-148581][PYTHON]變更
description-file為description_file - [SPARK-45575] [SC-146713][SQL]支援 df 讀取 API 的時間行動選項
- [SPARK-45747] [SC-148404][SS]使用狀態元數據中的前置詞索引鍵信息來處理會話視窗彙總的讀取狀態
- [SPARK-45898] [SC-148213][SQL]重寫目錄數據表 API 以使用未解析的邏輯計劃
- [SPARK-45828] [SC-147663][SQL]拿掉dsl中已被取代的方法
- [SPARK-45990] [SC-148576][SPARK-45987][PYTHON][CONNECT]升級
protobuf至 4.25.1 以支援Python 3.11 - [SPARK-45911] [SC-148226][CORE]將 TLS1.3 設為 RPC SSL 的預設值
- [SPARK-45955] [SC-148429][UI]折疊火焰圖和線程傾印詳細數據的支援
- [SPARK-45936] [SC-148392][PS]優化
Index.symmetric_difference - [SPARK-45389] [SC-144834][SQL][3.5] 取得分割區元數據的正確 MetaException 比對規則
- [SPARK-45655] [SC-148085][SQL][SS]允許 CollectMetrics 中 AggregateFunctions 內的不具決定性表達式
- [SPARK-45946] [SC-148448][SS]修正使用已被取代的 FileUtils 寫入，以在 RocksDBSuite 中傳遞預設字元集
- [SPARK-45511] [SC-148285][SS]狀態資料來源 - 讀取器
- [SPARK-45918] [SC-148293][PS]優化
MultiIndex.symmetric_difference - [SPARK-45813] [SC-148288][CONNECT][PYTHON]從命令傳回觀察到的計量
- [SPARK-45867] [SC-147916][CORE]支援
spark.worker.idPattern - [SPARK-45945] [SC-148418][CONNECT]為新增協助程式函式
parser - [SPARK-45930] [SC-148399][SQL]在 MapInPandas/MapInArrow 中支援不具決定性的 UDF
- [SPARK-45810] [SC-148356][Python]建立 Python UDTF API 以停止從輸入數據表取用數據列
- [SPARK-45731] [SC-147929][SQL]同時使用
ANALYZE TABLE命令更新分割區統計數據 - [SPARK-45868] [SC-148355][CONNECT]請務必
spark.table搭配 Vanilla spark 使用相同的剖析器 - [SPARK-45882] [SC-148161][SQL]BroadcastHashJoinExec 傳播分割應遵守 CoalescedHashPartitioning
- [SPARK-45710] [SC-147428][SQL]將名稱指派給錯誤_LEGACY_ERROR_TEMP_21[59,60,61,62]
- [SPARK-45915] [SC-148306][SQL]將 decimal（x， 0） 與 In 中的 IntegralType 相同
PromoteStrings - [SPARK-45786] [SC-147552][SQL]修正不正確的十進位乘法和除法結果
- [SPARK-45871][SC-148084][CONNECT]模組中
connect與相關的.toBuffer優化集合轉換 - [SPARK-45822] [SC-147546][CONNECT]SparkConnectSessionManager 可能會查閱已停止的sparkcontext
- [SPARK-45913] [SC-148289][PYTHON]將內部屬性從 PySpark 錯誤設為私用。
- [SPARK-45827] [SC-148201][SQL]在 Spark 中新增 Variant 資料類型。
- [SPARK-44886] [SC-147876][SQL]介紹 CREATE/REPLACE TABLE 的 CLUSTER BY 子句
- [SPARK-45756] [SC-147959][CORE]支援
spark.master.useAppNameAsAppId.enabled - [SPARK-45798] [SC-147956][CONNECT]判斷提示伺服器端會話標識碼
- [SPARK-45896][SC-148091][SQL]使用正確的預期型別建構
ValidateExternalType - [SPARK-45902][SC-148123][SQL]從中移除未使用的函式
resolvePartitionColumnsDataSource - [SPARK-45909] [SC-148137][SQL]如果可以安全地向上轉換，請移除
NumericType轉換IsNotNull - [SPARK-42821] [SC-147715][SQL]拿掉splitFiles方法中未使用的參數
- [SPARK-45875][SC-148088][CORE]從
core模組中移除MissingStageTableRowData - [SPARK-45783] [SC-148120][PYTHON][CONNECT]啟用 Spark Connect 模式但未設定遠端 URL 時改善錯誤訊息
- [SPARK-45804] [SC-147529][UI]新增spark.ui.threadDump.flamegraphEnabled config 以開啟/關閉火焰圖形
- [SPARK-45664] [SC-146878][SQL]介紹 orc 壓縮編解碼器的對應程式
- [SPARK-45481] [SC-146715][SQL]介紹 Parquet 壓縮編解碼器的對應程式
- [SPARK-45752] [SC-148005][SQL]簡化檢查未參考 CTE 關係的程式代碼
- [SPARK-44752] [SC-146262][SQL]XML：更新 Spark 檔
- [SPARK-45752] [SC-147869][SQL]CheckAnalysis0 應該檢查未推斷的 CTE
- [SPARK-45842] [SC-147853][SQL]重構類別目錄函式 API 以使用分析器
- [SPARK-45639] [SC-147676][SQL][PYTHON]支援在 DataFrameReader 中載入 Python 數據源
- [SPARK-45592] [SC-146977][SQL]AQE 中 InMemoryTableScanExec 的正確性問題
- [SPARK-45794] [SC-147646][SS]介紹狀態元數據來源來查詢串流狀態元數據資訊
- [SPARK-45739] [SC-147059][PYTHON]僅針對 faulthandler 攔截 IOException 而不是 EOFException
- [SPARK-45677] [SC-146700]觀察 API 的更佳錯誤記錄
- [SPARK-45544] [SC-146873][CORE]將 SSL 支援整合到 TransportContext
- [SPARK-45654] [SC-147152][PYTHON]新增 Python 數據源寫入 API
- [SPARK-45771][SC-147270][CORE]默認為啟用
spark.eventLog.rolling.enabled - [SPARK-45713] [SC-146986][PYTHON]支援註冊 Python 數據源
- [SPARK-45656] [SC-146488][SQL]修正不同數據集上具有相同名稱的具名觀察時觀察
- [SPARK-45808] [SC-147571][CONNECT][PYTHON]更好的 SQL 例外狀況錯誤處理
- [SPARK-45774][SC-147353][CORE][UI]中的支援
spark.master.ui.historyServerUrlApplicationPage - [SPARK-45776] [SC-147327][CORE]拿掉 SPARK-39553 中新增的
MapOutputTrackerMaster#unregisterShuffle防禦 Null 檢查 - [SPARK-45780] [SC-147410][CONNECT]在 InheritableThread 中傳播所有 Spark Connect 用戶端線程定位
- [SPARK-45785] [SC-147419][CORE]支援
spark.deploy.appNumberModulo輪替應用程式號碼 - [SPARK-45793] [SC-147456][CORE]改善內建壓縮編解碼器
- [SPARK-45757] [SC-147282][ML] 避免在 Binarizer 中重新計算 NNZ
- [SPARK-45209] [SC-146490][CORE][UI]Executor 線程傾印頁面的 Flame Graph 支援
- [SPARK-45777][SC-147319][CORE]中的支援
spark.test.appIdLocalSchedulerBackend - [SPARK-45523] [SC-146331][PYTHON]將 Null 檢查重構為具有快捷方式
- [SPARK-45711] [SC-146854][SQL]介紹avro壓縮編解碼器的對應程式
- [SPARK-45523] [SC-146077][Python]如果 UDTF 針對任何不可為 Null 的數據行傳回 None，則傳回有用的錯誤訊息
- [SPARK-45614] [SC-146729][SQL]將名稱指派給錯誤_LEGACY_ERROR_TEMP_215[6,7,8]
- [SPARK-45755][SC-147164][SQL]藉由套用全域限制來改善
Dataset.isEmpty()1 - [SPARK-45569] [SC-145915][SQL]將名稱指派給錯誤_LEGACY_ERROR_TEMP_2153
- [SPARK-45749][SC-147153][CORE][WEBUI]修正
Spark History Server以正確排序數據行Duration - [SPARK-45754] [SC-147169][CORE]支援
spark.deploy.appIdPattern - [SPARK-45707][SC-146880][SQL]使用簡化
DataFrameStatFunctions.countMinSketchCountMinSketchAgg - [SPARK-45753] [SC-147167][CORE]支援
spark.deploy.driverIdPattern - [SPARK-45763] [SC-147177][CORE][UI]改善
MasterPage只有在數據行存在時才顯示Resource數據行 - [SPARK-45112] [SC-143259][SQL]在 SQL 數據集函式中使用未解析的函式解析
Databricks ODBC/JDBC 驅動程式支援
Databricks 支援在過去 2 年中發行的 ODBC/JDBC 驅動程式。 請下載最近發行的驅動程式和升級 (下載 ODBC，下載 JDBC)。
維護更新
請參閱 Databricks Runtime 14.3 維護更新。
系統環境
- 作業系統：Ubuntu 22.04.3 LTS
- Java：Zulu 8.74.0.17-CA-linux64
- Scala：2.12.15
- Python：3.10.12
- R：4.3.1
- Delta Lake：3.1.0
已安裝的 Python 程式庫
| 程式庫 | 版本 | 程式庫 | 版本 | 程式庫 | 版本 |
|---|---|---|---|---|---|
| anyio | 3.5.0 | argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 |
| asttokens | 2.0.5 | attrs | 22.1.0 | backcall | 0.2.0 |
| beautifulsoup4 | 4.11.1 | black | 22.6.0 | bleach | 4.1.0 |
| blinker | 1.4 | boto3 | 1.24.28 | botocore | 1.27.96 |
| certifi | 2022.12.7 | cffi | 1.15.1 | chardet | 4.0.0 |
| charset-normalizer | 2.0.4 | click | 8.0.4 | comm | 0.1.2 |
| contourpy | 1.0.5 | 密碼編譯 | 39.0.1 | cycler | 0.11.0 |
| Cython | 0.29.32 | databricks-sdk | 0.1.6 | dbus-python | 1.2.18 |
| debugpy | 1.6.7 | decorator | 5.1.1 | defusedxml | 0.7.1 |
| distlib | 0.3.7 | docstring-to-markdown | 0.11 | entrypoints | 0.4 |
| executing | 0.8.3 | facets-overview | 1.1.1 | fastjsonschema | 2.19.1 |
| filelock | 3.13.1 | fonttools | 4.25.0 | googleapis-common-protos | 1.62.0 |
| grpcio | 1.48.2 | grpcio-status | 1.48.1 | httplib2 | 0.20.2 |
| idna | 3.4 | importlib-metadata | 4.6.4 | ipykernel | 6.25.0 |
| ipython | 8.14.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.2 |
| jedi | 0.18.1 | jeepney | 0.7.1 | Jinja2 | 3.1.2 |
| jmespath | 0.10.0 | joblib | 1.2.0 | jsonschema | 4.17.3 |
| jupyter-client | 7.3.4 | jupyter-server | 1.23.4 | jupyter_core | 5.2.0 |
| jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 | keyring | 23.5.0 |
| kiwisolver | 1.4.4 | launchpadlib | 1.10.16 | lazr.restfulclient | 0.14.4 |
| lazr.uri | 1.0.6 | lxml | 4.9.1 | MarkupSafe | 2.1.1 |
| matplotlib | 3.7.0 | matplotlib-inline | 0.1.6 | mccabe | 0.7.0 |
| mistune | 0.8.4 | more-itertools | 8.10.0 | mypy-extensions | 0.4.3 |
| nbclassic | 0.5.2 | nbclient | 0.5.13 | nbconvert | 6.5.4 |
| nbformat | 5.7.0 | nest-asyncio | 1.5.6 | nodeenv | 1.8.0 |
| 筆記本 | 6.5.2 | notebook_shim | 0.2.2 | numpy | 1.23.5 |
| oauthlib | 3.2.0 | packaging | 23.2 | pandas | 1.5.3 |
| pandocfilters | 1.5.0 | parso | 0.8.3 | pathspec | 0.10.3 |
| patsy | 0.5.3 | pexpect | 4.8.0 | pickleshare | 0.7.5 |
| Pillow | 9.4.0 | pip | 22.3.1 | platformdirs | 2.5.2 |
| plotly | 5.9.0 | pluggy | 1.0.0 | prometheus-client | 0.14.1 |
| prompt-toolkit | 3.0.36 | protobuf | 4.24.0 | psutil | 5.9.0 |
| psycopg2 | 2.9.3 | ptyprocess | 0.7.0 | pure-eval | 0.2.2 |
| pyarrow | 8.0.0 | pyarrow-hotfix | 0.5 | pycparser | 2.21 |
| pydantic | 1.10.6 | pyflakes | 3.1.0 | Pygments | 2.11.2 |
| PyGObject | 3.42.1 | PyJWT | 2.3.0 | pyodbc | 4.0.32 |
| pyparsing | 3.0.9 | pyright | 1.1.294 | pyrsistent | 0.18.0 |
| python-dateutil | 2.8.2 | python-lsp-jsonrpc | 1.1.1 | python-lsp-server | 1.8.0 |
| pytoolconfig | 1.2.5 | pytz | 2022.7 | pyzmq | 23.2.0 |
| requests | 2.28.1 | 繩子 | 1.7.0 | s3transfer | 0.6.2 |
| scikit-learn | 1.1.1 | scipy | 1.10.0 | seaborn | 0.12.2 |
| SecretStorage | 3.3.1 | Send2Trash | 1.8.0 | setuptools | 65.6.3 |
| six | 1.16.0 | sniffio | 1.2.0 | soupsieve | 2.3.2.post1 |
| ssh-import-id | 5.11 | stack-data | 0.2.0 | statsmodels | 0.13.5 |
| tenacity | 8.1.0 | terminado | 0.17.1 | threadpoolctl | 2.2.0 |
| tinycss2 | 1.2.1 | tokenize-rt | 4.2.1 | tomli | 2.0.1 |
| tornado | 6.1 | traitlets | 5.7.1 | typing_extensions | 4.4.0 |
| ujson | 5.4.0 | unattended-upgrades | 0.1 | urllib3 | 1.26.14 |
| virtualenv | 20.16.7 | wadllib | 1.3.6 | wcwidth | 0.2.5 |
| webencodings | 0.5.1 | websocket-client | 0.58.0 | whatthepatch | 1.0.2 |
| wheel | 0.38.4 | widgetsnbextension | 3.6.1 | yapf | 0.33.0 |
| zipp | 1.0.0 |
已安裝的 R 程式庫
R 連結庫會從 2023-02-10 上的 Posit 封裝管理員 CRAN 快照集安裝。
| 程式庫 | 版本 | 程式庫 | 版本 | 程式庫 | 版本 |
|---|---|---|---|---|---|
| 箭號 | 12.0.1 | askpass | 1.1 | assertthat | 0.2.1 |
| backports | 1.4.1 | base | 4.3.1 | base64enc | 0.1-3 |
| bit | 4.0.5 | bit64 | 4.0.5 | blob | 1.2.4 |
| boot | 1.3-28 | brew | 1.0-8 | brio | 1.1.3 |
| broom | 1.0.5 | bslib | 0.5.0 | cachem | 1.0.8 |
| callr | 3.7.3 | caret | 6.0-94 | cellranger | 1.1.0 |
| chron | 2.3-61 | class | 7.3-22 | cli | 3.6.1 |
| clipr | 0.8.0 | clock | 0.7.0 | 叢集 | 2.1.4 |
| codetools | 0.2-19 | colorspace | 2.1-0 | commonmark | 1.9.0 |
| compiler | 4.3.1 | config | 0.3.1 | 衝突 | 1.2.0 |
| cpp11 | 0.4.4 | crayon | 1.5.2 | credentials | 1.3.2 |
| curl | 5.0.1 | data.table | 1.14.8 | datasets | 4.3.1 |
| DBI | 1.1.3 | dbplyr | 2.3.3 | 遞減 | 1.4.2 |
| devtools | 2.4.5 | 圖表 | 1.6.5 | diffobj | 0.3.5 |
| digest | 0.6.33 | downlit | 0.4.3 | dplyr | 1.1.2 |
| dtplyr | 1.3.1 | e1071 | 1.7-13 | 省略符號 | 0.3.2 |
| evaluate | 0.21 | fansi | 1.0.4 | farver | 2.1.1 |
| fastmap | 1.1.1 | fontawesome | 0.5.1 | forcats | 1.0.0 |
| foreach | 1.5.2 | foreign | 0.8-85 | forge | 0.2.0 |
| fs | 1.6.2 | future | 1.33.0 | future.apply | 1.11.0 |
| gargle | 1.5.1 | 泛型 | 0.1.3 | gert | 1.9.2 |
| ggplot2 | 3.4.2 | gh | 1.4.0 | gitcreds | 0.1.2 |
| glmnet | 4.1-7 | globals | 0.16.2 | glue | 1.6.2 |
| googledrive | 2.1.1 | googlesheets4 | 1.1.1 | gower | 1.0.1 |
| graphics | 4.3.1 | grDevices | 4.3.1 | grid | 4.3.1 |
| gridExtra | 2.3 | gsubfn | 0.7 | gtable | 0.3.3 |
| hardhat | 1.3.0 | haven | 2.5.3 | highr | 0.10 |
| hms | 1.1.3 | htmltools | 0.5.5 | htmlwidgets | 1.6.2 |
| httpuv | 1.6.11 | httr | 1.4.6 | httr2 | 0.2.3 |
| ids | 1.0.1 | ini | 0.3.1 | ipred | 0.9-14 |
| isoband | 0.2.7 | iterators | 1.0.14 | jquerylib | 0.1.4 |
| jsonlite | 1.8.7 | KernSmooth | 2.23-21 | knitr | 1.43 |
| labeling | 0.4.2 | later | 1.3.1 | lattice | 0.21-8 |
| Lava | 1.7.2.1 | 生命週期 | 1.0.3 | listenv | 0.9.0 |
| lubridate | 1.9.2 | magrittr | 2.0.3 | markdown | 1.7 |
| MASS | 7.3-60 | 矩陣 | 1.5-4.1 | memoise | 2.0.1 |
| 方法 | 4.3.1 | mgcv | 1.8-42 | mime | 0.12 |
| miniUI | 0.1.1.1 | ModelMetrics | 1.2.2.2 | modelr | 0.1.11 |
| munsell | 0.5.0 | nlme | 3.1-163 | nnet | 7.3-19 |
| numDeriv | 2016.8-1.1 | openssl | 2.0.6 | parallel | 4.3.1 |
| parallelly | 1.36.0 | pillar | 1.9.0 | pkgbuild | 1.4.2 |
| pkgconfig | 2.0.3 | pkgdown | 2.0.7 | pkgload | 1.3.2.1 |
| plogr | 0.2.0 | plyr | 1.8.8 | praise | 1.0.0 |
| prettyunits | 1.1.1 | pROC | 1.18.4 | processx | 3.8.2 |
| prodlim | 2023.03.31 | profvis | 0.3.8 | 進度 | 1.2.2 |
| progressr | 0.13.0 | promises | 1.2.0.1 | proto | 1.0.0 |
| proxy | 0.4-27 | ps | 1.7.5 | purrr | 1.0.1 |
| r2d3 | 0.2.6 | R6 | 2.5.1 | ragg | 1.2.5 |
| randomForest | 4.7-1.1 | rappdirs | 0.3.3 | rcmdcheck | 1.4.0 |
| RColorBrewer | 1.1-3 | Rcpp | 1.0.11 | RcppEigen | 0.3.3.9.3 |
| readr | 2.1.4 | readxl | 1.4.3 | recipes | 1.0.6 |
| rematch | 1.0.1 | rematch2 | 2.1.2 | remotes | 2.4.2 |
| reprex | 2.0.2 | reshape2 | 1.4.4 | rlang | 1.1.1 |
| rmarkdown | 2.23 | RODBC | 1.3-20 | roxygen2 | 7.2.3 |
| rpart | 4.1.21 | rprojroot | 2.0.3 | Rserve | 1.8-11 |
| RSQLite | 2.3.1 | rstudioapi | 0.15.0 | rversions | 2.1.2 |
| rvest | 1.0.3 | sass | 0.4.6 | scales | 1.2.1 |
| selectr | 0.4-2 | sessioninfo | 1.2.2 | shape | 1.4.6 |
| shiny | 1.7.4.1 | sourcetools | 0.1.7-1 | sparklyr | 1.8.1 |
| spatial | 7.3-15 | splines | 4.3.1 | sqldf | 0.4-11 |
| SQUAREM | 2021.1 | stats | 4.3.1 | stats4 | 4.3.1 |
| stringi | 1.7.12 | stringr | 1.5.0 | survival | 3.5-5 |
| sys | 3.4.2 | systemfonts | 1.0.4 | tcltk | 4.3.1 |
| testthat | 3.1.10 | textshaping | 0.3.6 | tibble | 3.2.1 |
| tidyr | 1.3.0 | tidyselect | 1.2.0 | tidyverse | 2.0.0 |
| timechange | 0.2.0 | timeDate | 4022.108 | tinytex | 0.45 |
| tools | 4.3.1 | tzdb | 0.4.0 | urlchecker | 1.0.1 |
| usethis | 2.2.2 | utf8 | 1.2.3 | utils | 4.3.1 |
| uuid | 1.1-0 | vctrs | 0.6.3 | viridisLite | 0.4.2 |
| vroom | 1.6.3 | waldo | 0.5.1 | whisker | 0.4.1 |
| withr | 2.5.0 | xfun | 0.39 | xml2 | 1.3.5 |
| xopen | 1.0.0 | xtable | 1.8-4 | yaml | 2.3.7 |
| zip | 2.3.0 |
安裝 Java 和 Scala 函式庫 (Scala 2.12 叢群版本)
| 群組識別碼 | 成品識別碼 | 版本 |
|---|---|---|
| ANTLR | ANTLR | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.390 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.12.390 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.390 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.12.390 |
| com.amazonaws | aws-java-sdk-config | 1.12.390 |
| com.amazonaws | aws-java-sdk-core | 1.12.390 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.12.390 |
| com.amazonaws | aws-java-sdk-directconnect | 1.12.390 |
| com.amazonaws | aws-java-sdk-directory | 1.12.390 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.12.390 |
| com.amazonaws | aws-java-sdk-ec2 | 1.12.390 |
| com.amazonaws | aws-java-sdk-ecs | 1.12.390 |
| com.amazonaws | aws-java-sdk-efs | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticache | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.390 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.390 |
| com.amazonaws | aws-java-sdk-emr | 1.12.390 |
| com.amazonaws | aws-java-sdk-glacier | 1.12.390 |
| com.amazonaws | aws-java-sdk-glue | 1.12.390 |
| com.amazonaws | aws-java-sdk-iam | 1.12.390 |
| com.amazonaws | aws-java-sdk-importexport | 1.12.390 |
| com.amazonaws | aws-java-sdk-kinesis | 1.12.390 |
| com.amazonaws | aws-java-sdk-kms | 1.12.390 |
| com.amazonaws | aws-java-sdk-lambda | 1.12.390 |
| com.amazonaws | aws-java-sdk-logs | 1.12.390 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.12.390 |
| com.amazonaws | aws-java-sdk-opsworks | 1.12.390 |
| com.amazonaws | aws-java-sdk-rds | 1.12.390 |
| com.amazonaws | aws-java-sdk-redshift | 1.12.390 |
| com.amazonaws | aws-java-sdk-route53 | 1.12.390 |
| com.amazonaws | aws-java-sdk-s3 | 1.12.390 |
| com.amazonaws | aws-java-sdk-ses | 1.12.390 |
| com.amazonaws | aws-java-sdk-simpledb | 1.12.390 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.390 |
| com.amazonaws | aws-java-sdk-sns | 1.12.390 |
| com.amazonaws | aws-java-sdk-sqs | 1.12.390 |
| com.amazonaws | aws-java-sdk-ssm | 1.12.390 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.12.390 |
| com.amazonaws | aws-java-sdk-sts | 1.12.390 |
| com.amazonaws | aws-java-sdk-support | 1.12.390 |
| com.amazonaws | aws-java-sdk-js-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.12.390 |
| com.amazonaws | jmespath-java | 1.12.390 |
| com.clearspring.analytics | stream | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | databricks-sdk-java | 0.13.0 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations | 2.15.2 |
| com.fasterxml.jackson.core | jackson-core | 2.15.2 |
| com.fasterxml.jackson.core | jackson-databind | 2.15.2 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.15.2 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-yaml | 2.15.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.15.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.15.1 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.15.2 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.15.2 |
| com.github.ben-manes.咖啡因 | caffeine | 2.9.3 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java | 1.1 原生 |
| com.github.fommil.netlib | native_system java | 1.1 |
| com.github.fommil.netlib | native_system java | 1.1 原生 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64 | 1.1 原生 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64 | 1.1 原生 |
| com.github.luben | zstd-jni | 1.5.5-4 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.10.1 |
| com.google.crypto.tink | tink | 1.9.0 |
| com.google.errorprone | error_prone_annotations | 2.10.0 |
| com.google.flatbuffers | flatbuffers-java | 1.12.0 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.helger | 分析工具 | 1.1.1 |
| com.jcraft | jsch | 0.1.55 |
| com.jolbox | bonecp | 0.8.0.版 |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 11.2.2.jre8 |
| com.ning | compress-lzf | 1.1.2 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.sun.xml.bind | jaxb-core | 2.2.11 |
| com.sun.xml.bind | jaxb-impl | 2.2.11 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.12 | 0.10.0 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.uber | H3 | 3.7.3 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| commons-cli | commons-cli | 1.5.0 |
| commons-codec | commons-codec | 1.16.0 |
| commons-collections | commons-collections | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-fileupload | commons-fileupload | 1.5 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.13.0 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-pool | commons-pool | 1.5.4 |
| dev.ludovic.netlib | arpack | 3.0.3 |
| dev.ludovic.netlib | blas | 3.0.3 |
| dev.ludovic.netlib | lapack | 3.0.3 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0.25 |
| io.delta | delta-sharing-client_2.12 | 1.0.3 |
| io.dropwizard.metrics | metrics-annotation | 4.2.19 |
| io.dropwizard.metrics | metrics-core | 4.2.19 |
| io.dropwizard.metrics | metrics-graphite | 4.2.19 |
| io.dropwizard.metrics | metrics-healthchecks | 4.2.19 |
| io.dropwizard.metrics | metrics-jetty9 | 4.2.19 |
| io.dropwizard.metrics | metrics-jmx | 4.2.19 |
| io.dropwizard.metrics | metrics-json | 4.2.19 |
| io.dropwizard.metrics | metrics-jvm | 4.2.19 |
| io.dropwizard.metrics | metrics-servlet | 4.2.19 |
| io.netty | netty-all | 4.1.96.Final |
| io.netty | netty-buffer | 4.1.96.Final |
| io.netty | netty-codec | 4.1.96.Final |
| io.netty | netty-codec-http | 4.1.96.Final |
| io.netty | netty-codec-http2 | 4.1.96.Final |
| io.netty | netty-codec-socks | 4.1.96.Final |
| io.netty | netty-common | 4.1.96.Final |
| io.netty | netty-handler | 4.1.96.Final |
| io.netty | netty-handler-proxy | 4.1.96.Final |
| io.netty | netty-resolver | 4.1.96.Final |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-linux-aarch_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-linux-x86_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-osx-aarch_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-osx-x86_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-windows-x86_64 |
| io.netty | netty-tcnative-classes | 2.0.61.Final |
| io.netty | netty-transport | 4.1.96.Final |
| io.netty | netty-transport-classes-epoll | 4.1.96.Final |
| io.netty | netty-transport-classes-kqueue | 4.1.96.Final |
| io.netty | netty-transport-native-epoll | 4.1.96.Final |
| io.netty | netty-transport-native-epoll | 4.1.96.Final-linux-aarch_64 |
| io.netty | netty-transport-native-epoll | 4.1.96.Final-linux-x86_64 |
| io.netty | netty-transport-native-kqueue | 4.1.96.Final-osx-aarch_64 |
| io.netty | netty-transport-native-kqueue | 4.1.96.Final-osx-x86_64 |
| io.netty | netty-transport-native-unix-common | 4.1.96.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | 收集器 | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | 啟用 | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | transaction-api | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.11 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.12.1 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | pickle | 1.3 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.9.3 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.16 |
| org.apache.ant | ant-jsch | 1.9.16 |
| org.apache.ant | ant-launcher | 1.9.16 |
| org.apache.arrow | arrow-format | 12.0.1 |
| org.apache.arrow | arrow-memory-core | 12.0.1 |
| org.apache.arrow | arrow-memory-netty | 12.0.1 |
| org.apache.arrow | arrow-vector | 12.0.1 |
| org.apache.avro | Avro | 1.11.2 |
| org.apache.avro | avro-ipc | 1.11.2 |
| org.apache.avro | avro-mapred | 1.11.2 |
| org.apache.commons | commons-collections4 | 4.4 |
| org.apache.commons | commons-compress | 1.23.0 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.12.0 |
| org.apache.commons | commons-math3 | 3.6.1 |
| org.apache.commons | commons-text | 1.10.0 |
| org.apache.curator | curator-client | 2.13.0 |
| org.apache.curator | curator-framework | 2.13.0 |
| org.apache.curator | curator-recipes | 2.13.0 |
| org.apache.datasketches | datasketches-java | 3.1.0 |
| org.apache.datasketches | datasketches-memory | 2.0.0 |
| org.apache.derby | Derby | 10.14.2.0 |
| org.apache.hadoop | hadoop-client-runtime | 3.3.6 |
| org.apache.hive | hive-beeline | 2.3.9 |
| org.apache.hive | hive-cli | 2.3.9 |
| org.apache.hive | hive-jdbc | 2.3.9 |
| org.apache.hive | hive-llap-client | 2.3.9 |
| org.apache.hive | hive-llap-common | 2.3.9 |
| org.apache.hive | hive-serde | 2.3.9 |
| org.apache.hive | hive-shims | 2.3.9 |
| org.apache.hive | hive-storage-api | 2.8.1 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
| org.apache.hive.shims | hive-shims-common | 2.3.9 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
| org.apache.httpcomponents | HttpClient | 4.5.14 |
| org.apache.httpcomponents | httpcore | 4.4.16 |
| org.apache.ivy | ivy | 2.5.1 |
| org.apache.logging.log4j | log4j-1.2-api | 2.20.0 |
| org.apache.logging.log4j | log4j-api | 2.20.0 |
| org.apache.logging.log4j | log4j-core | 2.20.0 |
| org.apache.logging.log4j | log4j-slf4j2-impl | 2.20.0 |
| org.apache.orc | orc-core | 1.9.2-shaded-protobuf |
| org.apache.orc | orc-mapreduce | 1.9.2-shaded-protobuf |
| org.apache.orc | orc-shims | 1.9.2 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.ws.xmlschema | xmlschema-core | 2.3.0 |
| org.apache.xbean | xbean-asm9-shaded | 4.23 |
| org.apache.yetus | audience-annotations | 0.13.0 |
| org.apache.zookeeper | ZooKeeper | 3.6.3 |
| org.apache.zookeeper | zookeeper-jute | 3.6.3 |
| org.checkerframework | checker-qual | 3.31.0 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-continuation | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-http | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-io | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-jndi | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-plus | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-proxy | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-security | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-server | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-servlet | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-servlets | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-util | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-webapp | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-xml | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-api | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-client | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-common | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-server | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-servlet | 9.4.52.v20230823 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.40 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.40 |
| org.glassfish.jersey.core | jersey-client | 2.40 |
| org.glassfish.jersey.core | jersey-common | 2.40 |
| org.glassfish.jersey.core | jersey-server | 2.40 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.40 |
| org.hibernate.validator | hibernate-validator | 6.1.7.Final |
| org.ini4j | ini4j | 0.5.4 |
| org.javassist | javassist | 3.29.2-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jetbrains | annotations | 17.0.0 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
| org.json4s | json4s-core_2.12 | 3.7.0-M11 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
| org.lz4 | lz4-java | 1.8.0 |
| org.mlflow | mlflow-spark_2.12 | 2.9.1 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.6.0 |
| org.roaringbitmap | RoaringBitmap | 0.9.45 |
| org.roaringbitmap | 墊片 | 0.9.45 |
| org.rocksdb | rocksdbjni | 8.3.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.15 |
| org.scala-lang | scala-library_2.12 | 2.12.15 |
| org.scala-lang | scala-reflect_2.12 | 2.12.15 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.11.0 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.2.15 |
| org.scalanlp | breeze-macros_2.12 | 2.1.0 |
| org.scalanlp | breeze_2.12 | 2.1.0 |
| org.scalatest | scalatest 相容 | 3.2.15 |
| org.scalatest | scalatest-core_2.12 | 3.2.15 |
| org.scalatest | scalatest-diagrams_2.12 | 3.2.15 |
| org.scalatest | scalatest-featurespec_2.12 | 3.2.15 |
| org.scalatest | scalatest-flatspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-freespec_2.12 | 3.2.15 |
| org.scalatest | scalatest-funspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-funsuite_2.12 | 3.2.15 |
| org.scalatest | scalatest-matchers-core_2.12 | 3.2.15 |
| org.scalatest | scalatest-mustmatchers_2.12 | 3.2.15 |
| org.scalatest | scalatest-propspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-refspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-shouldmatchers_2.12 | 3.2.15 |
| org.scalatest | scalatest-wordspec_2.12 | 3.2.15 |
| org.scalatest | scalatest_2.12 | 3.2.15 |
| org.slf4j | jcl-over-slf4j | 2.0.7 |
| org.slf4j | jul-to-slf4j | 2.0.7 |
| org.slf4j | slf4j-api | 2.0.7 |
| org.slf4j | slf4j-simple | 1.7.25 |
| org.threeten | threeten-extra | 1.7.1 |
| org.tukaani | xz | 1.9 |
| org.typelevel | algebra_2.12 | 2.0.1 |
| org.typelevel | cats-kernel_2.12 | 2.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0 |
| org.typelevel | spire-platform_2.12 | 0.17.0 |
| org.typelevel | spire-util_2.12 | 0.17.0 |
| org.typelevel | spire_2.12 | 0.17.0 |
| org.wildfly.openssl | wildfly-openssl | 1.1.3.Final |
| org.xerial | sqlite-jdbc | 3.42.0.0 |
| org.xerial.snappy | snappy-java | 1.1.10.3 |
| org.yaml | snakeyaml | 2.0 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.cryptools | AmazonCorrettoCryptoProvider | 1.6.1-linux-x86_64 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |