Note
此 Databricks 執行時間版本已不再受支援。 如需終止支援日期，請參閱 終止支援歷程記錄。 所有支援的 Databricks Runtime 版本和相容性詳情，請參閱 Databricks Runtime 發行說明。
下列版本資訊提供由 Apache Spark 3.5.0 支援之 Databricks 執行環境 15.2 的相關資訊。
Databricks 於 2024 年 5 月發行此版本。
行為變更
使用真空機制清理 COPY INTO 元數據檔案
在以 VACUUM 寫入的數據表上執行 COPY INTO，現在會清除與追蹤內嵌檔案相關聯的未參考元數據。 對 COPY INTO的操作語意沒有任何影響。
湖屋聯合會正式推出 （GA）
在 Databricks Runtime 15.2 和更新版本中，Lakehouse Federation 連接器跨下列資料庫類型正式推出 （GA）：
- MySQL
- PostgreSQL
- Amazon Redshift
- Snowflake
- Microsoft SQL Server
- Azure Synapse （SQL 數據倉儲）
- Databricks
此版本也引進了下列改善：
- 在 Snowflake 和 Microsoft SQL Server 連接器中支援單一登錄 （SSO） 驗證。
- 來自無伺服器計算環境的 SQL Server 連接器的 Azure Private Link 支援。 請參閱 步驟 3：建立私人端點規則。
- 支援其他下推功能（字串、數學和其他函式）。
- 已改善不同查詢圖形的下推成功率。
- 其他額外的下推偵錯功能：
-
EXPLAIN FORMATTED輸出會顯示已下推的查詢文字。 - 查詢設定檔使用者介面會顯示下推查詢文字、同盟節點識別碼和 JDBC 查詢運行時間（在詳細模式下）。 請參閱 檢視系統產生的聯邦查詢。
-
使用無標頭 CSV 檔案 BY POSITION 進行數據行對應 COPY INTO
在 Databricks Runtime 15.2 和後續版本中，您可以使用 BY POSITION 關鍵詞（或替代語法 ( col_name [ , <col_name> ... ] )），搭配無標頭的 CSV 文件的 COPY INTO，來簡化資料來源欄位與目標表格欄位之間的對應。 請參閱 參數。
減少當 Spark 任務發生 Resubmitted 錯誤時的記憶體耗用量。
在 Databricks Runtime 15.2 和更新版本中，當工作失敗併發生 TaskInfo.accumulables() 錯誤時，Spark Resubmitted 方法的傳回值是空的。 方法先前會傳回較早前成功任務嘗試的值。 此行為變更會影響下列取用者：
- 使用
EventLoggingListener類別的 Spark 任務。 - 自訂 Spark 監聽器。
若要還原先前的行為，請將 spark.scheduler.dropTaskInfoAccumulablesOnTaskCompletion.enabled 設定為 false。
已停用檢視調適性查詢執行計劃版本
為了減少記憶體耗用量，現在 Spark UI 中預設會停用調適型查詢執行 （AQE） 計劃版本。 若要在 Spark UI 中啟用檢視 AQE 方案版本，請將 spark.databricks.sql.aqe.showPlanChangesInUI.enabled 設定為 true。
保留查詢的限制會降低，以減少Spark UI記憶體使用量
在 Databricks Runtime 15.2 和更新版本中，若要減少 Azure Databricks 計算中 Spark UI 所耗用的記憶體，UI 中可見查詢數目的限制從 1000 降低到 100。 若要變更限制，請使用 spark.sql.ui.retainedExecutions Spark 組態來設定新的值。
DESCRIBE HISTORY 現在會顯示使用流動群集的資料表之群集欄位
當您執行 DESCRIBE HISTORY 查詢時，operationParameters 數據行預設會顯示 clusterBy 和 CREATE OR REPLACE 作業的 OPTIMIZE 字段。 對於使用液體群集的 Delta 數據表， clusterBy 欄位會填入數據表的叢集數據行。 如果數據表不使用液體群集，則字段是空的。
筆記本小工具語法已被取代
從 Databricks Runtime 15.2 開始， ${param} SQL 數據格中存取筆記本小工具值的語法已被取代。 請改用參數標記語法 （:param） 。 參數標記語法提供更佳的 SQL 插入式保護及改善的查詢效能。
如需移轉指引和範例，請參閱 舊版筆記本小工具。 如需目前建議方法的相關信息，請參閱 Databricks 小工具。
新功能和改善
主要和外鍵的支援為 GA
Databricks Runtime 中現已全面支援主要鍵和外鍵。 GA 版本包含下列使用主鍵和外鍵所需權限的變更：
- 若要定義外鍵，您必須對外鍵所參考的主鍵所在的數據表擁有
SELECT許可權。 您不需要擁有包含主鍵的數據表，這在過去是必須的。 - 透過使用
CASCADE子句刪除主鍵時，不需要對參考該主鍵的外鍵所定義的數據表擁有許可權。 之前，您需要擁有參考數據表。 - 刪除包含約束條件的資料表現在需要與刪除不包含約束條件的資料表相同的權限。
若要瞭解如何搭配資料表或檢視使用主鍵和外鍵，請參閱 CONSTRAINT 子句、ADD CONSTRAINT 子句和 DROP CONSTRAINT 子句。
液體群集是 GA
現在已經普遍提供適用於 Databricks Runtime 15.2 及以上版本的液體群集支援。 請參閱 針對數據表使用液體叢集。
類型擴展目前處於公開預覽階段
您現在可以在 Delta Lake 支援的資料表上啟用類型擴充。 啟用類型擴大的數據表允許將數據行類型變更為較寬的數據類型，而不需要重寫基礎數據檔。 請參閱 類型擴展。
新增至 SQL 合併語法的架構演進子句
您現在可以將 WITH SCHEMA EVOLUTION 子句新增至 SQL 合併指令，以在操作中啟用架構演進。 如需合併，請參閱
PySpark 自定義數據源可在公開預覽中取得
您可以使用 Python （PySpark） DataSource API 來建立 PySpark DataSource，以便從自定義數據源讀取，並使用 Python 寫入 Apache Spark 中的自定義數據接收器。 請參閱 PySpark 自定義數據源
applyInPandas 和 mapInPandas 現在可在具有共用存取模式的 Unity 目錄計算上使用
作為 Databricks Runtime 14.3 LTS 維護版本的一部分，現在在執行 Databricks Runtime 14.3 和更新版本的共用存取模式計算上支援 applyInPandas 和 mapInPandas UDF 類型。
使用 dbutils.widgets.getAll（） 取得筆記本中的所有小工具
使用 dbutils.widgets.getAll() 來 在筆記本中取得所有小工具值，。 將多個 Widget 值傳遞至 Spark SQL 查詢時，這特別有用。
真空清查支援
您現在可以在執行 VACUUM 命令於 Delta 資料表時，指定要納入考量的檔案清單。 請參閱 OSS Delta 檔。
支援 Zstandard 壓縮功能
您現在可以使用 zst_compress、zstd_decompress和 try_zstd_decompress 函式來壓縮和解壓縮 BINARY 數據。
錯誤修正
SQL UI 中的查詢計劃現在已正確顯示 PhotonWriteStage
在 SQL UI 中顯示時，查詢計劃中的 write 命令被錯誤顯示為運算子 PhotonWriteStage。 在此版本中，用戶界面會更新為將 PhotonWriteStage 顯示為一個階段。 這隻是UI變更，不會影響查詢的執行方式。
Ray 已更新以修正啟動Ray叢集的問題
此版本包含已修補的 Ray 版本，旨在修正導致 Ray 叢集無法使用適用於 Machine Learning 的 Databricks Runtime 啟動的重大變更。 這項變更可確保 Ray 功能與 15.2 之前的 Databricks Runtime 版本相同。
已更正 DataFrame.sort() 和 DataFrame.sortWithinPartitions() 功能的錯誤類別
此版本包含 PySpark DataFrame.sort() 和 DataFrame.sortWithinPartitions() 函式的更新，以確保當 ZERO_INDEX 傳遞為索引自變數時，會擲回 0 錯誤類別。 先前，擲回錯誤類別 INDEX_NOT_POSITIVE。
ipywidgets 從 8.0.4 降級為 7.7.2
若要修正將 ipywidgets 升級至 Databricks Runtime 15.0 中 8.0.4 所產生的錯誤，ipywidgets 已降級為 Databricks Runtime 15.2 中的 7.7.2。 這是先前 Databricks Runtime 版本中所包含的相同版本。
圖書館升級
- 升級的 Python 套件庫：
- 從 3.1.42 到 3.1.43 的 GitPython
- google-api-core 從 2.17.1 升級到 2.18.0
- 從 2.28.1 到 2.29.0 的 google-auth
- google-cloud-storage 從版本 2.15.0 升級到 2.16.0
- googleapis-common-protos 版本更新，從 1.62.0 到 1.63.0
- ipywidgets 從版本 8.0.4 降級到 7.7.2
- mlflow-skinny 從 2.11.1 到 2.11.3
- s3transfer 從 0.10.0 到 0.10.1
- 從 0.4.4 到 0.5.0 的 sqlparse
- typing_extensions 從 4.7.1 到 4.10.0
- 升級的 R 程式庫
- 升級的 Java 程式庫：
- com.amazonaws.aws-java-sdk-autoscaling 從 1.12.390 到 1.12.610
- com.amazonaws.aws-java-sdk-cloudformation，從 1.12.390 到 1.12.610
- com.amazonaws.aws-java-sdk-cloudfront 從 1.12.390 到 1.12.610
- com.amazonaws.aws-java-sdk-cloudhsm，從 1.12.390 到 1.12.610
- com.amazonaws.aws-java-sdk-cloudsearch 從 1.12.390 到 1.12.610
- com.amazonaws.aws-java-sdk-cloudtrail，從 1.12.390 到 1.12.610
- com.amazonaws.aws-java-sdk-cloudwatch，從 1.12.390 到 1.12.610
- com.amazonaws.aws-java-sdk-cloudwatchmetrics，從 1.12.390 到 1.12.610
- com.amazonaws.aws-java-sdk-codedeploy，從 1.12.390 到 1.12.610
- com.amazonaws.aws-java-sdk-cognitoidentity 版本從 1.12.390 到 1.12.610
- com.amazonaws.aws-java-sdk-cognitosync，從 1.12.390 到 1.12.610
- com.amazonaws.aws-java-sdk-config，從 1.12.390 到 1.12.610
- com.amazonaws.aws-java-sdk-core 從 1.12.390 到 1.12.610
- com.amazonaws.aws-java-sdk-datapipeline 從 1.12.390 到 1.12.610
- com.amazonaws.aws-java-sdk-directconnect 從 1.12.390 到 1.12.610
- com.amazonaws.aws-java-sdk-directory，從 1.12.390 到 1.12.610
- com.amazonaws.aws-java-sdk-dynamodb 從 1.12.390 到 1.12.610
- com.amazonaws.aws-java-sdk-ec2，從 1.12.390 到 1.12.610
- com.amazonaws.aws-java-sdk-ecs，從 1.12.390 到 1.12.610
- com.amazonaws.aws-java-sdk-efs，從 1.12.390 到 1.12.610
- com.amazonaws.aws-java-sdk-elasticache 從 1.12.390 到 1.12.610
- com.amazonaws.aws-java-sdk-elasticbeanstalk，從 1.12.390 到 1.12.610
- com.amazonaws.aws-java-sdk-elasticloadbalancing 從 1.12.390 到 1.12.610
- com.amazonaws.aws-java-sdk-elastictranscoder：從 1.12.390 到 1.12.610
- com.amazonaws.aws-java-sdk-emr，從 1.12.390 到 1.12.610
- com.amazonaws.aws-java-sdk-glacier 從 1.12.390 更新到 1.12.610
- com.amazonaws.aws-java-sdk-glue 從 1.12.390 到 1.12.610
- com.amazonaws.aws-java-sdk-iam，從版本 1.12.390 升級到 1.12.610
- com.amazonaws.aws-java-sdk-importexport 從 1.12.390 到 1.12.610
- com.amazonaws.aws-java-sdk-kinesis，從 1.12.390 到 1.12.610
- com.amazonaws.aws-java-sdk-kms：從 1.12.390 到 1.12.610
- com.amazonaws.aws-java-sdk-lambda，從 1.12.390 到 1.12.610
- com.amazonaws.aws-java-sdk-logs 從 1.12.390 到 1.12.610
- com.amazonaws.aws-java-sdk-machinelearning 從 1.12.390 到 1.12.610
- com.amazonaws.aws-java-sdk-opsworks，從 1.12.390 到 1.12.610
- com.amazonaws.aws-java-sdk-rds，從 1.12.390 到 1.12.610
- com.amazonaws.aws-java-sdk-redshift 從 1.12.390 到 1.12.610
- com.amazonaws.aws-java-sdk-route53，從 1.12.390 到 1.12.610
- com.amazonaws.aws-java-sdk-s3，從 1.12.390 到 1.12.610
- com.amazonaws.aws-java-sdk-ses，從 1.12.390 到 1.12.610
- com.amazonaws.aws-java-sdk-simpledb，從 1.12.390 到 1.12.610
- com.amazonaws.aws-java-sdk-simpleworkflow 從 1.12.390 到 1.12.610
- com.amazonaws.aws-java-sdk-sns，從 1.12.390 到 1.12.610
- com.amazonaws.aws-java-sdk-sqs，從 1.12.390 到 1.12.610
- com.amazonaws.aws-java-sdk-ssm，從 1.12.390 到 1.12.610
- com.amazonaws.aws-java-sdk-storagegateway 從 1.12.390 到 1.12.610
- com.amazonaws.aws-java-sdk-sts，從 1.12.390 到 1.12.610
- com.amazonaws.aws-java-sdk-support，從 1.12.390 到 1.12.610
- com.amazonaws.aws-java-sdk-workspaces 從 1.12.390 更新到 1.12.610
- com.amazonaws.jmespath-java，從 1.12.390 到 1.12.610
Apache Spark
Databricks Runtime 15.2 包含 Apache Spark 3.5.0。 此版本包含 Databricks Runtime 15.1 （EoS）中包含的所有 Spark 修正和改善，以及下列 Spark 的其他錯誤修正和改進：
- [SPARK-47941] [SC-163568] [SS] [Connect] 將 ForeachBatch 工作者初始化錯誤傳播給 PySpark 的使用者
- [SPARK-47412] [ SC-163455][sql] 新增 LPad/RPad 的定序支援。
- [SPARK-47907] [ SC-163408][sql] 在配置中添加 bang 功能設定
-
[SPARK-46820] [SC-157093][python] 修正回歸錯誤訊息以恢復
new_msg - [SPARK-47602] [SPARK-47577 ][spark-47598][SPARK-47577]Core/MLLib/資源管理員：結構化記錄移轉
- [SPARK-47890] [ SC-163324][connect][PYTHON] 將 Variant 函式新增至 Scala 和 Python。
-
[SPARK-47894][SC-163086][core][WEBUI] 將
Environment頁面新增至主控UI - [SPARK-47805] [ SC-163459][ss] 實作 MapState 的 TTL
- [SPARK-47900] [SC-163326] 修正檢查隱含定序 UTF8_BINARY 的問題
- [SPARK-47902] [ SC-163316][sql]使計算目前時間* 表達式可折疊
- [SPARK-47845] [ SC-163315][sql][PYTHON][connect] 支援 scala 和 python 分割函式中的數據行類型
- [SPARK-47754] [ SC-162144][sql] Postgres：支持讀取多維度陣列
- [SPARK-47416] [ SC-163001][sql] 將新函式新增至 CollationBenchmark #90339
- [SPARK-47839] [ SC-163075][sql] 修正 RewriteWithExpression 中的匯總錯誤
- [SPARK-47821] [ SC-162967][sql] 實作is_variant_null運算式
- [SPARK-47883][SC-163184][sql] 使用 RowQueue 使 延遲化
- [SPARK-47390] [ SC-163306][sql] PostgresDialect 會區分 TIMESTAMP 與 TIMESTAMP_TZ
-
[SPARK-47924] [ SC-163282][core] 將 DEBUG 記錄新增至
DiskStore.moveFileToBlock - [SPARK-47897] [ SC-163183][sql][3.5] 修正 Scala 2.12 中的 ExpressionSet 效能下降問題
- [SPARK-47565] [ SC-161786][python] PySpark 工作池崩潰恢復
- [SPARK-47885] [ SC-162989][python][CONNECT] 讓 pyspark.resource 與 pyspark-connect 相容
-
[SPARK-47887] [SC-163122][connect] 移除未使用的匯入
spark/connect/common.protospark/connect/relations.proto - [SPARK-47751] [ SC-161991][python][CONNECT] 使pyspark.worker_utils與 pyspark-connect 兼容
- [SPARK-47691] [ SC-161760][sql] Postgres：在寫入端支援多維度陣列
- [SPARK-47617] [ SC-162513][sql] 新增定序 TPC-DS 測試基礎結構
- [SPARK-47356] [ SC-162858][sql] 新增 ConcatWs 和 Elt 的支援（所有定序）
-
[SPARK-47543] [SC-161234][connect][PYTHON] 推斷從 Pandas DataFrame 中將
dict推斷為MapType，以允許建立新的 DataFrame - [SPARK-47863] [SC-162974][sql] 修正對 ICU 定序感知的 startsWith 和 endsWith 實作
- [SPARK-47867] [ SC-162966][sql] JSON 掃描中的支持變體。
- [SPARK-47366] [ SC-162475][sql][PYTHON] 為 PySpark 添加 VariantVal
- [SPARK-47803] [SC-162726][sql] 支持轉換成 variant。
- [SPARK-47769] [ SC-162841][sql] 新增schema_of_variant_agg運算式。
- [SPARK-47420] [ SC-162842][sql] 修正測試輸出
- [SPARK-47430] [SC-161178][sql] MapType 的支援GROUP BY
- [SPARK-47357] [SC-162751][sql] 新增對 Upper、Lower、InitCap 的支援（所有定序）
- [SPARK-47788] [ SC-162729][ss] 確保串流有狀態操作的哈希分割保持一致
- [SPARK-47776] [ SC-162291][ss] 不允許在有狀態操作的關鍵結構中使用二進制不等式排序規則
- [SPARK-47673] [ SC-162824][ss] 實作 ListState 的 TTL
- [SPARK-47818] [ SC-162845][connect] 在 SparkConnectPlanner 中引入計劃快取，以提升分析要求的性能
- [SPARK-47694] [ SC-162783][connect] 在用戶端上設定最大訊息大小
- [SPARK-47274] 還原 “[SC-162479][python][SQL] 提供更多有用的...
- [SPARK-47616] [ SC-161193][sql] 新增使用者文件以對應 MySQL 的 Spark SQL 數據類型
- [SPARK-47862] [ SC-162837][python][CONNECT]修正 proto 檔案的產生
- [SPARK-47849] [ SC-162724][python][CONNECT] 將發行腳本變更為 release pyspark-connect
- [SPARK-47410] [ SC-162518][sql] 重構 UTF8String 和 CollationFactory
- [SPARK-47807] [ SC-162505][python][ML] 使 pyspark.ml 與 pyspark-connect 相容
- [SPARK-47707] [ SC-161768][sql] 對 MySQL Connector/J 5.x 的 JSON 類型進行特殊處理
- [SPARK-47765] 還原 “[SC-162636][sql] 新增 SET COLLATION 以剖析...
- [SPARK-47081] [ SC-162151][connect][FOLLOW] 改善進度處理程式的可用性
- [SPARK-47289] [ SC-161877][sql] 允許擴充功能在說明計劃中記錄擴展資訊
- [SPARK-47274] [ SC-162479][python][SQL] 為 PySpark DataFrame API 錯誤提供更多有用的內容
- [SPARK-47765] [SC-162636][sql] 新增 COLLATION 至解析器規則
-
[SPARK-47828] [ SC-162722][connect][PYTHON]
DataFrameWriterV2.overwrite失敗，方案無效 - [SPARK-47812] [SC-162696][connect] 支援 ForEachBatch 工作執行緒的 SparkSession 串行化
- [SPARK-47253] [ SC-162698][核心] 允許 LiveEventBus 停止，而不會完全清空事件佇列
- [SPARK-47827] [SC-162625][python] 遺漏已淘汰功能的警告
- [SPARK-47733] [ SC-162628][ss] 為 transformWithState 運算符新增自定義度量作為查詢進度的一部分
- [SPARK-47784] [ SC-162623][ss] 將 TTLMode 和 TimeoutMode 合併成單一 TimeMode。
- [SPARK-47775] [ SC-162319][sql] 支援變體規格中剩餘的純量類型。
- [SPARK-47736] [SC-162503][sql] 新增 AbstractArrayType 的支援
- [SPARK-47081] [SC-161758][connect] 查詢執行進度支持
- [SPARK-47682] [ SC-162138][sql] 支援從 variant 轉換。
- [SPARK-47802] [ SC-162478][sql] 從意義結構還原 （） 回到意義 *
- [SPARK-47680] [ SC-162318][sql] 新增variant_explode運算式。
-
[SPARK-47809] [ SC-162511][sql]
checkExceptionInExpression應該檢查每個 Codegen 模式的錯誤 -
[SPARK-41811] [ SC-162470][python][CONNECT] 實作
SQLStringFormatter以WithRelations - [SPARK-47693] [SC-162326][sql] 針對UTF8_BINARY_LCASE定序中使用的 UTF8String 小寫比較新增優化
- [SPARK-47541] [ SC-162006][sql] 支援反向作業之複雜類型中的定序字串，array_join、concat、map
- [SPARK-46812] [ SC-161535][connect][PYTHON] 讓 mapInPandas / mapInArrow 支持 ResourceProfile
- [SPARK-47727] [ SC-161982][python] 將 SparkConf 設為 SparkSession 和 SparkContext 的根層級
- [SPARK-47406] [ SC-159376][sql] 在 MYSQLDialect 中處理 TIMESTAMP 和 DATETIME
- [SPARK-47081] 還原 “[SC-161758][connect] 支持查詢執行任務..."
- [SPARK-47681] [SC-162043][sql] 新增 schema_of_variant 運算式。
- [SPARK-47783] [SC-162222] 新增一些遺漏的 SQLSTATEs 並整理 YY000 的使用...
- [SPARK-47634] [ SC-161558][sql] 增加對停用地圖鍵標準化的傳統支援
- [SPARK-47746] [SC-162022] 在 RocksDBStateEncoder 中實作以序數為基礎的範圍編碼
- [SPARK-47285] [ SC-158340][sql] AdaptiveSparkPlanExec 應該一律使用 context.session
- [SPARK-47643] [ SC-161534][ss][PYTHON] 新增 python 串流來源的 pyspark 測試
- [SPARK-47582] [ SC-161943][sql] 使用變數將 Catalyst logInfo 移轉至結構化記錄架構
- [SPARK-47558] [SC-162007][ss] 支援 ValueState 的狀態 TTL
- [SPARK-47358] [ SC-160912][sql][COLLATION] 改善重複表達式支援以傳回正確的數據類型
- [SPARK-47504] [SC-162044][sql] 解析 StringTypeCollated 的 AbstractDataType 簡單字串表示
- [SPARK-47719] 還原 “[SC-161909][sql] 變更 spark.sql.legacy.t…”
- [SPARK-47657] [ SC-162010][sql] 實作每個檔案來源的定序篩選下推支援
- [SPARK-47081] [SC-161758][connect] 查詢執行進度支持
- [SPARK-47744] [SC-161999] 新增對範圍編碼器中負值位元組的支援
- [SPARK-47713] [ SC-162009][sql][CONNECT] 修正自我聯結失敗
- [SPARK-47310] [ SC-161930][ss] 新增微基準測試以評估在狀態存放區值部分執行的多個值合併作業
- [SPARK-47700] [SC-161774][sql] 修正錯誤訊息格式並結合 treeNode
- [SPARK-47752] [ SC-161993][ps][CONNECT] 使 pyspark.pandas 與 pyspark-connect 兼容
- [SPARK-47575] [ SC-161402][spark-47576][SPARK-47654] 在結構化記錄架構中實作 logWarning/logInfo API
- [SPARK-47107] [ SC-161201][ss][PYTHON] 實作 Python 串流數據源的數據分割讀取器
- [SPARK-47553] [ SC-161772][ss] 新增對 transformWithState 運算符 API 的 Java 支援
- [SPARK-47719] [ SC-161909][sql] 變更 spark.sql.legacy.timeParserPolicy 預設為 CORRECTED
- [SPARK-47655] [ SC-161761][ss] 整合定時器與 state-v2 的初始狀態處理功能
- [SPARK-47665] [ SC-161550][sql] 使用 SMALLINT 將 ShortType 寫入 MYSQL
- [SPARK-47210] [ SC-161777][sql] 新增隱式轉換但不支援不確定性
- [SPARK-47653] [SC-161767][ss] 新增對負數值類型和範圍掃描密鑰編碼器的支援
- [SPARK-46743] [SC-160777][sql] 常數折疊後的計數錯誤
- [SPARK-47525] [SC-154568][sql] 支援映射屬性上的關聯的子查詢連接
- [SPARK-46366] [ SC-151277][sql] 在 BETWEEN 中使用 WITH 表達式以避免重複表達式
- [SPARK-47563] [ SC-161183][sql] 在建立時新增地圖正規化
- [SPARK-42040] [ SC-161171][sql] SPJ：引進 V2 輸入分割區的新 API 以報告分割區統計數據
-
[SPARK-47679] [ SC-161549][sql] 直接使用
HiveConf.getConfVars或 Hive conf 名稱 -
[SPARK-47685] [SC-161566][sql] 還原對
Stream類型的支援Dataset#groupBy - [SPARK-47646] [SC-161352][sql] 修改 try_to_number，使其在格式錯誤的輸入時返回 NULL
- [SPARK-47366] [SC-161324][python] 新增 PySpark 和 DataFrame parse_json 別名
-
[SPARK-47491] [SC-161176][core] 先將 jar 檔新增至類別路徑，並優先於目錄中的其他檔案
slf4j-apijars - [SPARK-47270] [SC-158741][sql] Dataset.isEmpty 專案 CommandResults 在本地执行
-
[SPARK-47364] [ SC-158927][core] 當外掛程式回復單向訊息時發出
PluginEndpoint警告 - [SPARK-47280] [ SC-158350][sql] 移除 ORACLE TIMESTAMP WITH 的時區限制 TIMEZONE
- [SPARK-47551] [SC-161542][sql] 新增variant_get表達式。
-
[SPARK-47559] [ SC-161255][sql] Variant 的 Codegen 支援
parse_json - [SPARK-47572] [ SC-161351][sql] 強制執行視窗 partitionSpec 是可排序的。
- [SPARK-47546] [ SC-161241][sql] 改進從 Parquet 讀取 Variant 時的驗證過程
-
[SPARK-47543] [SC-161234][connect][PYTHON] 推斷從 Pandas DataFrame 中將
dict推斷為MapType，以允許建立新的 DataFrame - [SPARK-47485] [ SC-161194][sql][PYTHON][connect] 在資料框架 API 中使用排序規則建立欄位
-
[SPARK-47641] [SC-161376][sql] 改善
UnaryMinus和Abs的效能 -
[SPARK-47631] [SC-161325][sql] 移除未使用的
SQLConf.parquetOutputCommitterClass方法 -
[SPARK-47674] [SC-161504][core] 預設啟用
spark.metrics.appStatusSource.enabled - [SPARK-47273] [ SC-161162][ss][PYTHON] 會實作 Python 數據流寫入器介面。
- [SPARK-47637] [ SC-161408][sql] 在更多位置使用 errorCapturingIdentifier
- [SPARK-47497] 還原“還原『[SC-160724][sql] 讓 to_csv 支援輸出陣列/結構/map/binary 為格式良好的字符串』”
- [SPARK-47492] [ SC-161316][sql] 在 lexer 中擴大空格符規則
- [SPARK-47664] [ SC-161475][python][CONNECT] 使用快取的結構驗證列名稱
- [SPARK-47638] [ SC-161339][ps][CONNECT] 略過 PS 中的列名稱驗證
- [SPARK-47363] [SC-161247][ss] 沒有狀態讀取器實作的狀態 API v2 初始狀態。
- [SPARK-47447] [SC-160448][sql] 允許讀取 Parquet TimestampLTZ 作為 TimestampNTZ
-
[SPARK-47497] 還原 “[SC-160724][sql] 讓
to_csv支持array/struct/map/binary輸出為漂亮的字串” -
[SPARK-47434] [SC-160122][webui] 修正
statistics連結StreamingQueryPage - [SPARK-46761] [ SC-159045][sql] JSON 路徑中的引號字符串應該支援 ？ characters
-
[SPARK-46915] [ SC-155729][sql] 簡化
UnaryMinusAbs和對齊錯誤類別 - [SPARK-47431] [ SC-160919][sql] 新增會話層級預設定序
- [SPARK-47620] [ SC-161242][python][CONNECT] 新增協助程式函式以排序數據行
- [SPARK-47570] [ SC-161165][ss] 整合範圍掃描編碼器變更與定時器實作
-
[SPARK-47497] [SC-160724][sql] 使
to_csv能將array/struct/map/binary的輸出格式化為美觀的字串 -
[SPARK-47562] [ SC-161166][connect] 將常值處理獨立出來
plan.py - [SPARK-47509] [ SC-160902][sql] 封鎖 Lambda 和較高順序函式中的子查詢表達式
-
[SPARK-47539] [ SC-160750][sql] 使方法
castToString的傳回值成為Any => UTF8String - [SPARK-47372] [SC-160905][ss] 新增支援範圍掃描鍵狀態編碼器，以供狀態存放區提供者使用
- [SPARK-47517] [SC-160642][core][SQL] 偏好使用 Utils.bytesToString 來顯示大小
-
[SPARK-47243] [ SC-158059][ss] 更正
StateMetadataSource.scala的套件名稱 - [SPARK-47367] [ SC-160913][python][CONNECT] 使用 Spark Connect 支援 Python 數據源
-
[SPARK-47521] [SC-160666][核心] 讀取外部儲存裝置的洗牌數據時使用
Utils.tryWithResource - [SPARK-47474] [ SC-160522][core] 還原 SPARK-47461 並新增一些註解
- [SPARK-47560] [ SC-160914][python][CONNECT] 避免 RPC 使用快取架構驗證數據行名稱
- [SPARK-47451] [SC-160749][sql] 支援 to_json(variant)。
- [SPARK-47528] [ SC-160727][sql] 將 UserDefinedType 支援新增至 DataTypeUtils.canWrite
- [SPARK-44708] 還原 “[SC-160734][python] 移轉test_reset_index assert_eq以使用 assertDataFrameEqual”
- [SPARK-47506] [ SC-160740][sql] 新增對定序數據類型所有檔格式的支援
- [SPARK-47256] [ SC-160784][sql] 將名稱指派給錯誤類別_LEGACY_ERROR_TEMP_102[4-7]
- [SPARK-47495] [ SC-160720][core] 修復在 k8s 叢集模式下，spark.jars 中的主要資源 jar 被重複新增的問題。
- [SPARK-47398] [ SC-160572][sql] 擷取 InMemoryTableScanExec 的特性，以允許擴充功能
- [SPARK-47479] [ SC-160623][sql] 優化無法將數據寫入具有多個路徑的關係的錯誤日誌
- [SPARK-47483] [ SC-160629][sql] 新增對定序字串數組匯總和聯結作業的支援
- [SPARK-47458] [ SC-160237][core] 修正計算屏障階段的最大並行工作的問題
-
[SPARK-47534] [SC-160737][sql] 將
o.a.s.variant移至o.a.s.types.variant - [SPARK-47396] [ SC-159312][sql] 將 TIME WITHOUT TIME ZONE 的一般映射新增至 TimestampNTZType
- [SPARK-44708] [SC-160734][python] 將 test_reset_index 的 assert_eq 遷移以使用 assertDataFrameEqual
- [SPARK-47309] [SC-157733][sc-160398][SQL] XML：新增值標記的架構推斷測試
-
[SPARK-47007] [ SC-160630][sql] 新增
MapSort表達式 -
[SPARK-47523] [SC-160645][sql] 以
JsonParser#getCurrentName替換已棄用的JsonParser#currentName - [SPARK-47440] [ SC-160635][sql] 修正將不支援的語法推送至 MsSqlServer
- [SPARK-47512] [ SC-160617][ss] 與 RocksDB 狀態存放區實例鎖取得/釋放搭配使用的操作類型標籤
- [SPARK-47346] [ SC-159425][python] 建立 Python 規劃工作者時可設定精靈模式
-
[SPARK-47446] [ SC-160163][核心] 提前發出
BlockManager警告removeBlockInternal - [SPARK-46526] [ SC-156099][sql] 支援 LIMIT 相互關聯的子查詢，其中述詞僅參考外部數據表
-
[SPARK-47461] [SC-160297][core] 從中移除私人函式
totalRunningTasksPerResourceProfileExecutorAllocationManager - [SPARK-47422] [ SC-160219][sql] 支持陣列作業中的定序字串
-
[SPARK-47500] [ SC-160627][python][CONNECT] 因素數據行名稱處理不足
plan.py -
[SPARK-47383] [SC-160144][core] 支持
spark.shutdown.timeout設定 - [SPARK-47342] [SC-159049]還原 “[SQL] 支援 DB2 TIMESTAMP WITH TIME ZONE 的 TimestampNTZ”
-
[SPARK-47486] [SC-160491][connect] 移除未使用的私人
ArrowDeserializers.getString方法 - [SPARK-47233] [SC-154486][connect][SS][2/2] 用戶端及伺服器端的用戶端串流查詢接聽器邏輯
- [SPARK-47487] [SC-160534][sql] 簡化 AnsiTypeCoercion 中的程序代碼
- [SPARK-47443] [ SC-160459][sql] 定序的窗口匯總支援
- [SPARK-47296] [ SC-160457][sql][COLLATION] 非二進制定序的不支援函式失敗
- [SPARK-47380] [SC-160164][connect] 確保伺服器端的 SparkSession 保持一致
- [SPARK-47327] [ SC-160069][sql] 將排序索引鍵並行測試移至 CollationFactorySuite
- [SPARK-47494] [ SC-160495][doc] 新增移轉檔，以取得自 Spark 3.3 起 Parquet 時間戳推斷的行為變更
- [SPARK-47449] [ SC-160372][ss] 重構和分割清單/定時器單元測試
-
[SPARK-46473] [SC-155663][sql] 重複使用
getPartitionedFile方法 - [SPARK-47423] [ SC-160068][sql] 定序 - 設定具有定序之字串串的作業支援
- [SPARK-47439] [ SC-160115][python] 在 API 參考頁面中記載 Python 數據源 API
-
[SPARK-47457] [ SC-160234][sql] 修正
IsolatedClientLoader.supportsHadoopShadedClient以處理 Hadoop 3.4+ - [SPARK-47366] [ SC-159348][sql] 實作parse_json。
- [SPARK-46331] [ SC-152982][sql] 從 DateTime 表達式和 version（） 表達式子集移除 CodegenFallback
- [SPARK-47395] [SC-159404] 將排序和字元排序規則新增至其他 API 中
-
[SPARK-47437] [SC-160117][python][CONNECT] 修正錯誤類別
DataFrame.sort* - [SPARK-47174] [SC-154483][connect][SS][1/2] 伺服端 SparkConnectListenerBusListener 用於客戶端串流查詢的接聽器
- [SPARK-47324] [SC-158720][sql] 新增 JDBC 巢狀類型的遺漏時間戳轉換
- [SPARK-46962] [ SC-158834][ss][PYTHON] 新增 Python 串流數據源 API 的介面，並實作 Python 背景工作角色以執行 Python 串流數據源
- [SPARK-45827] [ SC-158498][sql] 將數據類型檢查移至 CreatableRelationProvider
- [SPARK-47342] [ SC-158874][sql] 增加對 DB2 TIMESTAMP WITH TIME ZONE 的 TimestampNTZ 支援
- [SPARK-47399] [SC-159378][sql] 停用包含排序規則的表達式中生成的欄位
- [SPARK-47146] [ SC-158247][core] 執行排序合併聯結時可能會有執行緒洩漏
- [SPARK-46913] [ SC-159149][ss] 使用 transformWithState 運算符新增處理/事件時間型定時器的支援
-
[SPARK-47375] [SC-159063][sql] 新增時間戳對應的指導方針
JdbcDialect#getCatalystType - [SPARK-47394] [ SC-159282][sql] 支援適用於 H2Dialect 的 TIMESTAMP WITH TIME ZONE
- [SPARK-45827] 還原 “[SC-158498][sql] 將數據類型檢查移至 ...
- [SPARK-47208] [ SC-159279][核心] 允許覆寫基底額外負荷記憶體
- [SPARK-42627] [SC-158021][spark-26494][SQL] 支援 Oracle TIMESTAMP WITH LOCAL TIME ZONE
- [SPARK-47055] [ SC-156916][python] 升級 MyPy 1.8.0
- [SPARK-46906] [ SC-157205][ss] 增加對串流中具狀態運算符變更的檢查
- [SPARK-47391] [ SC-159283][sql] 移除 JDK 8 的測試案例因應措施
- [SPARK-47272] [ SC-158960][ss] 新增 State API v2 的 MapState 實作。
- [SPARK-47375] [ SC-159278][doc][FollowUp] 修正 JDBC preferTimestampNTZ 選項檔中的錯誤
- [SPARK-42328] [ SC-157363][sql] 從錯誤類別移除_LEGACY_ERROR_TEMP_1175
- [SPARK-47375] [ SC-159261][doc][FollowUp] 更正 JDBC 檔中的 preferTimestampNTZ 選項描述
- [SPARK-47344] [ SC-159146] 擴展 INVALID_IDENTIFIER 錯誤，超越攔截未加引號標識符中的 '-' 並修正 “IS”。 「NULL」等。
- [SPARK-47340] [ SC-159039][sql] 將 StringType typename 中的 “collate” 變更為小寫
- [SPARK-47087] [ SC-157077][sql] 在 Spark 中引發例外狀況，並在檢查組態值時使用錯誤類別引發例外狀況
- [SPARK-47327] [ SC-158824][sql] 修正 ICU 定序器中的線程安全性問題
- [SPARK-47082] [SC-157058][sql] 修正超出界限的錯誤狀況
- [SPARK-47331] [SC-158719][ss] 依據 SQL 編碼器，為任意狀態 API v2 使用案例類別/基本類型/POJO 進行序列化。
- [SPARK-47250] [ SC-158840][ss] 為 RocksDB 狀態提供者新增其他驗證和 NERF 變更，以及使用數據行系列
- [SPARK-47328] [ SC-158745][sql] 將UCS_BASIC定序重新命名為 UTF8_BINARY
-
[SPARK-47207] [SC-157845][core] 支援
spark.driver.timeout和DriverTimeoutPlugin - [SPARK-47370] [ SC-158956][doc] 新增遷移文件：Parquet 檔案上的 TimestampNTZ 類型推斷
- [SPARK-47309] [ SC-158827][sql][XML] 新增架構推斷單元測試
-
[SPARK-47295] [SC-158850][sql] 已為
startsWith和endsWith函式新增了 ICU StringSearch -
[SPARK-47343] [SC-158851][sql] 修正當變數值為 null 字串時，執行即時中的 NPE
sqlString -
[SPARK-46293] [SC-150117][connect][PYTHON] 使用
protobuf間接相依性 -
[SPARK-46795][ SC-154143][sql] 用
UnsupportedOperationException取代SparkUnsupportedOperationException在sql/core - [SPARK-46087] [ SC-149023][python] 在文件和開發需求中同步處理 PySpark 相依性
- [SPARK-47169] [ SC-158848][sql] 停用定序數據行上的貯體
- [SPARK-42332] [ SC-153996][sql] 將要求變更為 ComplexTypeMergingExpression 中的 SparkException
- [SPARK-45827] [ SC-158498][sql] 將數據類型檢查移至 CreatableRelationProvider
- [SPARK-47341] [SC-158825][connect] 將命令替換為 SparkConnectClientSuite 幾個測試中的關聯
- [SPARK-43255] [ SC-158026][sql] 以內部錯誤取代錯誤類別_LEGACY_ERROR_TEMP_2020
- [SPARK-47248] [ SC-158494][sql][COLLATION] 改善的字串函式支援： 包含
-
[SPARK-47334] [SC-158716][sql] 使
withColumnRenamed復用withColumnsRenamed的實作 - [SPARK-46442] [ SC-153168][sql] DS V2 支援下推PERCENTILE_CONT和PERCENTILE_DISC
- [SPARK-47313] [SC-158747][sql] 已在 QueryExecution.toInternalError 中新增 scala.MatchError 處理
- [SPARK-45827] [SC-158732][sql] 為 Java 新增 Variant 單例類型
- [SPARK-47337] [ SC-158743][sql][DOCKER] 將 DB2 docker 映射版本升級為 11.5.8.0
- [SPARK-47302] [SC-158609][sql] 將關鍵字整理為識別符號
-
[SPARK-46817] [SC-154196][core] 藉由新增
spark-daemon.sh命令修正decommission使用量 -
[SPARK-46739] [ SC-153553][sql] 新增錯誤類別
UNSUPPORTED_CALL -
[SPARK-47102] [ SC-158253][sql] 新增
COLLATION_ENABLED設定旗標 - [SPARK-46774] [ SC-153925][sql][AVRO] 在 Avro 寫入作業中使用 mapreduce.output.fileoutputformat.compress，而不是過時的 mapred.output.compress
- [SPARK-45245] [SC-146961][python][CONNECT] PythonWorkerFactory：若 worker 未能回連，則逾時。
- [SPARK-46835] [ SC-158355][sql][定序] 加入對非二進制定序的支持
- [SPARK-47131] [SC-158154][sql][COLLATION] 字串函式支援：contains, startswith, endswith
- [SPARK-46077] [ SC-157839][sql] 考慮 JdbcDialect.compileValue 中 TimestampNTZConverter 所產生的類型。
- [SPARK-47311] [ SC-158465][sql][PYTHON] 隱藏 PySpark 不在 Python 路徑中的 Python 例外狀況
- [SPARK-47319] [ SC-158599][sql] 改善缺少輸入的計算
- [SPARK-47316] [SC-158606][sql] 修正 Postgres 陣列中的 TimestampNTZ
- [SPARK-47268] [ SC-158158][sql][定序] 支援使用定序重新分區
- [SPARK-47191] [SC-157831][sql] 在取消快取數據表/視圖時避免不必要的關係查閱
- [SPARK-47168] [ SC-158257][sql] 使用非預設定序字串時停用 parquet 篩選下推
-
[SPARK-47236] [ SC-158015][core] 修正
deleteRecursivelyUsingJavaIO以略過不存在的檔案輸入 - [SPARK-47238] [ SC-158466][sql] 藉由在 WSCG 中建立廣播變數來減少執行程式記憶體使用量
- [SPARK-47249] [ SC-158133][connect] 修正了一個系統錯誤，該錯誤導致所有聯機執行無論其實際狀態如何都被視為已放棄
- [SPARK-47202] [SC-157828][python] 修正因錯字導致 tzinfo 日期時間中斷的问题
- [SPARK-46834] [SC-158139][sql][定序] 聚合支援
- [SPARK-47277] [SC-158351][3.5] PySpark util 函式 assertDataFrameEqual 不應該支援串流 DF
- [SPARK-47155] [ SC-158473][python] 修正錯誤類別問題
- [SPARK-47245] [ SC-158163][sql] 改善INVALID_PARTITION_COLUMN_DATA_TYPE的錯誤碼
-
[SPARK-39771] [SC-158425][core] 當要建立過多的隨機區塊時，應在
Dependency新增警告訊息。 - [SPARK-47277] [SC-158329] PySpark util 函式 assertDataFrameEqual 不應該支援串流 DF
- [SPARK-47293] [SC-158356][core] 使用 sparkSchema 建構 batchSchema，而不是逐一附加
- [SPARK-46732] [ SC-153517][connect]讓子查詢/廣播執行緒與 Connect 的工件管理配合運作
- [SPARK-44746] [SC-158332][python] 為接受輸入數據表的函式新增更多 Python UDTF 檔
- [SPARK-47120] [ SC-157517][sql] Null 比較從 Parquet 篩選中的 NPE 中產生的子查詢向下推下數據篩選
-
[SPARK-47251] [SC-158291][python] 封鎖命令自變數中的
argssql無效類型 -
[SPARK-47251]還原 “[SC-158121][python] 封鎖命令自變數中的
argssql無效類型” - [SPARK-47015] [ SC-157900][sql] 禁用排序欄位上的分割
-
[SPARK-46846] [SC-154308][core]
WorkerResourceInfo明確地擴充Serializable - [SPARK-46641] [ SC-156314][ss] 新增 maxBytesPerTrigger 閾值
-
[SPARK-47244] [SC-158122][connect]
SparkConnectPlanner將內部功能設為私有 -
[SPARK-47266] [SC-158146][connect] 使
ProtoUtils.abbreviate返回與輸入相同的類型 - [SPARK-46961] [ SC-158183][ss] 使用 ProcessorContext 儲存和擷取句柄
- [SPARK-46862] [ SC-154548][sql] 停用多行模式中的 CSV 欄位剪除
-
[SPARK-46950] [ SC-155803][core][SQL] Align
not available codecerror-class -
[SPARK-46368] [SC-153236][核心] 在 REST 提交 API 提供支援
readyz - [SPARK-46806] [ SC-154108][python] 在自變數類型錯誤時改善 spark.table 的錯誤訊息
- [SPARK-47211] [ SC-158008][connect][PYTHON] 修正忽略的 PySpark Connect 字符串排序
-
[SPARK-46552] [ SC-151366][sql] 用
UnsupportedOperationException替換SparkUnsupportedOperationException在catalyst中 - [SPARK-47147] [ SC-157842][python][SQL] 修正 PySpark 定序字串轉換錯誤
- [SPARK-47144] [ SC-157826][connect][SQL][python] 藉由新增 collateId protobuf 字段修正 Spark Connect 定序錯誤
- [SPARK-46575] [SC-153200][sql][HIVE] 使 HiveThriftServer2.startWithContext 的 DevelopAPI 支援重試，並修正 ThriftServerWithSparkContextInHttpSuite 的不穩定問題。
- [SPARK-46696] [ SC-153832][core] 在 ResourceProfileManager 中，函數調用應該發生在變數宣告之後
- [SPARK-47214] [ SC-157862][python] 創建用於 'analyze' 方法的 UDTF API 以區分常數 NULL 參數和其他類型的參數
- [SPARK-46766] [SC-153909][sql][AVRO] ZSTD 緩衝池對 AVRO 資料來源的支援
- [SPARK-47192] [SC-157819] 轉換部分 _LEGACY_ERROR_TEMP_0035 錯誤
- [SPARK-46928] [ SC-157341][ss] 新增對任意狀態 API v2 中 ListState 的支援。
-
[SPARK-46881] [SC-154612][core] 支援
spark.deploy.workerSelectionPolicy -
[SPARK-46800] [SC-154107][core] 支援
spark.deploy.spreadOutDrivers - [SPARK-45484] [ SC-146014][sql] 修正使用不正確 parquet 壓縮編解碼器 lz4raw 的錯誤
- [SPARK-46791] [ SC-154018][sql] 支援 JavaTypeInference 中的 Java 集合
-
[SPARK-46332] [SC-150224][sql] 移
CatalogNotFoundException轉至錯誤類別CATALOG_NOT_FOUND - [SPARK-47164] [ SC-157616][sql] 使 v2 的預設值由較寬類型的窄常值行為與 v1 相同。
-
[SPARK-46664] [ SC-153181][核心] 改善
Master以在沒有工作者和應用程式的情況下快速復原 - [SPARK-46759] [ SC-153839][sql][AVRO] Codec xz 和 zstandard 支援 avro 檔案的壓縮層級
Databricks ODBC/JDBC 驅動程序支援
Databricks 支援在過去 2 年中發行的 ODBC/JDBC 驅動程式。 請下載最近發行的驅動程式和升級 （下載 ODBC，下載 JDBC）。
請參閱 Databricks Runtime 15.2 維護更新。
系統環境
- 操作系統：Ubuntu 22.04.4 LTS
- Java：Zulu 8.74.0.17-CA-linux64
- Scala：2.12.15
- Python：3.11.0
- R：4.3.2
- Delta Lake： 3.2.0
已安裝的 Python 庫
| Library | Version | Library | Version | Library | Version |
|---|---|---|---|---|---|
| asttokens | 2.0.5 | astunparse | 1.6.3 | azure-core | 1.30.1 |
| azure-storage-blob | 12.19.1 | azure-storage-file-datalake | 12.14.0 | backcall | 0.2.0 |
| black | 23.3.0 | blinker | 1.4 | boto3 | 1.34.39 |
| botocore | 1.34.39 | cachetools | 5.3.3 | certifi | 2023.7.22 |
| cffi | 1.15.1 | chardet | 4.0.0 | charset-normalizer | 2.0.4 |
| click | 8.0.4 | cloudpickle | 2.2.1 | comm | 0.1.2 |
| contourpy | 1.0.5 | 加密 | 41.0.3 | cycler | 0.11.0 |
| Cython | 0.29.32 | databricks-sdk | 0.20.0 | dbus-python | 1.2.18 |
| debugpy | 1.6.7 | 裝飾項目 | 5.1.1 | distlib | 0.3.8 |
| entrypoints | 0.4 | executing | 0.8.3 | facets-overview | 1.1.1 |
| filelock | 3.13.1 | fonttools | 4.25.0 | gitdb | 4.0.11 |
| GitPython | 3.1.43 | google-api-core | 2.18.0 | google-auth | 2.29.0 |
| google-cloud-core | 2.4.1 | google-cloud-storage | 2.16.0 | google-crc32c | 1.5.0 |
| google-resumable-media | 2.7.0 | googleapis-common-protos | 1.63.0 | grpcio | 1.60.0 |
| grpcio-status | 1.60.0 | httplib2 | 0.20.2 | idna | 3.4 |
| importlib-metadata | 6.0.0 | ipyflow-core | 0.0.198 | ipykernel | 6.25.1 |
| ipython | 8.15.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.2 |
| isodate | 0.6.1 | jedi | 0.18.1 | jeepney | 0.7.1 |
| jmespath | 0.10.0 | joblib | 1.2.0 | jupyter_client | 7.4.9 |
| jupyter_core | 5.3.0 | keyring | 23.5.0 | kiwisolver | 1.4.4 |
| launchpadlib | 1.10.16 | lazr.restfulclient | 0.14.4 | lazr.uri | 1.0.6 |
| matplotlib | 3.7.2 | matplotlib-inline | 0.1.6 | mlflow-skinny | 2.11.3 |
| more-itertools | 8.10.0 | mypy-extensions | 0.4.3 | nest-asyncio | 1.5.6 |
| numpy | 1.23.5 | oauthlib | 3.2.0 | packaging | 23.2 |
| pandas | 1.5.3 | parso | 0.8.3 | pathspec | 0.10.3 |
| patsy | 0.5.3 | pexpect | 4.8.0 | pickleshare | 0.7.5 |
| Pillow | 9.4.0 | pip | 23.2.1 | platformdirs | 3.10.0 |
| plotly | 5.9.0 | prompt-toolkit | 3.0.36 | proto-plus | 1.23.0 |
| protobuf | 4.24.1 | psutil | 5.9.0 | psycopg2 | 2.9.3 |
| ptyprocess | 0.7.0 | pure-eval | 0.2.2 | pyarrow | 14.0.1 |
| pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 | pyccolo | 0.0.52 |
| pycparser | 2.21 | pydantic | 1.10.6 | Pygments | 2.15.1 |
| PyGObject | 3.42.1 | PyJWT | 2.3.0 | pyodbc | 4.0.38 |
| pyparsing | 3.0.9 | python-dateutil | 2.8.2 | python-lsp-jsonrpc | 1.1.1 |
| pytz | 2022.7 | PyYAML | 6.0 | pyzmq | 23.2.0 |
| requests | 2.31.0 | rsa | 4.9 | s3transfer | 0.10.1 |
| scikit-learn | 1.3.0 | scipy | 1.11.1 | seaborn | 0.12.2 |
| SecretStorage | 3.3.1 | setuptools | 68.0.0 | six | 1.16.0 |
| smmap | 5.0.1 | sqlparse | 0.5.0 | ssh-import-id | 5.11 |
| stack-data | 0.2.0 | statsmodels | 0.14.0 | tenacity | 8.2.2 |
| threadpoolctl | 2.2.0 | tokenize-rt | 4.2.1 | tornado | 6.3.2 |
| traitlets | 5.7.1 | typing_extensions | 4.10.0 | tzdata | 2022.1 |
| ujson | 5.4.0 | unattended-upgrades | 0.1 | urllib3 | 1.26.16 |
| virtualenv | 20.24.2 | wadllib | 1.3.6 | wcwidth | 0.2.5 |
| Wheel | 0.38.4 | zipp | 3.11.0 |
已安裝的 R 程式庫
R 函式庫從 Posit 套件管理員 CRAN 快照集安裝。
| Library | Version | Library | Version | Library | Version |
|---|---|---|---|---|---|
| arrow | 14.0.0.2 | askpass | 1.2.0 | assertthat | 0.2.1 |
| backports | 1.4.1 | 基礎映像 | 4.3.2 | base64enc | 0.1-3 |
| bigD | 0.2.0 | bit | 4.0.5 | bit64 | 4.0.5 |
| bitops | 1.0-7 | blob | 1.2.4 | boot | 1.3-28 |
| brew | 1.0-10 | brio | 1.1.4 | broom | 1.0.5 |
| bslib | 0.6.1 | cachem | 1.0.8 | callr | 3.7.3 |
| caret | 6.0-94 | cellranger | 1.1.0 | chron | 2.3-61 |
| 類別 | 7.3-22 | cli | 3.6.2 | clipr | 0.8.0 |
| clock | 0.7.0 | 叢集 | 2.1.4 | codetools | 0.2-19 |
| colorspace | 2.1-0 | commonmark | 1.9.1 | 編譯器 | 4.3.2 |
| config | 0.3.2 | conflicted | 1.2.0 | cpp11 | 0.4.7 |
| crayon | 1.5.2 | 憑證 | 2.0.1 | curl | 5.2.0 |
| data.table | 1.15.0 | datasets | 4.3.2 | DBI | 1.2.1 |
| dbplyr | 2.4.0 | desc | 1.4.3 | devtools | 2.4.5 |
| diagram | 1.6.5 | diffobj | 0.3.5 | 摘要 | 0.6.34 |
| downlit | 0.4.3 | dplyr | 1.1.4 | dtplyr | 1.3.1 |
| e1071 | 1.7-14 | 省略符號 | 0.3.2 | evaluate | 0.23 |
| fansi | 1.0.6 | farver | 2.1.1 | fastmap | 1.1.1 |
| fontawesome | 0.5.2 | forcats | 1.0.0 | foreach | 1.5.2 |
| foreign | 0.8-85 | forge | 0.2.0 | fs | 1.6.3 |
| future | 1.33.1 | future.apply | 1.11.1 | gargle | 1.5.2 |
| 泛型 | 0.1.3 | gert | 2.0.1 | ggplot2 | 3.4.4 |
| gh | 1.4.0 | git2r | 0.33.0 | gitcreds | 0.1.2 |
| glmnet | 4.1-8 | globals | 0.16.2 | glue | 1.7.0 |
| googledrive | 2.1.1 | googlesheets4 | 1.1.1 | gower | 1.0.1 |
| graphics | 4.3.2 | grDevices | 4.3.2 | 格線 | 4.3.2 |
| gridExtra | 2.3 | gsubfn | 0.7 | gt | 0.10.1 |
| gtable | 0.3.4 | hardhat | 1.3.1 | haven | 2.5.4 |
| highr | 0.10 | hms | 1.1.3 | htmltools | 0.5.7 |
| htmlwidgets | 1.6.4 | httpuv | 1.6.14 | httr | 1.4.7 |
| httr2 | 1.0.0 | ids | 1.0.1 | ini | 0.3.1 |
| ipred | 0.9-14 | isoband | 0.2.7 | iterators | 1.0.14 |
| jquerylib | 0.1.4 | jsonlite | 1.8.8 | juicyjuice | 0.1.0 |
| KernSmooth | 2.23-21 | knitr | 1.45 | labeling | 0.4.3 |
| later | 1.3.2 | lattice | 0.21-8 | lava | 1.7.3 |
| 生命週期 | 1.0.4 | listenv | 0.9.1 | lubridate | 1.9.3 |
| magrittr | 2.0.3 | markdown | 1.12 | MASS | 7.3-60 |
| Matrix | 1.5-4.1 | memoise | 2.0.1 | methods | 4.3.2 |
| mgcv | 1.8-42 | mime | 0.12 | miniUI | 0.1.1.1 |
| mlflow | 2.10.0 | ModelMetrics | 1.2.2.2 | modelr | 0.1.11 |
| munsell | 0.5.0 | nlme | 3.1-163 | nnet | 7.3-19 |
| numDeriv | 2016.8-1.1 | openssl | 2.1.1 | parallel | 4.3.2 |
| parallelly | 1.36.0 | pillar | 1.9.0 | pkgbuild | 1.4.3 |
| pkgconfig | 2.0.3 | pkgdown | 2.0.7 | pkgload | 1.3.4 |
| plogr | 0.2.0 | plyr | 1.8.9 | praise | 1.0.0 |
| prettyunits | 1.2.0 | pROC | 1.18.5 | processx | 3.8.3 |
| prodlim | 2023.08.28 | profvis | 0.3.8 | progress | 1.2.3 |
| progressr | 0.14.0 | promises | 1.2.1 | proto | 1.0.0 |
| Proxy | 0.4-27 | ps | 1.7.6 | purrr | 1.0.2 |
| R6 | 2.5.1 | ragg | 1.2.7 | randomForest | 4.7-1.1 |
| rappdirs | 0.3.3 | rcmdcheck | 1.4.0 | RColorBrewer | 1.1-3 |
| Rcpp | 1.0.12 | RcppEigen | 0.3.3.9.4 | reactable | 0.4.4 |
| reactR | 0.5.0 | readr | 2.1.5 | readxl | 1.4.3 |
| recipes | 1.0.9 | rematch | 2.0.0 | rematch2 | 2.1.2 |
| remotes | 2.4.2.1 | reprex | 2.1.0 | reshape2 | 1.4.4 |
| rlang | 1.1.3 | rmarkdown | 2.25 | RODBC | 1.3-23 |
| roxygen2 | 7.3.1 | rpart | 4.1.21 | rprojroot | 2.0.4 |
| Rserve | 1.8-13 | RSQLite | 2.3.5 | rstudioapi | 0.15.0 |
| rversions | 2.1.2 | rvest | 1.0.3 | sass | 0.4.8 |
| scales | 1.3.0 | selectr | 0.4-2 | sessioninfo | 1.2.2 |
| 圖形 | 1.4.6 | shiny | 1.8.0 | sourcetools | 0.1.7-1 |
| sparklyr | 1.8.4 | 空間 | 7.3-15 | splines | 4.3.2 |
| sqldf | 0.4-11 | SQUAREM | 2021.1 | stats | 4.3.2 |
| stats4 | 4.3.2 | stringi | 1.8.3 | stringr | 1.5.1 |
| survival | 3.5-5 | swagger | 3.33.1 | sys | 3.4.2 |
| systemfonts | 1.0.5 | tcltk | 4.3.2 | testthat | 3.2.1 |
| textshaping | 0.3.7 | tibble | 3.2.1 | tidyr | 1.3.1 |
| tidyselect | 1.2.0 | tidyverse | 2.0.0 | timechange | 0.3.0 |
| timeDate | 4032.109 | tinytex | 0.49 | tools | 4.3.2 |
| tzdb | 0.4.0 | urlchecker | 1.0.1 | usethis | 2.2.2 |
| utf8 | 1.2.4 | utils | 4.3.2 | uuid | 1.2-0 |
| V8 | 4.4.1 | vctrs | 0.6.5 | viridisLite | 0.4.2 |
| vroom | 1.6.5 | waldo | 0.5.2 | whisker | 0.4.1 |
| withr | 3.0.0 | xfun | 0.41 | xml2 | 1.3.6 |
| xopen | 1.0.0 | xtable | 1.8-4 | yaml | 2.3.8 |
| zeallot | 0.1.0 | zip | 2.3.1 |
安裝的 Java 與 Scala 函式庫（Scala 2.12 叢集版本）
| 群組識別碼 | 文物識別碼 | Version |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.12.610 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.12.610 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.12.610 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.12.610 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.12.610 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.12.610 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.12.610 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.610 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.12.610 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.610 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.12.610 |
| com.amazonaws | aws-java-sdk-config | 1.12.610 |
| com.amazonaws | aws-java-sdk-core | 1.12.610 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.12.610 |
| com.amazonaws | aws-java-sdk-directconnect | 1.12.610 |
| com.amazonaws | aws-java-sdk-directory | 1.12.610 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.12.610 |
| com.amazonaws | aws-java-sdk-ec2 | 1.12.610 |
| com.amazonaws | aws-java-sdk-ecs | 1.12.610 |
| com.amazonaws | aws-java-sdk-efs | 1.12.610 |
| com.amazonaws | aws-java-sdk-elasticache | 1.12.610 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.610 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.610 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.610 |
| com.amazonaws | aws-java-sdk-emr | 1.12.610 |
| com.amazonaws | aws-java-sdk-glacier | 1.12.610 |
| com.amazonaws | aws-java-sdk-glue | 1.12.610 |
| com.amazonaws | aws-java-sdk-iam | 1.12.610 |
| com.amazonaws | aws-java-sdk-importexport | 1.12.610 |
| com.amazonaws | aws-java-sdk-kinesis | 1.12.610 |
| com.amazonaws | aws-java-sdk-kms | 1.12.610 |
| com.amazonaws | aws-java-sdk-lambda | 1.12.610 |
| com.amazonaws | aws-java-sdk-logs | 1.12.610 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.12.610 |
| com.amazonaws | aws-java-sdk-opsworks | 1.12.610 |
| com.amazonaws | aws-java-sdk-rds | 1.12.610 |
| com.amazonaws | aws-java-sdk-redshift | 1.12.610 |
| com.amazonaws | aws-java-sdk-route53 | 1.12.610 |
| com.amazonaws | aws-java-sdk-s3 | 1.12.610 |
| com.amazonaws | aws-java-sdk-ses | 1.12.610 |
| com.amazonaws | aws-java-sdk-simpledb | 1.12.610 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.610 |
| com.amazonaws | aws-java-sdk-sns | 1.12.610 |
| com.amazonaws | aws-java-sdk-sqs | 1.12.610 |
| com.amazonaws | aws-java-sdk-ssm | 1.12.610 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.12.610 |
| com.amazonaws | aws-java-sdk-sts | 1.12.610 |
| com.amazonaws | aws-java-sdk-support | 1.12.610 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.12.610 |
| com.amazonaws | jmespath-java | 1.12.610 |
| com.clearspring.analytics | 串流 | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | databricks-sdk-java | 0.17.1 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations | 2.15.2 |
| com.fasterxml.jackson.core | jackson-core | 2.15.2 |
| com.fasterxml.jackson.core | jackson-databind | 2.15.2 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.15.2 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-yaml | 2.15.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.15.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.16.0 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.15.2 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.15.2 |
| com.github.ben-manes.caffeine | caffeine | 2.9.3 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java | 1.1-natives |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1-natives |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64 | 1.1-natives |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64 | 1.1-natives |
| com.github.luben | zstd-jni | 1.5.5-4 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.10.1 |
| com.google.crypto.tink | tink | 1.9.0 |
| com.google.errorprone | error_prone_annotations | 2.10.0 |
| com.google.flatbuffers | flatbuffers-java | 23.5.26 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.helger | 分析工具 | 1.1.1 |
| com.ibm.icu | icu4j | 72.1 |
| com.jcraft | jsch | 0.1.55 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 11.2.2.jre8 |
| com.ning | compress-lzf | 1.1.2 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.sun.xml.bind | jaxb-core | 2.2.11 |
| com.sun.xml.bind | jaxb-impl | 2.2.11 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.12 | 0.10.0 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.4.3 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.uber | h3 | 3.7.3 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| commons-cli | commons-cli | 1.5.0 |
| commons-codec | commons-codec | 1.16.0 |
| commons-collections | commons-collections | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-fileupload | commons-fileupload | 1.5 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.13.0 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-pool | commons-pool | 1.5.4 |
| dev.ludovic.netlib | arpack | 3.0.3 |
| dev.ludovic.netlib | blas | 3.0.3 |
| dev.ludovic.netlib | lapack | 3.0.3 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0.25 |
| io.delta | delta-sharing-client_2.12 | 1.0.5 |
| io.dropwizard.metrics | metrics-annotation | 4.2.19 |
| io.dropwizard.metrics | metrics-core | 4.2.19 |
| io.dropwizard.metrics | metrics-graphite | 4.2.19 |
| io.dropwizard.metrics | metrics-healthchecks | 4.2.19 |
| io.dropwizard.metrics | metrics-jetty9 | 4.2.19 |
| io.dropwizard.metrics | metrics-jmx | 4.2.19 |
| io.dropwizard.metrics | metrics-json | 4.2.19 |
| io.dropwizard.metrics | metrics-jvm | 4.2.19 |
| io.dropwizard.metrics | metrics-servlets | 4.2.19 |
| io.netty | netty-all | 4.1.96.Final |
| io.netty | netty-buffer | 4.1.96.Final |
| io.netty | netty-codec | 4.1.96.Final |
| io.netty | netty-codec-http | 4.1.96.Final |
| io.netty | netty-codec-http2 | 4.1.96.Final |
| io.netty | netty-codec-socks | 4.1.96.Final |
| io.netty | netty-common | 4.1.96.Final |
| io.netty | netty-handler | 4.1.96.Final |
| io.netty | netty-handler-proxy | 4.1.96.Final |
| io.netty | netty-resolver | 4.1.96.Final |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-linux-aarch_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-linux-x86_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-osx-aarch_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-osx-x86_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-windows-x86_64 |
| io.netty | netty-tcnative-classes | 2.0.61.Final |
| io.netty | netty-transport | 4.1.96.Final |
| io.netty | netty-transport-classes-epoll | 4.1.96.Final |
| io.netty | netty-transport-classes-kqueue | 4.1.96.Final |
| io.netty | netty-transport-native-epoll | 4.1.96.Final |
| io.netty | netty-transport-native-epoll | 4.1.96.Final-linux-aarch_64 |
| io.netty | netty-transport-native-epoll | 4.1.96.Final-linux-x86_64 |
| io.netty | netty-transport-native-kqueue | 4.1.96.Final-osx-aarch_64 |
| io.netty | netty-transport-native-kqueue | 4.1.96.Final-osx-x86_64 |
| io.netty | netty-transport-native-unix-common | 4.1.96.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | 收集器 | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | 啟用 | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | transaction-api | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.11 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.12.1 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | pickle | 1.3 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.9.3 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.10.11 |
| org.apache.ant | ant-jsch | 1.10.11 |
| org.apache.ant | ant-launcher | 1.10.11 |
| org.apache.arrow | arrow-format | 15.0.0 |
| org.apache.arrow | arrow-memory-core | 15.0.0 |
| org.apache.arrow | arrow-memory-netty | 15.0.0 |
| org.apache.arrow | arrow-vector | 15.0.0 |
| org.apache.avro | avro | 1.11.3 |
| org.apache.avro | avro-ipc | 1.11.3 |
| org.apache.avro | avro-mapred | 1.11.3 |
| org.apache.commons | commons-collections4 | 4.4 |
| org.apache.commons | commons-compress | 1.23.0 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.12.0 |
| org.apache.commons | commons-math3 | 3.6.1 |
| org.apache.commons | commons-text | 1.10.0 |
| org.apache.curator | curator-client | 2.13.0 |
| org.apache.curator | curator-framework | 2.13.0 |
| org.apache.curator | curator-recipes | 2.13.0 |
| org.apache.datasketches | datasketches-java | 3.1.0 |
| org.apache.datasketches | datasketches-memory | 2.0.0 |
| org.apache.derby | derby | 10.14.2.0 |
| org.apache.hadoop | hadoop-client-runtime | 3.3.6 |
| org.apache.hive | hive-beeline | 2.3.9 |
| org.apache.hive | hive-cli | 2.3.9 |
| org.apache.hive | hive-jdbc | 2.3.9 |
| org.apache.hive | hive-llap-client | 2.3.9 |
| org.apache.hive | hive-llap-common | 2.3.9 |
| org.apache.hive | hive-serde | 2.3.9 |
| org.apache.hive | hive-shims | 2.3.9 |
| org.apache.hive | hive-storage-api | 2.8.1 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
| org.apache.hive.shims | hive-shims-common | 2.3.9 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
| org.apache.httpcomponents | httpclient | 4.5.14 |
| org.apache.httpcomponents | httpcore | 4.4.16 |
| org.apache.ivy | ivy | 2.5.1 |
| org.apache.logging.log4j | log4j-1.2-api | 2.22.1 |
| org.apache.logging.log4j | log4j-api | 2.22.1 |
| org.apache.logging.log4j | log4j-core | 2.22.1 |
| org.apache.logging.log4j | log4j-layout-template-json | 2.22.1 |
| org.apache.logging.log4j | log4j-slf4j2-impl | 2.22.1 |
| org.apache.orc | orc-core | 1.9.2-shaded-protobuf |
| org.apache.orc | orc-mapreduce | 1.9.2-shaded-protobuf |
| org.apache.orc | orc-shims | 1.9.2 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.ws.xmlschema | xmlschema-core | 2.3.0 |
| org.apache.xbean | xbean-asm9-shaded | 4.23 |
| org.apache.yetus | audience-annotations | 0.13.0 |
| org.apache.zookeeper | zookeeper | 3.6.3 |
| org.apache.zookeeper | zookeeper-jute | 3.6.3 |
| org.checkerframework | checker-qual | 3.31.0 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.collections | eclipse-collections | 11.1.0 |
| org.eclipse.collections | eclipse-collections-api | 11.1.0 |
| org.eclipse.jetty | jetty-client | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-continuation | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-http | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-io | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-jndi | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-plus | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-proxy | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-security | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-server | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-servlet | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-servlets | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-util | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-webapp | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-xml | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-api | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-client | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-common | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-server | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-servlet | 9.4.52.v20230823 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.40 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.40 |
| org.glassfish.jersey.core | jersey-client | 2.40 |
| org.glassfish.jersey.core | jersey-common | 2.40 |
| org.glassfish.jersey.core | jersey-server | 2.40 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.40 |
| org.hibernate.validator | hibernate-validator | 6.1.7.Final |
| org.ini4j | ini4j | 0.5.4 |
| org.javassist | javassist | 3.29.2-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jetbrains | annotations | 17.0.0 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
| org.json4s | json4s-core_2.12 | 3.7.0-M11 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
| org.lz4 | lz4-java | 1.8.0 |
| org.mlflow | mlflow-spark_2.12 | 2.9.1 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.6.1 |
| org.roaringbitmap | RoaringBitmap | 0.9.45-databricks |
| org.roaringbitmap | shims | 0.9.45-databricks |
| org.rocksdb | rocksdbjni | 8.3.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.15 |
| org.scala-lang | scala-library_2.12 | 2.12.15 |
| org.scala-lang | scala-reflect_2.12 | 2.12.15 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.11.0 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.2.15 |
| org.scalanlp | breeze-macros_2.12 | 2.1.0 |
| org.scalanlp | breeze_2.12 | 2.1.0 |
| org.scalatest | scalatest-compatible | 3.2.15 |
| org.scalatest | scalatest-core_2.12 | 3.2.15 |
| org.scalatest | scalatest-diagrams_2.12 | 3.2.15 |
| org.scalatest | scalatest-featurespec_2.12 | 3.2.15 |
| org.scalatest | scalatest-flatspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-freespec_2.12 | 3.2.15 |
| org.scalatest | scalatest-funspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-funsuite_2.12 | 3.2.15 |
| org.scalatest | scalatest-matchers-core_2.12 | 3.2.15 |
| org.scalatest | scalatest-mustmatchers_2.12 | 3.2.15 |
| org.scalatest | scalatest-propspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-refspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-shouldmatchers_2.12 | 3.2.15 |
| org.scalatest | scalatest-wordspec_2.12 | 3.2.15 |
| org.scalatest | scalatest_2.12 | 3.2.15 |
| org.slf4j | jcl-over-slf4j | 2.0.7 |
| org.slf4j | jul-to-slf4j | 2.0.7 |
| org.slf4j | slf4j-api | 2.0.7 |
| org.slf4j | slf4j-simple | 1.7.25 |
| org.threeten | threeten-extra | 1.7.1 |
| org.tukaani | xz | 1.9 |
| org.typelevel | algebra_2.12 | 2.0.1 |
| org.typelevel | cats-kernel_2.12 | 2.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0 |
| org.typelevel | spire-platform_2.12 | 0.17.0 |
| org.typelevel | spire-util_2.12 | 0.17.0 |
| org.typelevel | spire_2.12 | 0.17.0 |
| org.wildfly.openssl | wildfly-openssl | 1.1.3.Final |
| org.xerial | sqlite-jdbc | 3.42.0.0 |
| org.xerial.snappy | snappy-java | 1.1.10.3 |
| org.yaml | snakeyaml | 2.0 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.cryptools | AmazonCorrettoCryptoProvider | 1.6.1-linux-x86_64 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |