以下發布說明提供有關 Databricks Runtime 18.0(測試版)的資訊。
Azure Databricks 於 2025 年 12 月發布此版本。
這很重要
Databricks 執行環境 18.0 目前處於 測試階段。 支援環境的內容可能會在 Beta 期間變更。 變更可以包括套件清單或已安裝套件的版本。
新功能和改善
- SQL 腳本現已公開使用
- Redshift JDBC 驅動程式升級至 2.1.0.28
- Unity Catalog Python UDF 的共享隔離執行環境
- 度量檢視中的 SQL 視窗函式
- Spark 應用程式的優雅關機
- 無狀態串流查詢中的動態分散分割調整
- 無狀態串流查詢中的自適應查詢執行與自動優化的資料重排
-
FILTER度量檢視中測度聚合函數的子句 - 字串到處合併
- 到處都有參數標記
- IDENTIFIER 各處皆有的條款
- 新BITMAP_AND_AGG函數
- 新KLL_Sketch函式函式庫
- Apache Parquet 函式庫已升級至 1.16.0
SQL 腳本現已公開使用
SQL 腳本功能現已正式開放。
Redshift JDBC 驅動程式升級至 2.1.0.28
Redshift JDBC 驅動程式已升級至 2.1.0.28 版本。
Unity Catalog Python UDF 的共享隔離執行環境
同一擁有者持有的 Unity Catalog Python UDF 現在預設可以共享隔離環境。 這可藉由減少需要啟動的不同環境數目來改善效能並減少記憶體使用量。
若要確保 UDF 一律會在完全隔離的環境中執行,請新增 STRICT ISOLATION 特性子句。 參見 環境隔離。
度量檢視中的 SQL 視窗函式
你現在可以在度量檢視中使用 SQL 視窗函 式來計算累計總數、排名及其他基於視窗的計算。
Spark 應用程式的優雅關機
Spark 應用程式現在支援優雅關機,允許進行中的任務在應用程式終止前完成。
無狀態串流查詢中的動態洗牌分割調整
你現在可以在無狀態的串流查詢中變更隨機分配分區的數量,而不必重新啟動查詢。
無狀態串流查詢中的自適應查詢執行與自動化優化的資料洗牌
現已支援無狀態串流查詢中的自適應查詢執行(AQE)與自動優化洗牌(AOS)。
FILTER 度量檢視中測度聚合函數的子句
你現在可以在 FILTER 中使用子句及度量彙總函數,以在 度量檢視 中參考度量檢視的度量時,定義每個彙總的篩選條件。
字面上的弦線到處聚合
將序列字串文字的整合能力(例如從 'Hello' ' World' 到 'Hello World')已從表達式拓展至任何允許使用字串文字的地方。
例如: COMMENT 'This' ' is a ' 'comment' 。 詳情請參見 STRING 類型 。
到處都有參數標記
你現在幾乎可以在任何可以接受適當類型文字值的地方使用命名(:param)和未命名(?)參數標記。
這包括 DDL 語句中的參數標記,如 CREATE VIEW v AS SELECT ? AS c1、欄位類型 DECIMAL(:p, :s)、 COMMENT ON t IS :comment或 。
有了這個功能,你可以參數化各種 SQL 語句,而不會暴露在 SQL 注入攻擊之下。
詳情請參見參數標記。
IDENTIFIER 無處不在的條款
將字串轉換為 SQL 物件名稱的 IDENTIFIER 子句範圍,已擴展至幾乎所有允許識別碼的地方。
除了字串整合參數標記的改進外,你現在可以為任何東西設定參數,從欄位別名(AS IDENTIFIER(:name))到欄位定義(IDENTIFIER(:pk) BIGINT NOT NULL)。 如需詳細資訊,請參閱 IDENTIFIER 子句。
新BITMAP_AND_AGG函數
現有函式庫 BITMAP 已擴充為新的 BITMAP_AND_AGG 函式。
新KLL_Sketch函式庫
你現在可以使用一個新的函式庫來構建 KLL 草圖,進行近似分位數計算:
-
kll_sketch_agg_bigint聚合函數 -
kll_sketch_get_quantile_bigint函式 -
kll_sketch_merge_bigint函式 -
kll_sketch_agg_double聚合函數 -
kll_sketch_get_quantile_double函式 -
kll_sketch_merge_double函式 -
kll_sketch_agg_float聚合函數 -
kll_sketch_get_quantile_float函式 -
kll_sketch_merge_float函式 -
kll_sketch_get_n_bigint函式 -
kll_sketch_get_rank_bigint函式 -
kll_sketch_to_string_bigint函式 -
kll_sketch_get_n_double函式 -
kll_sketch_get_rank_double函式 -
kll_sketch_to_string_double函式 -
kll_sketch_get_n_float函式 -
kll_sketch_get_rank_float函式 -
kll_sketch_to_string_float函式
Apache Parquet 函式庫已升級至 1.16.0
Apache Parquet 函式庫已升級至 1.16.0 版本。
行為變更
- JDK 21 現在是預設的 Java 開發套件
-
FSCK REPAIR TABLE預設包含元資料修復 - 在 Spark Connect Scala 用戶端中,陣列與映射類型保留了可空性
-
FSCK REPAIR TABLE DRY RUN輸出結構已更新 -
SHOW TABLES DROPPED尊重LIMIT條款 - 讀取與自動最佳化寫入之間的比例因子對齊
- Python UDF 執行在 PySpark 與 Unity 目錄中統一
- Kafka 連接器登入模組問題的錯誤訊息改善
-
時間旅行限制與
VACUUM保留行為 -
BinaryType在 PySpark 中預設會映射到bytes - NULL 結構體被保留在 Delta MERGE 中, UPDATE以及串流寫入操作
- 分割欄以 Parquet 檔案形式實現
JDK 21 現在是預設的 Java 開發套件
Databricks Runtime 18.0 以 JDK 21 作為預設的 Java 開發套件。 JDK 21 是一款長期支援(LTS)版本。 過去預設為 JDK 17,現在可作為備用選項。
關於如何為叢集設定 JDK 版本的資訊,請參見 「建立特定 JDK 版本的叢集」。
FSCK REPAIR TABLE 預設包含元資料修復
FSCK REPAIR TABLE指令現在包含一個初步的元資料修復步驟,然後再檢查遺失的資料檔案。 此指令可用於檢查點損壞或分割區值無效的資料表。
在 Spark Connect Scala 用戶端中,陣列與映射類型保留了可空性
在 Spark Connect Scala 用戶端中,陣列與映射類型的可空性現已保留給有型的文字。 過去,陣列元素和映射值總是可被取消的。
FSCK REPAIR TABLE DRY RUN 輸出結構已更新
dataFilePath輸出結構中的FSCK REPAIR TABLE DRY RUN欄位現在可為空,以支援在資料檔案路徑不適用時回報新的問題類型。
SHOW TABLES DROPPED 尊重 LIMIT 條款
SHOW TABLES DROPPED指令現在能正確地遵循該LIMIT子句。
讀取與自動最佳化寫入之間的比例因子對齊
分割尺寸的比例因子現在在讀取操作與自動最佳化寫入中一致使用分數值。 此變更可能導致讀取操作的任務數量有所差異。
Python UDF 執行在 PySpark 與 Unity 目錄中統一
Unity Catalog Python UDF 現在將 Apache Arrow 作為預設交換格式,提升整體效能,並與 Apache Spark 中 Arrow 優化的 Python UDF 行為保持一致。 作為此變更的一部分,TIMESTAMP傳給 Python UDF 的值不再包含物件屬性中的datetimetzinfo時區資訊。 時間戳記本身仍維持 UTC,但時區的元資料已被刪除。
如果你的 UDF 依賴時區資訊,你需要用 date = date.replace(tzinfo=timezone.utc) 來還原它。 欲了解更多資訊,請參閱 輸入的時間戳時區行為。
改善 Kafka 連接器登入模組問題的錯誤訊息
當使用 Kafka 連接器搭配未著色的登入模組類別時,Azure Databricks 現在會顯示錯誤訊息,建議使用正確的著色類別前綴(kafkashaded.org.apache.kafka 或 kafkashaded.software.amazon.msk.auth.iam)。
時間旅行限制與 VACUUM 保留行為
Azure Databricks 現在會阻擋所有資料表超過 deletedFileRetentionDuration 閾值的時間旅行查詢。
VACUUM指令會忽略保留時間參數,除非值為 0 小時。 你不能設定 deletedFileRetentionDuration 比大 logRetentionDuration ,反之亦然。
在 PySpark 中,BinaryType 預設會映射到 bytes
BinaryType 現在在 PySpark 中穩定地對應到 Python bytes 。 之前,PySpark 會根據上下文將 BinaryType 映射到 bytes 或 bytearray 其中之一。 要恢復舊有的行為,請設定 spark.sql.execution.pyspark.binaryAsBytes 為 false。
NULL 結構體被保留在 Delta MERGE 中,UPDATE,以及流式寫入操作中
NULL 結構現在在 Delta MERGE、UPDATE 和包含結構型別轉換的串流寫入操作中保留為 NULL。 過去,NULL 結構會擴展為帶有 NULL 欄位的結構。 例如,一個 NULL 結構現在仍為 NULL,而非展開為包含所有 NULL 欄位值的結構。
分割欄以 Parquet 檔案形式實現
分割的 Delta 表格現在會在新寫入的 Parquet 資料檔案中具現化分區欄位。 過去,分割區值會儲存在 Delta 交易日誌的元資料中,並反映在目錄路徑中,但不會以欄位形式寫入 Parquet 檔案本身。 此變更符合 Apache Iceberg 與 UniForm 的行為,可能影響直接讀取 Delta Lake 撰寫的 Parquet 檔案的工作負載,因為新寫入的檔案包含額外的分割欄。
圖書館升級
升級的 Python 連結庫:
- Anyio 從 4.6.2 到 4.7.0
- asttokens 從 2.0.5 更新到 3.0.0
- azure-core 從 1.34.0 到 1.36.0
- azure-mgmt-core 版本升級從 1.5.0 到 1.6.0
- azure-storage-blob 從 12.23.0 到 12.27.1
- azure-storage-file-datalake 從 12.17.0 到 12.22.0
- Boto3 從 1.36.2 到 1.40.45
- Botocore 從 1.36.3 到 1.40.45
- Certifi 自 2025.1.31 至 2025.4.26
- 點擊將版本從 8.1.7 變更至 8.1.8
- 密碼學從 43.0.3 到 44.0.1
- Cython 從 3.0.12 到 3.1.5
- databricks-SDK 從 0.49.0 到 0.67.0
- 已從 1.2.13 到 1.2.18 棄用
- 從 0.8.3 執行到 1.2.0
- FastAPI 從 0.115.12 到 0.121.0
- 從 2.20.0 到 2.28.1 的 google-api-core
- Google 認證從 2.40.0 到 2.43.0
- Google-Cloud-Core 從 2.4.3 到 2.5.0
- 從 3.1.0 到 3.5.0 的 Google-Cloud-Storage
- h11 從 0.14.0 到 0.16.0
- httpcore 從 1.0.2 到 1.0.9
- httpx 從 0.27.0 到 0.28.1
- isodate 從 0.6.1 到 0.7.2
- Jinja2 從 3.1.5 到 3.1.6
- Jupyter-events 從 0.10.0 到 0.12.0
- Jupyter-LSP 從 2.2.0 到 2.2.5
- jupyter_server 從 2.14.1 到 2.15.0
- jupyter_server_terminals 從 0.4.4 到 0.5.3
- Mistune 從 2.0.4 到 3.1.2
- mlflow-skinny 從 3.0.1 到 3.5.1
- MMH3 從 5.1.0 到 5.2.0
- MSAL 從 1.32.3 到 1.34.0
- nbclient 從 0.8.0 到 0.10.2
- nbconvert 從 7.16.4 轉為 7.16.6
- notebook_shim 從 0.2.3 到 0.2.4
- OpenTelemetry-API 從 1.32.1 到 1.38.0
- OpenTelemetry-SDK 從 1.32.1 到 1.38.0
- OpenTelemetry-語意慣例從 0.53B1 到 0.59b0
- platformdirs 版本從 3.10.0 更新到 4.3.7
- prometheus_client 從 0.21.0 到 0.21.1
- psycopg2 從 2.9.3 到 2.9.11 版
- Pyarrow 從 19.0.1 到 21.0.0
- Pygments 從 2.15.1 到 2.19.1
- pyiceberg 從 0.9.0 到 0.10.0
- python-lsp-server 從 1.12.0 到 1.12.2
- 繩索從 1.12.0 到 1.13.0
- s3transfer 從版本 0.11.3 更新到版本 0.14.0
- scipy 從 1.15.1 到 1.15.3
- SetupTools 從 74.0.0 到 78.1.1
- 從版本 1.16.0 升級至 1.17.0
- stack-data 從 0.2.0 到 0.6.3
- Starlette 從 0.46.2 到 0.49.3
- Tornado 從 6.4.2 到 6.5.1
- types-python-dateutil 從 2.9.0.20241206 至 2.9.0.20251008
- Uvicorn 從 0.34.2 到 0.38.0
- WebColors 從 24.11.1 到 25.10.0
升級的 R 函式庫:
- 將箭頭從 19.0.1 指向 22.0.0
- 基礎版從 4.4.2 到 4.5.1
- bigD 從 0.3.0 到 0.3.1
- broom 版本從 1.0.7 更新到 1.0.10
- 時鐘從 0.7.2 到 0.7.3
- commonmark 從版本 1.9.5 升級到 2.0.0
- 編譯器從 4.4.2 到 4.5.1
- 身份驗證資料從 2.0.2 到 2.0.3
- curl 從版本 6.4.0 更新至 7.0.0
- data.table 從 1.17.0 到 1.17.8
- 資料集從 4.4.2 到 4.5.1
- dbplyr 從 2.5.0 到 2.5.1
- 開發工具從 2.4.5 更新到 2.4.6
- diffobj 從 0.3.5 到 0.3.6
- 軟體版本從0.6.37更新至0.6.39
- 從 0.4.4 轉為 0.4.5
- DTPLYR 從 1.3.1 到 1.3.2
- 從 1.0.3 評估到 1.0.5
- fansi 從 1.0.6 到 1.0.7
- forcats 從版本 1.0.0 到版本 1.0.1
- fs 從 1.6.5 到 1.6.6
- 未來 1.34.0 至 1.68.0
- future.apply 從 1.11.3 到 1.20.0
- 將 gargle 從版本 1.5.2 更新到 1.6.0
- gert 從 2.1.4 到 2.2.0
- ggplot2 從 3.5.1 到 4.0.1
- GH 從 1.4.1 到 1.5.0
- git2r 從 0.35.0 到 0.36.2
- GLMNET 從 4.1-8 到 4.1-10
- Google Drive 從 2.1.1 到 2.1.2
- GoogleSheets4 從 1.1.1 到 1.1.2
- 從 4.4.2 到 4.5.1 的圖形
- grDevices 從 4.4.2 到 4.5.1
- 網格從4.4.2到4.5.1
- GT 從 0.11.1 到 1.1.0
- 硬帽從 1.4.1 到 1.4.2
- haven 版本更新從 2.5.4 到 2.5.5
- HMS 從 1.1.3 到 1.1.4
- httpuv版本從1.6.15更新到1.6.16
- HTTR2 從 1.1.1 到 1.2.1
- jsonlite 從 1.9.1 到 2.0.0
- 後來從 1.4.1 到 1.4.4
- lava 從 1.8.1 到 1.8.2
- listenv 從 0.9.1 到 0.10.0
- Magrittr 版本從 2.0.3 更新到 2.0.4
- 從 1.13 降到 2.0
- 從 4.4.2 到 4.5.1 的方法
- miniUI 從 0.1.1.1 到 0.1.2
- mlflow 從 2.20.4 到 3.6.0
- OpenSSL 從 2.3.3 到 2.3.4
- 並行從 4.4.2 到 4.5.1
- 從 1.42.0 並行更新至 1.45.1
- pillar 從 1.11.0 到 1.11.1
- pkgbuild 從 1.4.6 到 1.4.8
- pkgdown 從 2.1.1 到 2.2.0
- pkgload 從版本 1.4.0 更新至 1.4.1
- pROC 從 1.18.5 到 1.19.0.1
- Prodlim 2024.06.25 至 2025.04.28
- Progressr 從 0.15.1 到 0.18.0
- 從 1.3.2 到 1.5.0 的承諾
- PS 從 "1.9.0" 到 "1.9.1"
- PURRR 從 1.0.4 到 1.2.0
- ragg 版本從 1.3.3 更新到 1.5.0
- RCPP 從 1.0.14 到 1.1.0
- readr 從 2.1.5 更新到 2.1.6
- 從 1.2.0 到 1.3.1 的配方
- reshape2 從 1.4.4 到 1.4.5
- rmarkdown 從 2.29 到 2.30
- roxygen2 從 7.3.2 升級到 7.3.3
- rprojroot 從 2.0.4 到 2.1.1
- RSQLite 從 2.3.9 到 2.4.4
- 從 2.1.2 到 3.0.0 的 r 版本
- rvest 版本從 1.0.4 更新到 1.0.5
- SASS 從 0.4.9 到 0.4.10
- 等級從 1.3.0 到 1.4.0
- shiny 從 1.10.0 到 1.11.1
- Sparklyr 從 1.9.1 到 1.9.3
- SparkR 從 4.0.0 到 4.1.0
- sparsevctrs 從 0.3.1 到 0.3.4
- 從 4.4.2 到 4.5.1 的樣條曲線
- 數據從 4.4.2 到 4.5.1
- stats4 從 4.4.2 到 4.5.1
- Stringr 從 1.5.1 到 1.6.0
- systemfonts 從 1.2.1 到 1.3.1
- TCLTK 從 4.4.2 到 4.5.1
- TestThat 從 3.2.3 到 3.3.0
- 從 1.0.0 到 1.0.4 的文本格式调整
- 時間日期 從4041.110到4051.111
- TinyTex 從 0.56 降至 0.58
- 工具版本從 4.4.2 更新至 4.5.1
- usethis 從 3.1.0 到 3.2.1
- utils 版本更新從 4.4.2 到 4.5.1
- V8 從 6.0.2 到 8.0.1
- vroom 從 1.6.5 到 1.6.6
- Waldo 從 0.6.1 到 0.6.2
- xfun 從 0.51 到 0.54
- xml2 從 1.3.8 到 1.5.0
- Zeallot 從 0.1.0 到 0.2.0
- zip 從 2.3.2 到 2.3.3
升級的 Java 庫:
- com.amazonaws.amazon-kinesis-client 從 1.12.0 到 1.15.3
- com.amazonaws.aws-java-sdk-autoscaling 從 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-cloudformation 從 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-cloudfront 從 1.12.638 改為 1.12.681
- com.amazonaws.aws-java-sdk-cloudhsm 從 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-cloudsearch 從 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-cloudtrail 從 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-cloudwatch 從 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-cloudwatchmetrics 從 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-codedeploy 從 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-cognitoidentity 從 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-cognitosync 從 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-config 從 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-core 從 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-sql-scriptdatapipeline 從 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-directconnect 從 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-directory 從 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-dynamodb 從 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-ec2 從 1.12.638 改為 1.12.681
- com.amazonaws.aws-java-sdk-ecs 從 1.12.638 改為 1.12.681
- com.amazonaws.aws-java-sdk-efs 從 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-elasticache 從 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-elasticbeanstalk 從 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-elasticloadbalancing 從 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-elastictranscoder 版本更新:從 1.12.638 升級到 1.12.681
- com.amazonaws.aws-java-sdk-emr 從 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-glacier 從 1.12.638 改為 1.12.681
- com.amazonaws.aws-java-sdk-glue 從 1.12.638 改為 1.12.681
- com.amazonaws.aws-java-sdk-iam 從 1.12.638 改為 1.12.681
- com.amazonaws.aws-java-sdk-importexport 版本從 1.12.638 更新到 1.12.681
- com.amazonaws.aws-java-sdk-kinesis 從 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-kms 從 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-lambda 從 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-logs 從 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-machinelearning 從 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-opsworks 從 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-rds 從 1.12.638 改為 1.12.681
- com.amazonaws.aws-java-sdk-redshift 已從版本 1.12.638 更新至版本 1.12.681
- com.amazonaws.aws-java-sdk-route53 從 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-s3 從 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-ses 從 1.12.638 改為 1.12.681
- com.amazonaws.aws-java-sdk-simpledb 從 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-simpleworkflow 從 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-sns 從 1.12.638 改為 1.12.681
- com.amazonaws.aws-java-sdk-sqs 從 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-ssm 從 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-storagegateway 的版本從 1.12.638 更新至 1.12.681
- com.amazonaws.aws-java-sdk-sts 從 1.12.638 改為 1.12.681
- com.amazonaws.aws-java-sdk-support 從版本 1.12.638 到版本 1.12.681
- com.amazonaws.aws-java-sdk-workspaces 從 1.12.638 到 1.12.681
- com.amazonaws.jmespath-java 從 1.12.638 到 1.12.681
- com.databricks.databricks-sdk-java 從 0.27.0 到 0.53.0
- com.fasterxml.jackson.datatype.jackson-datatype-jsr310 從 2.18.2 到 2.18.3
- com.github.luben.zstd-jni 從 1.5.6-10 到 1.5.7-6
- com.google.flatbuffers.flatbuffers-java 從 24.3.25 到 25.2.10
- com.google.guava.failureaccess 從 1.0.2 到 1.0.3
- com.google.guava.guava 從 33.4.0-JRE 到 33.4.8-JRE
- com.microsoft.sqlserver.mssql-jdbc,從 11.2.3.jre8 到 12.8.0.jre8
- commons-cli.commons-cli 版本從 1.9.0 升級到 1.10.0
- commons-codec.commons-codec 從 1.17.2 到 1.19.0
- commons-fileupload.commons-fileupload 從 1.5 到 1.6.0
- commons-io.commons-io 從 2.18.0 到 2.21.0
- dev.ludovic.netlib.arpack 從 3.0.3 到 3.0.4
- dev.ludovic.netlib.blas 從 3.0.3 到 3.0.4
- dev.ludovic.netlib.lapack 版本從 3.0.3 更新至 3.0.4
- io.delta.delta-sharing-client_2.13 從 1.3.5 到 1.3.6
- io.dropwizard.metrics.metrics-annotation 從 4.2.30 到 4.2.37
- io.dropwizard.metrics.metrics-core 從 4.2.30 到 4.2.37
- io.dropwizard.metrics.metrics-graphite 從 4.2.30 到 4.2.37
- io.dropwizard.metrics.metrics-healthchecks(版本更新)從 4.2.30 更新到 4.2.37
- io.dropwizard.metrics.metrics-jmx 從 4.2.30 到 4.2.37
- io.dropwizard.metrics.metrics-json 從 版本 4.2.30 更新至 版本 4.2.37
- io.dropwizard.metrics.metrics-jvm 從 4.2.30 到 4.2.37
- io.dropwizard.metrics.metrics-servlets 從 4.2.30 到 4.2.37
- io.netty.netty-all 從 4.1.118.Final 到 4.2.7.Final
- io.netty.netty-buffer 版本從 4.1.118.Final 更新到 4.2.7.Final
- io.netty.netty-codec 的版本更新,從 4.1.118.Final 到 4.2.7.Final
- io.netty.netty-codec-http 從 4.1.118.Final 到 4.2.7.Final
- io.netty.netty-codec-http2 從 4.1.118.Final 到 4.2.7.Final
- io.netty.netty-codec-socks 從 4.1.118.Final 到 4.2.7.Final
- io.netty.netty-common 從 4.1.118.Final 到 4.2.7.Final
- io.netty.netty-handler,從版本 4.1.118.Final 更新至 4.2.7.Final
- io.netty.netty-handler-proxy 從 4.1.118.Final 到 4.2.7.Final
- io.netty.netty-resolver 從 4.1.118.Final 升級到 4.2.7.Final
- io.netty.netty-tcnative-boringssl-static 從版本 2.0.70.Final-db-r0-windows-x86_64 更新到版本 2.0.74.Final-db-r0-windows-x86_64
- io.netty.netty-tcnative-classes 從 2.0.70.Final 到 2.0.74.Final
- io.netty.netty-transport 從 4.1.118.Final 到 4.2.7.Final
- io.netty.netty-transport-classes-epoll 從 4.1.118.Final 升級至 4.2.7.Final
- io.netty.netty-transport-classes-kqueue 從 4.1.118.Final 到 4.2.7.Final
- io.netty.netty-transport-native-epoll 從版本 4.1.118.Final-linux-x86_64 升級至版本 4.2.7.Final-linux-x86_64
- io.netty.netty-transport-native-kqueue 的版本更新,從 4.1.118.Final-osx-x86_64 更新到 4.2.7.Final-osx-x86_64
- io.netty.netty-transport-native-unix-common 從 4.1.118.Final 到 4.2.7.Final
- joda-time.joda-time 的版本從 2.13.0 更新到 2.14.0
- org.apache.arrow.arrow-format 版本更新從 18.2.0 到 18.3.0
- org.apache.arrow.arrow-memory-core 從版本 18.2.0 更新至 18.3.0
- org.apache.arrow.arrow-memory-netty 從 18.2.0 到 18.3.0
- org.apache.arrow.arrow-memory-netty-buffer-patch 從 18.2.0 更新到 18.3.0
- org.apache.arrow.arrow-vector版本從18.2.0更新至18.3.0
- org.apache.avro.avro 從 1.12.0 到 1.12.1
- org.apache.avro.avro-ipc 從 1.12.0 到 1.12.1
- org.apache.avro.avro-mapred 從 1.12.0 到 1.12.1
- org.apache.commons.commons-collections4 從 4.4 到 4.5.0
- org.apache.commons.commons-compress 從 1.27.1 到 1.28.0
- org.apache.commons.commons-lang3 從 3.17.0 到 3.19.0
- org.apache.commons.commons-text 從 1.13.0 到 1.14.0
- org.apache.curator.curator-client 從 5.7.1 到 5.9.0
- org.apache.curator.curator-framework 從 5.7.1 到 5.9.0
- org.apache.curator.curator-recipes 從 5.7.1 到 5.9.0
- org.apache.datasketches.datasketches-java 從 6.1.1 到 6.2.0
- org.apache.hadoop.hadoop-client-runtime 版本從 3.4.1 更新到 3.4.2
- org.apache.orc.orc-core 從 2.1.1-shaded-protobuf 到 2.2.0-shaded-protobuf
- org.apache.orc.orc-format 從 1.1.0-shaded-protobuf 到 1.1.1-shaded-protobuf
- org.apache.orc.orc-mapreduce 從 2.1.1-shaded-protobuf 到 2.2.0-shaded-protobuf
- org.apache.orc.orc-shims 從 2.1.1 到 2.2.0
- org.apache.xbean.xbean-asm9-shaded 版本從 4.26 更新至 4.28
- org.apache.zookeeper.zookeeper 從 3.9.3 到 3.9.4
- org.apache.zookeeper.zookeeper-jute 從 3.9.3 到 3.9.4
- org.eclipse.jetty.jetty-client 從 9.4.53.v20231009 到 10.0.26
- org.eclipse.jetty.jetty-http 從 9.4.53.v20231009 到 10.0.26
- org.eclipse.jetty.jetty-io 從 9.4.53.v20231009 到 10.0.26
- org.eclipse.jetty.jetty-jndi 從 9.4.53.v20231009 到 10.0.26
- org.eclipse.jetty.jetty-plus 版本從 9.4.53.v20231009 更新為 10.0.26
- org.eclipse.jetty.jetty-proxy 從 9.4.53.v20231009 到 10.0.26
- org.eclipse.jetty.jetty-security 從 9.4.53.v20231009 到 10.0.26
- org.eclipse.jetty.jetty-server from 9.4.53.v20231009 to 10.0.26
- org.eclipse.jetty.jetty-servlet 從 9.4.53.v20231009 到 10.0.26
- org.eclipse.jetty.jetty-servlets 自 9.4.53.v20231009 升級至 10.0.26
- org.eclipse.jetty.jetty-util 版本從 9.4.53.v20231009 更新至 10.0.26
- org.eclipse.jetty.jetty-webapp 從版本 9.4.53.v20231009 升級至版本 10.0.26
- org.eclipse.jetty.jetty-xml from 9.4.53.v20231009 to 10.0.26
- org.mlflow.mlflow-spark_2.13 從 2.9.1 到 2.22.1
- org.objenesis.objenesis 從 3.3 到 3.4
- org.scala-lang.modules.scala-xml_2.13 從 2.3.0 到 2.4.0
Apache Spark
Databricks Runtime 18.0(測試版)包含 Apache Spark 4.0.0。 此版本包含前一版本中所有 Spark 的修正與改進,以及以下額外的錯誤修正與對 Spark 的改進:
- SPARK-54536 Shuffle fetchWaitTime 缺少收集建立客戶端/等待成本
- SPARK-54534 將與 Hive 相關的舊有錯誤代碼遷移至適當的錯誤條件
-
SPARK-54565SparkBuildInfo 應該從自己的 classloader 載入
spark-version-info.properties - SPARK-54533 將 ExecutorSource.METRIC_RESULT_SIZE 指標設定為正確的值
- SPARK-54478 重新啟用 Connect 相容測試 CI 的串流測試
-
SPARK-54552 修正
SparkConnectResultSet.getString以處理 BINARY 資料型別並使用UTF_8 - SPARK-54501 改善 Hive 元儲存區分割過濾器失效的錯誤處理
-
SPARK-54550優雅地握住
ConnectExceptionSparkConnectStatement.close() -
SPARK-54020 支援
spark.sql(...)Spark 宣告式管線查詢函式中的 Python API - SPARK-53127 修正所有與無限制遞迴和CTE正規化相關的問題
- SPARK-50072 在區間解析中處理大值的 ArithmeticException
-
SPARK-54299 修正錯誤的範例查詢
WindowGroupLimit - SPARK-54505 修正 makeNegative 中 createMetrics 呼叫的參數順序
-
SPARK-54462 加入
SupportsV1OverwriteWithSaveAsTable混合因子TableProvider - SPARK-54540 Connect JDBC 驅動程式的幾個小修正
-
SPARK-54508更穩健地解決
spark-pipelines檔案路徑的問題spec - SPARK-54087 Spark Executor 啟動任務失敗,應該回傳任務終止訊息
-
SPARK-53797 修正
FileStreamSource.takeFilesUntilMaxzipWithIndex以避免indices使用 - SPARK-54418 修正錯誤訊息與程式碼格式
- SPARK-54114 支援 SparkConnectDatabaseMetaData 的 getColumns功能
- SPARK-54209 支援 SparkConnectResultSet 中的 TIMESTAMP 類型
- SPARK-54208 支援 SparkConnectResultSet 中的 TIME 類型
- SPARK-54528 關閉 URLClassLoader 急切避免 OOM
-
SPARK-54464 移除重複
output.reserve通話assembleVariantBatch - SPARK-53635 支援 Scala UDFs,其輸入參數類型為 Seq[Row]
- SPARK-54493 修正 MapType 的 assertSchemaEqual
- SPARK-52515 測試approx_top_k時旗幟開啟與關閉
- SPARK-54413 將 Bootstrap v4.4.1 升級至 v4.6.2
-
SPARK-54497 應用
functools.lru_cache於轉換器暫存記憶體 - SPARK-54306 用變體邏輯類型註解來註解變體欄位
- SPARK-54350 SparkGetColumnsOperation ORDINAL_POSITION 應該是基於 1 的
- SPARK-54130 新增詳細的目錄斷言錯誤訊息
- SPARK-54220 Parquet 中的 NullType/VOID/UNKNOWN 類型支援功能
- SPARK-54163 掃描規範化以進行分割與排序資訊
- SPARK-54377 修正 COMMENT ONTABLE IS NULL 以正確移除表格註解
- SPARK-52767 優化 maxRows 與 maxRowsPerPartition 以實現連接與合併
- SPARK-54063 當上傳延遲時,觸發下一批的快照
- SPARK-54384 更新 BatchedSerializer 的 _batched 方法
-
SPARK-54378從模組中移除
CreateXmlParser.scalacatalyst - SPARK-53103 還原「[SC-204946][ss] 如果查詢啟動時狀態目錄不是空的,則拋出錯誤」
- 火花-53103 如果查詢啟動時狀態目錄不是空的,則擲回錯誤
-
SPARK-54397 使
UserDefinedType支援雜湊 -
SPARK-54440 給預設的管線規格檔取更成語的名稱,
spark-pipeline.yml - SPARK-54324 新增客戶端使用者上下文擴充功能測試
- SPARK-54456 匯入 worker 模組至 fork 後以避免死結
-
SPARK-54427允許 ColumnarRow 以變體類型呼叫
copy -
SPARK-54136 將計劃合併邏輯從
MergeScalarSubqueries抽取到PlanMerger - SPARK-54389 修正 RocksDB 狀態儲存庫無效印記錯誤,當任務在初始化時被標記為失敗
- SPARK-54346 引入狀態重分割 API 與重分割執行器
- SPARK-53809 新增 DataSourceV2ScanRelation 的標準化
- SPARK-54280 要求管線檢查點儲存指令必須是絕對路徑
- SPARK-54206 支援 SparkConnectResultSet 中的 BINARY 類型資料
- SPARK-54319 BHJ LeftAnti 在停用 codegen 時,numOutputRows 更新錯誤
-
SPARK-54355 使
spark.connect.session.planCompression.defaultAlgorithm支援NONE - SPARK-54341 記住透過 TableProvider 載入資料表時的 TimeTravelSpec
- SPARK-54280 還原「[SC-212148][sdp] 要求管線檢查點儲存目錄為絕對路徑」
- SPARK-54354 修復當 JVM 堆積記憶體不足以進行廣播雜湊關係時,Spark 會當機的問題
- SPARK-54439 KeyGroupedPartitioning 與 join 鍵大小不匹配
- SPARK-54280 要求管線檢查點儲存指令必須是絕對路徑
- SPARK-54395 RemoteBlockPushResolver 類別會反覆初始化 ObjectMapper
- SPARK-54207 支援 SparkConnectResultSet 中的日期類型資料
-
SPARK-54182 優化非箭頭轉換
df.toPandas - SPARK-54312 避免在獨立工作者中反覆排程 SendHeartbeat/WorkDirClean 的任務
-
SPARK-54394 將
isJavaVersionAtMost17與isJavaVersionAtLeast21從core移動到common/utils - SPARK-53927 升級 kinesis 客戶端
- SPARK-54358 當不同結構中的串流資料表名稱相同時,檢查點的 dir 會發生碰撞
-
SPARK-54310 還原「[SC-212003][sql] 新增
numSourceRowsmetric forMergeIntoExec” -
SPARK-54310 新增
numSourceRows指標MergeIntoExec - SPARK-53322 僅在可完全下推連接鍵位置時選擇 KeyGroupedShuffleSpec
- SPARK-54270 SparkConnectResultSet get* 方法應該呼叫 checkOpen,並檢查索引邊界
- SPARK-53849 更新 netty 和 netty tc 原生模組
- SPARK-54205 支援 SparkConnectResultSet 中的十進位型別資料
- SPARK-54417 修正標量子查詢在 IDENTIFIER 子句中的錯誤訊息
- SPARK-54113 支援 SparkConnectDatabaseMetaData 的 getTables
- SPARK-54303 標準化錯誤條件 MISSING_CATALOG_ABILITY
- SPARK-54153 支援基於迭代器的 Python UDF 性能分析
- SPARK-54349 稍微重構程式碼以簡化 faulthandler 整合擴充
- SPARK-54317 Unify Arrow 的 Classic 轉換邏輯與 Connect toPandas
- SPARK-54339 修正屬性圖非確定性
- SPARK-54112 支援 SparkConnectDatabaseMetaData 的 getSchemas 功能
- SPARK-54180 重寫 BinaryFileFormat 的 toString 方法
- SPARK-54213 從 Spark Connect 中移除 Python 3.9
- SPARK-54215 在 FilePartition 中新增 SessionStateHelper 特性
- SPARK-54115 在執行緒傾印頁面中,逐步提升連接伺服器操作執行緒的顯示順序優先順序
- SPARK-54193 已棄用的 spark.shuffle.server.finalizeShuffleMergeThreadsPercent
- SPARK-54149 盡可能啟用尾部遞迴
- SPARK-54185 已棄用的 spark.shuffle.server.chunkFetchHandlerThreadsPercent 配置項
- SPARK-54056 解決 Catalog 中 SQLConf 設定的替代問題
- SPARK-54147 在 BaseScriptTransformationExec 中預設將 OMP_NUM_THREADS 設為 spark.task.cpus
- SPARK-54229 讓 UDF 中的 PySparkLogger 在每個日誌函式呼叫中儲存一個日誌條目
- SPARK-53337 XSS:確保歷史頁中的應用程式名稱逃逸
- SPARK-54229 還原「[SC-211321][python] 讓 UDF 中的 PySparkLogger 在每個日誌函式呼叫中儲存一個日誌條目」
- SPARK-54373 放大作業DAG初始化時的SVG viewBox屬性
- SPARK-54323 將存取日誌的方式改成 TVF 而非系統檢視
- SPARK-54229 讓 UDF 中的 PySparkLogger 在每個日誌函式呼叫中儲存一個日誌條目
- SPARK-53978 支援駕駛側工作人員登入
- SPARK-54146 清理已棄用的 Jackson API 的使用情況
- SPARK-54383 新增預先計算的結構變體給 InternalRowComparableWrapper util
- SPARK-54030 新增使用者友善的聲明訊息以防檢視元資料損毀
- SPARK-54144 短路計算類型推斷
- SPARK-54030 還原「[SC-210301][sql] 新增使用者友善的斷言訊息以處理檢視元資料損毀」
- SPARK-54028 更改與 Hive 不相容的視圖時,請使用空結構
- SPARK-54030 新增使用者友善的聲明訊息以防檢視元資料損毀
-
SPARK-54085 修正
initialize後會新增CREATE選項DriverRunner - SPARK-53482MERGE INTO 支援當來源的巢狀欄位比目標少時
- SPARK-53905 重構 RelationResolution 以促進程式碼重用
- SPARK-53732 記得 DataSourceV2Relation 中的 TimeTravelSpec
- SPARK-54014 支援 SparkConnectStatement 的最大列數
- SPARK-50906 修正 Avro 重組結構欄位的空檔檢查
- SPARK-54396 在 Dataframe.toArrow 中優化 Py4J 呼叫
- SPARK-54344 如果在 daemon.py 中刷新失敗,則終止工作程序。
- SPARK-53977 支援 UDTF 中的記錄功能
- SPARK-52515 重新應用「[SC-199815][sql] 新增 approx_top_k 函式」
- SPARK-54340 新增在 pyspark daemon/workers 上使用 viztracer 的功能
-
SPARK-54379 將 lambda 綁定移到獨立
LambdaBinder物件 - SPARK-54029 新增詳細的錯誤訊息,以說明資料表元資料損毀,以便除錯
- SPARK-54002 支援將 BeeLine 與 Connect JDBC 驅動程式整合
-
SPARK-54336 修正
BloomFilterMightContain輸入類型檢查ScalarSubqueryReference - SPARK-53406 避免不必要的隨機切換,直接穿透 Shuffle ID
- SPARK-54347 在經典資料框架中優化 Py4J 呼叫
- SPARK-54062 MergeScalarSubqueries 程式碼清理
- SPARK-54054 支援 SparkConnectResultSet 的行位置
-
SPARK-54330 優化 Py4J 調用
spark.createDataFrame - SPARK-54332 在 rollup/cube/groupingSets 的分組欄位名稱中不需要附加 PlanId。
- SPARK-53976 支援在 Pandas/Arrow UDF 中登入
- SPARK-54123 加入時區,讓時間戳記變成絕對時間
- SPARK-54356 修復因缺少儲存根結構而導致的 EndToEndAPISuite
- SPARK-54292 支援聚合函數及 GROUP BY |>SELECT 管道操作符 (#180106) (#180368)
- SPARK-54376 將大多數管線配置選項標記為內部
- SPARK-53975 新增基本的 Python 工作者日誌支援
- SPARK-54361 將 Spark 版本修正為 spark.sql.parser.singleCharacterPipeOperator.enabled 的預期值 4.2.0
- SPARK-51518 支援使用 | 作為 SQL 管線運算子令牌的替代方案>
- SPARK-53535 修正遺失結構總是被假設為空函數的問題
- SPARK-54294 正規化連接伺服器顯示的 IP 位址
- SPARK-52439 支援檢查約束,且為空值
-
SPARK-54352 引入
SQLConf.canonicalize以集中字串正規化 - SPARK-54183 還原 還原 「[SC-211824][python][CONNECT] 在 spark 連接 Pandas()時避免出現一個中間溫度資料框」
- SPARK-53573IDENTIFIER 無處不在
- SPARK-53573 允許在各處合併字串字面值
- SPARK-54240 將「獲取陣列項目」的 catalyst 表達式轉換為 connector 表達式。
-
SPARK-54334 將子查詢表達式在 lambda 及高階函數下的驗證移至
SubqueryExpressionInLambdaOrHigherOrderFunctionValidator - SPARK-54183 還原「[SC-211824][python][CONNECT] 在 spark 連接 pandas() 時避免出現一個中間溫度資料幀」
- SPARK-54183 在 Spark 連接至 Pandas 的過程中,避免出現一個中間暫存資料幀。
- SPARK-54264 DeDup 運算子可以使用 RocksDB 的 keyExists()
-
SPARK-54269 Python 3.14 升級
cloudpickle至 3.1.2 -
SPARK-54300 優化 Py4J 呼叫
df.toPandas - SPARK-54307 如果串流查詢以 stateful op 重新啟動,但 state dir 是空的,則會丟出錯誤
- SPARK-54117 提出更好的錯誤提示,以指出 TWS 僅支援使用 RocksDB 狀態儲存提供者
- SPARK-53917 支持大型地方關係——後續
-
SPARK-54275 清理模組中
pipeline未使用的程式碼 -
SPARK-54287 新增 Python 3.14 支援,
pyspark-client且pyspark-connect -
SPARK-53614 新增
Iterator[pandas.DataFrame]支援applyInPandas - SPARK-54191 一次性加入 Defineflow Proto
- SPARK-54234 不需要在 df.groupBy 的欄位名稱分組時附加 PlanId。
- SPARK-54231 填補 SDP 文件中的空白
- SPARK-54199 新增 DataFrame API 支援新的 KLL 分位數草圖函數(#178526)
- SPARK-52463 重新套用「[SC-211221][sdp] 在 Python Pipelines API 中新增對 cluster_by 的支援」
- SPARK-52463 還原「[SC-211221][sdp] 在 Python Pipelines API 中新增對 cluster_by 的支援」
- SPARK-53786 預設值帶有特殊欄位名稱,不應與真實欄位衝突
- SPARK-54200 更新 KafkaConsumerPoolRealTimeModeSuite 以使用 groupIdPrefix 來確保併發運行的安全性。
- SPARK-52463 在 Python Pipelines API 中新增對 cluster_by 的支援
-
SPARK-52509 在
RemoveShuffle事件時從備用儲存清理個別分區 - SPARK-54187 重新套用「[SC-211150][python][CONNECT] 在 toPandas 裡批量取得所有設定」
- SPARK-53942 支援在串流查詢重新啟動時更改無狀態洗牌分割區
- SPARK-52515 還原「[SC-199815][sql] 新增approx_top_k函式」
- SPARK-52515 新增approx_top_k函數
-
SPARK-54078 新測試
StateStoreSuite SPARK-40492: maintenance before unload並移除舊測試的基礎架構 - SPARK-54178 改善 ResolveSQLOnFile 的錯誤
-
SPARK-53455 新增
CloneSessionRPC - SPARK-54178 還原「[SC-211111][sql] 改善 ResolveSQLOnFile 錯誤」
-
SPARK-53489 移除在
v2ColumnsToStructType中使用ApplyDefaultCollationToStringType - SPARK-54178 改善 ResolveSQLOnFile 的錯誤
- SPARK-54187 還原「[SC-211150][python][CONNECT] 在 toPandas 中批量取得所有設定」
- SPARK-53942 還原「[SC-209873][ss] 支援在串流查詢重新啟動時更改無狀態洗牌分割區」
- SPARK-54187 在 toPandas 裡批量取得所有設定檔
- SPARK-54145 修正數值聚合中的巢狀類別欄位檢查
- SPARK-53942 支援在串流查詢重新啟動時更改無狀態洗牌分割區
- SPARK-53991 基於 DataSketches (#178089) (#178234) 為 KLL 分位數函數新增 SQL 支援
- SPARK-53128 在執行記憶體 OOM 之前,將未管理的記憶體位元組納入使用記錄中
- SPARK-53731 更新迭代器 API 的型別提示
-
SPARK-53967 避免在 pandas 中建立中間的資料框
df.toPandas -
SPARK-53455 還原「[SC-208758][connect] 新增
CloneSessionRPC」 - SPARK-54108 修訂 SparkConnectStatement 的執行方法
- SPARK-54052 新增橋接物件以繞過 Py4J 的限制
- SPARK-54128 在 Spark Connect 伺服器中,使用適當的錯誤類別將 IllegalArgumentException 轉換為 SparkException
- SPARK-53880 透過在 PushVariantIntoScan 中新增 SupportsPushDownVariants 來修正 DSv2
- SPARK-54111 支援 getCatalogs 用於 SparkConnectDatabaseMetaData
-
SPARK-53455 新增
CloneSessionRPC - SPARK-54118 當 ListState 有多個值時,改進 put/merge 操作
- SPARK-54038 支援 SparkConnectDatabaseMetaData 的 getSQLKeywords 功能
- SPARK-54013 實作 SparkConnectDatabaseMetaData 簡單方法
- SPARK-53934 初始實作 Connect JDBC 驅動程式
- SPARK-53959 當從帶有索引但沒有資料的 pandas 資料框建立資料框時,會丟出客戶端錯誤
- SPARK-53573 還原「[SC-210255][sql] 允許所有地方合併字串字面量」
- SPARK-54094 將常見方法擷取至 KafkaOffsetReaderBase
- SPARK-53573 允許在各處合併字串字面值
- SPARK-54039 將 TaskContext 資訊加入 KafkaDataConsumer release() 日誌,以便更好地除錯
- SPARK-54031 新增用於分析邊緣案例的黃金檔案測試
-
SPARK-54067 改進
SparkSubmit,使其以根本原因調用exitFn,而不是SparkUserAppException - SPARK-54047 在閒置超時事件中使用差異錯誤
-
SPARK-54078 修正 StateStoreSuite 的不穩定性
SPARK-40492: maintenance before unload - SPARK-54061 將 IllegalArgumentException 用正確的錯誤代碼包裝,以表示無效的日期和時間格式模式
- SPARK-54031 還原「[SC-210084][sql] 新增分析邊緣案例的黃金檔案測試」
-
SPARK-54075 讓
ResolvedCollation可評估 - SPARK-54001 利用引用計數的快取本地關係,優化會話克隆中的記憶體使用率
- SPARK-54031 新增用於分析邊緣案例的黃金檔案測試
-
SPARK-53923 重新命名
spark.executor.(log -> logs).redirectConsoleOutputs -
SPARK-54007 請使用 Java
Set.of代替Collections.emptySet - SPARK-53755 在 BlockManager 中新增日誌支援
- SPARK-54041 重構 ParameterizedQuery 的參數驗證
- SPARK-53696 PySpark 的 BinaryType 預設設為位元組
- SPARK-53921 將 GeometryType 與 GeographyType 引入 PySpark API
-
SPARK-53788將 VersionUtils 移到 module。
common - SPARK-53999 BSD/MacOS 上的原生 KQueue 傳輸支援
- SPARK-54021 在 Catalyst 中實作地理與幾何存取器
- SPARK-53921 還原「[SC-209482][geo][PYTHON] 將 GeometryType 與 GeographyType 引入 PySpark API」
- SPARK-53920 將 GeometryType 與 GeographyType 引入 Java API
- SPARK-53610 在 CoGrouped applyInPandas 和 applyInArrow 中限制 Arrow 的批次大小
- SPARK-53659 寫入 Parquet 時推斷變體分解模式
- SPARK-53922 引入物理幾何與地理類型
- SPARK-54059 如果使用 ZGC 或 ShenandoahGC 和 ON_HEAP,請將預設頁面大小減少LONG_ARRAY_OFFSET
- SPARK-53921 將 GeometryType 與 GeographyType 引入 PySpark API
-
SPARK-54048 更新
dev/requirements.txt以安裝torch(vision)於 Python 3.14 - SPARK-53917 支持大型地方關係
- SPARK-53760 介紹 GeometryType 與 GeographyType
-
SPARK-53530 清理那些無用的程式碼
TransformWithStateInPySparkStateServer - SPARK-53636 修正 SortShuffleManager.unregisterShuffle 中的執行緒安全問題
- SPARK-52762 新增 PipelineAnalysisContext 訊息以支援 Spark Connect 查詢執行時的管線分析
- SPARK-53631 在 SHS bootstrap 上優化記憶體與效能
- SPARK-53857 啟用訊息模板的傳播至 SparkThrowable
- SPARK-53891 Model DSV2 提交寫入摘要 API
- SPARK-53966 新增工具函數以偵測 JVM GC
- SPARK-53149 修正測試 BeeLine 程序是否在背景執行
- SPARK-53738 修正當查詢輸出包含可摺疊排序時的計劃寫入
-
SPARK-53949使用
Utils.getRootCause而不是Throwables.getRootCause - SPARK-53696 回復「[SC-209330][python][CONNECT][sql] 在 PySpark 中將 BinaryType 預設為 bytes」
- SPARK-53804 支援 TIME 基數排序
- SPARK-54004 依名稱修正解快取資料表,避免層疊處理
-
SPARK-53261 用 Java
String.join|StringJoiner代替 GuavaJoiner - SPARK-53319 以try_make_timestamp_ltz() 來支持時間類型
-
SPARK-53280 使用 Java
instanceof代替Throwables.throwIf*方法 - SPARK-53696 PySpark 的 BinaryType 預設設為位元組
-
SPARK-53258 使用
JavaUtils的check(Argument|State) -
SPARK-53773 恢復規則的字母排序
RuleIdCollection -
SPARK-53256 晉升
check(Argument|State)至JavaUtils - SPARK-54008 跳過 QO 為 DESCRIBE QUERY
- SPARK-53573 使用預處理器進行一般化參數標記處理
-
SPARK-53980 新增
SparkConf.getAllWithPrefix(String, String => K)API -
SPARK-54009 撐
spark.io.mode.default - SPARK-51903 在新增 CHECK 約束時驗證資料
- SPARK-53573 還原「[SC-209126][sql] 使用預處理器進行一般化參數標記處理」
- SPARK-53573 使用預處理器進行一般化參數標記處理
- SPARK-53573 還原「[SC-209126][sql] 使用預處理器進行一般化參數標記處理」
- SPARK-53956 於 PySpark 的 try_make_timestamp 函式中支持 TIME
- SPARK-53930 在 PySpark 的 make_timestamp 函式中支援 TIME
- SPARK-53573 使用預處理器進行一般化參數標記處理
- SPARK-53564 避免因 DAGSchedulerEventProcessLoop 中 blockManager RPC 逾時而導致 DAGScheduler 退出
-
SPARK-53879 升級
Ammonite至 3.0.3 版本 - SPARK-53938 修正 LocalDataToArrowConversion 中的十進位重新縮放
- SPARK-53845 SDP 匯聚端
- SPARK-53908 用計畫快取修正 Spark Connect 上的觀察值
-
SPARK-53841在欄位 API 中實作
transform() - SPARK-53929 在 Scala 中的 make_timestamp 和 try_make_timestamp 函數中支援 TIME
- SPARK-53902 在參數列表中為支援的表達式新增樹狀節點模式位元。
- SPARK-53064 在 Java 中重寫 MDC LogKey
- SPARK-53762 在優化器中新增日期與時間轉換簡化規則
- SPARK-53916 在 PythonArrowInput 中移除變數
SPARK-53690 修正 Kafka 資源物件- SPARK-53789 標準化錯誤條件CANNOT_MODIFY_STATIC_CONFIG
- SPARK-53720 簡化從 DataSourceV2Relation 提取資料表 (#52460)
-
SPARK-45530 使用
java.lang.ref.Cleaner取代finalize用於NioBufferedFileInputStream - SPARK-53789 還原「[SC-208902][sql][CONNECT] 正標準化錯誤條件 CANNOT_MODIFY_STATIC_CONFIG」
- SPARK-53789 標準化錯誤條件CANNOT_MODIFY_STATIC_CONFIG
- SPARK-53111 在 PySpark 中實作 time_diff 函式
-
SPARK-53896預設啟用
spark.io.compression.lzf.parallel.enabled -
SPARK-53856 移除
denylist替代設定名稱 - SPARK-53611 在視窗聚合 UDF 中限制 Arrow 批次大小
- SPARK-53575 當偵測到校驗和不符時,重試整個消費者階段以重新嘗試洗牌地圖任務
- SPARK-53867 限制 Arrow 的批量尺寸SQL_GROUPED_AGG_ARROW_UDF
- SPARK-53877 引入BITMAP_AND_AGG函數
- SPARK-51426 修正「將元資料設為空字典不發揮作用」
- SPARK-53868 在 V2ExpressionBuilder 中使用陣列長度檢查,取代直接的參考檢查
- SPARK-53609 在 SQL_GROUPED_AGG_PANDAS_UDF 中限制 Arrow 批次的大小
-
SPARK-53892 使用
DescribeTopicsResult.allTopicNames取代已棄用的allAPI - SPARK-53878 修正與 ObservedMetrics 相關的競賽條件問題
-
SPARK-53796 將
extension欄位加入少數管線原型中,以支援前向相容性 - SPARK-53850 定義接收器的 proto,並將 DefineDataset 改名為 DefineOutput
- SPARK-53812 重構 DefineDataset 和 DefineFlow 協議,將相關屬性歸類並符合未來的需求
- SPARK-53870 修正 TransformWithStateInPySparkStateServer 中大型原始訊息的部分讀取錯誤
- SPARK-53751 明確指定的版本檢查點位置
- SPARK-52407 新增對 Theta Sketch (#171135) 的支援
-
SPARK-53779在欄位 API 中實作
transform() -
SPARK-49547 將 API 的迭代器
RecordBatch加入applyInArrow - SPARK-53802 支援 SDP 表格中使用者自訂結構的字串值
- SPARK-53865 從 ResolveGenerate 規則中擷取共用邏輯
- SPARK-53113 請以 try_make_timestamp() 來支持時間類型
-
SPARK-53868 僅在 V2ExpressionSQBuilder 中使用帶有 Expression[]
visitAggregateFunction的簽名 - SPARK-53792 修正 rocksdbPinnedBlocksMemoryUsage 當記憶體被限制時 ...
-
SPARK-53248 支援
checkedCast在JavaUtils - SPARK-52640 傳播 Python 原始碼位置
- SPARK-52924 支援ZSTD_strategy壓縮策略
- SPARK-53562 重新套用「[SC-207233][python] 在 applyInArrow 和 applyInPandas 中限制箭頭批次大小」
- SPARK-51272 中止部分已完成的非確定結果階段,而非在 ResubmitFailedStages 繼續執行
- SPARK-53795 移除 LiteralValueProtoConverter 中的未使用的參數
-
SPARK-53808 允許可選擇的 JVM args 傳遞至
spark-connect-scala-client - SPARK-52614 在產品編碼器內支援 RowEncoder
-
SPARK-53833 更新
dev/requirements.txt:跳過torch/torchvisionPython 3.14 - SPARK-53715 重構 MergeIntoTable 的 getWritePrivileges
-
SPARK-53516 修正
spark.api.modeSparkPipelines 中的 arg 流程 - SPARK-53507 不要用 BreakingChangeInfo 的 case 類別
-
SPARK-53645 為 PS 實作
skipna參數。資料框架any() -
SPARK-53717 更正確地修正
MapType.valueContainsNull參數評論 -
SPARK-53700 移除冗餘
DataSourceV2RelationBase.simpleString - SPARK-53667針對EXPLAIN的CALL修正IDENTIFIER
-
SPARK-53562 還原「[SC-207233][python] 限制 Arrow 批次大小在
applyInArrow和applyInPandas」 - SPARK-51169 在 Spark Classic 中加入 Python 3.14 支援
-
SPARK-53562 限制箭頭批次大小 在
applyInArrow和applyInPandas - SPARK-53806 允許 AES 解密時的空輸入具有錯誤類別
- SPARK-51756 在 ShuffleWriters 中計算 RowBasedChecksum
- SPARK-52807 初步變更以支援宣告式管線查詢函式中的分析
- SPARK-53728 列印管線事件訊息(測試中錯誤)
- SPARK-53207 非同步傳送管線事件給用戶端
-
SPARK-53829欄位運算子中的支援
datetime.time - SPARK-53638 限制 TWS 箭頭批次的位元組大小以避免 OOM
- SPARK-53593 修正:回應欄位請使用未引號
- SPARK-53734 解析陣列索引時,偏好使用表格欄位而非 LCA
- SPARK-53593 新增 DefineDataset 與 DefineFlow RPC 的回應欄位
- SPARK-53734 還原「[SC-207697][sql] 解析陣列索引時偏好使用表格欄位而非 LCA」
- SPARK-53621 新增對執行 CONTINUE HANDLER 的支援
- SPARK-53734 解析陣列索引時,偏好使用表格欄位而非 LCA
- SPARK-53507 新增重大變更資訊到錯誤中
- SPARK-53707 改善屬性元資料處理。
- SPARK-53629實作 WITH MERGE INTO EVOLUTION 的SCHEMA型別寬化
-
SPARK-53719 加強功能上的型別檢查
_to_col - SPARK-53735 預設隱藏「spark-pipelines」輸出中的伺服器端 JVM 堆疊追蹤
- SPARK-53651 新增對管線中持久視圖的支援
- SPARK-53678 當 ColumnVector 的子類別以 null DataType 建立時,修正 NPE
- SPARK-46679 SparkUnsupportedOperationException 的修正 在使用 Parameterized 類時,未找到型別 T 的編碼器
- SPARK-53444 重做 立即執行 重做 立即執行
- SPARK-53578 簡化 LiteralValueProtoConverter 中的資料型別處理
- SPARK-53438 在 LiteralExpressionProtoConverter 中使用 CatalystConverter
- SPARK-53444 還原「[SC-206535][sql][CORE] 重工 立即執行 重工 立即執行」
- SPARK-53444 重做 立即執行 重做 立即執行
- SPARK-53112 在 PySpark 的 make_timestamp_ntz 與 try_make_timestamp_ntz 函數中支援 TIME
- SPARK-53492 拒絕使用已完成的作業識別碼來執行第二個 ExecutePlan
- SPARK-52772 前向修復黃金檔案
- SPARK-53591 簡化管道規範的全域模式匹配
- SPARK-53553 修復 LiteralValueProtoConverter 處理 null 值的問題
- SPARK-52772 更新時資料表屬性處理不一致
- SPARK-53544 觀測中支援複雜類型
- SPARK-53357 更新
pandas至 2.3.2 - SPARK-53402 支援 Scala 中 Spark Connect 的直接透傳分區數據集 API
- SPARK-53372 SDP 端到端測試套件
- SPARK-53402 還原「[SC-206163][connect] 支援 Spark Connect 在 Scala 中的直接傳遞區分資料集 API」
- SPARK-53402 支援 Scala 中 Spark Connect 的直接透傳分區數據集 API
-
SPARK-53233使程式碼使用正確的套件名稱
streaming相关代码 -
SPARK-53233 還原「[SC-203716][sql][SS][mllib][CONNECT] 使與
streaming相關的程式碼使用正確的套件名稱」 -
SPARK-53233使程式碼使用正確的套件名稱
streaming相关代码 - 在 TransformWithStateInPySparkStateServer 中,於 outputStream.flush 時捕獲中斷例外,以避免工作程序崩潰SPARK-53561
-
SPARK-53486 避免設定
weights_only=False在火炬模型負載中 - SPARK-53391 移除未使用的 PrimitiveKeyOpenHashMap
- Spark 52431 宣告式管線執行環境的最後潤色
- SPARK-52980 支援 Arrow Python UDTFs
- SPARK-53453 解除封鎖「torch<2.6.0」
- SPARK-52582 重新合併「[SC-199314][SC-204581][SQL] 改善 XML 解析器的記憶體使用率」
- SPARK-52582 還原「[SC-199314][sc-204581][SQL] 改善 XML 解析器的記憶體使用率」
- 火花-52582 改善XML解析器的記憶體使用率
- SPARK-51906 alter table add columns 中的 Dsv2 表达式
-
SPARK-53150 改進
list(File|Path)s以處理不存在的輸入、非目錄的輸入和符號連結的輸入 -
SPARK-53091 禁
org.apache.commons.lang3.Strings - SPARK-52844 將 numpy 更新到 1.22
- 改進SPARK-52912
SparkStringUtils以支持is(Not)?(Blank|Empty) - Spark-52877 提高 Python UDF Arrow 序列化器效能
- SPARK-52877 還原「[SC-201914][python] 提升 Python UDF Arrow 序列化器效能」
- SPARK-52238 Python 用於宣告式管線的客戶端
- Spark-52877 提高 Python UDF Arrow 序列化器效能
- 火花-53287 新增 ANSI 移轉指南
- 火花-52110 實作管線的 SQL 語法支援
-
SPARK-52897 更新
pandas至 2.3.1 - SPARK-52451 還原「[SC-202894][connect][SQL] 讓 SparkConnectPlanner 中的 WriteOperation 免除副作用」
- SPARK-52976 修正 Python UDF 不接受整合字串作為輸入參數/返回類型的問題
- SPARK-52904 預設將 convertToArrowArraySafely 啟用
- SPARK-52821 新增 int-DecimalType> pyspark udf 傳回類型強制
- 火花-52971限制閒置的 Python 背景工作角色佇列大小
- 火花-53013修正箭頭最佳化的 Python UDTF 在橫向聯結時不傳回任何資料列的問題
- 火花-51834同步OSS:支援端對端表約束改變加/丟約束
- 火花-52675 中斷測試中掛起的 ML 處理常式
- 火花-52959支援箭頭最佳化 Python UDTF 中的 UDT
- SPARK-52961 修正 Arrow 優化的 Python UDTF 在橫向連接時的 0-arg 評估
- SPARK-52949 避免在 Arrow 優化的 Python UDTF 中,RecordBatch 和 Table 之間的來回轉換。
- SPARK-52946 修正經 Arrow 優化的 Python UDTF 以支援大型變數類型
- SPARK-52934 允許以 Arrow 優化的 Python UDTF 產生純量值
- SPARK-52861 在優化的 Arrow UDTF 執行中跳過創建列物件
- 火花-51834同步 OSS 支援具有限制的端對端建立/取代表格
- SPARK-44856 改善 Python UDTF Arrow 序列化器效能
- SPARK-51834 還原「[SQL] 通過新增建構子來修正 TableSpec」
- SPARK-51834 透過新增建構子修正 TableSpec
- SPARK-51834 還原「[SQL] 同步 OSS(部分):支援建立/替換資料表中的端對端資料表約束」
- SPARK-51834 同步 OSS(部分):支援建立/替換資料表中的端對端資料表約束
- 火花-52885 在 Scala 中實作 TIME 類型的小時、分鐘和秒函數
- 火花-51834同步處理 OSS 更新 ResolvedIdentifier 取消套用呼叫
- SPARK-44856 回退「[SC-195808][python] 提升 Python UDTF Arrow 序列化器效能」
- SPARK-51834 還原「[SQL] 將 OSS 更新同步與 ResolvedIdentifier 取消呼叫回傳」
- SPARK-44856 改善 Python UDTF Arrow 序列化器效能
- 火花-51834同步處理 OSS 更新 ResolvedIdentifier 取消套用呼叫
- 火花-52787圍繞運行時間和檢查點區域重組串流執行目錄
- 火花-51695同步 OSS 建立/取代/變更資料表,以透過 DSv2 取得唯一限制
- 火花-51695透過 DSv2 同步處理 OSS 捨棄限制
- 火花-51695引進資料表條件約束的剖析器變更 (CHECK、PK、FK)
- SPARK-51695 還原「[SQL] 引入資料表限制(CHECK、PK、FK)的解析器變更」
- 火花-51695引進資料表條件約束的剖析器變更 (CHECK、PK、FK)
- SPARK-49428 將 Scala 用戶端從連接器移至 SQL
-
SPARK-52422 更新
pandas至 2.3.0 - SPARK-52228 將狀態互動微基準測試整合到 Quicksilver(TCP)
- SPARK-52300 讓 SQL UDTVF 解析度使用一致的設定,並搭配檢視解析度
- SPARK-52228 建立用於基準測試的 TWS 狀態伺服器,包含記憶體中的狀態實例與基準測試程式碼,並以 Python 撰寫
-
SPARK-52174預設啟用
spark.checkpoint.compress - SPARK-52224 引進 pyyaml 作為 Python 客戶端的依賴項
- SPARK-52122 修正 DefaultParamsReader RCE 弱點
- SPARK-51147 將串流相關類別重構至專用串流目錄
- SPARK-51789 在解析 Spark Submission 參數時,請妥善尊重 spark.api.mode 和 spark.remote
- SPARK-51212 根據預設,為Spark Connect新增個別的 PySpark 套件
- SPARK-50762 新增分析器規則以解析 SQL 純量 UDF
-
SPARK-49748 在
getCondition中新增getErrorClass並棄用SparkThrowable - SPARK-50605 支援 SQL API 模式,以便更輕鬆地移轉至 Spark Connect
- SPARK-50458 對於不支援的檔案系統進行正確的錯誤處理當讀取檔案時
- SPARK-49700 統一的 Connect 和傳統版 Scala 介面
- SPARK-51779 使用虛擬欄位家族進行流-流聯結
-
SPARK-51820 在分析之前移動
UnresolvedOrdinal建構,以避免依序列分組的問題 -
SPARK-51814在 PySpark 中引入新的 API
transformWithState - SPARK-51635 合併 PushProjectionThroughLimit 和 PushProjectionThroughOffset
-
SPARK-51165預設啟用
spark.master.rest.enabled - SPARK-51688 在 Python 和 JVM 通訊之間使用 Unix 網域套接字
- SPARK-51503 XML 掃描中的變體類型支援
-
SPARK-50564 將 Python 套件升級
protobuf至 5.29.1 - SPARK-50359 將 PyArrow 升級到 18.0
- SPARK-51340 模型大小估計
-
SPARK-50657 將最低版本
pyarrow升級到 11.0.0 - SPARK-49282 建立共用的SparkSessionBuilder介面。
- SPARK-51371 在 ResolveAggregateFunctions 建立別名時,將 toString 改成 toPrettySQL
- SPARK-50694 支援子查詢中的重新命名
- SPARK-50601 還原「[SC-186342][sql] 支援 withColumns / withColumnsRenamed 於子查詢中」
- SPARK-50601 在子查詢中支援使用 withColumns / withColumnsRenamed
Azure Databricks ODBC/JDBC 驅動程序支援
Azure Databricks 支援在過去 2 年中發行的 ODBC/JDBC 驅動程式。 請下載最近發行的驅動程式和升級 (下載 ODBC,下載 JDBC)。
維護更新
系統環境
- 作業系統:Ubuntu 24.04.3 LTS
- Java:Zulu21.42+19-CA
- Scala:2.13.16
- Python:3.12.3
- R:4.5.1
- Delta Lake:4.0.0
已安裝的 Python 函式庫
| 圖書館 | 版本 | 圖書館 | 版本 | 圖書館 | 版本 |
|---|---|---|---|---|---|
| 註解文檔 | 0.0.3 | 標註類型 | 0.7.0 | anyio | 4.7.0 |
| argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 | arro3-core | 0.6.5 |
| 箭頭 | 1.3.0 | asttokens(Python 資源分析與處理庫) | 3.0.0 | astunparse | 1.6.3 |
| async-lru | 2.0.4 | 屬性 (attrs) | 24.3.0 | 自動指令 | 2.2.2 |
| azure-common | 1.1.28 | Azure 核心功能 (azure-core) | 1.36.0 | azure-identity(Azure 身份驗證服務) | 1.20.0 |
| azure-mgmt-core | 1.6.0 | azure-mgmt-web (Azure 管理網站) | 8.0.0 | azure-storage-blob (Azure 儲存服務 Blob) | 12.27.1 |
| 微軟 Azure 儲存檔案資料湖 (Azure Storage File Data Lake) | 12.22.0 | 巴別塔 | 2.16.0 | backports.tarfile | 1.2.0 |
| beautifulsoup4 | 4.12.3 | 黑色 | 24.10.0 | 漂白劑 | 6.2.0 |
| 閃爍器 | 1.7.0 | boto3 | 1.40.45 | botocore(AWS的Python程式庫) | 1.40.45 |
| cachetools(緩存工具) | 5.5.1 | certifi | 2025.4.26 | cffi | 1.17.1 |
| chardet | 4.0.0 | charset-normalizer(字符集正規化器) | 3.3.2 | 點選 | 8.1.8 |
| cloudpickle(Python 程式庫) | 3.0.0 | 通訊 | 0.2.1 | 「contourpy」 | 1.3.1 |
| 加密 | 44.0.1 | 騎車者 | 0.11.0 | Cython | 3.1.5 |
| Databricks-代理程式 | 1.4.0 | databricks-connect | 17.3.1 | Databricks 開發人員工具集 (SDK) | 0.67.0 |
| dataclasses-json | 0.6.7 | dbus-python | 1.3.2 | debugpy | 1.8.11 |
| 裝飾項目 | 5.1.1 | defusedxml(安全解析XML的Python函式庫) | 0.7.1 | Delta Lake | 1.1.4 |
| Deprecated | 1.2.18 | distlib | 0.3.9 | 將Docstring轉換為Markdown | 0.11 |
| 執行中 | 1.2.0 | facets概覽 | 1.1.1 | fastapi | 0.121.0 |
| fastjsonschema | 2.21.1 | 文件鎖 | 3.18.0 | fonttools (字體工具庫) | 4.55.3 |
| fqdn | 1.5.1 | fsspec | 2023.5.0 | gitdb (Git分散式版本控制資料庫) | 4.0.11 |
| GitPython | 3.1.43 | google-api-core (Google API 核心庫) | 2.28.1 | google-auth(谷歌身份驗證) | 2.43.0 |
| google-cloud-core | 2.5.0 | Google雲端儲存(Google Cloud Storage) | 3.5.0 | google-crc32c | 1.7.1 |
| Google可續媒體 | 2.7.2 | googleapis-common-protos | 1.65.0 | grpcio | 1.67.0 |
| grpcio-status | 1.67.0 | h11 | 0.16.0 | httpcore | 1.0.9 |
| httplib2 | 0.20.4 | httpx | 0.28.1 | IDNA | 3.7 |
| importlib-metadata (匯入庫-元資料) | 6.6.0 | 變調 | 7.3.1 | iniconfig | 1.1.1 |
| ipyflow核心组件 | 0.0.209 | ipykernel | 6.29.5 | ipython | 8.30.0 |
| ipython-genutils(IPython 工具程式庫) | 0.2.0 | ipywidgets | 7.8.1 | isodate | 0.7.2 |
| isoduration | 20.11.0 | jaraco.collections | 5.1.0 | jaraco.context | 5.3.0 |
| jaraco.functools | 4.0.1 | jaraco.text(文字處理工具) | 3.12.1 | jedi | 0.19.2 |
| Jinja2 | 3.1.6 | 抖動 | 0.11.1 | jmespath | 1.0.1 |
| joblib | 1.4.2 | json5 | 0.9.25 | jsonpatch | 1.33 |
| jsonpointer | 3.0.0 | jsonschema | 4.23.0 | JSON Schema 規範 | 2023年7月1日 |
| Jupyter 事件 | 0.12.0 | jupyter-lsp | 2.2.5 | jupyter 客戶端 | 8.6.3 |
| Jupyter核心 | 5.7.2 | jupyter伺服器 | 2.15.0 | Jupyter服務器終端 | 0.5.3 |
| jupyterlab | 4.3.4 | jupyterlab_pygments | 0.3.0 | jupyterlab伺服器 | 2.27.3 |
| jupyterlab_widgets | 1.1.11 | kiwisolver(開源程式庫) | 1.4.8 | langchain-core | 1.0.3 |
| 朗鏈-OpenAI | 1.0.2 | langsmith | 0.4.41 | launchpadlib | 1.11.0 |
| lazr.restfulclient | 0.14.6 | lazr.uri | 1.0.6 | markdown-it-py | 2.2.0 |
| MarkupSafe | 3.0.2 | 棉花糖 | 3.26.1 | matplotlib | 3.10.0 |
| matplotlib-inline | 0.1.7 | 麥卡貝 | 0.7.0 | mdurl | 0.1.0 |
| 米斯圖恩 | 3.1.2 | mlflow-skinny | 3.5.1 | mmh3 | 5.2.0 |
| more-itertools | 10.3.0 | MSAL(Microsoft身份驗證庫) | 1.34.0 | msal-extensions | 1.3.1 |
| mypy-extensions(MyPy 擴充套件) | 1.0.0 | 「nbclient」 | 0.10.2 | nbconvert(文件轉換工具) | 7.16.6 |
| nbformat | 5.10.4 | nest-asyncio | 1.6.0 | nodeenv | 1.9.1 |
| 筆記本 | 7.3.2 | 筆記本支架 | 0.2.4 | numpy(數值計算套件) | 2.1.3 |
| oauthlib (OAuth程式庫) | 3.2.2 | OpenAI公司 | 2.7.1 | opentelemetry-api | 1.38.0 |
| opentelemetry-proto | 1.38.0 | opentelemetry-sdk(OpenTelemetry 軟體開發工具包) | 1.38.0 | OpenTelemetry語意規範 | 0.59b0 |
| orjson | 3.11.4 | 覆蓋 | 7.4.0 | 包裝 | 24.2 |
| 熊貓 | 2.2.3 | pandocfilters (潘多克過濾器) | 1.5.0 | 帕爾索 | 0.8.4 |
| 路徑規格 (pathspec) | 0.10.3 | 替罪羊 | 1.0.1 | pexpect (一個用於程序自動化和測試的軟體庫) | 4.8.0 |
| 枕頭 | 11.1.0 | pip(Python 軟體包管理工具) | 25.0.1 | platformdirs | 4.3.7 |
| plotly(數據可視化工具) | 5.24.1 | Pluggy(外掛管理工具) | 1.5.0 | prometheus_client | 0.21.1 |
| prompt-toolkit(提示工具組) | 3.0.43 | proto-plus | 1.26.1 | 協議緩衝區 (Protocol Buffers) | 5.29.4 |
| psutil | 5.9.0 | psycopg2 | 2.9.11 | ptyprocess | 0.7.0 |
| pure-eval | 0.2.2 | py4j | 0.10.9.9 | pyarrow | 21.0.0 |
| pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 | 派克羅 | 0.0.71 |
| pycparser(Python 的 C 語法分析器) | 2.21 | pydantic(Python 數據驗證工具) | 2.10.6 | pydantic_core | 2.27.2 |
| pyflakes (Python 代碼分析工具) | 3.2.0 | Pygments | 2.19.1 | PyGObject | 3.48.2 |
| pyiceberg | 0.10.0 | PyJWT | 2.10.1 | pyodbc | 5.2.0 |
| pyparsing(Python 字符串解析库) | 3.2.0 | pyright | 1.1.394 | 火燒 | 1.0.3 |
| pytest(Python程式語言的測試工具) | 8.3.5 | python-dateutil | 2.9.0.post0 | python-dotenv | 1.2.1 |
| python-json-logger (Python JSON 日誌記錄器) | 3.2.1 | python-lsp-jsonrpc | 1.1.2 | python-lsp-server | 1.12.2 |
| pytoolconfig | 1.2.6 | pytz(Python 的時區計算函式庫) | 2024.1 | PyYAML | 6.0.2 |
| pyzmq | 26.2.0 | 參考 | 0.30.2 | Regex | 2024.11.6 |
| 要求 | 2.32.3 | requests-toolbelt | 1.0.0 | rfc3339-validator(RFC 3339 格式驗證器) | 0.1.4 |
| RFC 3986 驗證器 | 0.1.1 | 富有 | 13.9.4 | 繩子 | 1.13.0 |
| rpds-py | 0.22.3 | RSA加密算法 | 4.9.1 | s3transfer | 0.14.0 |
| scikit-learn(機器學習套件) | 1.6.1 | scipy科學計算庫 | 1.15.3 | 海上出生 | 0.13.2 |
| Send2Trash | 1.8.2 | setuptools | 78.1.1 | 六 | 1.17.0 |
| smmap | 5.0.0 | sniffio | 1.3.0 | sortedcontainers(排序容器) | 2.4.0 |
| 湯篩 | 2.5 | sqlparse(資料庫語法解析器) | 0.5.3 | ssh-import-id(匯入 SSH ID) | 5.11 |
| 堆疊數據 | 0.6.3 | starlette | 0.49.3 | strictyaml | 1.7.3 |
| 堅韌性 | 9.0.0 | 結束了 | 0.17.1 | threadpoolctl | 3.5.0 |
| tiktoken | 0.12.0 | tinycss2 | 1.4.0 | tokenize_rt | 6.1.0 |
| tomli | 2.0.1 | 龍捲風 | 6.5.1 | tqdm | 4.67.1 |
| Traitlets | 5.14.3 | typeguard (類型保護) | 4.3.0 | types-python-dateutil | 2.9.0.20251008 |
| 打字檢查 | 0.9.0 | typing_extensions(打字擴充套件) | 4.12.2 | tzdata | 2024.1 |
| ujson(超快速 JSON 解析庫) | 5.10.0 | 無人看管自動升級 | 0.1 | URI 樣板 | 1.3.0 |
| urllib3 | 2.3.0 | uvicorn | 0.38.0 | virtualenv | 20.29.3 |
| wadllib | 1.3.6 | wcwidth(字符寬度函數) | 0.2.5 | 網頁顏色 | 25.10.0 |
| 網路編碼 | 0.5.1 | WebSocket 客戶端 | 1.8.0 | 何謂補丁 | 1.0.2 |
| Wheel | 0.45.1 | 不論何時 | 0.7.3 | widgetsnbextension | 3.6.6 |
| 包裹著 | 1.17.0 | yapf (Python 程式碼格式化工具) | 0.40.2 | 拉鏈 | 3.21.0 |
| zstandard | 0.23.0 |
已安裝的 R 程式庫
R 函式庫將從 2025-03-20 的 Posit Package Manager CRAN 快照安裝。
| 圖書館 | 版本 | 圖書館 | 版本 | 圖書館 | 版本 |
|---|---|---|---|---|---|
| 箭頭 | 22.0.0 | askpass(要求密碼) | 1.2.1 | assertthat (一個用於斷言測試的函數庫) | 0.2.1 |
| backports(回溯移植) | 1.5.0 | 基礎映像 | 4.5.1 | base64enc | 0.1-3 |
| bigD | 0.3.1 | bit | 4.6.0 | 64位元 | 4.6.0-1 |
| 位元運算 | 1.0-9 | blob | 1.2.4 | 靴子 | 1.3-30 |
| 釀製 | 1.0-10 | 活力 | 1.1.5 | 掃帚 | 1.0.10 |
| bslib | 0.9.0 | 卡榭姆 | 1.1.0 | 卡爾 | 3.7.6 |
| caret | 7.0-1 | cellranger (細胞測序工具) | 1.1.0 | 時序 (chron) | 2.3-62 |
| 類別 | 7.3-22 | 命令行界面 (CLI) | 3.6.5 | 克麗普 | 0.8.0 |
| 時鐘 | 0.7.3 | 叢集 | 2.1.6 | codetools | 0.2-20 |
| 通用標記 | 2.0.0 | 編譯器 | 4.5.1 | config | 0.3.2 |
| 糾結 | 1.2.0 | cpp11 | 0.5.2 | 蠟筆 | 1.5.3 |
| 憑證 | 2.0.3 | curl (Unix指令) | 7.0.0 | 資料表格 (data.table) | 1.17.8 |
| 數據集 | 4.5.1 | DBI | 1.2.3 | dbplyr | 2.5.1 |
| 說明 | 1.4.3 | devtools | 2.4.6 | 圖示 | 1.6.5 |
| diffobj | 0.3.6 | 摘要 | 0.6.39 | 向下照明 | 0.4.5 |
| dplyr資料處理套件 | 1.1.4 | dtplyr | 1.3.2 | e1071 | 1.7-16 |
| 省略符號 | 0.3.2 | 評估 | 1.0.5 | 粉絲 | 1.0.7 |
| 顏色 | 2.1.2 | fastmap(快速映射) | 1.2.0 | fontawesome | 0.5.3 |
| 尚未提供所需背景詳情來翻譯"forcats",如果是專有名詞或特定術語,可以保留原文。 | 1.0.1 | foreach | 1.5.2 | 外來 | 0.8-86 |
| fs | 1.6.6 | 未來 | 1.68.0 | 未來應用 (future.apply) | 1.20.0 |
| 漱口 | 1.6.0 | 泛型 | 0.1.4 | 格特 | 2.2.0 |
| ggplot2 | 4.0.1 | gh | 1.5.0 | git2r | 0.36.2 |
| gitcreds | 0.1.2 | glmnet | 4.1-10 | 全域變數 | 0.18.0 |
| 膠水 | 1.8.0 | Google 雲端硬碟 | 2.1.2 | googlesheets4 | 1.1.2 |
| 戈爾(Gower) | 1.0.2 | 圖形 | 4.5.1 | grDevices | 4.5.1 |
| 格線 | 4.5.1 | gridExtra | 2.3 | gsubfn | 0.7 |
| gt | 1.1.0 | gtable | 0.3.6 | 安全帽 | 1.4.2 |
| 庇護所 | 2.5.5 | 更高 | 0.11 | 如果 "hms" 是一個專有名詞、縮寫或具有特殊意涵的術語,則需要確保對其進行適當的翻譯或說明。 | 1.1.4 |
| HTML工具 | 0.5.8.1 | htmlwidgets(網頁小工具) | 1.6.4 | httpuv | 1.6.16 |
| httr | 1.4.7 | httr2 | 1.2.1 | 身份識別碼 | 1.0.1 |
| ini | 0.3.1 | 艾普瑞德 | 0.9-15 | 等高帶 (isoband) | 0.2.7 |
| 迭代器 | 1.0.14 | jquerylib | 0.1.4 | jsonlite | 2.0.0 |
| 多汁果汁 | 0.1.0 | KernSmooth | 2.23-22 | 針織機 | 1.50 |
| 標記 | 0.4.3 | 稍後 | 1.4.4 | 晶格 | 0.22-5 |
| 熔岩 | 1.8.2 | 生命週期 | 1.0.4 | 保留原名 "listenv" 並附加描述 (if necessary based on context, otherwise just retain "listenv") | 0.10.0 |
| 輕量版Markdown | 0.8 | 「lubridate」 | 1.9.4 | magrittr | 2.0.4 |
| Markdown | 2.0 | 質量 | 7.3-60.0.1 | 矩陣 | 1.6-5 |
| 記憶化 | 2.0.1 | 方法 | 4.5.1 | mgcv | 1.9-1 |
| 默劇 | 0.13 | 迷你用戶界面 | 0.1.2 | mlflow | 3.6.0 |
| ModelMetrics | 1.2.2.2 | 模型師 | 0.1.11 | nlme | 3.1-164 |
| nnet | 7.3-19 | numDeriv (數值導數) | 2016年8月-2017年1月 | openssl | 2.3.4 |
| 奧特爾 | 0.2.0 | 並行 | 4.5.1 | 並行地 | 1.45.1 |
| 柱子 | 1.11.1 | pkgbuild | 1.4.8 | pkgconfig | 2.0.3 |
| pkgdown | 2.2.0 | pkgload | 1.4.1 | plogr (普勒格) | 0.2.0 |
| plyr播放器(plyr Player) | 1.8.9 | 讚美 | 1.0.0 | prettyunits | 1.2.0 |
| pROC | 1.19.0.1 | 流程x | 3.8.6 | prodlim | 2025.04.28 |
| 視覺分析工具 Profvis | 0.4.0 | 進展 | 1.2.3 | progressr | 0.18.0 |
| 承諾 | 1.5.0 | 原型 | 1.0.0 | Proxy | 0.4-27 |
| 附註 | 1.9.1 | purrr | 1.2.0 | R6 | 2.6.1 |
| 拉格 | 1.5.0 | 隨機森林 (randomForest) | 4.7-1.2 | rappdirs | 0.3.3 |
| rcmdcheck | 1.4.0 | RColorBrewer | 1.1-3 | Rcpp | 1.1.0 |
| RcppEigen | 0.3.4.0.2 | 可反應的 | 0.4.4 | reactR | 0.6.1 |
| Readr | 2.1.6 | readxl(讀取Excel檔案) | 1.4.5 | 食譜 | 1.3.1 |
| 復賽 | 2.0.0 | Rematch 2 | 2.1.2 | 遙控器 | 2.5.0 |
| 重現範例 | 2.1.1 | reshape2 | 1.4.5 | rlang | 1.1.6 |
| rmarkdown(R程式碼標記語言) | 2.30 | RODBC | 1.3-26 | roxygen2 | 7.3.3 |
| rpart(R語言中的一個統計計算和機器學習模組) | 4.1.23 | rprojroot | 2.1.1 | Rserve | 1.8-15 |
| RSQLite | 2.4.4 | rstudioapi | 0.17.1 | r版本 | 3.0.0 |
| rvest(用於網頁抓取的 R 語言套件) | 1.0.5 | S7 | 0.2.1 | Sass | 0.4.10 |
| 磅秤 | 1.4.0 | 擇選器 (selectr) | 0.4-2 | 會議資訊 | 1.2.3 |
| 圖形 | 1.4.6.1 | 閃亮 | 1.11.1 | sourcetools | 0.1.7-1 |
| sparklyr | 1.9.3 | SparkR | 4.1.0 | sparsevctrs | 0.3.4 |
| 空間 | 7.3-17 | splines | 4.5.1 | sqldf | 0.4-11 |
| SQUAREM | 2021.1 | 統計數據 | 4.5.1 | 統計學4 | 4.5.1 |
| 字串處理工具包 (stringi) | 1.8.7 | "stringr" 是 R 語言中的一個處理字串操作的函式庫。 | 1.6.0 | 生存 | 3.5-8 |
| 自信 | 5.17.14.1 | sys | 3.4.3 | 系統字體 | 1.3.1 |
| tcltk(程式設計工具包) | 4.5.1 | testthat(測試工具) | 3.3.0 | 文字排版 | 1.0.4 |
| tibble | 3.3.0 | tidyr | 1.3.1 | tidyselect | 1.2.1 |
| tidyverse(整潔世界) | 2.0.0 | 時間更動 | 0.3.0 | 時間日期 | 4051.111 |
| tinytex | 0.58 | 工具 | 4.5.1 | tzdb | 0.5.0 |
| urlchecker (URL 檢查工具) | 1.0.1 | usethis | 3.2.1 | utf8 | 1.2.6 |
| 實用工具 | 4.5.1 | 全域唯一識別碼 (UUID) | 1.2-1 | V8 | 8.0.1 |
| vctrs | 0.6.5 | viridisLite | 0.4.2 | vroom | 1.6.6 |
| 瓦爾多 | 0.6.2 | 觸鬚 | 0.4.1 | withr代碼庫 (assuming withr refers to a specific codebase or library, use context to clarify) | 3.0.2 |
| xfun | 0.54 | xml2 | 1.5.0 | xopen | 1.0.1 |
| xtable | 1.8-4 | YAML(Yet Another Markup Language)解析器 | 2.3.10 | 齊奧特 | 0.2.0 |
| 壓縮檔 | 2.3.3 |
已安裝的 Java 和 Scala 連結庫 (Scala 2.13 叢集版本)
| 群組識別碼 | 文物識別碼 | 版本 |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-用戶端 | 1.15.3 |
| com.amazonaws | aws-java-sdk-自動擴展 | 1.12.681 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.12.681 |
| com.amazonaws | aws-java-sdk-cloudfront (雲端前端 Java SDK) | 1.12.681 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.12.681 |
| com.amazonaws | aws-java-sdk-cloudsearch(雲端搜索) | 1.12.681 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.12.681 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.12.681 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.681 |
| com.amazonaws | aws-java-sdk-codedeploy (AWS Java SDK的CodeDeploy模組) | 1.12.681 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.681 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.12.681 |
| com.amazonaws | AWS Java SDK 配置 | 1.12.681 |
| com.amazonaws | aws-java-sdk-core | 1.12.681 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.12.681 |
| com.amazonaws | aws-java-sdk-directconnect (AWS Java 軟體開發套件 - 直接連接) | 1.12.681 |
| com.amazonaws | aws-java-sdk-directory | 1.12.681 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.12.681 |
| com.amazonaws | aws-java-sdk-ec2 | 1.12.681 |
| com.amazonaws | aws-java-sdk-ecs | 1.12.681 |
| com.amazonaws | aws-java-sdk-efs | 1.12.681 |
| com.amazonaws | AWS Java SDK for ElastiCache (AWS Java SDK 用於 ElastiCache) | 1.12.681 |
| com.amazonaws | AWS Java SDK Elasticbeanstalk(AWS Java 軟體開發套件,Elasticbeanstalk) | 1.12.681 |
| com.amazonaws | AWS Java SDK 彈性負載平衡 (aws-java-sdk-elasticloadbalancing) | 1.12.681 |
| com.amazonaws | AWS Java SDK 彈性轉碼器 (aws-java-sdk-elastictranscoder) | 1.12.681 |
| com.amazonaws | aws-java-sdk-emr | 1.12.681 |
| com.amazonaws | aws-java-sdk-glacier (AWS Java 軟體開發工具包 - Glacier) | 1.12.681 |
| com.amazonaws | aws-java-sdk-glue(AWS 繫結程式庫) | 1.12.681 |
| com.amazonaws | aws-java-sdk-iam | 1.12.681 |
| com.amazonaws | AWS Java SDK 匯入匯出 | 1.12.681 |
| com.amazonaws | aws-java-sdk-kinesis(AWS Java 開發工具包-Kinesis) | 1.12.681 |
| com.amazonaws | aws-java-sdk-kms (AWS Java 軟體開發工具包 - KMS) | 1.12.681 |
| com.amazonaws | aws-java-sdk-lambda | 1.12.681 |
| com.amazonaws | aws-java-sdk-logs (Amazon Java SDK 日誌) | 1.12.681 |
| com.amazonaws | aws-java-sdk-machinelearning(AWS Java SDK 機器學習) | 1.12.681 |
| com.amazonaws | aws-java-sdk-opsworks | 1.12.681 |
| com.amazonaws | aws-java-sdk-rds | 1.12.681 |
| com.amazonaws | aws-java-sdk-redshift (Amazon Web Services 的 Redshift Java 軟體開發工具包) | 1.12.681 |
| com.amazonaws | aws-java-sdk-route53 | 1.12.681 |
| com.amazonaws | aws-java-sdk-s3 | 1.12.681 |
| com.amazonaws | aws-java-sdk-ses | 1.12.681 |
| com.amazonaws | aws-java-sdk-simpledb | 1.12.681 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.681 |
| com.amazonaws | aws-java-sdk-sns | 1.12.681 |
| com.amazonaws | AWS Java SDK 的 SQS 模組 | 1.12.681 |
| com.amazonaws | aws-java-sdk-ssm | 1.12.681 |
| com.amazonaws | aws-java-sdk-storagegateway (AWS Java SDK 儲存閘道) | 1.12.681 |
| com.amazonaws | aws-java-sdk-sts | 1.12.681 |
| com.amazonaws | AWS Java SDK 支援 (aws-java-sdk-support) | 1.12.681 |
| com.amazonaws | aws-java-sdk-workspaces(AWS Java SDK 工作空間) | 1.12.681 |
| com.amazonaws | jmespath-java | 1.12.681 |
| com.clearspring.analytics | 串流 | 2.9.8 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | databricks-sdk-java | 0.53.0 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | scalapb-runtime_2.13 | 0.4.15-11 |
| com.esotericsoftware | 冷凍陰影技術 (kryo-shaded) | 4.0.3 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | 同學 | 1.5.1 |
| com.fasterxml.jackson.core | Jackson 註解 | 2.18.2 |
| com.fasterxml.jackson.core | jackson-core (資料處理核心) | 2.18.2 |
| com.fasterxml.jackson.core | jackson-databind | 2.18.2 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor (一個用於CBOR數據格式的Java庫) | 2.18.2 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-yaml (Jackson資料格式-YAML) | 2.15.2 |
| com.fasterxml.jackson.datatype | 杰克森數據類型-Joda | 2.18.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-jsr310(Jackson數據類型JSR310) | 2.18.3 |
| com.fasterxml.jackson.module | jackson-module-paranamer(Jackson模組-Paranamer) | 2.18.2 |
| com.fasterxml.jackson.module | jackson-module-scala_2.13 | 2.18.2 |
| com.github.ben-manes.caffeine | 咖啡因 | 2.9.3 |
| com.github.blemale | scaffeine_2.13 | 4.1.0 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | 原生引用-java | 1.1 |
| com.github.fommil.netlib | 原生引用-java | 1.1 原生 |
| com.github.fommil.netlib | 原生系統-Java | 1.1 |
| com.github.fommil.netlib | 原生系統-Java | 1.1 原生 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64 | 1.1 原生 |
| com.github.fommil.netlib | netlib-原生系統-linux-x86_64 | 1.1 原生 |
| com.github.luben | zstd-jni | 1.5.7-6 |
| com.github.virtuald | curvesapi | 1.08 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.api.grpc | proto-google-common-protos(Google 常規通用協議) | 2.5.1 |
| com.google.auth | Google Auth Library 凭证 | 1.20.0 |
| com.google.auth | Google-auth-library-oAuth2-HTTP | 1.20.0 |
| com.google.auto.value | 自動值註解(Auto-Value Annotations) | 1.10.4 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.11.0 |
| com.google.crypto.tink | tink | 1.16.0 |
| com.google.errorprone | 易於出錯的標註 (error_prone_annotations) | 2.36.0 |
| com.google.flatbuffers | flatbuffers-java | 25.2.10 |
| com.google.guava | 訪問失敗 | 1.0.3 |
| com.google.guava | guava | 33.4.8-jre |
| com.google.http-client | google-http-client | 1.43.3 |
| com.google.http-client | google-http-client-gson | 1.43.3 |
| com.google.j2objc | j2objc-annotations | 3.0.0 |
| com.google.protobuf | protobuf-java | 3.25.5 |
| com.google.protobuf | protobuf-java-util | 3.25.5 |
| com.helger | 分析工具 | 1.1.1 |
| com.ibm.icu | icu4j | 75.1 |
| com.jcraft | jsch | 0.1.55 |
| com.lihaoyi | sourcecode_2.13 | 0.1.9 |
| com.microsoft.azure | Azure Data Lake Store SDK (Azure 資料湖存儲 SDK) | 2.3.10 |
| com.microsoft.sqlserver | mssql-jdbc | 12.8.0.jre11 |
| com.microsoft.sqlserver | mssql-jdbc | 12.8.0.jre8 |
| com.ning | 壓縮-LZF | 1.1.2 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.sun.xml.bind | jaxb-core(JAXB核心) | 2.2.11 |
| com.sun.xml.bind | jaxb-impl | 2.2.11 |
| com.tdunning | JSON(JavaScript物件表示法) | 1.8 |
| com.thoughtworks.paranamer | paranamer (參數命名器) | 2.8 |
| com.trueaccord.lenses | lenses_2.13 | 0.4.13 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.13 | 0.10.0 |
| com.twitter | util-app_2.13 | 19.8.1 |
| com.twitter | util-core_2.13 | 19.8.1 |
| com.twitter | util-function_2.13 | 19.8.1 |
| com.twitter | util-jvm_2.13 | 19.8.1 |
| com.twitter | util-lint_2.13 | 19.8.1 |
| com.twitter | util-registry_2.13 | 19.8.1 |
| com.twitter | util-stats_2.13 | 19.8.1 |
| com.typesafe | config | 1.4.3 |
| com.typesafe.scala-logging | scala-logging_2.13 | 3.9.2 |
| com.uber | h3 | 3.7.3 |
| com.univocity | univocity-parsers(統一性解析器) | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| com.zaxxer | 稀疏BitSet | 1.3 |
| commons-cli | commons-cli | 1.10.0 |
| commons-codec(公共編碼庫) | commons-codec(公共編碼庫) | 1.19.0 |
| 公共集合 (commons-collections) | 公共集合 (commons-collections) | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-fileupload(公共文件上傳) | commons-fileupload(公共文件上傳) | 1.6.0 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.21.0 |
| commons-lang | commons-lang | 2.6 |
| commons-logging (共通日誌記錄) | commons-logging (共通日誌記錄) | 1.1.3 |
| commons-pool (公共資源庫) | commons-pool (公共資源庫) | 1.5.4 |
| dev.ludovic.netlib | arpack | 3.0.4 |
| dev.ludovic.netlib | BLAS(基本線性代數程式庫) | 3.0.4 |
| dev.ludovic.netlib | lapack(線性代數軟體包) | 3.0.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | 空氣壓縮機 | 2.0.2 |
| io.delta | delta-sharing-client_2.13 | 1.3.6 |
| io.dropwizard.metrics | 指標註釋 | 4.2.37 |
| io.dropwizard.metrics | 核心指標 | 4.2.37 |
| io.dropwizard.metrics | metrics-graphite | 4.2.37 |
| io.dropwizard.metrics | 衡量指標-健康檢查 | 4.2.37 |
| io.dropwizard.metrics | Metrics-Jetty10 | 4.2.37 |
| io.dropwizard.metrics | 指標-JMX | 4.2.37 |
| io.dropwizard.metrics | 度量標準-JSON | 4.2.37 |
| io.dropwizard.metrics | 指標-JVM | 4.2.37 |
| io.dropwizard.metrics | metrics-servlets | 4.2.37 |
| io.github.java-diff-utils | java-diff-utils | 4.15 |
| io.netty | netty-all(Netty 完整版本) | 4.2.7.決賽 |
| io.netty | ネッティ緩衝區 (netty-buffer) | 4.2.7.決賽 |
| io.netty | Netty 編解碼器 | 4.2.7.決賽 |
| io.netty | netty-codec-base | 4.2.7.決賽 |
| io.netty | Netty-codec-classes-quic | 4.2.7.決賽 |
| io.netty | Netty編解碼壓縮 | 4.2.7.決賽 |
| io.netty | netty-codec-http(Netty HTTP 編解碼器) | 4.2.7.決賽 |
| io.netty | Netty 解碼器 HTTP/2 | 4.2.7.決賽 |
| io.netty | Netty-codec-http3 | 4.2.7.決賽 |
| io.netty | Netty-codec-marshalling | 4.2.7.決賽 |
| io.netty | Netty-codec-native-quic | 4.2.7.Final-linux-aarch_64 |
| io.netty | Netty-codec-native-quic | 4.2.7.Final-linux-x86_64 |
| io.netty | Netty-codec-native-quic | 4.2.7.Final-osx-aarch_64 |
| io.netty | Netty-codec-native-quic | 4.2.7.Final-osx-x86_64 |
| io.netty | Netty-codec-native-quic | 4.2.7.Final-windows-x86_64 |
| io.netty | Netty-編解碼-Protobuf | 4.2.7.決賽 |
| io.netty | netty-codec-socks(Netty編解碼Socks模組) | 4.2.7.決賽 |
| io.netty | Netty公共模組 | 4.2.7.決賽 |
| io.netty | netty-handler | 4.2.7.決賽 |
| io.netty | netty-handler-proxy (代理處理程序) | 4.2.7.決賽 |
| io.netty | netty-resolver (網絡解決方案) | 4.2.7.決賽 |
| io.netty | netty-tcnative-boringssl-static (Netty 原生 BoringSSL 靜態版本) | 2.0.74.Final-db-r0-linux-aarch_64 |
| io.netty | netty-tcnative-boringssl-static (Netty 原生 BoringSSL 靜態版本) | 2.0.74.Final-db-r0-linux-x86_64 |
| io.netty | netty-tcnative-boringssl-static (Netty 原生 BoringSSL 靜態版本) | 2.0.74.Final-db-r0-osx-aarch_64 |
| io.netty | netty-tcnative-boringssl-static (Netty 原生 BoringSSL 靜態版本) | 2.0.74.Final-db-r0-osx-x86_64 |
| io.netty | netty-tcnative-boringssl-static (Netty 原生 BoringSSL 靜態版本) | 2.0.74.Final-db-r0-windows-x86_64 |
| io.netty | Netty-TCNative-類別 | 2.0.74.決賽 |
| io.netty | netty-transport | 4.2.7.決賽 |
| io.netty | netty-transport-classes-epoll | 4.2.7.決賽 |
| io.netty | Netty-傳輸-類別-io_uring | 4.2.7.決賽 |
| io.netty | netty-transport-classes-kqueue (Netty 傳輸類別 - KQueue) | 4.2.7.決賽 |
| io.netty | netty-transport-native-epoll | 4.2.7.決賽 |
| io.netty | netty-transport-native-epoll | 4.2.7.Final-linux-aarch_64 |
| io.netty | netty-transport-native-epoll | 4.2.7.Final-linux-riscv64 |
| io.netty | netty-transport-native-epoll | 4.2.7.Final-linux-x86_64 |
| io.netty | netty-transport-native-io_uring | 4.2.7.Final-linux-aarch_64 |
| io.netty | netty-transport-native-io_uring | 4.2.7.Final-linux-riscv64 |
| io.netty | netty-transport-native-io_uring | 4.2.7.Final-linux-x86_64 |
| io.netty | netty-transport-native-kqueue(Netty 原生傳輸 KQueue) | 4.2.7.Final-osx-aarch_64 |
| io.netty | netty-transport-native-kqueue(Netty 原生傳輸 KQueue) | 4.2.7.Final-osx-x86_64 |
| io.netty | netty-transport-native-unix-common(Netty 傳輸本地 Unix 公用程式) | 4.2.7.決賽 |
| io.opencensus | OpenCensus-API | 0.31.1 |
| io.opencensus | OpenCensus-Contrib-http-utility | 0.31.1 |
| io.prometheus | simpleclient | 0.16.1-databricks |
| io.prometheus | 簡易客戶端_通用 | 0.16.1-databricks |
| io.prometheus | simpleclient_dropwizard (簡易客戶端_dropwizard) | 0.16.1-databricks |
| io.prometheus | 簡易客戶端推送網關 | 0.16.1-databricks |
| io.prometheus | simpleclient_servlet | 0.16.1-databricks |
| io.prometheus | simpleclient_servlet_common | 0.16.1-databricks |
| io.prometheus | simpleclient_tracer_common | 0.16.1-databricks |
| io.prometheus | simpleclient_tracer_otel | 0.16.1-databricks |
| io.prometheus | simpleclient_tracer_otel_agent | 0.16.1-databricks |
| io.prometheus.jmx | 收集器 | 0.18.0 |
| jakarta.annotation | jakarta.annotation-api(註解API) | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api 驗證接口 | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | 啟用 | 1.1.1 |
| javax.annotation | javax.annotation-api | 1.3.2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.media | jai_core | jai_core_dummy |
| javax.transaction | jta | 1.1 |
| javax.transaction | 交易介面 (transaction-api) | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.11 |
| Javolution | Javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.14.0 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | 醃製品 | 1.5 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv (開源 CSV 解析庫) | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| 網絡.雪花 | snowflake-ingest-sdk(Snowflake 資料引入 SDK) | 0.9.6 |
| net.sourceforge.f2j | arpack_combined_all (程式的函數名稱,通常保持不翻譯) | 0.1 |
| org.acplt.remotetea | REMOTETEA-ONCRPC | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime (ANTLR 4 執行時) | 4.13.1 |
| org.antlr | 字串模板 (stringtemplate) | 3.2.1 |
| org.apache.ant | 螞蟻 | 1.10.11 |
| org.apache.ant | ant-jsch | 1.10.11 |
| org.apache.ant | 螞蟻發射器 | 1.10.11 |
| org.apache.arrow | 箭頭格式 (arrow-format) | 18.3.0 |
| org.apache.arrow | 箭頭記憶核心 | 18.3.0 |
| org.apache.arrow | 箭頭記憶-netty | 18.3.0 |
| org.apache.arrow | Arrow記憶體Netty緩衝區修補程序 | 18.3.0 |
| org.apache.arrow | 箭頭向量 | 18.3.0 |
| org.apache.avro | Avro | 1.12.1 |
| org.apache.avro | avro-ipc | 1.12.1 |
| org.apache.avro | avro-mapred | 1.12.1 |
| org.apache.commons | 共享-集合4 | 4.5.0 |
| org.apache.commons | commons-compress(通用壓縮工具) | 1.28.0 |
| org.apache.commons | 共用配置2 | 2.11.0 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.19.0 |
| org.apache.commons | commons-math3 | 3.6.1 |
| org.apache.commons | commons-text(共用文字處理庫) | 1.14.0 |
| org.apache.curator | 策展人-客戶 | 5.9.0 |
| org.apache.curator | curator-framework (策展人框架) | 5.9.0 |
| org.apache.curator | 館長食譜 | 5.9.0 |
| org.apache.datasketches | datasketches-java | 6.2.0 |
| org.apache.datasketches | datasketches-memory (資料素描記憶體) | 3.0.2 |
| org.apache.derby | 德比戰 | 10.14.2.0 |
| org.apache.hadoop | hadoop客户端運作環境 | 3.4.2 |
| org.apache.hive | hive-beeline(資料查詢工具) | 2.3.10 |
| org.apache.hive | hive-cli | 2.3.10 |
| org.apache.hive | hive-jdbc | 2.3.10 |
| org.apache.hive | hive-llap-client(Hive LLAP用戶端) | 2.3.10 |
| org.apache.hive | hive-llap-common | 2.3.10 |
| org.apache.hive | hive-serde (資料序列化和解序列化庫) | 2.3.10 |
| org.apache.hive | 蜂箱墊片 | 2.3.10 |
| org.apache.hive | hive-storage-api (蜂巢存儲 API) | 2.8.1 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.10 |
| org.apache.hive.shims | hive-shims-common 套件 | 2.3.10 |
| org.apache.hive.shims | 蜂巢兼容層排程器 (hive-shims-scheduler) | 2.3.10 |
| org.apache.httpcomponents | HttpClient | 4.5.14 |
| org.apache.httpcomponents | httpcore | 4.4.16 |
| org.apache.ivy | 常春藤 | 2.5.3 |
| org.apache.logging.log4j | log4j-1.2-api | 2.24.3 |
| org.apache.logging.log4j | log4j-api | 2.24.3 |
| org.apache.logging.log4j | log4j-core | 2.24.3 |
| org.apache.logging.log4j | Log4j佈局模板JSON | 2.24.3 |
| org.apache.logging.log4j | log4j-slf4j2-impl | 2.24.3 |
| org.apache.orc | 奧克核心 | 2.2.0-shaded-protobuf |
| org.apache.orc | orc格式 | 1.1.1-shaded-protobuf |
| org.apache.orc | orc-mapreduce | 2.2.0-shaded-protobuf |
| org.apache.orc | 獸人襯墊 | 2.2.0 |
| org.apache.poi | 波伊(夏威夷芋泥) | 5.4.1 |
| org.apache.poi | poi-ooxml | 5.4.1 |
| org.apache.poi | poi-ooxml-full | 5.4.1 |
| org.apache.poi | poi-ooxml-lite | 5.4.1 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.16.0 |
| org.apache.ws.xmlschema | xmlschema-core (XML 架構核心) | 2.3.1 |
| org.apache.xbean | xbean-asm9-shaded | 4.28 |
| org.apache.xmlbeans | xmlbeans | 5.3.0 |
| org.apache.yetus | 觀眾註解 | 0.13.0 |
| org.apache.zookeeper | 動物園管理員 | 3.9.4 |
| org.apache.zookeeper | ZooKeeper-Jute | 3.9.4 |
| org.checkerframework | 品質檢查器 | 3.43.0 |
| org.codehaus.janino | 公共編譯器 (commons-compiler) | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core (數據核心) | 4.1.17 |
| org.datanucleus | 資料核心-RDBMS | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | Jetty-alpn-client | 10.0.26 |
| org.eclipse.jetty | jetty-client | 10.0.26 |
| org.eclipse.jetty | jetty-http | 10.0.26 |
| org.eclipse.jetty | jetty-io | 10.0.26 |
| org.eclipse.jetty | jetty-jndi | 10.0.26 |
| org.eclipse.jetty | jetty-plus | 10.0.26 |
| org.eclipse.jetty | jetty-proxy (代理伺服器) | 10.0.26 |
| org.eclipse.jetty | 噴射碼頭安全性 | 10.0.26 |
| org.eclipse.jetty | Jetty伺服器 | 10.0.26 |
| org.eclipse.jetty | jetty-servlet | 10.0.26 |
| org.eclipse.jetty | jetty-servlets | 10.0.26 |
| org.eclipse.jetty | 傑堤工具 (jetty-util) | 10.0.26 |
| org.eclipse.jetty | jetty-webapp(Jetty 網頁應用程式) | 10.0.26 |
| org.eclipse.jetty | jetty-xml | 10.0.26 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2 定位器 | 2.6.1 |
| org.glassfish.hk2 | hk2實用程式 | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator (OSGi 資源定位器) | 1.0.3 |
| org.glassfish.hk2.external | aopalliance重新打包 | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | Jersey 容器伺服器 | 2.41 |
| org.glassfish.jersey.containers | jersey 容器 servlet 核心模块 | 2.41 |
| org.glassfish.jersey.core | jersey-客戶端 | 2.41 |
| org.glassfish.jersey.core | 球衣-通用 | 2.41 |
| org.glassfish.jersey.core | Jersey伺服器 | 2.41 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.41 |
| org.hibernate.validator | hibernate-validator(驗證器) | 6.2.5.最終版 |
| org.ini4j | ini4j | 0.5.4 |
| org.javassist | javassist | 3.29.2-GA |
| org.jboss.logging | jboss-日誌記錄 | 3.4.1.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jline | jline | 3.27.1-jdk8 |
| org.joda | joda-convert | 1.7 |
| org.json4s | json4s-ast_2.13 | 4.0.7 |
| org.json4s | json4s-core_2.13 | 4.0.7 |
| org.json4s | json4s-jackson-core_2.13 | 4.0.7 |
| org.json4s | json4s-jackson_2.13 | 4.0.7 |
| org.json4s | json4s-scalap_2.13 | 4.0.7 |
| org.locationtech.jts | JTS-核心 | 1.20.0 |
| org.lz4 | lz4-java | 1.8.0-databricks-1 |
| org.mlflow | mlflow-spark_2.13 | 2.22.1 |
| org.objenesis | objenesis | 3.4 |
| org.postgresql | postgresql | 42.6.1 |
| org.roaringbitmap | RoaringBitmap | 1.2.1 |
| org.rocksdb | rocksdbjni | 9.8.4 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.13 | 2.13.16 |
| org.scala-lang | scala-library_2.13 | 2.13.16 |
| org.scala-lang | scala-reflect_2.13 | 2.13.16 |
| org.scala-lang.modules | scala-collection-compat_2.13 | 2.11.0 |
| org.scala-lang.modules | scala-java8-compat_2.13 | 0.9.1 |
| org.scala-lang.modules | scala-parallel-collections_2.13 | 1.2.0 |
| org.scala-lang.modules | scala-parser-combinators_2.13 | 2.4.0 |
| org.scala-lang.modules | scala-xml_2.13 | 2.4.0 |
| org.scala-sbt | 測試介面 | 1.0 |
| org.scalacheck | scalacheck_2.13 | 1.18.0 |
| org.scalactic | scalactic_2.13 | 3.2.19 |
| org.scalanlp | breeze-macros_2.13 | 2.1.0 |
| org.scalanlp | breeze_2.13 | 2.1.0 |
| org.scalatest | 與 scalatest 相容 | 3.2.19 |
| org.scalatest | scalatest-core_2.13 | 3.2.19 |
| org.scalatest | scalatest-diagrams_2.13 | 3.2.19 |
| org.scalatest | scalatest-featurespec_2.13 | 3.2.19 |
| org.scalatest | scalatest-flatspec_2.13 | 3.2.19 |
| org.scalatest | scalatest-freespec_2.13 | 3.2.19 |
| org.scalatest | scalatest-funspec_2.13 | 3.2.19 |
| org.scalatest | scalatest-funsuite_2.13 | 3.2.19 |
| org.scalatest | scalatest-matchers-core_2.13 | 3.2.19 |
| org.scalatest | scalatest-mustmatchers_2.13 | 3.2.19 |
| org.scalatest | scalatest-propspec_2.13 | 3.2.19 |
| org.scalatest | scalatest-refspec_2.13 | 3.2.19 |
| org.scalatest | scalatest-shouldmatchers_2.13 | 3.2.19 |
| org.scalatest | scalatest-wordspec_2.13 | 3.2.19 |
| org.scalatest | scalatest_2.13 | 3.2.19 |
| org.slf4j | jcl-over-slf4j | 2.0.16 |
| org.slf4j | jul-to-slf4j | 2.0.16 |
| org.slf4j | slf4j-api | 2.0.16 |
| org.slf4j | slf4j-simple | 1.7.25 |
| org.threeten | threeten-extra | 1.8.0 |
| org.tukaani | xz | 1.10 |
| org.typelevel | algebra_2.13 | 2.8.0 |
| org.typelevel | cats-kernel_2.13 | 2.8.0 |
| org.typelevel | spire-macros_2.13 | 0.18.0 |
| org.typelevel | spire-platform_2.13 | 0.18.0 |
| org.typelevel | spire-util_2.13 | 0.18.0 |
| org.typelevel | spire_2.13 | 0.18.0 |
| org.wildfly.openssl | wildfly-openssl(野飛開放SSL) | 1.1.3.Final |
| org.xerial | sqlite-jdbc | 3.42.0.0 |
| org.xerial.snappy | snappy-java | 1.1.10.3 |
| org.yaml | SnakeYAML | 2.0 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.cryptools | AmazonCorrettoCryptoProvider | 2.5.0-linux-x86_64 |
| stax | stax-api | 1.0.1 |
小提示
若要查看已達到終止支援 (EoS) 之 Databricks Runtime 版本的版本資訊,請參閱終止支援 Databricks Runtime 版本資訊。 EoS Databricks Runtime 版本已淘汰,且可能未更新。