共用方式為

Databricks Runtime 15.1 （EoS）

  • 發行項

注意

針對此 Databricks Runtime 版本的支援已結束。 如需了解終止支援日期，請參閱終止支援歷程記錄。 如需所有支援的 Databricks Runtime 版本，請參閱 Databricks Runtime 發行說明版本與相容性。

下列版本資訊提供由 Apache Spark 3.5.0 提供之 Databricks Runtime 15.1 的相關信息。

Databricks 於 2024 年 4 月發行此版本。

提示

若要查看已達到終止支援 (EoS) 之 Databricks Runtime 版本的版本資訊，請參閱終止支援 Databricks Runtime 版本資訊。 EoS Databricks Runtime 版本已淘汰，且可能未更新。

重大變更

2024 年 5 月 31 日結束 機器學習 對 Databricks Runtime 15.0 和 Databricks Runtime 15.0 的支援，因為 pandas 連結庫從 1.5.3 升級至 15.0 中的 2.0.3，導致多個 Apache Spark API 發生中斷性變更。 如需重大變更的詳細資訊，請參閱 pandas Python 連結庫降級為 1.5.3。 為了解決此不相容問題，Databricks 已發行 Databricks Runtime 15.1 和 Databricks Runtime 15.1 for 機器學習。 這些版本支援的功能與 15.0 版相同，但 pandas 版本降級為 1.5.3。

任何使用 Databricks Runtime 15.0 版本的現有叢集或作業都會繼續運作，但不會收到產品或安全性更新。 您無法再設定在 Databricks UI 中使用 Databricks Runtime 15.0 或 Databricks Runtime 15.0 ML 的新計算。 如果您未使用需要 pandas 2.0+ 的功能或 API，Databricks 建議將這些工作負載切換至 Databricks Runtime 15.1。

如果您使用的功能或 API 僅適用於 pandas 2.0+ 且未使用此版本所影響的任何函式，Databricks 建議切換至 Databricks Runtime 15.1，並使用叢集或筆記本範圍連結庫升級預設 pandas 套件。 例如，若要升級 Databricks 筆記本中的 pandas 連結庫，請使用下列命令：

%pip install pandas==2.0.3

pandas Python 連結庫降級為 1.5.3

在此版本中，pandas 連結庫從 2.0.3 版降級為 1.5.3 版。 因為 2.0.3 版 pandas 中的不相容導致 Spark 函式上的某些 pandas API 發生錯誤，因此需要降級。 下列列出受 2.0.3 版 pandas 影響的函式：

  • pyspark.date_rangeclosed：參數遺失，導致現有程式代碼呼叫此函式時發生錯誤。
  • 具有MultiIndex數據行的功能GroupBy已變更，導致非預期的行為。
  • datetime某些屬性 DatetimeIndex （例如day、 monthyear等） 會傳回int32資料類型，而不是int64數據類型。

PySpark spark.sql() 函式現在會因為無效的自變數類型而失敗

在 Databricks Runtime 15.1 和更新版本中， args 傳遞給 spark.sql() 函式之具名或位置參數的參數必須是字典或清單。 如果傳遞任何其他物件類型，就會引發下列錯誤： PySparkTypeError: [INVALID_TYPE] Argument `args` should not be a <arg_type>。

在 DBFS 根目錄中儲存連結庫已淘汰，且預設為停用

若要改善 Azure Databricks 工作區中連結庫的安全性，從 Databricks Runtime 15.1 開始，將連結庫檔案儲存在 DBFS 根目錄中，預設會遭到取代和停用。 Databricks 建議將包含 Python 連結庫、JAR 檔案和 Spark 連接器的所有連結庫上傳至工作區檔案、Unity 目錄磁碟區，或使用套件存放庫。 請參閱 上傳連結庫的建議。

若要重新啟用將連結庫儲存在 DBFS 根目錄中，請設定下列 Spark 組態參數： spark.databricks.driver.dbfsLibraryInstallationAllowed true。

默認 Python 版本從 3.10 升級至 3.11

使用 Databricks Runtime 15.1，預設 Python 版本為 3.11.0。 如需升級的 Python 連結庫清單，請參閱 連結庫升級。

JDK 11 已移除

如先前 所宣佈，JDK 11 已從 Databricks Runtime 15.1 和更新版本中移除。 Databricks 建議在升級至 Databricks Runtime 15.1 和更新版本時升級至 JDK 17。 請參閱適用於 Java 的 Databricks SDK。

Python REPL 現在會正常終止

使用 Databricks Runtime 15.1，筆記本的 Python REPL 程式現在會在結束時正常終止。 這會導致任何 atexit 勾點被接受。 例如，在具有多個 Python 筆記本工作的工作流程中，在第一個工作中註冊的 atexit 攔截會在第二個 Python 筆記本工作執行之前執行。

新功能和改進

WHERE 子句現在支援 * （star） 子句

您現在可以使用 WHERE 子句中的 star (*) 子句來參考 SELECT 清單中的所有資料欄。 例如： SELECT * FROM VALUES(1, 2) AS T(a1, a2) WHERE 1 IN(T.*) 。

現在預設會啟用組 spark.sql.json.enablePartialResults 態

Spark 組態 spark.sql.json.enablePartialResults 現在預設為啟用，讓 JSON 剖析器能夠正確處理複雜類型的剖析錯誤，例如結構、對應和數位，而不需要卸載其餘欄位。 這項變更會修正 JSON 數據源與數據行剪除的一致性問題。

叢集連結庫現在支援requirements.txt檔案

您現在可以使用 requirements.txt 儲存在工作區檔案或 Unity 目錄磁碟區中的檔案來安裝叢集連結庫。 在 單一使用者 和 共用 存取模式叢集中， requirements.txt 檔案可以參考其他檔案。 在 [無隔離共用 存取模式叢集] 中，僅支援 PyPI 套件。 請參閱叢集程式庫。

Databricks CLI 現在可在 Web 終端機中使用

您現在可以從筆記本中的 Web 終端機使用 Databricks CLI。 筆記本必須附加至單一使用者或無隔離共用存取模式的叢集。 如需詳細資訊，請參閱 使用Web終端機和 Databricks CLI。

將預設 Python 存放庫新增至叢集組態

在 Databricks Runtime 15.1 和更新版本中，您可以在設定叢集或定義叢集原則時，設定叢集和筆記本範圍連結庫安裝的全域 pip index-url 和 extra-index-url 參數。 若要這樣做，請設定環境變數 DATABRICKS_PIP_INDEX_URL 和 DATABRICKS_PIP_EXTRA_INDEX_URL。

認證傳遞和 Hive 中繼存放區資料表存取控制已被取代

認證傳遞和 Hive 中繼存放區資料表存取控制是舊版資料控管模型。 升級至 Unity 目錄以藉由提供集中位置來管理和稽核帳戶中多個工作區的資料存取，簡化資料的安全性和控管。 請參閱什麼是 Unity Catalog？。

即將推出的 DBR 版本將會移除對於認證傳遞和 Hive 中繼存放區資料表存取控制的支援。

連結庫升級

  • 升級的 Python 連結庫：
    • 從 22.6.0 到 23.3.0 的黑色
    • boto3 從 1.24.28 到 1.34.39
    • 從 1.27.96 到 1.34.39 的 botocore
    • 從 2022.12.7 到 2023.7.22 的認證
    • 從 39.0.1 到 41.0.3 的密碼編譯
    • 從 0.1.6 到 0.20.0 的 databricks-sdk
    • 從 0.3.7 到 0.3.8 的 distlib
    • googleapis-common-protos，從 1.62.0 到 1.63.0
    • 從 1.48.2 到 1.60.0 的 grpcio
    • grpcio-status 從 1.48.1 到 1.60.0
    • importlib-metadata from 4.6.4 to 6.0.0
    • ipykernel 從 6.25.0 到 6.25.1
    • 從 8.14.0 到 8.15.0 的 ipython
    • ipywidgets 從 7.7.2 到 8.0.4
    • 從 5.2.0 到 5.3.0 jupyter_core
    • jupyterlab-widgets from 1.0.0 to 3.0.5
    • matplotlib 從 3.7.0 到 3.7.2
    • pip 從 22.3.1 到 23.2.1
    • platformdirs from 2.5.2 to 3.10.0
    • protobuf 從 4.24.0 到 4.24.1
    • pyarrow 從 8.0.0 到 14.0.1
    • 從 2.11.2 到 2.15.1 的 Pygments
    • pyodbc 從 4.0.32 到 4.0.38
    • 要求從 2.28.1 到 2.31.0
    • s3transfer 從 0.6.2 到 0.10.0
    • scikit-learn 從 1.1.1 到 1.3.0
    • 從 1.10.0 到 1.11.1 的 scipy
    • setuptools from 65.6.3 to 68.0.0
    • statsmodel 從 0.13.5 到 0.14.0
    • 從 8.1.0 到 8.2.2 的頑強性
    • 龍捲風從 6.1 到 6.3.2
    • 從 4.4.0 到 4.7.1 typing_extensions
    • urllib3 從 1.26.14 到 1.26.16
    • virtualenv 從 20.16.7 到 20.24.2
    • widgetsnbextension 從 3.6.1 到 4.0.5
    • 從 1.0.0 壓縮到 3.11.0
  • 升級的 R 連結庫：
    • 從 12.0.1 到 14.0.0.2 的箭號
    • askpass 從 1.1 到 1.2.0
    • base 從 4.3.1 到 4.3.2
    • 釀造從 1.0-8 到 1.0-10
    • 從 1.1.3 到 1.1.4 的 brio
    • bslib 從 0.5.0 到 0.6.1
    • cli 從 3.6.1 到 3.6.2
    • 從 1.9.0 到 1.9.1 的 commonmark
    • 編譯程式從 4.3.1 到 4.3.2
    • 從 0.3.1 到 0.3.2 的組態
    • cpp11 從 0.4.4 到 0.4.7
    • 從 1.3.2 到 2.0.1 的認證
    • curl 從 5.0.1 到 5.2.0
    • 從 1.14.8 到 1.15.0 的 data.table
    • 從 4.3.1 到 4.3.2 的數據集
    • DBI 從 1.1.3 到 1.2.1
    • dbplyr 從 2.3.3 到 2.4.0
    • desc 從 1.4.2 到 1.4.3
    • 摘要從 0.6.33 到 0.6.34
    • dplyr 從 1.1.2 到 1.1.4
    • e1071 從 1.7-13 到 1.7-14
    • 從 0.21 評估為 0.23
    • fansi 從 1.0.4 到 1.0.6
    • fontawesome 從 0.5.1 到 0.5.2
    • fs 從 1.6.2 到 1.6.3
    • 未來從 1.33.0 到 1.33.1
    • future.apply 從 1.11.0 到 1.11.1
    • 從 1.5.1 到 1.5.2
    • 從 1.9.2 到 2.0.1 的 gert
    • ggplot2 從 3.4.2 到 3.4.4
    • 從 4.1-7 到 4.1-8 的 glmnet
    • 從 1.6.2 黏附到 1.7.0
    • 從 4.3.1 到 4.3.2 的圖形
    • grDevices 從 4.3.1 到 4.3.2
    • 從 4.3.1 到 4.3.2 的方格
    • 從 0.3.3 到 0.3.4 的 gtable
    • 從 1.3.0 到 1.3.1 的 hardhat
    • 從 2.5.3 到 2.5.4
    • 從 0.5.5 到 0.5.7 的 htmltools
    • 從 1.6.2 到 1.6.4 的 htmlwidgets
    • HTTPuv 從 1.6.11 到 1.6.14
    • httr 從 1.4.6 到 1.4.7
    • httr2 從 0.2.3 到 1.0.0
    • jsonlite 從 1.8.7 到 1.8.8
    • 從 1.43 到 1.45 的針織器
    • 從 0.4.2 到 0.4.3 的標籤
    • 稍後從 1.3.1 到 1.3.2
    • 從 1.7.2.1 到 1.7.3 的熔岩
    • 從 1.0.3 到 1.0.4 的生命週期
    • listenv from 0.9.0 to 0.9.1
    • 從 1.9.2 到 1.9.3 的 lubridate
    • Markdown 從 1.7 到 1.12
    • 從 4.3.1 到 4.3.2 的方法
    • openssl 從 2.0.6 到 2.1.1
    • 平行從 4.3.1 到 4.3.2
    • pkgbuild 從 1.4.2 到 1.4.3
    • pkgload 從 1.3.2.1 到 1.3.4
    • plyr 從 1.8.8 到 1.8.9
    • 從 1.1.1 到 1.2.0 的美化
    • pROC 從 1.18.4 到 1.18.5
    • processx 從 3.8.2 到 3.8.3
    • prodlim 從 2023.03.31 到 2023.08.28
    • 從 1.2.2 到 1.2.3 的進度
    • progressr from 0.13.0 to 0.14.0
    • 承諾從 1.2.0.1 到 1.2.1
    • ps 從 1.7.5 到 1.7.6
    • 從 1.0.1 到 1.0.2 的 purrr
    • 從 1.2.5 到 1.2.7 的不規則
    • Rcpp 從 1.0.11 到 1.0.12
    • RcppEigen 從 0.3.3.9.3 到 0.3.3.9.4
    • 自 2.1.4 到 2.1.5 的 readr
    • 從 1.0.6 到 1.0.9 的食譜
    • 從 1.0.1 複賽到 2.0.0
    • 從 2.4.2 到 2.4.2.1 的 remotes
    • 從 2.0.2 重新提供至 2.1.0
    • rlang 從 1.1.1 到 1.1.3
    • 從 2.23 到 2.25 的 rmarkdown
    • RODBC 從 1.3-20 到 1.3-23
    • roxygen2 從 7.2.3 到 7.3.1
    • 從 2.0.3 到 2.0.4 的 rprojroot
    • 從 1.8-11 到 1.8-13 的 Rserve
    • RSQLite 從 2.3.1 到 2.3.5
    • sass from 0.4.6 to 0.4.8
    • 從 1.2.1 調整為 1.3.0
    • 從 1.7.4.1 到 1.8.0 的閃亮
    • sparklyr 從 1.8.1 到 1.8.4
    • 從 4.3.1 到 4.3.2 的曲線
    • 從 4.3.1 到 4.3.2 的統計數據
    • stats4 從 4.3.1 到 4.3.2
    • stringi 從 1.7.12 到 1.8.3
    • 從 1.5.0 到 1.5.1 的 stringr
    • 從 1.0.4 到 1.0.5 的 systemfonts
    • tcltk 從 4.3.1 到 4.3.2
    • 測試從 3.1.10 到 3.2.1
    • 從 0.3.6 到 0.3.7 的 textshaping
    • 從 1.3.0 到 1.3.1 的 tidyr
    • timechange 從 0.2.0 到 0.3.0
    • timeDate 從 4022.108 到 4032.109
    • tinytex from 0.45 to 0.49
    • 從 4.3.1 到 4.3.2 的工具
    • utf8 從 1.2.3 到 1.2.4
    • utils from 4.3.1 to 4.3.2
    • 從 1.1-0 到 1.2-0 的 uuid
    • 從 0.6.3 到 0.6.5 的 vctrs
    • 從 1.6.3 到 1.6.5 的 vroom
    • waldo 從 0.5.1 到 0.5.2
    • withr 從 2.5.0 到 3.0.0
    • xfun 從 0.39 到 0.41
    • xml2 從 1.3.5 到 1.3.6
    • yaml 從 2.3.7 到 2.3.8
    • zip 從 2.3.0 到 2.3.1
  • 升級的 Java 程式庫：
    • com.fasterxml.jackson.datatype.jackson-datatype-jsr310，從 2.15.1 到 2.16.0
    • com.google.flatbuffers.flatbuffers-java 從 1.12.0 到 23.5.26
    • com.typesafe.config 從 1.2.1 到 1.4.3
    • org.apache.ant.ant 從 1.9.16 到 1.10.11
    • org.apache.ant.ant-jsch 從 1.9.16 到 1.10.11
    • org.apache.ant.ant-launcher，從 1.9.16 到 1.10.11
    • org.apache.arrow.arrow-format from 12.0.1 to 15.0.0
    • org.apache.arrow.arrow-memory-core，從 12.0.1 到 15.0.0
    • org.apache.arrow.arrow-memory-netty 從 12.0.1 到 15.0.0
    • org.apache.arrow.arrow-vector 從 12.0.1 到 15.0.0
    • org.apache.avro.avro 從 1.11.2 到 1.11.3
    • org.apache.avro.avro-ipc 從 1.11.2 到 1.11.3
    • org.apache.avro.avro-mapred 從 1.11.2 到 1.11.3
    • org.apache.logging.log4j.log4j-1.2-api，從 2.20.0 到 2.22.1
    • org.apache.logging.log4j.log4j-api，從 2.20.0 到 2.22.1
    • org.apache.logging.log4j.log4j-core 從 2.20.0 到 2.22.1
    • org.apache.logging.log4j.log4j-slf4j2-impl，從 2.20.0 到 2.22.1
    • org.postgresql.postgresql 從 42.6.0 到 42.6.1

Apache Spark

Databricks Runtime 15.1 包含 Apache Spark 3.5.0。 此版本包含 Databricks Runtime 14.3 LTS 中包含的所有 Spark 修正和改善，以及下列對 Spark 所做的其他錯誤修正和改善：

  • [SPARK-45527] [DBRRM-805][ES-1073714]還原 “[SC-151626][CORE] 使用分數來執行資源計算”
  • [SPARK-47102] [DBRRM-803][SC-158253][SQL] COLLATION_ENABLED 新增組態旗標
  • [SPARK-46973] [SC-158140][DBRRM-777][SQL]當數據表位於 V1 資料表快取時，請略過 V2 數據表查閱
  • [SPARK-46808] [SC-154113][PYTHON]使用自動排序函式精簡 Python 中的錯誤類別
  • [SPARK-47251][SC-158291][PYTHON]封鎖命令自變數中的argssql無效類型
  • [SPARK-47251][SC-158121][PYTHON]封鎖命令自變數中的argssql無效類型
  • [SPARK-47108][SC-157204][CORE]在 CLIS 中明確設定derby.connection.requireAuthentication為false
  • [SPARK-45599] [SC-157537][CORE]在OpenHashSet中使用物件相等
  • [SPARK-47099][SC-157352][SQL]使用 ordinalNumber 來統一設定錯誤類別的 值paramIndexUNEXPECTED_INPUT_TYPE
  • [SPARK-46558][SC-151363][CONNECT]擷取協助程式函式，以排除從 ErrorParams 中擷取的MessageParameters重複程序代碼GrpcExceptionConverter
  • [SPARK-43117] [SC-156177][CONNECT]讓 ProtoUtils.abbreviate 支援重複欄位
  • [SPARK-46342][SC-150283][SQL]SparkException.internalError在 sql 中取代IllegalStateException
  • [SPARK-47123] [SC-157412][CORE]JDBCRDD 無法正確處理 getQueryOutputSchema 中的錯誤
  • [SPARK-47189] [SC-157667][SQL]調整資料行錯誤名稱和文字
  • [SPARK-45789] [SC-157101][SQL]支援叢集數據行的 DESCRIBE TABLE
  • [SPARK-43256] [SC-157699][SQL]拿掉錯誤類別_LEGACY_ERROR_TEMP_2021
  • [SPARK-47201] [SC-157782][PYTHON][CONNECT] sameSemantics 檢查輸入類型
  • [SPARK-47183] [SC-157660][PYTHON]修正的錯誤類別 sameSemantics
  • [SPARK-47179] [SC-157663][SQL]改善SparkThrowableSuite的錯誤訊息，以提升偵錯能力
  • [SPARK-46965] [SC-155791][CORE]簽 logType 入 Utils.getLog
  • [SPARK-46832] [SC-156774][SQL]定序和定序表示式簡介
  • [SPARK-46946] [SC-155721][SQL]支援在 DynamicPruning 中廣播多個篩選索引鍵
  • [SPARK-47079] [VARIANT-22][SC-157598][PYTHON][SQL][CONNECT]將 Variant 類型資訊新增至 PySpark
  • [SPARK-47101] [SC-157360][SQL]允許在最上層數據行名稱中使用逗號，並在 中移除檢查巢狀類型定義 HiveExternalCatalog.verifyDataSchema
  • [SPARK-47173] [SC-157571][SS][UI]修正串流 UI 說明中的錯字
  • [SPARK-47113] [SC-157348][CORE]還原SPARK-35878的S3A端點修正邏輯
  • [SPARK-47130] [SC-157462][CORE]在清除驅動程序記錄時，使用 listStatus 略過封鎖位置資訊
  • [SPARK-43259] [SC-157368][SQL]將名稱指派給錯誤類別_LEGACY_ERROR_TEMP_2024
  • [SPARK-47104] [SC-157355][SQL] TakeOrderedAndProjectExec 應該初始化不安全的投影
  • [SPARK-47137] [SC-157463][PYTHON][CONNECT]將 getAll 新增至 spark.conf，以取得與 Scala 的功能同位
  • [SPARK-46924][SC-154905][CORE][記錄 UI] 中的 Master/HistoryServer [修正] Load New 按鈕
  • [SPARK-47069][SC-157370][PYTHON][CONNECT]SparkSession 型分析簡介spark.profile.show/dump
  • [SPARK-46812] [SC-157075][SQL][PYTHON]讓 mapInPandas / mapInArrow 支援 ResourceProfile
  • [SPARK-46833] [SC-155866][SQL]定序 - 定序簡介定序Factory，可為支援的定序提供比較和哈希規則
  • [SPARK-47057] [SC-157036][PYTHON]重新擷取 MyPy 數據測試
  • [SPARK-46934] [SC-157084][SQL]具有 HMS 特殊字元之結構類型的讀取/寫入往返
  • [SPARK-46727][SC-153472][SQL]錯誤類別的 JDBC 方言中的埠classifyException()
  • [SPARK-46964] [SC-155740][SQL]變更 hllInvalidLgK 查詢執行錯誤的簽章，將整數視為第 4 個自變數
  • [SPARK-46949] [SC-155719][SQL]透過 ResolveDefaultColumns 支援 CHAR/VARCHAR
  • [SPARK-46972] [SC-155888][SQL]修正 V2SessionCatalog.createTable 中 char/varchar 的非對稱取代
  • [SPARK-47014] [SC-156778][PYTHON][CONNECT]實作 SparkSession 的 dumpPerfProfiles 和 dumpMemoryProfiles 方法
  • [SPARK-46689] [SC-156221][SPARK-46690][PYTHON][CONNECT]在 group/cogroup applyInPandas/applyInArrow 中支援 v2 分析
  • [SPARK-47040] [SC-156773][CONNECT]允許 Spark Connect 伺服器腳本等候
  • [SPARK-46688] [SC-156113][SPARK-46691][PYTHON][CONNECT]支持匯總 Pandas UDF 中的 v2 分析
  • [SPARK-47004] [SC-156499][CONNECT]已將更多測試新增至 ClientStreamingQuerySuite 以增加 Scala 客戶端測試涵蓋範圍
  • [SPARK-46994] [SC-156169][PYTHON]重構 PythonWrite 以準備支援 Python 數據源串流寫入
  • [SPARK-46979] [SC-156587][SS]針對 RocksDB 狀態存放區提供者中的每個 col 系列，新增個別指定索引鍵和值編碼器的支援
  • [SPARK-46960] [SC-155940][SS]使用 TransformWithState 運算子測試多個輸入數據流
  • [SPARK-46966] [SC-156112][Python]為 'analyze' 方法新增 UDTF API，以指出要選取的輸入數據表數據行子集
  • [SPARK-46895] [SC-155950][CORE]將 Timer 取代為單個線程排程的執行程式
  • [SPARK-46967] [SC-155815][CORE][UI]隱藏 Thread Dump 和 Heap Histogram Dead UI 中的 Executors 執行程式
  • [SPARK-46512] [SC-155826][CORE]使用排序和合併時，優化隨機讀取。
  • [SPARK-46958] [SC-155942][SQL]新增遺漏時區以強制預設值
  • [SPARK-46754] [SC-153830][SQL][AVRO]修正avro資料表定義和寫入選項中的壓縮程式碼解析
  • [SPARK-46728] [SC-154207][PYTHON]正確檢查 Pandas 安裝
  • [SPARK-43403] [SC-154216][UI]在載入新 Spark 之前，請確定 HistoryServer 中的舊 SparkUI 已中斷連結
  • [SPARK-39910] [SC-156203][SQL]在 DataSource 檔案路徑擷取期間委派文件系統的路徑資格
  • [SPARK-47000] [SC-156123]還原 “[SC-156123][CORE] 使用 getTotalMemorySize...
  • [SPARK-46819] [SC-154560][CORE]將錯誤類別和狀態移至 JSON
  • [SPARK-46997][SC-156175][CORE]默認為啟用spark.worker.cleanup.enabled
  • [SPARK-46865] [SC-156168][SS]新增 TransformWithState 運算子的 Batch 支援
  • [SPARK-46987] [SC-156040][CONNECT] ProtoUtils.abbreviate 避免不必要的 setField 作業
  • [SPARK-46970][SC-155816][CORE]使用 重寫OpenHashSet#hasherpattern matching
  • [SPARK-46984] [SC-156024][PYTHON]拿掉pyspark.copy_func
  • [SPARK-47000][SC-156123][CORE]在中使用getTotalMemorySizeWorkerArguments
  • [SPARK-46980] [SC-155914][SQL][MINOR]避免在數據框架端對端測試中使用內部 API
  • [SPARK-46931] 還原 “[SC-155661][PS] 實作 {Frame, Series}.to_hdf”
  • [SPARK-46618] [SC-153828][SQL]改善DATA_SOURCE_NOT_FOUND錯誤的錯誤訊息
  • [SPARK-46849] [SC-154586][SQL]在 CREATE TABLE 資料行預設值上執行優化器
  • [SPARK-46911] [SC-155724][SS]將 deleteIfExists 運算子新增至 StatefulProcessorHandleImpl
  • [SPARK-43273] [SQL]支援 lz4raw Parquet 的壓縮編解碼器
  • [SPARK-47002] [SC-156223][Python]如果 UDTF 'analyze' 方法 'orderBy' 欄位不小心傳回字串清單，則傳回更好的錯誤訊息
  • [SPARK-46890] [SC-155802][SQL]修正具有存在預設值和數據行剪除的 CSV 剖析 Bug
  • [SPARK-46977] [SC-155892][CORE]從一個 NameNode 取得令牌的要求失敗，不應略過後續的令牌要求
  • [SPARK-46608] [SC-151806][SQL]還原的回溯相容性 JdbcDialect.classifyException
  • [SPARK-46908] [SC-155702][SQL]WHERE 子句中的支援 star 子句
  • [SPARK-46908] [SC-155702][SQL]WHERE 子句中的支援 star 子句
  • [SPARK-46852] [SC-155665][SS]拿掉使用明確密鑰編碼器，並將它隱含地傳遞給 transformWithState 運算子的運算子
  • [SPARK-46864] [SC-155669][SS]將任意 StateV2 上架到新的錯誤類別架構
  • [SPARK-45807] [SC-155706][SQL]呼叫 replaceView（.. ） 之後傳回 View
  • [SPARK-46899][SC-154651][CORE]從 MasterWebUI 為時spark.ui.killEnabled移除 POST APIfalse
  • [SPARK-46868] [SC-154539][CORE]支援 Spark 背景工作記錄 UI
  • [SPARK-46931] [SC-155661][PS]實現 {Frame, Series}.to_hdf
  • [SPARK-46940][SC-155667][CORE]拿掉未使用的 updateSparkConfigFromProperties 和isAbsoluteURIo.a.s.u.Utils
  • [SPARK-46929] [SC-155659][CORE][CONNECT][SS]使用 ThreadUtils.shutdown 關閉線程集區
  • [SPARK-46400] [SC-155658][CORE][SQL]當本機 Maven 存放庫中有損毀的檔案時，請略過此快取，然後再試一次
  • [SPARK-46932] [SC-155655]清除中的匯入 pyspark.pandas.test_*
  • [SPARK-46683] [SC-154120]撰寫產生子查詢排列的子查詢產生器，以增加測試涵蓋範圍
  • [SPARK-46914] [SC-154776][UI]縮短 [歷程記錄] 頁面上摘要數據表中的應用程式名稱
  • [SPARK-46831] [SC-154699][SQL]定序 - 使用 collationId 字段擴充 StringType 和 PhysicalStringType
  • [SPARK-46816] [SC-154415][SS]為具有/不含變更記錄檢查點的 RocksDBStateStoreProvider 新增新任意狀態管理運算符、單一 valueState 類型、多個狀態變數和基礎支持數據行系列的基本支援
  • [SPARK-46925] [SC-154890][PYTHON][CONNECT]新增警告，指示安裝記憶體分析memory_profiler
  • [SPARK-46927] [SC-154904][PYTHON]在沒有 assertDataFrameEqual PyArrow 的情況下正常運作
  • [SPARK-46021] [SC-148987][CORE]支援取消屬於作業群組的未來作業
  • [SPARK-46747] [SC-154789][SQL]避免在 getTableExistsQuery 中掃描 JDBC 方言
  • [SPARK-46904] [SC-154704][UI]修正歷程記錄 UI 摘要的顯示問題
  • [SPARK-46870] [SC-154541][CORE]支援 Spark 主要記錄 UI
  • [SPARK-46893] [SC-154780][UI]從 UI 描述中移除內嵌腳本
  • [SPARK-46910] [SC-154760][PYTHON]消除 PySpark 安裝中的 JDK 需求
  • [SPARK-46907] [SC-154736][CORE]在 Spark 歷程記錄伺服器中顯示驅動程式記錄位置
  • [SPARK-46902] [SC-154661][UI]修正 Spark 歷程記錄伺服器 UI 以使用未匯出的 setAppLimit
  • [SPARK-46687] [SC-154725][PYTHON][CONNECT]SparkSession 型記憶體分析工具的基本支援
  • [SPARK-46623] [SC-153831][CORE][MLLIB][SQL]以 DateTimeFormatter 取代 SimpleDateFormat
  • [SPARK-46875][SC-154627][SQL]mode當 為 null 時，應該not擲回 。NullPointException
  • [SPARK-46872] [SC-154543][CORE]復原 log-view.js 為非模組
  • [SPARK-46883] [SC-154629][CORE]支援 /json/clusterutilization API
  • [SPARK-46886][SC-154630][CORE]默認為啟用spark.ui.prometheus.enabled
  • [SPARK-46873] [SC-154638][SS]請勿針對相同的 Spark 會話重新建立新的 StreamingQueryManager
  • [SPARK-46829] [SC-154419][CORE]從 SparkEnv 移除 createExecutorEnv
  • [SPARK-46827] [SC-154280][CORE]進行 RocksDBPersistenceEngine 以支援符號連結
  • [SPARK-46903] [SC-154662][CORE]支援 Spark 歷程記錄伺服器記錄 UI
  • [SPARK-46874] [SC-154646][PYTHON]從中移除 pyspark.pandas 相依性 assertDataFrameEqual
  • [SPARK-46889] [SC-154639][CORE]驗證 spark.master.ui.decommission.allow.mode 設定
  • [SPARK-46850][SC-154443][SQL]轉換成_LEGACY_ERROR_TEMP_2102 UNSUPPORTED_DATATYPE
  • [SPARK-46704][SC-153323][CORE][UI]修正MasterPage以依Duration數據行正確排序Running Drivers數據表
  • [SPARK-46796] [SC-154279][SS]確定在 RocksDB 版本載入上使用正確的遠端檔案（metadata.zip中所述）
  • [SPARK-46888] [SC-154636][CORE]修正 Master 在停用解除委任時拒絕 /workers/kill/ 要求
  • [SPARK-46818] [SC-154422][SQL]使用不可折疊的輸入改善 Range 的錯誤訊息
  • [SPARK-46898] [SC-154649][CONNECT]簡化 Planner 中的 protobuf 函式轉換
  • [SPARK-46828] [SC-154413][SQL]拿掉 Spark sql Shell 遠端模式無效的判斷提示
  • [SPARK-46733] [SC-154274][CORE]只依賴中斷線程，藉由結束作業簡化 BlockManager。
  • [SPARK-46777] [SC-154016][SS]重構 StreamingDataSourceV2Relation 催化劑結構，以與批次版本更相等
  • [SPARK-46515] [SC-151716]新增 MONTHNAME 函式
  • [SPARK-46823] [SC-154276][CONNECT][PYTHON] LocalDataToArrowConversion 應該檢查可為 Null
  • [SPARK-46787] [SC-154404][CONNECT] bloomFilter 函式應該擲回 AnalysisException 無效的輸入
  • [SPARK-46779] [SC-154045][SQL] InMemoryRelation 相同快取計劃的實例應該在語意上相等
  • [SPARK-45827] [SC-153973]不允許 Variant 資料行上的分割
  • [SPARK-46797] [SC-154085][CORE]將重新命名 spark.deploy.spreadOut 為 spark.deploy.spreadOutApps
  • [SPARK-46094] [SC-153421]支援執行程式 JVM 分析
  • [SPARK-46746] [SC-153557][SQL][AVRO]將編解碼器延伸模組附加至avro數據源檔案
  • [SPARK-46698] [SC-153288][CORE]將 Timer 取代為 ConsoleProgressBar 的單個線程排程執行程式。
  • [SPARK-46629] [SC-153835]修正 STRUCT 類型 DDL 未挑選 Null 性和批注
  • [SPARK-46750] [SC-153772][CONNECT][PYTHON]DataFrame API 程式代碼清除
  • [SPARK-46769] [SC-153979][SQL]精簡時間戳相關架構推斷
  • [SPARK-46765] [SC-153904][PYTHON][CONNECT]Make shuffle 指定的數據類型 seed
  • [SPARK-46579] [SC-151481][SQL]在錯誤和記錄中修訂 JDBC URL
  • [SPARK-46686] [SC-153875][PYTHON][CONNECT]SparkSession 型 Python UDF 分析工具的基本支援
  • [SPARK-46748] 還原 “[SC-153800][CORE] 移除 *slav**.sh scri...
  • [SPARK-46707] [SC-153833][SQL]已將可擲回欄位新增至表達式，以改善述詞下推
  • [SPARK-46519] [SC-151278][SQL]從 error-classes.json 檔案清除未使用的錯誤類別
  • [SPARK-46677] [SC-153426][SQL][CONNECT]修正 dataframe["*"] 解決方案
  • [SPARK-46317] [SC-150184][PYTHON][CONNECT]比對SparkSession中的次要行為比對與完整測試涵蓋範圍
  • [SPARK-46748] [SC-153800][CORE]拿掉 *slav**.sh 文稿
  • [SPARK-46663] [SC-153490][PYTHON]使用反覆運算器停用 pandas UDF 的記憶體分析工具
  • [SPARK-46410] [SC-150776][SQL]將錯誤類別/子類別指派給 JdbcUtils.classifyException
  • [SPARK-46277] [SC-150126][PYTHON]使用設定的組態來驗證啟動URL
  • [SPARK-46612] [SC-153536][SQL]請勿轉換從 jdbc 驅動程式擷取的數位類型字串
  • [SPARK-46254] [SC-149788][PYTHON]拿掉過時的 Python 3.8/3.7 版本檢查
  • [SPARK-46490] [SC-151335][SQL]子類別中 SparkThrowable 需要錯誤類別
  • [SPARK-46383] [SC-153274][SC-147443][WARMFIX]藉由減少的生命週期來減少驅動程式堆積使用量 TaskInfo.accumulables()
  • [SPARK-46541] [SC-153109][SQL][CONNECT]修正自我聯結中的模棱兩可數據行參考
  • [SPARK-46381] [SC-150495][SQL]將的 AnalysisException 子類別移轉至錯誤類別
  • [SPARK-46351] [SC-150335][SQL]在中需要錯誤類別 AnalysisException
  • [SPARK-46220] [SC-149689][SQL]在中限制字元集 decode()
  • [SPARK-46369][SC-150340][CORE]從 RELAUNCHING 中的驅動程式移除kill連結MasterPage
  • [SPARK-46052] [SC-153284][CORE]拿掉函式 TaskScheduler.killAllTaskAttempts
  • [SPARK-46536] [SC-153164][SQL]支援 GROUP BY calendar_interval_type
  • [SPARK-46675] [SC-153209][SQL]拿掉 ParquetReadSupport 中未使用的 inferTimestampNTZ
  • [SPARK-46717] [SC-153423][CORE]由結束作業簡化 ReloadingX509TrustManager ，只取決於中斷線程。
  • [SPARK-46722] [SC-153438][CONNECT]在 Spark Connect 中新增有關 StreamingQueryListener 回溯兼容性檢查的測試 （Scala/PySpark）
  • [SPARK-46187] [SC-149580][SQL]對齊的 codegen 和非 codegen 實作 StringDecode
  • [SPARK-46258] [SC-149799][CORE]加 RocksDBPersistenceEngine
  • [SPARK-46216] [SC-149676][CORE]改善 FileSystemPersistenceEngine 以支援壓縮
  • [SPARK-46189] [SC-149567][PS][SQL]在各種 Pandas 聚合函數中執行相同類型的比較和算術，以避免解譯模式錯誤
  • [SPARK-46184] [SC-149563][CORE][SQL][CONNECT][MLLIB]使用 Option.isDefined 取代 Option.isMpty 來減少堆疊深度
  • [SPARK-46700] [SC-153329][CORE]計算隨機磁碟溢出位元組計量的最後一次溢出
  • [SPARK-45642] [SC-150286][CORE][SQL]修復 FileSystem.isFile & FileSystem.isDirectory is deprecated
  • [SPARK-46640] [SC-153272][SQL]藉由排除子查詢屬性來修正 RemoveRedundantAlias
  • [SPARK-46681] [SC-153287][CORE]重構 ExecutorFailureTracker#maxNumExecutorFailures 以避免在 defaultMaxNumExecutorFailures 設定時 MAX_EXECUTOR_FAILURES 計算
  • [SPARK-46695] [SC-153289][SQL][HIVE]一律將hive.execution.engine 設定為 mr
  • [SPARK-46325] [SC-150228][CONNECT]在中建構 WrappedCloseableIterator 時移除不必要的覆寫函式 ResponseValidator#wrapIterator
  • [SPARK-46232] [SC-149699][PYTHON]將所有剩餘的 ValueError 移轉至 PySpark 錯誤架構。
  • [SPARK-46547] [SC-153174][SS]在維護工作中吞下非嚴重例外狀況，以避免維護線程與串流匯總運算符之間的死結
  • [SPARK-46169] [SC-149373][PS]為 API 中遺漏的參數 DataFrame 指派適當的 JIRA 編號。
  • [SPARK-45857] [SC-148096][SQL]在的子類別中強制執行錯誤類別 AnalysisException

Databricks ODBC/JDBC 驅動程式支援

Databricks 支援在過去 2 年中發行的 ODBC/JDBC 驅動程式。 請下載最近發行的驅動程式和升級 (下載 ODBC，下載 JDBC)。

維護更新

請參閱 Databricks Runtime 15.1 維護更新。

系統環境

  • 操作系統：Ubuntu 22.04.4 LTS
  • Java：Zulu 8.74.0.17-CA-linux64
  • Scala：2.12.15
  • Python：3.11.0
  • R：4.3.2
  • Delta Lake：3.1.0

已安裝的 Python 程式庫

程式庫 版本 程式庫 版本 程式庫 版本
asttokens 2.0.5 astunparse 1.6.3 azure-core 1.30.1
azure-storage-blob 12.19.1 azure-storage-file-datalake 12.14.0 backcall 0.2.0
black 23.3.0 blinker 1.4 boto3 1.34.39
botocore 1.34.39 cachetools 5.3.3 certifi 2023.7.22
cffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
click 8.0.4 cloudpickle 2.2.1 comm 0.1.2
contourpy 1.0.5 cryptography 41.0.3 cycler 0.11.0
Cython 0.29.32 databricks-sdk 0.20.0 dbus-python 1.2.18
debugpy 1.6.7 decorator 5.1.1 distlib 0.3.8
entrypoints 0.4 executing 0.8.3 facets-overview 1.1.1
filelock 3.13.1 fonttools 4.25.0 gitdb 4.0.11
GitPython 3.1.42 google-api-core 2.17.1 google-auth 2.28.2
google-cloud-core 2.4.1 google-cloud-storage 2.15.0 google-crc32c 1.5.0
google-resumable-media 2.7.0 googleapis-common-protos 1.63.0 grpcio 1.60.0
grpcio-status 1.60.0 httplib2 0.20.2 idna 3.4
importlib-metadata 6.0.0 ipyflow-core 0.0.198 ipykernel 6.25.1
ipython 8.15.0 ipywidgets 8.0.4 isodate 0.6.1
jedi 0.18.1 jeepney 0.7.1 jmespath 0.10.0
joblib 1.2.0 jupyter_client 7.4.9 jupyter_core 5.3.0
jupyterlab-widgets 3.0.5 keyring 23.5.0 kiwisolver 1.4.4
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
matplotlib 3.7.2 matplotlib-inline 0.1.6 mlflow-skinny 2.11.1
more-itertools 8.10.0 mypy-extensions 0.4.3 nest-asyncio 1.5.6
numpy 1.23.5 oauthlib 3.2.0 packaging 23.2
pandas 1.5.3 parso 0.8.3 pathspec 0.10.3
patsy 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Pillow 9.4.0 pip 23.2.1 platformdirs 3.10.0
plotly 5.9.0 prompt-toolkit 3.0.36 protobuf 4.24.1
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 pyarrow 14.0.1 pyasn1 0.4.8
pyasn1-modules 0.2.8 pyccolo 0.0.52 pycparser 2.21
pydantic 1.10.6 Pygments 2.15.1 PyGObject 3.42.1
PyJWT 2.3.0 pyodbc 4.0.38 pyparsing 3.0.9
python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1 pytz 2022.7
PyYAML 6.0 pyzmq 23.2.0 requests 2.31.0
rsa 4.9 s3transfer 0.10.0 scikit-learn 1.3.0
scipy 1.11.1 seaborn 0.12.2 SecretStorage 3.3.1
setuptools 68.0.0 six 1.16.0 smmap 5.0.1
sqlparse 0.4.4 ssh-import-id 5.11 stack-data 0.2.0
statsmodels 0.14.0 tenacity 8.2.2 threadpoolctl 2.2.0
tokenize-rt 4.2.1 tornado 6.3.2 traitlets 5.7.1
typing_extensions 4.7.1 tzdata 2022.1 ujson 5.4.0
unattended-upgrades 0.1 urllib3 1.26.16 virtualenv 20.24.2
wadllib 1.3.6 wcwidth 0.2.5 wheel 0.38.4
widgetsnbextension 4.0.5 zipp 3.11.0

已安裝的 R 程式庫

R 連結庫會從 2023-02-10 上的 Posit 封裝管理員 CRAN 快照集安裝。

程式庫 版本 程式庫 版本 程式庫 版本
箭號 14.0.0.2 askpass 1.2.0 assertthat 0.2.1
backports 1.4.1 base 4.3.2 base64enc 0.1-3
bigD 0.2.0 bit 4.0.5 bit64 4.0.5
bitops 1.0-7 blob 1.2.4 boot 1.3-28
brew 1.0-10 brio 1.1.4 broom 1.0.5
bslib 0.6.1 cachem 1.0.8 callr 3.7.3
caret 6.0-94 cellranger 1.1.0 chron 2.3-61
class 7.3-22 cli 3.6.2 clipr 0.8.0
clock 0.7.0 叢集 2.1.4 codetools 0.2-19
colorspace 2.1-0 commonmark 1.9.1 compiler 4.3.2
config 0.3.2 衝突 1.2.0 cpp11 0.4.7
crayon 1.5.2 credentials 2.0.1 curl 5.2.0
data.table 1.15.0 datasets 4.3.2 DBI 1.2.1
dbplyr 2.4.0 遞減 1.4.3 devtools 2.4.5
圖表 1.6.5 diffobj 0.3.5 digest 0.6.34
downlit 0.4.3 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 省略符號 0.3.2 evaluate 0.23
fansi 1.0.6 farver 2.1.1 fastmap 1.1.1
fontawesome 0.5.2 forcats 1.0.0 foreach 1.5.2
foreign 0.8-85 forge 0.2.0 fs 1.6.3
future 1.33.1 future.apply 1.11.1 gargle 1.5.2
泛型 0.1.3 gert 2.0.1 ggplot2 3.4.4
gh 1.4.0 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 globals 0.16.2 glue 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 gower 1.0.1
graphics 4.3.2 grDevices 4.3.2 grid 4.3.2
gridExtra 2.3 gsubfn 0.7 gt 0.10.1
gtable 0.3.4 hardhat 1.3.1 haven 2.5.4
highr 0.10 hms 1.1.3 htmltools 0.5.7
htmlwidgets 1.6.4 httpuv 1.6.14 httr 1.4.7
httr2 1.0.0 ids 1.0.1 ini 0.3.1
ipred 0.9-14 isoband 0.2.7 iterators 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 多汁 0.1.0
KernSmooth 2.23-21 knitr 1.45 labeling 0.4.3
later 1.3.2 lattice 0.21-8 Lava 1.7.3
生命週期 1.0.4 listenv 0.9.1 lubridate 1.9.3
magrittr 2.0.3 markdown 1.12 MASS 7.3-60
矩陣 1.5-4.1 memoise 2.0.1 方法 4.3.2
mgcv 1.8-42 mime 0.12 miniUI 0.1.1.1
mlflow 2.10.0 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.1.1 parallel 4.3.2
parallelly 1.36.0 pillar 1.9.0 pkgbuild 1.4.3
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.4
plogr 0.2.0 plyr 1.8.9 praise 1.0.0
prettyunits 1.2.0 pROC 1.18.5 processx 3.8.3
prodlim 2023.08.28 profvis 0.3.8 進度 1.2.3
progressr 0.14.0 promises 1.2.1 proto 1.0.0
proxy 0.4-27 ps 1.7.6 purrr 1.0.2
R6 2.5.1 ragg 1.2.7 randomForest 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.12 RcppEigen 0.3.3.9.4 reactable 0.4.4
reactR 0.5.0 readr 2.1.5 readxl 1.4.3
recipes 1.0.9 rematch 2.0.0 rematch2 2.1.2
remotes 2.4.2.1 reprex 2.1.0 reshape2 1.4.4
rlang 1.1.3 rmarkdown 2.25 RODBC 1.3-23
roxygen2 7.3.1 rpart 4.1.21 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.5 rstudioapi 0.15.0
rversions 2.1.2 rvest 1.0.3 sass 0.4.8
scales 1.3.0 selectr 0.4-2 sessioninfo 1.2.2
shape 1.4.6 shiny 1.8.0 sourcetools 0.1.7-1
sparklyr 1.8.4 spatial 7.3-15 splines 4.3.2
sqldf 0.4-11 SQUAREM 2021.1 stats 4.3.2
stats4 4.3.2 stringi 1.8.3 stringr 1.5.1
survival 3.5-5 Swagger 3.33.1 sys 3.4.2
systemfonts 1.0.5 tcltk 4.3.2 testthat 3.2.1
textshaping 0.3.7 tibble 3.2.1 tidyr 1.3.1
tidyselect 1.2.0 tidyverse 2.0.0 timechange 0.3.0
timeDate 4032.109 tinytex 0.49 tools 4.3.2
tzdb 0.4.0 urlchecker 1.0.1 usethis 2.2.2
utf8 1.2.4 utils 4.3.2 uuid 1.2-0
V8 4.4.1 vctrs 0.6.5 viridisLite 0.4.2
vroom 1.6.5 waldo 0.5.2 whisker 0.4.1
withr 3.0.0 xfun 0.41 xml2 1.3.6
xopen 1.0.0 xtable 1.8-4 yaml 2.3.8
zeallot 0.1.0 zip 2.3.1

安裝 Java 和 Scala 函式庫 (Scala 2.12 叢群版本)

群組識別碼 成品識別碼 版本
ANTLR ANTLR 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-js-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.17.1
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.咖啡因 caffeine 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1 原生
com.github.fommil.netlib native_system java 1.1
com.github.fommil.netlib native_system java 1.1 原生
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1 原生
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1 原生
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 23.5.26
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger 分析工具 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.版
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber H3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.25
io.delta delta-sharing-client_2.12 1.0.4
io.dropwizard.metrics metrics-annotation 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlet 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx 收集器 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation 啟用 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow arrow-format 15.0.0
org.apache.arrow arrow-memory-core 15.0.0
org.apache.arrow arrow-memory-netty 15.0.0
org.apache.arrow arrow-vector 15.0.0
org.apache.avro Avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents HttpClient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper ZooKeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-collections 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap 墊片 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest 相容 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1