Databricks Runtime 15.0 （不支援）
下列版本資訊提供由 Apache Spark 3.5.0 提供之 Databricks Runtime 15.0 的相關信息。
Databricks 於 2024 年 3 月發行了這些映射。
重大變更
PySpark spark.sql() 函式現在會因為無效的自變數類型而失敗
在 Databricks Runtime 15.0 和更新版本中， args 傳遞給 spark.sql() 函式之具名或位置參數的參數必須是字典或清單。 如果傳遞任何其他物件類型，就會引發下列錯誤： PySparkTypeError: [INVALID_TYPE] Argument `args` should not be a <arg_type>。
在 DBFS 根目錄中儲存連結庫已淘汰，且預設為停用
若要改善 Azure Databricks 工作區中連結庫的安全性，從 Databricks Runtime 15.0 開始，將連結庫檔案儲存在 DBFS 根目錄中會遭到取代和停用。 Databricks 建議將包含 Python 連結庫、JAR 檔案和 Spark 連接器的所有連結庫上傳至工作區檔案、Unity 目錄磁碟區，或使用套件存放庫。 請參閱 上傳連結庫的建議。
若要重新啟用將連結庫儲存在 DBFS 根目錄中，請設定下列 Spark 組態參數： spark.databricks.driver.dbfsLibraryInstallationAllowed true。
默認 Python 版本從 3.10 升級至 3.11
使用 Databricks Runtime 15.0 時，預設 Python 版本為 3.11.0。 如需升級的 Python 連結庫清單，請參閱 連結庫升級。
JDK 11 已移除
如先前 所宣佈，JDK 11 已從 Databricks Runtime 15.0 和更新版本中移除。 Databricks 建議在升級至 Databricks Runtime 15.0 和更新版本時升級至 JDK 17。 請參閱 Databricks SDK for Java。
Python REPL 現在會正常終止
使用 Databricks Runtime 15.0，筆記本的 Python REPL 程式現在會在結束時正常終止。 這會導致任何 atexit 勾點被接受。 例如，在具有多個 Python 筆記本工作的工作流程中，在第一個工作中註冊的 atexit 攔截會在第二個 Python 筆記本工作執行之前執行。
新功能和改善
- WHERE 子句現在支援 * （star） 子句
- 現在預設會啟用組
spark.sql.json.enablePartialResults態 - 叢集連結庫現在支援requirements.txt檔案
- Databricks CLI 現在可在 Web 終端機中使用
- 將預設 Python 存放庫新增至叢集組態
WHERE 子句現在支援 * （star） 子句
您現在可以使用 子句中的 star （*） 子句來參考清單中所有數據行SELECT。WHERE
例如： SELECT * FROM VALUES(1, 2) AS T(a1, a2) WHERE 1 IN(T.*) 。
現在預設會啟用組 spark.sql.json.enablePartialResults 態
Spark 組態 spark.sql.json.enablePartialResults 現在預設為啟用，讓 JSON 剖析器能夠正確處理複雜類型的剖析錯誤，例如結構、對應和數位，而不需要卸載其餘欄位。 這項變更會修正 JSON 數據源與數據行剪除的一致性問題。
叢集連結庫現在支援requirements.txt檔案
您現在可以使用 requirements.txt 儲存在工作區檔案或 Unity 目錄磁碟區中的檔案來安裝叢集連結庫。 在 單一使用者 和 共用 存取模式叢集中， requirements.txt 檔案可以參考其他檔案。 在 [無隔離共用 存取模式叢集] 中，僅支援 PyPI 套件。 請參閱叢集程式庫。
Databricks CLI 現在可在 Web 終端機中使用
您現在可以從筆記本中的 Web 終端機使用 Databricks CLI。 筆記本必須附加至單一使用者或無隔離共用存取模式的叢集。 如需詳細資訊，請參閱 使用Web終端機和 Databricks CLI。
將預設 Python 存放庫新增至叢集組態
在 Databricks Runtime 15.0 和更新版本中，您可以在設定叢集或定義叢集原則時，設定叢集和筆記本範圍連結庫安裝的全域 pip index-url 和 extra-index-url 參數。 若要這樣做，請設定環境變數 DATABRICKS_PIP_INDEX_URL 和 DATABRICKS_PIP_EXTRA_INDEX_URL。
連結庫升級
- 升級的 Python 連結庫：
- 從 22.6.0 到 23.3.0 的黑色
- boto3 從 1.24.28 到 1.34.39
- 從 1.27.96 到 1.34.39 的 botocore
- 從 2022.12.7 到 2023.7.22 的認證
- 從 39.0.1 到 41.0.3 的密碼編譯
- 從 0.1.6 到 0.20.0 的 databricks-sdk
- 從 0.3.7 到 0.3.8 的 distlib
- googleapis-common-protos，從 1.62.0 到 1.63.0
- 從 1.48.2 到 1.60.0 的 grpcio
- grpcio-status 從 1.48.1 到 1.60.0
- importlib-metadata from 4.6.4 to 6.0.0
- ipykernel 從 6.25.0 到 6.25.1
- 從 8.14.0 到 8.15.0 的 ipython
- ipywidgets 從 7.7.2 到 8.0.4
- 從 5.2.0 到 5.3.0 jupyter_core
- jupyterlab-widgets from 1.0.0 to 3.0.5
- matplotlib 從 3.7.0 到 3.7.2
- pandas from 1.5.3 to 2.0.3
- pip 從 22.3.1 到 23.2.1
- platformdirs from 2.5.2 to 3.10.0
- protobuf 從 4.24.0 到 4.24.1
- pyarrow 從 8.0.0 到 14.0.1
- 從 2.11.2 到 2.15.1 的 Pygments
- pyodbc 從 4.0.32 到 4.0.38
- 要求從 2.28.1 到 2.31.0
- s3transfer 從 0.6.2 到 0.10.0
- scikit-learn 從 1.1.1 到 1.3.0
- 從 1.10.0 到 1.11.1 的 scipy
- setuptools from 65.6.3 to 68.0.0
- statsmodel 從 0.13.5 到 0.14.0
- 從 8.1.0 到 8.2.2 的頑強性
- 龍捲風從 6.1 到 6.3.2
- 從 4.4.0 到 4.7.1 typing_extensions
- urllib3 從 1.26.14 到 1.26.16
- virtualenv 從 20.16.7 到 20.24.2
- widgetsnbextension 從 3.6.1 到 4.0.5
- 從 1.0.0 壓縮到 3.11.0
- 升級的 R 連結庫：
- 從 12.0.1 到 14.0.0.2 的箭號
- askpass 從 1.1 到 1.2.0
- base 從 4.3.1 到 4.3.2
- 釀造從 1.0-8 到 1.0-10
- 從 1.1.3 到 1.1.4 的 brio
- bslib 從 0.5.0 到 0.6.1
- cli 從 3.6.1 到 3.6.2
- 從 1.9.0 到 1.9.1 的 commonmark
- 編譯程式從 4.3.1 到 4.3.2
- 從 0.3.1 到 0.3.2 的組態
- cpp11 從 0.4.4 到 0.4.7
- 從 1.3.2 到 2.0.1 的認證
- curl 從 5.0.1 到 5.2.0
- 從 1.14.8 到 1.15.0 的 data.table
- 從 4.3.1 到 4.3.2 的數據集
- DBI 從 1.1.3 到 1.2.1
- dbplyr 從 2.3.3 到 2.4.0
- desc 從 1.4.2 到 1.4.3
- 摘要從 0.6.33 到 0.6.34
- dplyr 從 1.1.2 到 1.1.4
- e1071 從 1.7-13 到 1.7-14
- 從 0.21 評估為 0.23
- fansi 從 1.0.4 到 1.0.6
- fontawesome 從 0.5.1 到 0.5.2
- fs 從 1.6.2 到 1.6.3
- 未來從 1.33.0 到 1.33.1
- future.apply 從 1.11.0 到 1.11.1
- 從 1.5.1 到 1.5.2
- 從 1.9.2 到 2.0.1 的 gert
- ggplot2 從 3.4.2 到 3.4.4
- 從 4.1-7 到 4.1-8 的 glmnet
- 從 1.6.2 黏附到 1.7.0
- 從 4.3.1 到 4.3.2 的圖形
- grDevices 從 4.3.1 到 4.3.2
- 從 4.3.1 到 4.3.2 的方格
- 從 0.3.3 到 0.3.4 的 gtable
- 從 1.3.0 到 1.3.1 的 hardhat
- 從 2.5.3 到 2.5.4
- 從 0.5.5 到 0.5.7 的 htmltools
- 從 1.6.2 到 1.6.4 的 htmlwidgets
- HTTPuv 從 1.6.11 到 1.6.14
- httr 從 1.4.6 到 1.4.7
- httr2 從 0.2.3 到 1.0.0
- jsonlite 從 1.8.7 到 1.8.8
- 從 1.43 到 1.45 的針織器
- 從 0.4.2 到 0.4.3 的標籤
- 稍後從 1.3.1 到 1.3.2
- 從 1.7.2.1 到 1.7.3 的熔岩
- 從 1.0.3 到 1.0.4 的生命週期
- listenv from 0.9.0 to 0.9.1
- 從 1.9.2 到 1.9.3 的 lubridate
- Markdown 從 1.7 到 1.12
- 從 4.3.1 到 4.3.2 的方法
- openssl 從 2.0.6 到 2.1.1
- 平行從 4.3.1 到 4.3.2
- pkgbuild 從 1.4.2 到 1.4.3
- pkgload 從 1.3.2.1 到 1.3.4
- plyr 從 1.8.8 到 1.8.9
- 從 1.1.1 到 1.2.0 的美化
- pROC 從 1.18.4 到 1.18.5
- processx 從 3.8.2 到 3.8.3
- prodlim 從 2023.03.31 到 2023.08.28
- 從 1.2.2 到 1.2.3 的進度
- progressr from 0.13.0 to 0.14.0
- 承諾從 1.2.0.1 到 1.2.1
- ps 從 1.7.5 到 1.7.6
- 從 1.0.1 到 1.0.2 的 purrr
- 從 1.2.5 到 1.2.7 的不規則
- Rcpp 從 1.0.11 到 1.0.12
- RcppEigen 從 0.3.3.9.3 到 0.3.3.9.4
- 自 2.1.4 到 2.1.5 的 readr
- 從 1.0.6 到 1.0.9 的食譜
- 從 1.0.1 複賽到 2.0.0
- 從 2.4.2 到 2.4.2.1 的 remotes
- 從 2.0.2 重新提供至 2.1.0
- rlang 從 1.1.1 到 1.1.3
- 從 2.23 到 2.25 的 rmarkdown
- RODBC 從 1.3-20 到 1.3-23
- roxygen2 從 7.2.3 到 7.3.1
- 從 2.0.3 到 2.0.4 的 rprojroot
- 從 1.8-11 到 1.8-13 的 Rserve
- RSQLite 從 2.3.1 到 2.3.5
- sass from 0.4.6 to 0.4.8
- 從 1.2.1 調整為 1.3.0
- 從 1.7.4.1 到 1.8.0 的閃亮
- sparklyr 從 1.8.1 到 1.8.4
- 從 4.3.1 到 4.3.2 的曲線
- 從 4.3.1 到 4.3.2 的統計數據
- stats4 從 4.3.1 到 4.3.2
- stringi 從 1.7.12 到 1.8.3
- 從 1.5.0 到 1.5.1 的 stringr
- 從 1.0.4 到 1.0.5 的 systemfonts
- tcltk 從 4.3.1 到 4.3.2
- 測試從 3.1.10 到 3.2.1
- 從 0.3.6 到 0.3.7 的 textshaping
- 從 1.3.0 到 1.3.1 的 tidyr
- timechange 從 0.2.0 到 0.3.0
- timeDate 從 4022.108 到 4032.109
- tinytex from 0.45 to 0.49
- 從 4.3.1 到 4.3.2 的工具
- utf8 從 1.2.3 到 1.2.4
- utils from 4.3.1 to 4.3.2
- 從 1.1-0 到 1.2-0 的 uuid
- 從 0.6.3 到 0.6.5 的 vctrs
- 從 1.6.3 到 1.6.5 的 vroom
- waldo 從 0.5.1 到 0.5.2
- withr 從 2.5.0 到 3.0.0
- xfun 從 0.39 到 0.41
- xml2 從 1.3.5 到 1.3.6
- yaml 從 2.3.7 到 2.3.8
- zip 從 2.3.0 到 2.3.1
- 升級的 Java 連結庫：
- com.fasterxml.jackson.datatype.jackson-datatype-jsr310，從 2.15.1 到 2.16.0
- com.google.flatbuffers.flatbuffers-java 從 1.12.0 到 23.5.26
- com.typesafe.config 從 1.2.1 到 1.4.3
- org.apache.ant.ant 從 1.9.16 到 1.10.11
- org.apache.ant.ant-jsch 從 1.9.16 到 1.10.11
- org.apache.ant.ant-launcher，從 1.9.16 到 1.10.11
- org.apache.arrow.arrow-format from 12.0.1 to 15.0.0
- org.apache.arrow.arrow-memory-core，從 12.0.1 到 15.0.0
- org.apache.arrow.arrow-memory-netty 從 12.0.1 到 15.0.0
- org.apache.arrow.arrow-vector 從 12.0.1 到 15.0.0
- org.apache.avro.avro 從 1.11.2 到 1.11.3
- org.apache.avro.avro-ipc 從 1.11.2 到 1.11.3
- org.apache.avro.avro-mapred 從 1.11.2 到 1.11.3
- org.apache.logging.log4j.log4j-1.2-api，從 2.20.0 到 2.22.1
- org.apache.logging.log4j.log4j-api，從 2.20.0 到 2.22.1
- org.apache.logging.log4j.log4j-core 從 2.20.0 到 2.22.1
- org.apache.logging.log4j.log4j-slf4j2-impl，從 2.20.0 到 2.22.1
- org.postgresql.postgresql 從 42.6.0 到 42.6.1
Apache Spark
Databricks Runtime 15.0 包含 Apache Spark 3.5.0。 此版本包含 Databricks Runtime 14.3 LTS 中包含的所有 Spark 修正和改善，以及下列對 Spark 所做的其他錯誤修正和改善：
- [SPARK-45527] [DBRRM-805][ES-1073714]還原 “[SC-151626][CORE] 使用分數來執行資源計算”
- [SPARK-47102] [DBRRM-803][SC-158253][SQL]
COLLATION_ENABLED新增組態旗標 - [SPARK-46973] [SC-158140][DBRRM-777][SQL]當數據表位於 V1 資料表快取時，請略過 V2 數據表查閱
- [SPARK-46808] [SC-154113][PYTHON]使用自動排序函式精簡 Python 中的錯誤類別
- [SPARK-47251][SC-158291][PYTHON]封鎖命令自變數中的
argssql無效類型 - [SPARK-47251][SC-158121][PYTHON]封鎖命令自變數中的
argssql無效類型 - [SPARK-47108][SC-157204][CORE]在 CLIS 中明確設定
derby.connection.requireAuthentication為false - [SPARK-45599] [SC-157537][CORE]在OpenHashSet中使用物件相等
- [SPARK-47099][SC-157352][SQL]使用
ordinalNumber來統一設定錯誤類別的 值paramIndexUNEXPECTED_INPUT_TYPE - [SPARK-46558][SC-151363][CONNECT]擷取協助程式函式，以排除從
ErrorParams中擷取的MessageParameters重複程序代碼GrpcExceptionConverter - [SPARK-43117] [SC-156177][CONNECT]讓
ProtoUtils.abbreviate支援重複欄位 - [SPARK-46342][SC-150283][SQL]
SparkException.internalError在 sql 中取代IllegalStateException - [SPARK-47123] [SC-157412][CORE]JDBCRDD 無法正確處理 getQueryOutputSchema 中的錯誤
- [SPARK-47189] [SC-157667][SQL]調整資料行錯誤名稱和文字
- [SPARK-45789] [SC-157101][SQL]支援叢集數據行的 DESCRIBE TABLE
- [SPARK-43256] [SC-157699][SQL]拿掉錯誤類別_LEGACY_ERROR_TEMP_2021
- [SPARK-47201] [SC-157782][PYTHON][CONNECT]
sameSemantics檢查輸入類型 - [SPARK-47183] [SC-157660][PYTHON]修正的錯誤類別
sameSemantics - [SPARK-47179] [SC-157663][SQL]改善SparkThrowableSuite的錯誤訊息，以提升偵錯能力
- [SPARK-46965] [SC-155791][CORE]簽
logType入Utils.getLog - [SPARK-46832] [SC-156774][SQL]定序和定序表示式簡介
- [SPARK-46946] [SC-155721][SQL]支援在 DynamicPruning 中廣播多個篩選索引鍵
- [SPARK-47079] [VARIANT-22][SC-157598][PYTHON][SQL][CONNECT]將 Variant 類型資訊新增至 PySpark
- [SPARK-47101] [SC-157360][SQL]允許在最上層數據行名稱中使用逗號，並在 中移除檢查巢狀類型定義
HiveExternalCatalog.verifyDataSchema - [SPARK-47173] [SC-157571][SS][UI]修正串流 UI 說明中的錯字
- [SPARK-47113] [SC-157348][CORE]還原SPARK-35878的S3A端點修正邏輯
- [SPARK-47130] [SC-157462][CORE]在清除驅動程序記錄時，使用 listStatus 略過封鎖位置資訊
- [SPARK-43259] [SC-157368][SQL]將名稱指派給錯誤類別_LEGACY_ERROR_TEMP_2024
- [SPARK-47104] [SC-157355][SQL]
TakeOrderedAndProjectExec應該初始化不安全的投影 - [SPARK-47137] [SC-157463][PYTHON][CONNECT]將 getAll 新增至 spark.conf，以取得與 Scala 的功能同位
- [SPARK-46924][SC-154905][CORE][記錄 UI] 中的
Master/HistoryServer[修正]Load New按鈕 - [SPARK-47069][SC-157370][PYTHON][CONNECT]SparkSession 型分析簡介
spark.profile.show/dump - [SPARK-46812] [SC-157075][SQL][PYTHON]讓 mapInPandas / mapInArrow 支援 ResourceProfile
- [SPARK-46833] [SC-155866][SQL]定序 - 定序簡介定序Factory，可為支援的定序提供比較和哈希規則
- [SPARK-47057] [SC-157036][PYTHON]重新擷取 MyPy 數據測試
- [SPARK-46934] [SC-157084][SQL]具有 HMS 特殊字元之結構類型的讀取/寫入往返
- [SPARK-46727][SC-153472][SQL]錯誤類別的 JDBC 方言中的埠
classifyException() - [SPARK-46964] [SC-155740][SQL]變更 hllInvalidLgK 查詢執行錯誤的簽章，將整數視為第 4 個自變數
- [SPARK-46949] [SC-155719][SQL]透過 ResolveDefaultColumns 支援 CHAR/VARCHAR
- [SPARK-46972] [SC-155888][SQL]修正 V2SessionCatalog.createTable 中 char/varchar 的非對稱取代
- [SPARK-47014] [SC-156778][PYTHON][CONNECT]實作 SparkSession 的 dumpPerfProfiles 和 dumpMemoryProfiles 方法
- [SPARK-46689] [SC-156221][SPARK-46690][PYTHON][CONNECT]在 group/cogroup applyInPandas/applyInArrow 中支援 v2 分析
- [SPARK-47040] [SC-156773][CONNECT]允許 Spark Connect 伺服器腳本等候
- [SPARK-46688] [SC-156113][SPARK-46691][PYTHON][CONNECT]支持匯總 Pandas UDF 中的 v2 分析
- [SPARK-47004] [SC-156499][CONNECT]已將更多測試新增至 ClientStreamingQuerySuite 以增加 Scala 客戶端測試涵蓋範圍
- [SPARK-46994] [SC-156169][PYTHON]重構 PythonWrite 以準備支援 Python 數據源串流寫入
- [SPARK-46979] [SC-156587][SS]針對 RocksDB 狀態存放區提供者中的每個 col 系列，新增個別指定索引鍵和值編碼器的支援
- [SPARK-46960] [SC-155940][SS]使用 TransformWithState 運算子測試多個輸入數據流
- [SPARK-46966] [SC-156112][Python]為 'analyze' 方法新增 UDTF API，以指出要選取的輸入數據表數據行子集
- [SPARK-46895] [SC-155950][CORE]將 Timer 取代為單個線程排程的執行程式
- [SPARK-46967] [SC-155815][CORE][UI]隱藏
Thread Dump和Heap HistogramDeadUI 中的Executors執行程式 - [SPARK-46512] [SC-155826][CORE]使用排序和合併時，優化隨機讀取。
- [SPARK-46958] [SC-155942][SQL]新增遺漏時區以強制預設值
- [SPARK-46754] [SC-153830][SQL][AVRO]修正avro資料表定義和寫入選項中的壓縮程式碼解析
- [SPARK-46728] [SC-154207][PYTHON]正確檢查 Pandas 安裝
- [SPARK-43403] [SC-154216][UI]在載入新 Spark 之前，請確定 HistoryServer 中的舊 SparkUI 已中斷連結
- [SPARK-39910] [SC-156203][SQL]在 DataSource 檔案路徑擷取期間委派文件系統的路徑資格
- [SPARK-47000] [SC-156123]還原 “[SC-156123][CORE] 使用
getTotalMemorySize... - [SPARK-46819] [SC-154560][CORE]將錯誤類別和狀態移至 JSON
- [SPARK-46997][SC-156175][CORE]默認為啟用
spark.worker.cleanup.enabled - [SPARK-46865] [SC-156168][SS]新增 TransformWithState 運算子的 Batch 支援
- [SPARK-46987] [SC-156040][CONNECT]
ProtoUtils.abbreviate避免不必要的setField作業 - [SPARK-46970][SC-155816][CORE]使用 重寫
OpenHashSet#hasherpattern matching - [SPARK-46984] [SC-156024][PYTHON]拿掉pyspark.copy_func
- [SPARK-47000][SC-156123][CORE]在中使用
getTotalMemorySizeWorkerArguments - [SPARK-46980] [SC-155914][SQL][MINOR]避免在數據框架端對端測試中使用內部 API
- [SPARK-46931] 還原 “[SC-155661][PS] 實作
{Frame, Series}.to_hdf” - [SPARK-46618] [SC-153828][SQL]改善DATA_SOURCE_NOT_FOUND錯誤的錯誤訊息
- [SPARK-46849] [SC-154586][SQL]在 CREATE TABLE 資料行預設值上執行優化器
- [SPARK-46911] [SC-155724][SS]將 deleteIfExists 運算子新增至 StatefulProcessorHandleImpl
- [SPARK-43273] [SQL]支援
lz4rawParquet 的壓縮編解碼器 - [SPARK-47002] [SC-156223][Python]如果 UDTF 'analyze' 方法 'orderBy' 欄位不小心傳回字串清單，則傳回更好的錯誤訊息
- [SPARK-46890] [SC-155802][SQL]修正具有存在預設值和數據行剪除的 CSV 剖析 Bug
- [SPARK-46977] [SC-155892][CORE]從一個 NameNode 取得令牌的要求失敗，不應略過後續的令牌要求
- [SPARK-46608] [SC-151806][SQL]還原的回溯相容性
JdbcDialect.classifyException - [SPARK-46908] [SC-155702][SQL]WHERE 子句中的支援 star 子句
- [SPARK-46908] [SC-155702][SQL]WHERE 子句中的支援 star 子句
- [SPARK-46852] [SC-155665][SS]拿掉使用明確密鑰編碼器，並將它隱含地傳遞給 transformWithState 運算子的運算子
- [SPARK-46864] [SC-155669][SS]將任意 StateV2 上架到新的錯誤類別架構
- [SPARK-45807] [SC-155706][SQL]呼叫 replaceView（.. ） 之後傳回 View
- [SPARK-46899][SC-154651][CORE]從
MasterWebUI為時spark.ui.killEnabled移除POSTAPIfalse - [SPARK-46868] [SC-154539][CORE]支援 Spark 背景工作記錄 UI
- [SPARK-46931] [SC-155661][PS]實現
{Frame, Series}.to_hdf - [SPARK-46940][SC-155667][CORE]拿掉未使用的
updateSparkConfigFromProperties和isAbsoluteURIo.a.s.u.Utils - [SPARK-46929] [SC-155659][CORE][CONNECT][SS]使用 ThreadUtils.shutdown 關閉線程集區
- [SPARK-46400] [SC-155658][CORE][SQL]當本機 Maven 存放庫中有損毀的檔案時，請略過此快取，然後再試一次
- [SPARK-46932] [SC-155655]清除中的匯入
pyspark.pandas.test_* - [SPARK-46683] [SC-154120]撰寫產生子查詢排列的子查詢產生器，以增加測試涵蓋範圍
- [SPARK-46914] [SC-154776][UI]縮短 [歷程記錄] 頁面上摘要數據表中的應用程式名稱
- [SPARK-46831] [SC-154699][SQL]定序 - 使用 collationId 字段擴充 StringType 和 PhysicalStringType
- [SPARK-46816] [SC-154415][SS]為具有/不含變更記錄檢查點的 RocksDBStateStoreProvider 新增新任意狀態管理運算符、單一 valueState 類型、多個狀態變數和基礎支持數據行系列的基本支援
- [SPARK-46925] [SC-154890][PYTHON][CONNECT]新增警告，指示安裝記憶體分析memory_profiler
- [SPARK-46927] [SC-154904][PYTHON]在沒有
assertDataFrameEqualPyArrow 的情況下正常運作 - [SPARK-46021] [SC-148987][CORE]支援取消屬於作業群組的未來作業
- [SPARK-46747] [SC-154789][SQL]避免在 getTableExistsQuery 中掃描 JDBC 方言
- [SPARK-46904] [SC-154704][UI]修正歷程記錄 UI 摘要的顯示問題
- [SPARK-46870] [SC-154541][CORE]支援 Spark 主要記錄 UI
- [SPARK-46893] [SC-154780][UI]從 UI 描述中移除內嵌腳本
- [SPARK-46910] [SC-154760][PYTHON]消除 PySpark 安裝中的 JDK 需求
- [SPARK-46907] [SC-154736][CORE]在 Spark 歷程記錄伺服器中顯示驅動程式記錄位置
- [SPARK-46902] [SC-154661][UI]修正 Spark 歷程記錄伺服器 UI 以使用未匯出的 setAppLimit
- [SPARK-46687] [SC-154725][PYTHON][CONNECT]SparkSession 型記憶體分析工具的基本支援
- [SPARK-46623] [SC-153831][CORE][MLLIB][SQL]以 DateTimeFormatter 取代 SimpleDateFormat
- [SPARK-46875][SC-154627][SQL]
mode當 為 null 時，應該not擲回 。NullPointException - [SPARK-46872] [SC-154543][CORE]復原
log-view.js為非模組 - [SPARK-46883] [SC-154629][CORE]支援
/json/clusterutilizationAPI - [SPARK-46886][SC-154630][CORE]默認為啟用
spark.ui.prometheus.enabled - [SPARK-46873] [SC-154638][SS]請勿針對相同的 Spark 會話重新建立新的 StreamingQueryManager
- [SPARK-46829] [SC-154419][CORE]從 SparkEnv 移除 createExecutorEnv
- [SPARK-46827] [SC-154280][CORE]進行
RocksDBPersistenceEngine以支援符號連結 - [SPARK-46903] [SC-154662][CORE]支援 Spark 歷程記錄伺服器記錄 UI
- [SPARK-46874] [SC-154646][PYTHON]從中移除
pyspark.pandas相依性assertDataFrameEqual - [SPARK-46889] [SC-154639][CORE]驗證
spark.master.ui.decommission.allow.mode設定 - [SPARK-46850][SC-154443][SQL]轉換成
_LEGACY_ERROR_TEMP_2102UNSUPPORTED_DATATYPE - [SPARK-46704][SC-153323][CORE][UI]修正
MasterPage以依Duration數據行正確排序Running Drivers數據表 - [SPARK-46796] [SC-154279][SS]確定在 RocksDB 版本載入上使用正確的遠端檔案（metadata.zip中所述）
- [SPARK-46888] [SC-154636][CORE]修正
Master在停用解除委任時拒絕/workers/kill/要求 - [SPARK-46818] [SC-154422][SQL]使用不可折疊的輸入改善 Range 的錯誤訊息
- [SPARK-46898] [SC-154649][CONNECT]簡化 Planner 中的 protobuf 函式轉換
- [SPARK-46828] [SC-154413][SQL]拿掉 Spark sql Shell 遠端模式無效的判斷提示
- [SPARK-46733] [SC-154274][CORE]只依賴中斷線程，藉由結束作業簡化 BlockManager。
- [SPARK-46777] [SC-154016][SS]重構
StreamingDataSourceV2Relation催化劑結構，以與批次版本更相等 - [SPARK-46515] [SC-151716]新增 MONTHNAME 函式
- [SPARK-46823] [SC-154276][CONNECT][PYTHON]
LocalDataToArrowConversion應該檢查可為 Null - [SPARK-46787] [SC-154404][CONNECT]
bloomFilter函式應該擲回AnalysisException無效的輸入 - [SPARK-46779] [SC-154045][SQL]
InMemoryRelation相同快取計劃的實例應該在語意上相等 - [SPARK-45827] [SC-153973]不允許 Variant 資料行上的分割
- [SPARK-46797] [SC-154085][CORE]將重新命名
spark.deploy.spreadOut為spark.deploy.spreadOutApps - [SPARK-46094] [SC-153421]支援執行程式 JVM 分析
- [SPARK-46746] [SC-153557][SQL][AVRO]將編解碼器延伸模組附加至avro數據源檔案
- [SPARK-46698] [SC-153288][CORE]將 Timer 取代為 ConsoleProgressBar 的單個線程排程執行程式。
- [SPARK-46629] [SC-153835]修正 STRUCT 類型 DDL 未挑選 Null 性和批注
- [SPARK-46750] [SC-153772][CONNECT][PYTHON]DataFrame API 程式代碼清除
- [SPARK-46769] [SC-153979][SQL]精簡時間戳相關架構推斷
- [SPARK-46765] [SC-153904][PYTHON][CONNECT]Make
shuffle指定的數據類型seed - [SPARK-46579] [SC-151481][SQL]在錯誤和記錄中修訂 JDBC URL
- [SPARK-46686] [SC-153875][PYTHON][CONNECT]SparkSession 型 Python UDF 分析工具的基本支援
- [SPARK-46748] 還原 “[SC-153800][CORE] 移除
*sla***.shscri... - [SPARK-46707] [SC-153833][SQL]已將可擲回欄位新增至表達式，以改善述詞下推
- [SPARK-46519] [SC-151278][SQL]從
error-classes.json檔案清除未使用的錯誤類別 - [SPARK-46677] [SC-153426][SQL][CONNECT]修正
dataframe["*"]解決方案 - [SPARK-46317] [SC-150184][PYTHON][CONNECT]比對SparkSession中的次要行為比對與完整測試涵蓋範圍
- [SPARK-46748] [SC-153800][CORE]拿掉
*sla***.sh文稿 - [SPARK-46663] [SC-153490][PYTHON]使用反覆運算器停用 pandas UDF 的記憶體分析工具
- [SPARK-46410] [SC-150776][SQL]將錯誤類別/子類別指派給 JdbcUtils.classifyException
- [SPARK-46277] [SC-150126][PYTHON]使用設定的組態來驗證啟動URL
- [SPARK-46612] [SC-153536][SQL]請勿轉換從 jdbc 驅動程式擷取的數位類型字串
- [SPARK-46254] [SC-149788][PYTHON]拿掉過時的 Python 3.8/3.7 版本檢查
- [SPARK-46490] [SC-151335][SQL]子類別中
SparkThrowable需要錯誤類別 - [SPARK-46383] [SC-153274][SC-147443][WARMFIX]藉由減少的生命週期來減少驅動程式堆積使用量
TaskInfo.accumulables() - [SPARK-46541] [SC-153109][SQL][CONNECT]修正自我聯結中的模棱兩可數據行參考
- [SPARK-46381] [SC-150495][SQL]將的
AnalysisException子類別移轉至錯誤類別 - [SPARK-46351] [SC-150335][SQL]在中需要錯誤類別
AnalysisException - [SPARK-46220] [SC-149689][SQL]在中限制字元集
decode() - [SPARK-46369][SC-150340][CORE]從
RELAUNCHING中的驅動程式移除kill連結MasterPage - [SPARK-46052] [SC-153284][CORE]拿掉函式 TaskScheduler.killAllTaskAttempts
- [SPARK-46536] [SC-153164][SQL]支援 GROUP BY calendar_interval_type
- [SPARK-46675] [SC-153209][SQL]拿掉 ParquetReadSupport 中未使用的 inferTimestampNTZ
- [SPARK-46717] [SC-153423][CORE]由結束作業簡化
ReloadingX509TrustManager，只取決於中斷線程。 - [SPARK-46722] [SC-153438][CONNECT]在 Spark Connect 中新增有關 StreamingQueryListener 回溯兼容性檢查的測試 （Scala/PySpark）
- [SPARK-46187] [SC-149580][SQL]對齊的 codegen 和非 codegen 實作
StringDecode - [SPARK-46258] [SC-149799][CORE]加
RocksDBPersistenceEngine - [SPARK-46216] [SC-149676][CORE]改善
FileSystemPersistenceEngine以支援壓縮 - [SPARK-46189] [SC-149567][PS][SQL]在各種 Pandas 聚合函數中執行相同類型的比較和算術，以避免解譯模式錯誤
- [SPARK-46184] [SC-149563][CORE][SQL][CONNECT][MLLIB]使用 Option.isDefined 取代 Option.isMpty 來減少堆疊深度
- [SPARK-46700] [SC-153329][CORE]計算隨機磁碟溢出位元組計量的最後一次溢出
- [SPARK-45642] [SC-150286][CORE][SQL]修復
FileSystem.isFile & FileSystem.isDirectory is deprecated - [SPARK-46640] [SC-153272][SQL]藉由排除子查詢屬性來修正 RemoveRedundantAlias
- [SPARK-46681] [SC-153287][CORE]重構
ExecutorFailureTracker#maxNumExecutorFailures以避免在defaultMaxNumExecutorFailures設定時MAX_EXECUTOR_FAILURES計算 - [SPARK-46695] [SC-153289][SQL][HIVE]一律將hive.execution.engine 設定為 mr
- [SPARK-46325] [SC-150228][CONNECT]在中建構
WrappedCloseableIterator時移除不必要的覆寫函式ResponseValidator#wrapIterator - [SPARK-46232] [SC-149699][PYTHON]將所有剩餘的 ValueError 移轉至 PySpark 錯誤架構。
- [SPARK-46547] [SC-153174][SS]在維護工作中吞下非嚴重例外狀況，以避免維護線程與串流匯總運算符之間的死結
- [SPARK-46169] [SC-149373][PS]為 API 中遺漏的參數
DataFrame指派適當的 JIRA 編號。 - [SPARK-45857] [SC-148096][SQL]在的子類別中強制執行錯誤類別
AnalysisException
Databricks ODBC/JDBC 驅動程序支援
Databricks 支援在過去 2 年中發行的 ODBC/JDBC 驅動程式。 請下載最近發行的驅動程式和升級 （下載 ODBC， 下載 JDBC）。
系統環境
- 操作系統：Ubuntu 22.04.4 LTS
- Java：Zulu 8.74.0.17-CA-linux64
- Scala：2.12.15
- Python：3.11.0
- R：4.3.2
- Delta Lake：3.1.0
已安裝的 Python 程式庫
| 程式庫 | 版本 | 程式庫 | 版本 | 程式庫 | 版本 |
|---|---|---|---|---|---|
| asttokens | 2.0.5 | astunparse | 1.6.3 | azure-core | 1.30.1 |
| azure-storage-blob | 12.19.1 | azure-storage-file-datalake | 12.14.0 | backcall | 0.2.0 |
| black | 23.3.0 | blinker | 1.4 | boto3 | 1.34.39 |
| botocore | 1.34.39 | cachetools | 5.3.3 | certifi | 2023.7.22 |
| cffi | 1.15.1 | chardet | 4.0.0 | charset-normalizer | 2.0.4 |
| 按一下 | 8.0.4 | cloudpickle | 2.2.1 | 通訊 | 0.1.2 |
| contourpy | 1.0.5 | 密碼編譯 | 41.0.3 | cycler | 0.11.0 |
| Cython | 0.29.32 | databricks-sdk | 0.20.0 | dbus-python | 1.2.18 |
| debugpy | 1.6.7 | decorator | 5.1.1 | distlib | 0.3.8 |
| entrypoints | 0.4 | 執行 | 0.8.3 | facets-overview | 1.1.1 |
| filelock | 3.13.1 | fonttools | 4.25.0 | gitdb | 4.0.11 |
| GitPython | 3.1.42 | google-api-core | 2.17.1 | google-auth | 2.28.2 |
| google-cloud-core | 2.4.1 | google-cloud-storage | 2.15.0 | google-crc32c | 1.5.0 |
| google-resumable-media | 2.7.0 | googleapis-common-protos | 1.63.0 | grpcio | 1.60.0 |
| grpcio-status | 1.60.0 | httplib2 | 0.20.2 | idna | 3.4 |
| importlib-metadata | 6.0.0 | ipyflow-core | 0.0.198 | ipykernel | 6.25.1 |
| ipython | 8.15.0 | ipywidgets | 8.0.4 | isodate | 0.6.1 |
| jedi | 0.18.1 | jeepney | 0.7.1 | jmespath | 0.10.0 |
| joblib | 1.2.0 | jupyter_client | 7.4.9 | jupyter_core | 5.3.0 |
| jupyterlab-widgets | 3.0.5 | keyring | 23.5.0 | kiwisolver | 1.4.4 |
| launchpadlib | 1.10.16 | lazr.restfulclient | 0.14.4 | lazr.uri | 1.0.6 |
| matplotlib | 3.7.2 | matplotlib-inline | 0.1.6 | mlflow-skinny | 2.11.1 |
| more-itertools | 8.10.0 | mypy-extensions | 0.4.3 | nest-asyncio | 1.5.6 |
| numpy | 1.23.5 | oauthlib | 3.2.0 | 封裝 | 23.2 |
| pandas | 2.0.3 | parso | 0.8.3 | pathspec | 0.10.3 |
| patsy | 0.5.3 | pexpect | 4.8.0 | pickleshare | 0.7.5 |
| Pillow | 9.4.0 | pip | 23.2.1 | platformdirs | 3.10.0 |
| plotly | 5.9.0 | prompt-toolkit | 3.0.36 | protobuf | 4.24.1 |
| psutil | 5.9.0 | psycopg2 | 2.9.3 | ptyprocess | 0.7.0 |
| pure-eval | 0.2.2 | pyarrow | 14.0.1 | pyasn1 | 0.4.8 |
| pyasn1-modules | 0.2.8 | pyccolo | 0.0.52 | pycparser | 2.21 |
| pydantic | 1.10.6 | Pygments | 2.15.1 | PyGObject | 3.42.1 |
| PyJWT | 2.3.0 | pyodbc | 4.0.38 | pyparsing | 3.0.9 |
| python-dateutil | 2.8.2 | python-lsp-jsonrpc | 1.1.1 | pytz | 2022.7 |
| PyYAML | 6.0 | pyzmq | 23.2.0 | requests | 2.31.0 |
| rsa | 4.9 | s3transfer | 0.10.0 | scikit-learn | 1.3.0 |
| scipy | 1.11.1 | seaborn | 0.12.2 | SecretStorage | 3.3.1 |
| setuptools | 68.0.0 | 六次 | 1.16.0 | smmap | 5.0.1 |
| sqlparse | 0.4.4 | ssh-import-id | 5.11 | stack-data | 0.2.0 |
| statsmodels | 0.14.0 | tenacity | 8.2.2 | threadpoolctl | 2.2.0 |
| tokenize-rt | 4.2.1 | tornado | 6.3.2 | traitlets | 5.7.1 |
| typing_extensions | 4.7.1 | tzdata | 2022.1 | ujson | 5.4.0 |
| 自動升級 | 0.1 | urllib3 | 1.26.16 | virtualenv | 20.24.2 |
| wadllib | 1.3.6 | wcwidth | 0.2.5 | wheel | 0.38.4 |
| widgetsnbextension | 4.0.5 | zipp | 3.11.0 |
已安裝的 R 連結庫
R 連結庫會從 2023-02-10 上的 Posit 封裝管理員 CRAN 快照集安裝。
| 程式庫 | 版本 | 程式庫 | 版本 | 程式庫 | 版本 |
|---|---|---|---|---|---|
| 箭號 | 14.0.0.2 | askpass | 1.2.0 | assertthat | 0.2.1 |
| backports | 1.4.1 | base | 4.3.2 | base64enc | 0.1-3 |
| bigD | 0.2.0 | bit | 4.0.5 | bit64 | 4.0.5 |
| bitops | 1.0-7 | blob | 1.2.4 | boot | 1.3-28 |
| brew | 1.0-10 | brio | 1.1.4 | broom | 1.0.5 |
| bslib | 0.6.1 | cachem | 1.0.8 | callr | 3.7.3 |
| caret | 6.0-94 | cellranger | 1.1.0 | chron | 2.3-61 |
| class | 7.3-22 | cli | 3.6.2 | clipr | 0.8.0 |
| clock | 0.7.0 | 叢集 | 2.1.4 | codetools | 0.2-19 |
| colorspace | 2.1-0 | commonmark | 1.9.1 | compiler | 4.3.2 |
| config | 0.3.2 | 矛盾 | 1.2.0 | cpp11 | 0.4.7 |
| crayon | 1.5.2 | credentials | 2.0.1 | curl | 5.2.0 |
| data.table | 1.15.0 | datasets | 4.3.2 | DBI | 1.2.1 |
| dbplyr | 2.4.0 | 遞減 | 1.4.3 | devtools | 2.4.5 |
| 圖 | 1.6.5 | diffobj | 0.3.5 | digest | 0.6.34 |
| downlit | 0.4.3 | dplyr | 1.1.4 | dtplyr | 1.3.1 |
| e1071 | 1.7-14 | 省略符號 | 0.3.2 | evaluate | 0.23 |
| fansi | 1.0.6 | farver | 2.1.1 | fastmap | 1.1.1 |
| fontawesome | 0.5.2 | forcats | 1.0.0 | foreach | 1.5.2 |
| foreign | 0.8-85 | forge | 0.2.0 | fs | 1.6.3 |
| future | 1.33.1 | future.apply | 1.11.1 | 漱口 | 1.5.2 |
| 泛型 | 0.1.3 | 格特 | 2.0.1 | ggplot2 | 3.4.4 |
| gh | 1.4.0 | git2r | 0.33.0 | gitcreds | 0.1.2 |
| glmnet | 4.1-8 | globals | 0.16.2 | glue | 1.7.0 |
| googledrive | 2.1.1 | googlesheets4 | 1.1.1 | gower | 1.0.1 |
| graphics | 4.3.2 | grDevices | 4.3.2 | grid | 4.3.2 |
| gridExtra | 2.3 | gsubfn | 0.7 | gt | 0.10.1 |
| gtable | 0.3.4 | hardhat | 1.3.1 | haven | 2.5.4 |
| highr | 0.10 | hms | 1.1.3 | htmltools | 0.5.7 |
| htmlwidgets | 1.6.4 | httpuv | 1.6.14 | httr | 1.4.7 |
| httr2 | 1.0.0 | ids | 1.0.1 | ini | 0.3.1 |
| ipred | 0.9-14 | isoband | 0.2.7 | iterators | 1.0.14 |
| jquerylib | 0.1.4 | jsonlite | 1.8.8 | 多汁 | 0.1.0 |
| KernSmooth | 2.23-21 | 針織機 | 1.45 | labeling | 0.4.3 |
| later | 1.3.2 | lattice | 0.21-8 | Lava | 1.7.3 |
| 生命週期 | 1.0.4 | listenv | 0.9.1 | lubridate | 1.9.3 |
| magrittr | 2.0.3 | markdown | 1.12 | MASS | 7.3-60 |
| 矩陣 | 1.5-4.1 | 備忘 | 2.0.1 | 方法 | 4.3.2 |
| mgcv | 1.8-42 | mime | 0.12 | miniUI | 0.1.1.1 |
| mlflow | 2.10.0 | ModelMetrics | 1.2.2.2 | modelr | 0.1.11 |
| 蒙塞爾 | 0.5.0 | nlme | 3.1-163 | nnet | 7.3-19 |
| numDeriv | 2016.8-1.1 | openssl | 2.1.1 | parallel | 4.3.2 |
| parallelly | 1.36.0 | pillar | 1.9.0 | pkgbuild | 1.4.3 |
| pkgconfig | 2.0.3 | pkgdown | 2.0.7 | pkgload | 1.3.4 |
| plogr | 0.2.0 | plyr | 1.8.9 | 讚美 | 1.0.0 |
| prettyunits | 1.2.0 | pROC | 1.18.5 | processx | 3.8.3 |
| prodlim | 2023.08.28 | profvis | 0.3.8 | 進度 | 1.2.3 |
| progressr | 0.14.0 | promises | 1.2.1 | proto | 1.0.0 |
| proxy | 0.4-27 | ps | 1.7.6 | purrr | 1.0.2 |
| R6 | 2.5.1 | 不雅 | 1.2.7 | randomForest | 4.7-1.1 |
| rappdirs | 0.3.3 | rcmdcheck | 1.4.0 | RColorBrewer | 1.1-3 |
| Rcpp | 1.0.12 | RcppEigen | 0.3.3.9.4 | reactable | 0.4.4 |
| reactR | 0.5.0 | readr | 2.1.5 | readxl | 1.4.3 |
| recipes | 1.0.9 | rematch | 2.0.0 | rematch2 | 2.1.2 |
| remotes | 2.4.2.1 | reprex | 2.1.0 | reshape2 | 1.4.4 |
| rlang | 1.1.3 | rmarkdown | 2.25 | RODBC | 1.3-23 |
| roxygen2 | 7.3.1 | rpart | 4.1.21 | rprojroot | 2.0.4 |
| Rserve | 1.8-13 | RSQLite | 2.3.5 | rstudioapi | 0.15.0 |
| rversions | 2.1.2 | rvest | 1.0.3 | sass | 0.4.8 |
| scales | 1.3.0 | selectr | 0.4-2 | sessioninfo | 1.2.2 |
| shape | 1.4.6 | shiny | 1.8.0 | sourcetools | 0.1.7-1 |
| sparklyr | 1.8.4 | spatial | 7.3-15 | splines | 4.3.2 |
| sqldf | 0.4-11 | SQUAREM | 2021.1 | stats | 4.3.2 |
| stats4 | 4.3.2 | stringi | 1.8.3 | stringr | 1.5.1 |
| survival | 3.5-5 | Swagger | 3.33.1 | sys | 3.4.2 |
| systemfonts | 1.0.5 | tcltk | 4.3.2 | testthat | 3.2.1 |
| textshaping | 0.3.7 | tibble | 3.2.1 | tidyr | 1.3.1 |
| tidyselect | 1.2.0 | tidyverse | 2.0.0 | timechange | 0.3.0 |
| timeDate | 4032.109 | tinytex | 0.49 | tools | 4.3.2 |
| tzdb | 0.4.0 | urlchecker | 1.0.1 | usethis | 2.2.2 |
| utf8 | 1.2.4 | utils | 4.3.2 | uuid | 1.2-0 |
| V8 | 4.4.1 | vctrs | 0.6.5 | viridisLite | 0.4.2 |
| vroom | 1.6.5 | waldo | 0.5.2 | 晶須 | 0.4.1 |
| withr | 3.0.0 | xfun | 0.41 | xml2 | 1.3.6 |
| xopen | 1.0.0 | xtable | 1.8-4 | yaml | 2.3.8 |
| zeallot | 0.1.0 | zip | 2.3.1 |
已安裝的 Java 和 Scala 連結庫 （Scala 2.12 叢集版本）
| 群組識別碼 | 成品標識碼 | 版本 |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.390 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.12.390 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.390 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.12.390 |
| com.amazonaws | aws-java-sdk-config | 1.12.390 |
| com.amazonaws | aws-java-sdk-core | 1.12.390 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.12.390 |
| com.amazonaws | aws-java-sdk-directconnect | 1.12.390 |
| com.amazonaws | aws-java-sdk-directory | 1.12.390 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.12.390 |
| com.amazonaws | aws-java-sdk-ec2 | 1.12.390 |
| com.amazonaws | aws-java-sdk-ecs | 1.12.390 |
| com.amazonaws | aws-java-sdk-efs | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticache | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.390 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.390 |
| com.amazonaws | aws-java-sdk-emr | 1.12.390 |
| com.amazonaws | aws-java-sdk-glacier | 1.12.390 |
| com.amazonaws | aws-java-sdk-glue | 1.12.390 |
| com.amazonaws | aws-java-sdk-iam | 1.12.390 |
| com.amazonaws | aws-java-sdk-importexport | 1.12.390 |
| com.amazonaws | aws-java-sdk-kinesis | 1.12.390 |
| com.amazonaws | aws-java-sdk-kms | 1.12.390 |
| com.amazonaws | aws-java-sdk-lambda | 1.12.390 |
| com.amazonaws | aws-java-sdk-logs | 1.12.390 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.12.390 |
| com.amazonaws | aws-java-sdk-opsworks | 1.12.390 |
| com.amazonaws | aws-java-sdk-rds | 1.12.390 |
| com.amazonaws | aws-java-sdk-redshift | 1.12.390 |
| com.amazonaws | aws-java-sdk-route53 | 1.12.390 |
| com.amazonaws | aws-java-sdk-s3 | 1.12.390 |
| com.amazonaws | aws-java-sdk-ses | 1.12.390 |
| com.amazonaws | aws-java-sdk-simpledb | 1.12.390 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.390 |
| com.amazonaws | aws-java-sdk-sns | 1.12.390 |
| com.amazonaws | aws-java-sdk-sqs | 1.12.390 |
| com.amazonaws | aws-java-sdk-ssm | 1.12.390 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.12.390 |
| com.amazonaws | aws-java-sdk-sts | 1.12.390 |
| com.amazonaws | aws-java-sdk-support | 1.12.390 |
| com.amazonaws | aws-java-sdk-js-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.12.390 |
| com.amazonaws | jmespath-java | 1.12.390 |
| com.clearspring.analytics | stream | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | databricks-sdk-java | 0.17.1 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | 同學 | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations | 2.15.2 |
| com.fasterxml.jackson.core | jackson-core | 2.15.2 |
| com.fasterxml.jackson.core | jackson-databind | 2.15.2 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.15.2 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-yaml | 2.15.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.15.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.16.0 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.15.2 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.15.2 |
| com.github.ben-manes.咖啡因 | 咖啡因 | 2.9.3 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java | 1.1 原生 |
| com.github.fommil.netlib | native_system java | 1.1 |
| com.github.fommil.netlib | native_system java | 1.1 原生 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64 | 1.1 原生 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64 | 1.1 原生 |
| com.github.luben | zstd-jni | 1.5.5-4 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.10.1 |
| com.google.crypto.tink | 小 叮噹 | 1.9.0 |
| com.google.errorprone | error_prone_annotations | 2.10.0 |
| com.google.flatbuffers | flatbuffers-java | 23.5.26 |
| com.google.guava | 番石榴 | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.helger | 分析器 | 1.1.1 |
| com.jcraft | jsch | 0.1.55 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 11.2.2.jre8 |
| com.ning | compress-lzf | 1.1.2 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.sun.xml.bind | jaxb-core | 2.2.11 |
| com.sun.xml.bind | jaxb-impl | 2.2.11 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.12 | 0.10.0 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.4.3 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.uber | h3 | 3.7.3 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| commons-cli | commons-cli | 1.5.0 |
| commons-codec | commons-codec | 1.16.0 |
| commons-collections | commons-collections | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-fileupload | commons-fileupload | 1.5 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.13.0 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-pool | commons-pool | 1.5.4 |
| dev.ludovic.netlib | arpack | 3.0.3 |
| dev.ludovic.netlib | blas | 3.0.3 |
| dev.ludovic.netlib | lapack | 3.0.3 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0.25 |
| io.delta | delta-sharing-client_2.12 | 1.0.4 |
| io.dropwizard.metrics | metrics-annotation | 4.2.19 |
| io.dropwizard.metrics | metrics-core | 4.2.19 |
| io.dropwizard.metrics | metrics-graphite | 4.2.19 |
| io.dropwizard.metrics | metrics-healthchecks | 4.2.19 |
| io.dropwizard.metrics | metrics-jetty9 | 4.2.19 |
| io.dropwizard.metrics | metrics-jmx | 4.2.19 |
| io.dropwizard.metrics | metrics-json | 4.2.19 |
| io.dropwizard.metrics | metrics-jvm | 4.2.19 |
| io.dropwizard.metrics | metrics-servlet | 4.2.19 |
| io.netty | netty-all | 4.1.96.Final |
| io.netty | netty-buffer | 4.1.96.Final |
| io.netty | netty-codec | 4.1.96.Final |
| io.netty | netty-codec-http | 4.1.96.Final |
| io.netty | netty-codec-http2 | 4.1.96.Final |
| io.netty | netty-codec-socks | 4.1.96.Final |
| io.netty | netty-common | 4.1.96.Final |
| io.netty | netty-handler | 4.1.96.Final |
| io.netty | netty-handler-proxy | 4.1.96.Final |
| io.netty | netty-resolver | 4.1.96.Final |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-linux-aarch_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-linux-x86_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-osx-aarch_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-osx-x86_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-windows-x86_64 |
| io.netty | netty-tcnative-classes | 2.0.61.Final |
| io.netty | netty-transport | 4.1.96.Final |
| io.netty | netty-transport-classes-epoll | 4.1.96.Final |
| io.netty | netty-transport-classes-kqueue | 4.1.96.Final |
| io.netty | netty-transport-native-epoll | 4.1.96.Final |
| io.netty | netty-transport-native-epoll | 4.1.96.Final-linux-aarch_64 |
| io.netty | netty-transport-native-epoll | 4.1.96.Final-linux-x86_64 |
| io.netty | netty-transport-native-kqueue | 4.1.96.Final-osx-aarch_64 |
| io.netty | netty-transport-native-kqueue | 4.1.96.Final-osx-x86_64 |
| io.netty | netty-transport-native-unix-common | 4.1.96.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | 收藏家 | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | 啟用 | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | transaction-api | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.11 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.12.1 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | 泡菜 | 1.3 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.9.3 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.10.11 |
| org.apache.ant | ant-jsch | 1.10.11 |
| org.apache.ant | ant-launcher | 1.10.11 |
| org.apache.arrow | arrow-format | 15.0.0 |
| org.apache.arrow | arrow-memory-core | 15.0.0 |
| org.apache.arrow | arrow-memory-netty | 15.0.0 |
| org.apache.arrow | arrow-vector | 15.0.0 |
| org.apache.avro | avro | 1.11.3 |
| org.apache.avro | avro-ipc | 1.11.3 |
| org.apache.avro | avro-mapred | 1.11.3 |
| org.apache.commons | commons-collections4 | 4.4 |
| org.apache.commons | commons-compress | 1.23.0 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.12.0 |
| org.apache.commons | commons-math3 | 3.6.1 |
| org.apache.commons | commons-text | 1.10.0 |
| org.apache.curator | curator-client | 2.13.0 |
| org.apache.curator | curator-framework | 2.13.0 |
| org.apache.curator | 策展人-食譜 | 2.13.0 |
| org.apache.datasketches | datasketches-java | 3.1.0 |
| org.apache.datasketches | datasketches-memory | 2.0.0 |
| org.apache.derby | 德比 | 10.14.2.0 |
| org.apache.hadoop | hadoop-client-runtime | 3.3.6 |
| org.apache.hive | hive-beeline | 2.3.9 |
| org.apache.hive | hive-cli | 2.3.9 |
| org.apache.hive | hive-jdbc | 2.3.9 |
| org.apache.hive | hive-llap-client | 2.3.9 |
| org.apache.hive | hive-llap-common | 2.3.9 |
| org.apache.hive | hive-serde | 2.3.9 |
| org.apache.hive | hive-shims | 2.3.9 |
| org.apache.hive | hive-storage-api | 2.8.1 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
| org.apache.hive.shims | hive-shims-common | 2.3.9 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
| org.apache.httpcomponents | httpclient | 4.5.14 |
| org.apache.httpcomponents | httpcore | 4.4.16 |
| org.apache.ivy | 常春藤 | 2.5.1 |
| org.apache.logging.log4j | log4j-1.2-api | 2.22.1 |
| org.apache.logging.log4j | log4j-api | 2.22.1 |
| org.apache.logging.log4j | log4j-core | 2.22.1 |
| org.apache.logging.log4j | log4j-slf4j2-impl | 2.22.1 |
| org.apache.orc | orc-core | 1.9.2-shaded-protobuf |
| org.apache.orc | orc-mapreduce | 1.9.2-shaded-protobuf |
| org.apache.orc | orc-shims | 1.9.2 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.ws.xmlschema | xmlschema-core | 2.3.0 |
| org.apache.xbean | xbean-asm9-shaded | 4.23 |
| org.apache.yetus | audience-annotations | 0.13.0 |
| org.apache.zookeeper | zookeeper | 3.6.3 |
| org.apache.zookeeper | zookeeper-jute | 3.6.3 |
| org.checkerframework | checker-qual | 3.31.0 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.collections | eclipse-collections | 11.1.0 |
| org.eclipse.collections | eclipse-collections-api | 11.1.0 |
| org.eclipse.jetty | jetty-client | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-continuation | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-http | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-io | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-jndi | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-plus | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-proxy | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-security | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-server | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-servlet | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-servlets | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-util | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-webapp | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-xml | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-api | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-client | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-common | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-server | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-servlet | 9.4.52.v20230823 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.40 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.40 |
| org.glassfish.jersey.core | jersey-client | 2.40 |
| org.glassfish.jersey.core | 澤西-通用 | 2.40 |
| org.glassfish.jersey.core | jersey-server | 2.40 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.40 |
| org.hibernate.validator | hibernate-validator | 6.1.7.Final |
| org.ini4j | ini4j | 0.5.4 |
| org.javassist | javassist | 3.29.2-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jetbrains | annotations | 17.0.0 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
| org.json4s | json4s-core_2.12 | 3.7.0-M11 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
| org.lz4 | lz4-java | 1.8.0 |
| org.mlflow | mlflow-spark_2.12 | 2.9.1 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.6.1 |
| org.roaringbitmap | RoaringBitmap | 0.9.45 |
| org.roaringbitmap | 墊片 | 0.9.45 |
| org.rocksdb | rocksdbjni | 8.3.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.15 |
| org.scala-lang | scala-library_2.12 | 2.12.15 |
| org.scala-lang | scala-reflect_2.12 | 2.12.15 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.11.0 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.2.15 |
| org.scalanlp | breeze-macros_2.12 | 2.1.0 |
| org.scalanlp | breeze_2.12 | 2.1.0 |
| org.scalatest | scalatest 相容 | 3.2.15 |
| org.scalatest | scalatest-core_2.12 | 3.2.15 |
| org.scalatest | scalatest-diagrams_2.12 | 3.2.15 |
| org.scalatest | scalatest-featurespec_2.12 | 3.2.15 |
| org.scalatest | scalatest-flatspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-freespec_2.12 | 3.2.15 |
| org.scalatest | scalatest-funspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-funsuite_2.12 | 3.2.15 |
| org.scalatest | scalatest-matchers-core_2.12 | 3.2.15 |
| org.scalatest | scalatest-mustmatchers_2.12 | 3.2.15 |
| org.scalatest | scalatest-propspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-refspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-shouldmatchers_2.12 | 3.2.15 |
| org.scalatest | scalatest-wordspec_2.12 | 3.2.15 |
| org.scalatest | scalatest_2.12 | 3.2.15 |
| org.slf4j | jcl-over-slf4j | 2.0.7 |
| org.slf4j | jul-to-slf4j | 2.0.7 |
| org.slf4j | slf4j-api | 2.0.7 |
| org.slf4j | slf4j-simple | 1.7.25 |
| org.threeten | threeten-extra | 1.7.1 |
| org.tukaani | xz | 1.9 |
| org.typelevel | algebra_2.12 | 2.0.1 |
| org.typelevel | cats-kernel_2.12 | 2.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0 |
| org.typelevel | spire-platform_2.12 | 0.17.0 |
| org.typelevel | spire-util_2.12 | 0.17.0 |
| org.typelevel | spire_2.12 | 0.17.0 |
| org.wildfly.openssl | wildfly-openssl | 1.1.3.Final |
| org.xerial | sqlite-jdbc | 3.42.0.0 |
| org.xerial.snappy | snappy-java | 1.1.10.3 |
| org.yaml | 蛇形 | 2.0 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.cryptools | AmazonCorrettoCryptoProvider | 1.6.1-linux-x86_64 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |
意見反映
即將推出：我們會在 2024 年淘汰 GitHub 問題，並以全新的意見反應系統取代並作為內容意見反應的渠道。 如需更多資訊，請參閱：https://aka.ms/ContentUserFeedback。
提交及檢視以下的意見反映：