共用方式為


Databricks Runtime 14.2 (EoS)

注意

針對此 Databricks Runtime 版本的支援已結束。 如需了解終止支援日期,請參閱終止支援歷程記錄。 如需所有支援的 Databricks Runtime 版本,請參閱 Databricks Runtime 發行說明版本與相容性

下列版本資訊提供由 Apache Spark 3.5.0 提供之 Databricks Runtime 14.2 的相關信息。

Databricks 於 2023 年 11 月發行此版本。

新功能和改進

CACHE SELECT 現在會忽略

現在會忽略 SQL 命令 CACHE SELECT ,而使用改進的快取演算法。 請參閱使用 Azure Databricks 上的快取將效能最佳化

改善緩存行為

Spark 排程器所放置的 DiskCache 現在具有更快的分割區指派、在叢集自動調整期間更好的平衡,以及更一致的查詢執行。

已修正 DML 命令中檔案損毀的處理問題

DML 命令 DELETEUPDATEMERGE INTO 不再遵守讀取選項 ignoreCorruptFilesignoreMissingFiles。 在資料表中遇到無法讀取的檔案時,即使指定了這些選項,這些命令現在仍會失敗。

您現在可以在共用叢集中搭配架構登錄使用from_avroto_avrofrom_protobufto_protobuf Python 函式。

foreachBatchStreamingListener 支援

您現在可以在共用叢集中搭配結構化串流使用 foreachBatch()StreamingListener API。 請參閱在 Azure Databricks 上使用 foreachBatch 來寫入任意數據接收器和監視結構化串流查詢。

數據列層級並行存取已正式推出,且預設為開啟

數據列層級並行存取可藉由偵測數據列層級的變更來減少並行寫入作業之間的衝突。 僅在不具有資料分割的資料表上支援資料列層級並行存取,其中包括具有動態叢集的資料表。 在已啟用刪除向量的 Delta 資料表上,預設會啟用資料列層級並行存取。 請參閱寫入衝突與行級別並行性

Delta 資料共享:接收者可以在具有刪除向量的共享資料表上執行批次、變更資料餵流(CDF)和串流查詢(公開預覽)

Delta 分享的收件者現在可以在使用刪除向量的共享資料表上執行批次、CDF 和串流查詢。 在 Databricks Runtime 14.1 上,他們只能執行批次查詢。 請參閱新增具有刪除向量或資料行對應的表格讀取具刪除向量或資料行對應功能的表格,以及讀取具刪除向量或資料行對應功能的表格

Unity Catalog 外部資料表的淺層複製(公開預覽)

您現在可以使用淺層克隆功能來搭配 Unity Catalog 的外部表格。 請參閱Unity Catalog 資料表的淺層複製

新的磁碟快取指派演算法

Spark 排程器現在會使用新的磁碟快取演算法。 此演算法可改善節點之間的磁碟使用量和分割區指派,且一開始和之後的指派速度較快。 更具黏性的快取指派可改善執行之間的一致性,並減少在再平衡作業期間移動的數據。

from_avro 使用架構登錄連接器可新增架構演進的支援

您現在可以讓管線在偵測到變更記錄時重新啟動。 先前,隨著使用 from_avro 連接器進行架構演進,新的資料行會傳回 null。 請參閱 讀取和寫入串流 Avro 數據

更快速的多線程統計數據收集

在小型叢集上從 Apache Iceberg 和 Parquet 表執行 CONVERT TO DELTA 或進行複製操作時,統計資料的收集速度可提高至 10 倍。 請參閱 轉換成 Delta Lake複製 Parquet 和 Iceberg 數據表

DeltaSource 中在 Delta 檔案中的下推篩選

為了獲得更好的利用率,Delta 表上的資料流查詢分區過濾器會在限制速率之前推送至 Delta。

對 Scala 純量使用者定義函式的支援在共用叢集中 (公測版)

您現在可以在已設定共用存取模式且啟用 Unity Catalog 的叢集上,使用 Scala 純量使用者定義函式。 請參閱 使用者定義的純量函式 - Scala

資源庫升級

  • 升級版 Python 程式庫:
    • fastjsonschema 從版本 2.18.0 升級到 2.19.0
    • filelock 從 3.12.3 到 3.12.4
    • googleapis-common-protos,從 1.60.0 到 1.61.0
  • 升級的 R 程式庫:
  • 已升級的 Java 程式庫:

Apache Spark

Databricks Runtime 14.2 包含 Apache Spark 3.5.0。 此版本包含 Databricks Runtime 14.1 (EoS) 中包含的所有 Spark 修正和改善,以及下列對 Spark 進行的其他錯誤修正和改進:

  • [SPARK-45592] [DBRRM-624] 還原“[SC-146977][sql] AQE 與 InMemoryTableScanExec 的正確性問題”
  • [SPARK-45524] [ DBRRM-625] 還原 “[SC-146319][python][SQL] 初始支援功能…”
  • [SPARK-45433] [ DBRRM-621] 還原 “[SC-145163][sql] 修正 CSV/JSON 架構推斷...
  • [SPARK-45592] [SC-146977][sql] AQE 中的 InMemoryTableScanExec 正確性問題
  • [SPARK-45354] 恢復“[SC-143991][sql] 自下而上解析函式”
  • [SPARK-45680] [TEST-ONLY][sasp-2347][CONNECT] 修正測試
  • [SPARK-45680] [CONNECT]發行會話
  • [SPARK-43380] [SC-146726][es-897115][SQL] 修正 Avro 讀取速度緩慢問題
  • [SPARK-45649] [ SC-146742][sql] 統一準備框架 OffsetWindowFunctionFrame
  • [SPARK-40820] [SC-146727][python][SQL] 從 Json 建立結構體類型
  • [SPARK-45620] [ SC-146225][python] 修正與 Python UDTF 相關的使用者面向 API 以使用 camelCase
  • [SPARK-45727] [ SC-146978][ss] 移除水印傳遞模擬中未使用的地圖
  • [SPARK-45723] [ SC-146890][python][CONNECT] 資料表方法可避免 pandas 轉換
  • [SPARK-45574] [ SC-146106][sql] 新增 :: 語法作為轉換類型的簡潔表示。
  • [SPARK-45670] [SC-146725][core][3.5] SparkSubmit 在 K8s 上部署時不支援--total-executor-cores
  • [SPARK-45661] [ SC-146594][sql][PYTHON] 在 StructType、MapType 和 ArrayType 中新增 toNullable
  • [SPARK-45524] [ SC-146319][python][SQL] Python 數據源讀取 API 的初始支援
  • [SPARK-45542] [SC-145892][core] 取代 setSafeMode(HdfsConstants.SafeModeAction, boolean)setSafeMode(SafeModeAction, boolean)
  • [SPARK-45652] [ SC-146641][sql] SPJ:在動態篩選之後處理空的輸入分割區
  • [SPARK-45454] [ SC-144846][sql] 將數據表的預設擁有者設定為current_user
  • [SPARK-45554] [ SC-146875][python] 引進彈性參數至 assertSchemaEqual
  • [SPARK-45242] [ SC-143410][sql] 使用 DataFrame 標識符以語意方式驗證 CollectMetrics
  • [SPARK-45674] [ SC-146862][connect][PYTHON] 改善 Spark Connect 上 JVM 相關屬性的錯誤訊息。
  • [SPARK-45646] [SC-146276][sql] 移除 Hive 2.0 之前的硬式編碼時間變數
  • [SPARK-43380] [SC-146726][es-897115][SQL] 修正 Avro 讀取速度緩慢問題
  • [SPARK-45545] [SC-146484][core] 在任何建立 SparkTransportConf 的地方都傳遞 SSLOptions
  • [SPARK-45641] [ SC-146260][ui] 在 AllJobsPage 上顯示應用程式開始時間
  • [SPARK-40154] [ SC-146491][python][Docs] 更正 Dataframe.cache docstring 中的儲存層級
  • [SPARK-45626] [SC-146259][sql] 將 _LEGACY_ERROR_TEMP_1055 轉換為 REQUIRES_SINGLE_PART_NAMESPACE
  • [SPARK-45507] [ SC-145900][sql] 巢狀關聯純量子查詢與 COUNT 匯總的正確性修正
  • [SPARK-45619] [ SC-146226][connect][PYTHON] 將觀察到的計量套用至觀察物件
  • [SPARK-45588] [SC-145909][protobuf][CONNECT][minor] StreamingForeachBatchHelper 的 Scaladoc 改進
  • [SPARK-45616] [SC-146120][core] 避免使用 ParVector,因為它不會傳遞 ThreadLocals 或 SparkSession。
  • [SPARK-45604] [ SC-146105][sql] 在 INT64 上新增 LogicalType 檢查 -> Parquet 向量化讀取器上的 DateTime 轉換
  • [SPARK-44649] [SC-145891][sql] 執行時篩選支持傳遞對等的創建端表達式
  • [SPARK-41674] [ SC-128408][sql] 運行時篩選應該支援多重層級的重分配聯結端作為篩選建立的使用端
  • [SPARK-45547] [ SC-146228][ml] 使用內建函式驗證向量
  • [SPARK-45558] [SC-145890][ss] 介紹串流狀態運算符的元數據檔案
  • [SPARK-45618] [ SC-146252][core] Remove BaseErrorHandler
  • [SPARK-45638] [ SC-146251][sql][Avro] 改善小數轉換的測試涵蓋範圍
  • [SPARK-44837] [SC-146020][sql] 更改 ALTER TABLE ALTER PARTITION 欄位錯誤訊息
  • [SPARK-45561] [ SC-146264][sql] 在 MySQLDialect 中新增 TINYINT 的適當轉換
  • [SPARK-45632] [SC-146255][sql] 表快取在啟用 AQE 時應避免不必要的 ColumnarToRow
  • [SPARK-45569] [ SC-145932][sql] 將名稱指派給錯誤_LEGACY_ERROR_TEMP_2152
  • [SPARK-44784] [SC-141015][connect] 使 SBT 測試具有封閉性。
  • [SPARK-45452] [ SC-144836][sql] 改善 InMemoryFileIndex 以使用 FileSystem.listFiles API
  • [SPARK-44735] [ SC-146186][sql] 插入具有相同名稱但順序不匹配的數據列時新增警告訊息
  • [SPARK-45351] [ SC-144791][core] 將預設值變更 spark.shuffle.service.db.backend 為 ROCKSDB
  • [SPARK-45553] [ SC-145906][ps] 棄用 assertPandasOnSparkEqual
  • [SPARK-45613] [SC-146022][core] 以 DeveloperApi 方式公開 DeterministicLevel
  • [SPARK-45549] [SC-145895][core] 移除未使用的numExistingExecutorsCoarseGrainedSchedulerBackend
  • [SPARK-45609] [ SC-146030][connect] 在 SparkThrowable Proto 訊息中包含 SqlState
  • [SPARK-45595] [SC-146037] 在錯誤訊息中顯示 sqlstate
  • [SPARK-45628] [SC-146123][ml] 改善vector_to_array以提升.mllib.linalg.SparseVector
  • [SPARK-45009] [SC-145884][sql][FOLLOW UP] 關閉 AQE InSubquery 測試中的關聯消除功能以優化聯結條件。
  • [SPARK-45576] [ SC-145883][core] 在 ReloadingX509TrustManagerSuite 中移除不必要的偵錯記錄
  • [SPARK-45485] [ SC-145719][connect] 使用者代理程式改善:使用 SPARK_CONNECT_USER_AGENT env 變數並包含環境特定屬性
  • [SPARK-45508] [ SC-145513][core] 新增 “–add-opens=java.base/jdk.internal.ref=ALL-UNNAMED”,讓平臺可以在 Java 9+ 上存取清除器
  • [SPARK-45595] 還原 “[SC-146037] 在錯誤訊息中顯示 SQLSTATE”
  • [SPARK-45595] [SC-146037]在錯誤訊息中顯示 SQLSTATE
  • [SPARK-45112] 還原 “[SC-143259][sql] 使用未解析的函數 ba...”
  • [SPARK-45257] [SC-143411][core] 默認啟用spark.eventLog.compress
  • [SPARK-45586] [ SC-145899][sql] 減少具有大型運算式樹狀架構之計劃的編譯程序延遲
  • [SPARK-45517] [ SC-145691][connect][14.x] 展開更多例外狀況建構函式以支援錯誤架構參數
  • [SPARK-45581] [SC-145896]讓 SQLSTATE 成為必要專案。
  • [SPARK-45427] [ SC-145590][核心] 將 RPC SSL 設定新增至 SSLOptions 和 SparkTransportConf
  • [SPARK-45261] [ SC-143357][core] 修正 EventLogFileWriters 以將 none 作為編解碼器處理
  • [SPARK-45582] [ SC-145897][ss] 確保在輸出模式串流匯總中呼叫提交後,不使用儲存實例
  • [SPARK-45562] [ SC-145720][sc-144650][SQL] XML: 將 'rowTag' 設為必要選項
  • [SPARK-45392] [ SC-144362][core][SQL][ss] 取代 Class.newInstance()Class.getDeclaredConstructor().newInstance()
  • [SPARK-45433] [ SC-145163][sql] 修正當時間戳不符合指定的 timestampFormat 時 CSV/JSON 架構推斷
  • [SPARK-45458] [ SC-145011][sql] 在 bitwiseExpressions 中將 IllegalArgumentException 轉換為 SparkIllegalArgumentException
  • [SPARK-45564] [ SC-145735][sql] 使用 'BloomFilterAggregate' 表達式簡化 'DataFrameStatFunctions.bloomFilter'
  • [SPARK-45566] [ SC-145777][ps] 在 Spark 上支援 Pandas API 的類似 Pandas 測試公用程式
  • [SPARK-45498] [SC-145509][核心] 後續工作:忽略舊階段的工作完成...
  • [SPARK-45483] [ SC-145152][connect] 更正 connect.functions 中的函式群組
  • [SPARK-45577] [ SC-145781][python] 修正 UserDefinedPythonTableFunctionAnalyzeRunner 以傳遞具名自變數的折疊值
  • [SPARK-45009] [SC-138223][後續] 關閉 AetherSQLQuerySuite 聯結條件中的去相關化
  • [SPARK-45415] [SC-145344]允許在 RocksDB 狀態存放區中選擇性停用「fallocate」
  • [SPARK-45500] [ SC-145134][core][WEBUI] 顯示 MasterPage 中異常完成的驅動程序數目
  • [SPARK-44120] [ SC-144349][python] 支援 Python 3.12
  • [SPARK-45439] [ SC-145589][sql][UI] 減少 LiveStageMetrics.accumIdsToMetricType 的記憶體使用量
  • [SPARK-45565] [ SC-145717][ui] 階段詳情中工作清單的不必要的 JSON.stringify 和 JSON.parse 迴圈
  • [SPARK-45567] [SC-145718][connect] 移除 org.apache.spark.sql.connect.execution.ExecuteGrpcResponseSender#run 中多餘的 if 語句
  • [SPARK-45112] [SC-143259][sql] 使用基於未解析函數的解析方式於 SQL 數據集函式中
  • [SPARK-45486] [SASP-2457][sc-145612][CONNECT] 使 add_artifact 請求成為冪等操作
  • [SPARK-44913] [SC-144326][sql] DS V2 支援下推帶有 magic 方法的 V2 UDF
  • [SPARK-45538] [ SC-145635][python][CONNECT]pyspark connect overwrite_partitions bug
  • [SPARK-45491] [SC-145622]新增遺漏的 SQLSTATES 2/2
  • [SPARK-45009] [ SC-145620][sc-138223][SQL] 去除聯結條件中的謂詞子查詢的關聯性
  • [SPARK-45377] [SC-144377][core] 處理 NettyLogger 中的 InputStream
  • [SPARK-45248] [ SC-143759][core] 設定 Spark UI 伺服器的逾時時間
  • [SPARK-44594] [SC-145611][ss] 移除 kafka 連接器中的備援方法參數
  • [SPARK-45539] [SC-145621][ss] 新增斷言及記錄,以顯示在追加模式中的串流聚合查詢需要浮水印定義
  • [SPARK-44262] [ SC-145639][sql] 新增 dropTablegetInsertStatement 至 JdbcDialect
  • [SPARK-45516] [ SC-145480][connect] 在 SparkThrowable Proto 訊息中包含 QueryContext
  • [SPARK-45310] [ SC-145127][核心] 報告洗牌區塊狀態應在退役過程中的移轉期間遵循洗牌服務
  • [SPARK-45521] [ SC-145487][ml] 避免在 VectorAssembler 中重新計算 nnz
  • [SPARK-45418] [ SC-145485][sql][PYTHON][connect] 將current_database() 數據行別名變更為 current_schema()
  • [SPARK-45116] [ SC-145142][sql] 新增 JdbcDialect 參數的一些註解 createTable
  • [SPARK-45495] [SC-145529][core]當動態資源配置功能被停用時,支援 k8s 叢集的階段層級任務資源配置檔案
  • [SPARK-45487] [SC-145559]修正 SQLSTATE 和暫存錯誤
  • [SPARK-45505] [ SC-145550][python] 重構 analyzeInPython 使其可重複使用
  • [SPARK-45132] [SC-145425][sql] 修正函式調用問題IDENTIFIER
  • [SPARK-45213] [SC-145020][sql] 將錯誤_LEGACY_ERROR_TEMP_2151 指派名稱
  • [SPARK-45416] [SC-145126][connect] 檢查 Arrow 結果的一致性健全性
  • [SPARK-45163] [SC-143386][sql] 合併不支援的檢視操作與不支援的表格操作,並修正一些問題
  • [SPARK-45421] [SC-144814][sql] 捕捉InlineCTE上的AnalysisException
  • [SPARK-43664] [SC-145404][CONNECT][PS] 為在 Spark Connect 上使用 Pandas-on-Spark 物件引發異常。ps.sql
  • [SPARK-45402] [ SC-145371][sql][PYTHON] 針對 'eval' 和 'terminate' 方法新增 UDTF API,以取用先前的 'analyze' 結果
  • [SPARK-36112] [SC-67885][SQL]使用 DecorrelateInnerQuery 架構支援相互關聯的 EXISTS 和 IN 子查詢
  • [SPARK-45383] [ SC-144929][sql] 修正針對時光旅行操作於不存在的資料表的錯誤訊息
  • [SPARK-43254] [SC-143318][sql] 將錯誤_LEGACY_ERROR_TEMP_2018 指派一個名稱
  • [SPARK-45204] [ SC-145167][connect] 將選擇性 ExecuteHolder 新增至 SparkConnectPlanner
  • [SPARK-45451] [ SC-145144][sql] 讓數據集快取的默認儲存層級可設定
  • [SPARK-45192] [ SC-143194][ui] 修正 graphviz 邊緣的逾期 lineInterpolate 參數
  • [SPARK-45467] [SC-145146][core] 取代 Proxy.getProxyClass()Proxy.newProxyInstance().getClass
  • [SPARK-45397] [ SC-145139][ml][CONNECT] 新增數組組合器功能轉換器
  • [SPARK-44855] [SC-145226][connect] 小幅調整將 ExecuteGrpcResponseSender 附加至 ExecuteResponseObserver
  • [SPARK-45398] [SC-144796][sql] 在 ESCAPE 表達式中 Append sql()Like
  • [SPARK-45494] [ SC-145129][core][PYTHON] 介紹 util 函式以讀取/寫入 PythonWorkerUtils 的位元組陣列
  • [SPARK-45464] [SC-145125][核心] 修正 network-yarn 分發組建
  • [SPARK-45461] [SC-144851][core][SQL][mllib] 引入一個StorageLevel的映射器
  • [SPARK-45450] [ SC-145009][python] 根據 PEP8 修正匯入:pyspark.pandas 和 pyspark(核心)
  • [SPARK-45475] [SC-145018][sql] 在 JdbcUtils 中使用 DataFrame.foreachPartition,而不是 RDD.foreachPartition
  • [SPARK-45271] [ SC-143778][sql] 合併_LEGACY_ERROR_TEMP_1113至TABLE_OPERATION並刪除QueryCompilationErrors中一些未使用的方法
  • [SPARK-45449] [ SC-145013][sql] JDBC 資料表的快取失效問題
  • [SPARK-45473] [SC-145017][sql] 修正 RoundBase 的錯誤訊息
  • [SPARK-43299] [ SC-145022][ss][CONNECT] 轉換 Scala 用戶端中的 StreamingQueryException
  • [SPARK-45474] [SC-145014][core][WEBUI] 支援 MasterPage JSON API 中的最上層篩選
  • [SPARK-45205] [SC-145012][sql] CommandResultExec 覆寫迭代器方法,以避免觸發多個工作。
  • [SPARK-45472] [ SC-145004][ss] RocksDB 狀態存放區不需要重新檢查檢查點路徑是否存在
  • [SPARK-45470] [ SC-145010][sql] 避免將 hive orc 壓縮類型的字串值粘貼
  • [SPARK-45448] [ SC-144829][python] 根據 PEP8 修正匯入:pyspark.testing、pyspark.mllib、pyspark.resource 和 pyspark.streaming
  • [SPARK-45446] [SC-144828][python] 根據 PEP8 修正匯入:pyspark.errors 和 pyspark.ml
  • [SPARK-45239][SC-144832][connect] 減少預設 spark.connect.jvmStacktrace.maxSize 大小
  • [SPARK-45436] [ SC-144831][python][CONNECT] DataFrame 方法檢查相同的會話
  • [SPARK-45413] [ SC-144847][core] 新增警告以準備卸除 LevelDB 支援
  • [SPARK-45462] [ SC-144848][core][WEBUI] 顯示 DurationApplicationPage
  • [SPARK-44527] [ SC-144855][sql] 如果 scalarSubquery 的 maxRows 為 0,請將 ScalarSubquery 取代為 null
  • [SPARK-45401] [SC-144854][python] 在 UDTF 介面中新增方法cleanup
  • [SPARK-43704] [SC-144849][connect][PS] 支援MultiIndexto_series()
  • [SPARK-45424] [ SC-144888][sql] 修正 TimestampFormatter 僅在前綴相符時返回可選擇的解析結果
  • [SPARK-45441] [ SC-144833][python] 引進更多適用於 PythonWorkerUtils 的 util 函式
  • [SPARK-45412] [SC-144803][python][CONNECT] 驗證計劃和會話 DataFrame.__init__
  • [SPARK-45408] [SC-144810][核心] 將 RPC SSL 設定新增至 TransportConf
  • [SPARK-45432] [ SC-144818][core] 移除已被取代的 Hadoop-2 LocatedFileStatus 建構函式
  • [SPARK-45434] [SC-144819][ml][CONNECT] 邏輯回歸檢查訓練標籤
  • [SPARK-45420] [ SC-144808][sql][PYTHON][connect] 將 DataType.fromDDL 新增至 PySpark
  • [SPARK-45406] [SC-144793][python][CONNECT] 從 DataFrame 建構函式刪除schema
  • [SPARK-45404] [ SC-144799][core] 支援 AWS_ENDPOINT_URL env 變數
  • [SPARK-43620] [ SC-144792][connect][PS] 修正 Pandas API 取決於不支援的功能
  • [SPARK-45354] [SC-143991][sql] 自下而上解析函式
  • [SPARK-45394] [ SASP-1480][sc-144712][PYTHON][connect] 新增 artifact API 的重試。 改善錯誤處理(追蹤至 [SPARK-45093])。
  • [SPARK-45120] [ SC-142780][spark-45150][UI] 將 d3 從 v3 升級至 v7(v7.8.5),並在 UI 中套用 API 變更
  • [SPARK-44838] [SC-143983][sql] raise_error錯誤處理改進
  • [SPARK-45312] [SC-143754][sql][UI] 支援在執行頁面上切換顯示或隱藏方案 SVG
  • [SPARK-45378] [ SC-144448][core] 將 convertToNettyForSsl 新增至 ManagedBuffer
  • [SPARK-44762] [ SC-144338][connect][CORE] 適用於 SparkConnect.addJobTag 和 Connect SparkSession.addTag 的檔
  • [SPARK-45383] 妥善處理未解決的 "RelationTimeTravel"
  • [SPARK-45347] [ SC-144512][sql][CONNECT] 在 FetchErrorDetailsResponse 中包含 SparkThrowable
  • [SPARK-45012] [ SC-141512][sql] CheckAnalysis 應該在 AnalysisException 中拋出內嵌計劃
  • [SPARK-45359] [ SC-144336][python][CONNECT] DataFrame.{columns, colRegex, explain} 應該在計劃無效時引發例外狀況
  • [SPARK-45227] [ SC-144233][core] 修正 CoarseGrainedExecutorBackend 的細微線程安全性問題
  • [SPARK-45266] [SC-144171][python] 重構 ResolveFunctions 分析器規則,以在使用數據表自變數時延遲進行橫向聯結
  • [SPARK-45266] 還原 “[SC-144171][python] 重構 ResolveFunctions 分析器規則,以在使用表格參數時延遲進行橫向聯接”
  • [SPARK-45371] [ SC-144389][connect] 修正 Spark Connect Scala 用戶端中的底紋問題
  • [SPARK-45057] [SC-144214][core] 當 keepReadLock 為 false 時,避免取得讀取鎖定
  • [SPARK-45385] [ SC-144357][sql] 宣告棄用 spark.sql.parser.escapedStringLiterals
  • [SPARK-45340] [ SC-143917][sql] 移除 SQL 設定 spark.sql.hive.verifyPartitionPath
  • [SPARK-45266] [SC-144171][python] 重構 ResolveFunctions 分析器規則,以在使用數據表自變數時延遲進行橫向聯結
  • [SPARK-45362] [SC-144198][python] 在 Python UDTF 'eval' 方法取用它們之前,先排除 BY 表達式PARTITION
  • [SPARK-45346] [SC-143925][sql] Parquet 模式推斷在合併模式時應該遵守區分大小寫的旗標
  • [SPARK-45341] [SC-143933][core] 修正KVStore.java註釋中的標題層級,讓sbt doc能夠在Java 17中順利執行
  • [SPARK-45334] [ SC-143914][sql] 移除 parquetSchemaConverter 中的誤導批注
  • [c0][SPARK-45337] [SC-143932][core] 重構以移除對 Scala 2.12 的檢查
  • [SPARK-45329] [ SC-143918][python][CONNECT] DataFrame 方法略過 pandas 轉換
  • [SPARK-43662] [ SC-143923][ps][CONNECT] 支援 Spark Connect 中的merge_asof
  • [SPARK-44126] [ SC-143751][核心] 當目標執行程式解除委任時,不應增加隨機移轉失敗計數
  • [SPARK-44550] [SC-119768][sql] 在 ANSI 標準下啟用正確性修正null IN (empty list)
  • [SPARK-45316] [SC-143783][core][SQL] 將新的參數ignoreCorruptFiles/ignoreMissingFiles新增至 和HadoopRDDNewHadoopRDD
  • [SPARK-45093] [ SC-143414][connect][PYTHON] addArtifacts 查詢中的錯誤回報
  • [SPARK-44756] [SC-143787][core] 執行程式在 RetryingBlockTransferor 無法起始重試時停止回應
  • [SPARK-45333] [ SC-143768][core] 修正與 spark.eventLog.buffer.kb 相關的一個單元錯誤
  • [SPARK-45317] [ SC-143750][sql][CONNECT] 處理例外堆栈追踪中的空檔名
  • [SPARK-45191] [SC-143407][sql] InMemoryTableScanExec simpleStringWithNodeId 新增列式資訊
  • [SPARK-45235] [SC-143314][connect][PYTHON] 支持映射和陣列參數sql()
  • [SPARK-45138] [ SC-143309][ss] 定義新的錯誤類別,並在檢查點狀態至 DFS 失敗時套用它
  • [SPARK-45297] [SC-143644][sql] 移除在 SPARK-31827 中新增的 dateformatter 替代方案
  • [SPARK-44345] [ SC-143593][核心] 如果啟用 shuffle 移轉,將日誌級別降低為 WARN
  • [SPARK-44463] [SC-143251][ss][CONNECT] 改善 Connect 串流 Python 工作者的錯誤處理
  • [SPARK-45207] [ SC-143603][sql][CONNECT] 實作 Scala 用戶端的錯誤擴充
  • [SPARK-45240] [ SC-143602][sql][CONNECT] 實作 Python 用戶端的錯誤擴充
  • [SPARK-45216] [ SC-143288][sql] 修正非確定性植入數據集 API
  • [SPARK-45251] [ SC-143419][connect] 為 FetchErrorDetails 新增client_type欄位
  • [SPARK-45137] [SC-143001][connect] 支持參數化中的 map/array 參數 sql()
  • [SPARK-45224] [SC-143257][python] 新增範例,其中 map 和 array 作為參數sql()
  • [SPARK-44622] [SC-143205][sql][CONNECT] 實作 FetchErrorDetails RPC
  • [SPARK-45178] [SC-136089]使用不支援的來源執行 Trigger.AvailableNow 的單一批次,而不是使用包裝函式
  • [SPARK-44823] [14.x][sc-142979][PYTHON] 將黑色更新為 23.9.1 並修正錯誤檢查
  • [SPARK-45078] [ SC-142954][sql] 修正 array_insert ImplicitCastInputTypes 無法運作
  • [SPARK-44579] [SC-138428][sql] 支援在 SQLExecution 中取消時中斷執行
  • [SPARK-45252] [ SC-143371][core] 逸出批注中大於/小於符號以 sbt doc 成功執行
  • [SPARK-45189] [SC-142973][sql] 從 TableIdentifier 建立 UnresolvedRelation 應該包含目錄欄位
  • [SPARK-45229] [ SC-143254][core][UI] 顯示在 MasterPage 中等待提交狀態的驅動程序數目
  • [SPARK-43453] 還原 “[SC-143135][ps] 在為 names 準備 MultiIndex 時忽略 axis=1concat

Databricks ODBC/JDBC 驅動程式支援

Databricks 支援在過去 2 年中發行的 ODBC/JDBC 驅動程式。 請下載最近發行的驅動程式和升級 (下載 ODBC下載 JDBC)。

請參閱 Databricks Runtime 14.2 維護更新

系統環境

  • 作業系統:Ubuntu 22.04.3 LTS
  • Java:Zulu 8.72.0.17-CA-linux64
  • Scala:2.12.15
  • Python:3.10.12
  • R:4.3.1
  • Delta Lake:3.0.0

已安裝的 Python 程式庫

圖書館 版本 圖書館 版本 圖書館 版本
anyio 3.5.0 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
asttokens(Python 資源分析與處理庫) 2.0.5 屬性 22.1.0 回呼 0.2.0
beautifulsoup4 4.11.1 黑色 22.6.0 漂白劑 4.1.0
方向燈 1.4 boto3 1.24.28 botocore(AWS的Python程式庫) 1.27.96
證書 2022.12.7 cffi 1.15.1 chardet 4.0.0
charset-normalizer(字符集正規化器) 2.0.4 點擊 8.0.4 通訊 0.1.2
「contourpy」 1.0.5 加密 39.0.1 騎車者 0.11.0
Cython 0.29.32 Databricks 開發人員工具集 (SDK) 0.1.6 dbus-python 1.2.18
debugpy 1.6.7 裝飾項目 5.1.1 defusedxml(安全解析XML的Python函式庫) 0.7.1
distlib 0.3.7 將文檔字串轉換為Markdown 0.11 入口點 0.4
執行 0.8.3 方面概覽 1.1.1 fastjsonschema 2.19.0
檔案鎖 3.12.4 fonttools (字體工具庫) 4.25.0 googleapis-common-protos 1.61.0
grpcio 1.48.2 grpcio-status 1.48.1 httplib2 0.20.2
IDNA 3.4 importlib-metadata (匯入庫-元資料) 4.6.4 ipykernel 6.25.0
ipython 8.14.0 ipython-genutils(IPython 工具程式庫) 0.2.0 ipywidgets (互動插件) 7.7.2
絕地武士 0.18.1 吉普尼 (菲律賓特有的公車) 0.7.1 Jinja2 3.1.2
jmespath 0.10.0 joblib 1.2.0 jsonschema 4.17.3
Jupyter 客戶端 7.3.4 Jupyter伺服器 1.23.4 Jupyter核心 5.2.0
jupyterlab-pygments 0.1.2 jupyterlab-widgets(JupyterLab 元件) 1.0.0 鑰匙圈 23.5.0
kiwisolver(開源程式庫) 1.4.4 launchpadlib 1.10.16 lazr.restfulclient 0.14.4
lazr.uri 1.0.6 lxml 4.9.1 MarkupSafe 2.1.1
matplotlib 3.7.0 matplotlib-inline 0.1.6 麥凱布 0.7.0
米斯圖恩 0.8.4 more-itertools 8.10.0 mypy-extensions(MyPy 擴充套件) 0.4.3
nbclassic 0.5.2 「nbclient」 0.5.13 nbconvert(文件轉換工具) 6.5.4
nbformat 5.7.0 nest-asyncio 1.5.6 nodeenv 1.8.0
筆記本 6.5.2 筆記本支架 0.2.2 numpy(數值計算套件) 1.23.5
oauthlib (OAuth程式庫) 3.2.0 包裝 22.0 熊貓 1.5.3
pandocfilters (潘多克過濾器) 1.5.0 帕爾索 0.8.3 路徑規格 (pathspec) 0.10.3
替死鬼 0.5.3 pexpect (一個用於程序自動化和測試的軟體庫) 4.8.0 皮克爾共享 (Pickleshare) 0.7.5
枕頭 9.4.0 pip(Python 軟體包管理工具) 22.3.1 platformdirs 2.5.2
plotly(數據可視化工具) 5.9.0 Pluggy(外掛管理工具) 1.0.0 prometheus-client 0.14.1
prompt-toolkit(提示工具組) 3.0.36 協議緩衝區 (Protocol Buffers) 4.24.0 psutil 5.9.0
psycopg2 2.9.3 pty進程 0.7.0 pure-eval 0.2.2
pyarrow 8.0.0 pyarrow-Hotfix 0.4 pycparser(Python 的 C 語法分析器) 2.21
pydantic(Python 數據驗證工具) 1.10.6 pyflakes (Python 代碼分析工具) 3.1.0 Pygments 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.32
pyparsing(Python 字符串解析库) 3.0.9 pyright 1.1.294 pyrsistent(持續性資料庫的Python函式庫) 0.18.0
python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1 python-lsp-server 1.8.0
pytoolconfig 1.2.5 pytz(Python 的時區計算函式庫) 2022年7月 pyzmq 23.2.0
請求 2.28.1 繩子 1.7.0 s3transfer 0.6.2
scikit-learn(機器學習庫) 1.1.1 scipy科學計算庫 1.10.0 seaborn(資料視覺化庫) 0.12.2
SecretStorage 3.3.1 Send2Trash 1.8.0 setuptools 65.6.3
1.16.0 sniffio 1.2.0 湯篩 2.3.2.post1
ssh-import-id(匯入 SSH ID) 5.11 堆疊數據 0.2.0 statsmodels (統計模型庫) 0.13.5
堅韌 8.1.0 完成 0.17.1 線程池控制器 2.2.0
tinycss2 1.2.1 tokenize-rt 4.2.1 tomli 2.0.1
龍捲風 6.1 特性 5.7.1 typing_extensions(打字擴充套件) 4.4.0
ujson(超快速 JSON 解析庫) 5.4.0 自動升級 0.1 urllib3 1.26.14
virtualenv 20.16.7 wadllib 1.3.6 wcwidth(字符寬度函數) 0.2.5
網路編碼 0.5.1 WebSocket 客戶端 0.58.0 何謂補丁 1.0.2
Wheel 0.38.4 widgetsnbextension 3.6.1 yapf (Python 程式碼格式化工具) 0.33.0
拉鏈 1.0.0

已安裝的 R 程式庫

R 函式庫已經從 Posit 套件管理員於 2023-02-10 的 CRAN 快照中安裝。

圖書館 版本 圖書館 版本 圖書館 版本
12.0.1 askpass(要求密碼) 1.1 assertthat (一個用於斷言測試的函數庫) 0.2.1
回溯移植 1.4.1 基礎映像 4.3.1 base64enc 0.1-3
位元 4.0.5 64位元 4.0.5 blob 1.2.4
靴子 1.3-28 釀造 1.0-8 活力 1.1.3
掃帚 1.0.5 bslib 0.5.0 卡榭姆 1.0.8
卡爾 3.7.3 脫字符 6.0-94 cellranger (細胞測序工具) 1.1.0
時序 (chron) 2.3-61 類別 7.3-22 命令行界面 (CLI) 3.6.1
克麗普 0.8.0 0.7.0 叢集 2.1.4
codetools 0.2-19 色彩空間 2.1-0 通用標記 1.9.0
編譯器 4.3.1 設定 0.3.1 矛盾 1.2.0
cpp11 0.4.4 蠟筆 1.5.2 憑證 1.3.2
捲曲 5.0.1 資料表 1.14.8 資料集 4.3.1
DBI 1.1.3 dbplyr 2.3.3 描述 1.4.2
devtools 2.4.5 圖表 1.6.5 diffobj 0.3.5
摘要 0.6.33 下照燈光 0.4.3 dplyr資料處理套件 1.1.2
dtplyr 1.3.1 e1071 1.7-13 省略符號 0.3.2
評估 0.21 粉絲 1.0.4 顏色 2.1.1
fastmap(快速映射) 1.1.1 fontawesome 0.5.1 拣猫包(forcats) 1.0.0
foreach 1.5.2 外國 0.8-82 鍛造 0.2.0
f s 1.6.2 未來 1.33.0 未來應用 (future.apply) 1.11.0
漱口 1.5.1 泛型 0.1.3 格特 1.9.2
ggplot2 3.4.2 gh 1.4.0 gitcreds 0.1.2
glmnet 4.1-7 全域變數 0.16.2 膠水 1.6.2
Google 雲端硬碟 2.1.1 googlesheets4 1.1.1 戈爾(Gower) 1.0.1
圖形 4.3.1 grDevices 4.3.1 格線 4.3.1
gridExtra 2.3 gsubfn 0.7 gtable 0.3.3
安全帽 1.3.0 避風港 2.5.3 更高 0.10
如果 "hms" 是一個專有名詞、縮寫或具有特殊意涵的術語,則需要確保對其進行適當的翻譯或說明。 1.1.3 HTML工具 0.5.5 htmlwidgets(網頁小工具) 1.6.2
httpuv 1.6.11 httr 1.4.6 httr2 0.2.3
識別碼 1.0.1 ini 0.3.1 艾普瑞德 0.9-14
等高帶 (isoband) 0.2.7 迭代器 1.0.14 jquerylib 0.1.4
jsonlite 1.8.7 KernSmooth 2.23-21 針織機 1.43
標籤 0.4.2 稍後 1.3.1 格子狀結構 0.21-8
熔岩 1.7.2.1 生命週期 1.0.3 保留原名 "listenv" 並附加描述 (if necessary based on context, otherwise just retain "listenv") 0.9.0
「lubridate」 1.9.2 magrittr 2.0.3 Markdown 1.7
質量 7.3-60 矩陣 1.5-4.1 記憶化 2.0.1
方法 4.3.1 mgcv 1.8-42 默劇 0.12
迷你用戶界面 0.1.1.1 ModelMetrics 1.2.2.2 模型師 0.1.11
蒙塞爾 0.5.0 nlme 3.1-162 nnet 7.3-19
numDeriv (數值導數) 2016年8月-2017年1月 openssl 2.0.6 平行 4.3.1
並行地 1.36.0 柱子 1.9.0 pkgbuild 1.4.2
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2.1
普洛格 0.2.0 plyr播放器(plyr Player) 1.8.8 稱讚 1.0.0
prettyunits 1.1.1 pROC 1.18.4 流程x 3.8.2
prodlim 2023年03月31日 視覺分析工具 Profvis 0.3.8 進度 1.2.2
progressr 0.13.0 承諾 1.2.0.1 原型 1.0.0
Proxy 0.4-27 附註 1.7.5 purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 拉格 1.2.5
randomForest(隨機森林) 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.11 RcppEigen 0.3.3.9.3
Readr 2.1.4 readxl(讀取Excel檔案) 1.4.3 食譜 1.0.6
重賽 1.0.1 Rematch 2 2.1.2 遙控器們 2.4.2
可重現示例 2.0.2 reshape2 1.4.4 rlang 1.1.1
rmarkdown(R程式碼標記語言) 2.23 RODBC 1.3-20 roxygen2 7.2.3
rpart(R語言中的一個統計計算和機器學習模組) 4.1.19 rprojroot 2.0.3 Rserve 1.8-11
RSQLite 2.3.1 rstudioapi 0.15.0 r版本 2.1.2
rvest(用於網頁抓取的 R 語言套件) 1.0.3 Sass 0.4.6 磅秤 1.2.1
擇選器 (selectr) 0.4-2 會話資訊 1.2.2 圖形 1.4.6
閃亮 1.7.4.1 sourcetools 0.1.7-1 sparklyr 1.8.1
空間 7.3-15 樣條 4.3.1 sqldf 0.4-11
SQUAREM 2021.1 統計數據 4.3.1 統計學4 4.3.1
字串處理工具包 (stringi) 1.7.12 "stringr" 是 R 語言中的一個處理字串操作的函式庫。 1.5.0 生存 3.5-5
sys 3.4.2 系統字體 1.0.4 tcltk(程式設計工具包) 4.3.1
testthat(測試工具) 3.1.10 文字塑形 0.3.6 tibble 3.2.1
tidyr 1.3.0 tidyselect 1.2.0 tidyverse(整潔世界) 2.0.0
時間變更 0.2.0 時間日期 4022.108 tinytex 0.45
工具 4.3.1 tzdb 0.4.0 URL 檢查器 1.0.1
usethis 2.2.2 utf8 1.2.3 實用工具 4.3.1
uuid (通用唯一識別碼) 1.1-0 vctrs 0.6.3 viridisLite 0.4.2
vroom 1.6.3 瓦爾多 0.5.1 鬍鬚 0.4.1
withr代碼庫 (assuming withr refers to a specific codebase or library, use context to clarify) 2.5.0 xfun 0.39 xml2 1.3.5
xopen 1.0.0 xtable 1.8-4 YAML(Yet Another Markup Language)解析器 2.3.7
壓縮檔 2.3.0

安裝 Java 和 Scala 函式庫 (Scala 2.12 叢群版本)

群組識別碼 成品識別碼 版本
ANTLR ANTLR 2.7.7
com.amazonaws amazon-kinesis-用戶端 1.12.0
com.amazonaws aws-java-sdk-自動擴展 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront (雲端前端 Java SDK) 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch(雲端搜索) 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy (AWS Java SDK的CodeDeploy模組) 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws AWS Java SDK 配置 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect (AWS Java 軟體開發套件 - 直接連接) 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws AWS Java SDK for ElastiCache (AWS Java SDK 用於 ElastiCache) 1.12.390
com.amazonaws AWS Java SDK Elasticbeanstalk(AWS Java 軟體開發套件,Elasticbeanstalk) 1.12.390
com.amazonaws AWS Java SDK 彈性負載平衡 (aws-java-sdk-elasticloadbalancing) 1.12.390
com.amazonaws AWS Java SDK 彈性轉碼器 (aws-java-sdk-elastictranscoder) 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier (AWS Java 軟體開發工具包 - Glacier) 1.12.390
com.amazonaws aws-java-sdk-glue(AWS 繫結程式庫) 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport (AWS Java SDK 資料匯入匯出) 1.12.390
com.amazonaws aws-java-sdk-kinesis(AWS Java 開發工具包-Kinesis) 1.12.390
com.amazonaws aws-java-sdk-kms (AWS Java 軟體開發工具包 - KMS) 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs (Amazon Java SDK 日誌) 1.12.390
com.amazonaws aws-java-sdk-machinelearning(AWS Java SDK 機器學習) 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift (Amazon Web Services 的 Redshift Java 軟體開發工具包) 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws AWS Java SDK 的 SQS 模組 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway (AWS Java SDK 儲存閘道) 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws AWS Java SDK 支援 (aws-java-sdk-support) 1.12.390
com.amazonaws aws-java-sdk-js-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces(AWS Java SDK 工作空間) 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics 串流 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.7.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware 冷凍陰影技術 (kryo-shaded) 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml 同學 1.3.4
com.fasterxml.jackson.core Jackson 註解 2.15.2
com.fasterxml.jackson.core jackson-core (資料處理核心) 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor (一個用於CBOR數據格式的Java庫) 2.15.2
com.fasterxml.jackson.datatype 杰克森數據類型-Joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310(Jackson數據類型JSR310) 2.15.1
com.fasterxml.jackson.module jackson-module-paranamer(Jackson模組-Paranamer) 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.咖啡因 咖啡因 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib 原生引用-java 1.1
com.github.fommil.netlib 原生引用-java 1.1 原生
com.github.fommil.netlib native_system-Java 1.1
com.github.fommil.netlib native_system-Java 1.1 原生
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1 原生
com.github.fommil.netlib netlib-原生系統-linux-x86_64 1.1 原生
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink 小精靈叮噹 1.9.0
com.google.errorprone 易出错標註 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava 番石榴 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger 分析工具 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.正式版
com.lihaoyi 原始碼_2.12 0.1.9
com.microsoft.azure Azure Data Lake Store SDK (Azure 資料湖存儲 SDK) 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning 壓縮-LZF 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core(JAXB核心) 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning JSON(JavaScript物件表示法) 1.8
com.thoughtworks.paranamer paranamer (參數命名器) 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe 設定 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber H3 3.7.3
com.univocity univocity-parsers(統一性解析器) 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec(公共編碼庫) commons-codec(公共編碼庫) 1.16.0
公共集合 (commons-collections) 公共集合 (commons-collections) 3.2.2
commons-dbcp commons-dbcp 1.4
共享-文件上傳 共享-文件上傳 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging (共通日誌記錄) commons-logging (共通日誌記錄) 1.1.3
commons-pool (公共資源庫) commons-pool (公共資源庫) 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib BLAS(基本線性代數程式庫) 3.0.3
dev.ludovic.netlib lapack(線性代數軟體包) 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift 空氣壓縮機 0.25
io.delta delta-sharing-client_2.12 1.0.2
io.dropwizard.metrics 指標註解 4.2.19
io.dropwizard.metrics 核心指標 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics 度量-健康檢查 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics 指標-JMX 4.2.19
io.dropwizard.metrics 度量標準-JSON 4.2.19
io.dropwizard.metrics 指標-JVM 4.2.19
io.dropwizard.metrics metrics-servlet 4.2.19
io.netty netty-all(Netty 完整版本) 4.1.96.最終版
io.netty ネッティ緩衝區 (netty-buffer) 4.1.96.最終版
io.netty Netty 編解碼器 4.1.96.最終版
io.netty netty-codec-http(Netty HTTP 編解碼器) 4.1.96.最終版
io.netty Netty 解碼器 HTTP/2 4.1.96.最終版
io.netty netty-codec-socks(Netty編解碼Socks模組) 4.1.96.最終版
io.netty Netty公共模組 4.1.96.最終版
io.netty netty-handler 4.1.96.最終版
io.netty netty-handler-proxy (代理處理程序) 4.1.96.最終版
io.netty netty-resolver (網絡解決方案) 4.1.96.最終版
io.netty netty-tcnative-boringssl-static (Netty 原生 BoringSSL 靜態版本) 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static (Netty 原生 BoringSSL 靜態版本) 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static (Netty 原生 BoringSSL 靜態版本) 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static (Netty 原生 BoringSSL 靜態版本) 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static (Netty 原生 BoringSSL 靜態版本) 2.0.61.Final-windows-x86_64
io.netty Netty-TCNative-類別 2.0.61.Final
io.netty netty-transport 4.1.96.最終版
io.netty netty-transport-classes-epoll 4.1.96.最終版
io.netty netty-transport-classes-kqueue (Netty 傳輸類別 - KQueue) 4.1.96.最終版
io.netty netty-transport-native-epoll 4.1.96.最終版
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue(Netty 原生傳輸 KQueue) 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue(Netty 原生傳輸 KQueue) 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common(Netty 傳輸本地 Unix 公用程式) 4.1.96.最終版
io.prometheus simpleclient 0.7.0
io.prometheus 簡易客戶端_通用 0.7.0
io.prometheus simpleclient_dropwizard (簡易客戶端_dropwizard) 0.7.0
io.prometheus 簡易客戶端推送網關 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx 收集器 0.12.0
jakarta.annotation jakarta.annotation-api(註解API) 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 驗證接口 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation 啟用 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction 交易介面 (transaction-api) 1.1
javax.xml.bind jaxb-api 2.2.11
Javolution Javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine 醃菜 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv (開源 CSV 解析庫) 2.3
net.sf.supercsv super-csv 2.2.0
網絡.雪花 snowflake-ingest-sdk(Snowflake 資料引入 SDK) 0.9.6
net.sourceforge.f2j arpack_combined_all (程式的函數名稱,通常保持不翻譯) 0.1
org.acplt.remotetea REMOTETEA-ONCRPC 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime (ANTLR 4 執行時) 4.9.3
org.antlr 字串模板 (stringtemplate) 3.2.1
org.apache.ant 螞蟻 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant 螞蟻發射器 1.9.16
org.apache.arrow 箭頭格式 12.0.1
org.apache.arrow 箭頭記憶核心 12.0.1
org.apache.arrow 箭頭記憶-netty 12.0.1
org.apache.arrow 箭矢向量 12.0.1
org.apache.avro Avro 1.11.2
org.apache.avro avro-ipc 1.11.2
org.apache.avro avro-mapred 1.11.2
org.apache.commons 共享-集合4 4.4
org.apache.commons commons-compress(通用壓縮工具) 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text(共用文字處理庫) 1.10.0
org.apache.curator 策展人-客戶 2.13.0
org.apache.curator 管理員框架 (curator-framework) 2.13.0
org.apache.curator 策展人食譜 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory (資料素描記憶體) 2.0.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop客户端運作環境 3.3.6
org.apache.hive hive-beeline(資料查詢工具) 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client(Hive LLAP用戶端) 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde (資料序列化和解序列化庫) 2.3.9
org.apache.hive 蜂箱墊片 2.3.9
org.apache.hive hive-storage-api (蜂巢存儲 API) 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 套件 2.3.9
org.apache.hive.shims 蜂巢兼容層排程器 (hive-shims-scheduler) 2.3.9
org.apache.httpcomponents HttpClient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy 常春藤 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.20.0
org.apache.logging.log4j log4j-api 2.20.0
org.apache.logging.log4j log4j-core 2.20.0
org.apache.logging.log4j log4j-slf4j2-impl 2.20.0
org.apache.mesos Mesos 1.11.0-shaded-protobuf
org.apache.orc 奧克核心 1.9.1-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.1-shaded-protobuf
org.apache.orc 獸人襯墊 1.9.1
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core (XML 架構核心) 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus 觀眾註解 0.13.0
org.apache.zookeeper 動物園管理員 3.6.3
org.apache.zookeeper ZooKeeper-Jute 3.6.3
org.checkerframework 品質檢查器 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson 傑克遜映射器-ASL 1.9.13
org.codehaus.janino 通用編譯器 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core (數據核心) 4.1.17
org.datanucleus 資料核心-RDBMS 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation (Jetty 延續機制) 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy (代理伺服器) 9.4.52.v20230823
org.eclipse.jetty 噴射碼頭安全性 9.4.52.v20230823
org.eclipse.jetty jetty伺服器 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty 傑堤工具 (jetty-util) 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax(捷特工具-AJAX) 9.4.52.v20230823
org.eclipse.jetty jetty-webapp(Jetty 網頁應用程式) 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket WebSocket API 9.4.52.v20230823
org.eclipse.jetty.websocket WebSocket 客戶端 9.4.52.v20230823
org.eclipse.jetty.websocket WebSocket-Common 9.4.52.v20230823
org.eclipse.jetty.websocket WebSocket 伺服器 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2 定位器 2.6.1
org.glassfish.hk2 hk2實用程式 2.6.1
org.glassfish.hk2 osgi-resource-locator (OSGi 資源定位器) 1.0.3
org.glassfish.hk2.external aopalliance重新打包 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers Jersey 容器伺服器 2.40
org.glassfish.jersey.containers jersey 容器 servlet 核心模块 2.40
org.glassfish.jersey.core Jersey 客戶端 2.40
org.glassfish.jersey.core 球衣-通用 2.40
org.glassfish.jersey.core Jersey伺服器 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator Hibernate 驗證器 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-日誌記錄 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains 註釋 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client(MariaDB Java 客戶端) 2.7.9
org.mlflow mlflow-spark 2.2.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.0
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap 墊片 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.9.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt 測試介面 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest 與 scalatest 兼容 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 (Scala 測試必須匹配器_2.12) 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl(野飛開放SSL) 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml SnakeYAML 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1