共用方式為

Databricks Runtime 14.2

  • 發行項

下列版本資訊提供由 Apache Spark 3.5.0 提供之 Databricks Runtime 14.2 的相關信息。

Databricks 於 2023 年 11 月發行此版本。

提示

若要查看已達到終止支援 (EoS) 之 Databricks Runtime 版本的版本資訊，請參閱終止支援 Databricks Runtime 版本資訊。 EoS Databricks Runtime 版本已淘汰，且可能未更新。

新功能和改進

CACHE SELECT 現在會忽略

現在會忽略 SQL 命令 CACHE SELECT ，以偏向改善的快取演算法。 請參閱使用 Azure Databricks 上的快取將效能最佳化。

改善快取行為

Spark 排程器所放置的 DiskCache 現在具有更快的分割區指派、在叢集自動調整期間更好的平衡，以及更一致的查詢執行。

已修正 DML 命令中損毀的檔案處理

DML 命令 DELETE、 UPDATE與 MERGE INTO 不再遵守讀取選項 ignoreCorruptFiles 與 ignoreMissingFiles。 在資料表中遇到無法讀取的檔案時，即使指定了這些選項，這些命令現在仍會失敗。

您現在可以在共用叢集中搭配from_avro架構登錄使用、 to_avrofrom_protobuf和 to_protobuf Python 函式。

foreachBatch 和 StreamingListener 支援

您現在可以在共用叢集中搭配結構化串流使用 foreachBatch() 和 StreamingListener API。 請參閱在 Azure Databricks 上使用 foreachBatch 來寫入任意數據接收器和監視結構化串流查詢。

數據列層級並行存取已正式推出，且預設為開啟

數據列層級並行存取可藉由偵測數據列層級的變更來減少並行寫入作業之間的衝突。 只有資料表不支援資料列層級並行存取，但不含資料分割，其中包括具有液體叢集的資料表。 在已啟用刪除向量的 Delta 資料表上，預設會啟用資料列層級並行存取。 請參閱<資料列層級並行寫入衝突>。

差異共用：收件者可以在具有刪除向量的共享資料表上執行批次、CDF 和串流查詢（公開預覽）

差異共用收件者現在可以在使用刪除向量的共享數據表上執行批次、CDF 和串流查詢。 在 Databricks Runtime 14.1 上，他們只能執行批次查詢。 請參閱新增具有刪除向量或對應至共享之資料行的資料表、讀取啟用刪除向量或資料行對應的資料表，以及讀取啟用刪除向量或資料行對應的資料表。

Unity 目錄外部資料表的淺層複製 （公開預覽）

您現在可以搭配 Unity 目錄外部資料表使用淺層複製。 請參閱<Unity 目錄資料表>的淺複製。

新的磁碟快取指派演算法

Spark 排程器現在會使用新的磁碟快取演算法。 此演算法可改善節點之間的磁碟使用量和分割區指派，且一開始和之後的指派速度較快。 黏性快取指派可改善執行之間的一致性，並減少在重新平衡作業期間移動的數據。

from_avro 使用架構登錄連接器可新增架構演進的支援

您現在可以在偵測到不斷演進的記錄時，讓管線重新啟動。 先前，如果連接器發生 from_avro 架構演進，新的資料行會傳回 null。 請參閱 讀取和寫入串流 Avro 數據。

更快速的多線程統計數據收集

執行 CONVERT TO DELTA 或從 Iceberg 和 Parquet 數據表複製時，小型叢集上的統計數據收集速度高達 10 倍。 請參閱 轉換成 Delta Lake 和 複製 Parquet 和 Iceberg 數據表。

Delta 檔案上 DeltaSource 中的下推篩選

為了獲得更好的使用率，差異數據表串流查詢上的分割區篩選現在會向下推送至 Delta，再限制速率。

支援共用叢集上的純量使用者定義函式 （公開預覽）

您現在可以在已啟用 Unity 目錄的叢集上使用純量使用者定義函式，這些叢集已設定為共用存取模式。 請參閱 使用者定義的純量函式 - Scala。

連結庫升級

  • 升級的 Python 連結庫：
    • fastjsonschema 從 2.18.0 到 2.19.0
    • filelock from 3.12.3 to 3.12.4
    • googleapis-common-protos，從 1.60.0 到 1.61.0
  • 升級的 R 程式庫：
  • 升級的 Java 連結庫：

Apache Spark

Databricks Runtime 14.2 包含 Apache Spark 3.5.0。 此版本包含 Databricks Runtime 14.1 中包含的所有 Spark 修正和改善，以及下列對 Spark 進行的其他錯誤修正和改善：

  • [SPARK-45592] [DBRRM-624]還原 “[SC-146977][SQL] 使用 InMemoryTableScanExec 的 AQE 正確性問題”
  • [SPARK-45524] [DBRRM-625]還原 “[SC-146319][PYTHON][SQL] 初始支援 f...
  • [SPARK-45433] [DBRRM-621]還原 “[SC-145163][SQL] 修正 CSV/JSON 架構推斷...
  • [SPARK-45592] [SC-146977][SQL]AQE 中 InMemoryTableScanExec 的正確性問題
  • [SPARK-45354] 還原 “[SC-143991][SQL] 解析自下而上解析函式”
  • [SPARK-45680] [TEST-ONLY][SASP-2347][CONNECT]修正測試
  • [SPARK-45680] [CONNECT]發行會話
  • [SPARK-43380] [SC-146726][ES-897115][SQL]修正 Avro 讀取速度變慢的問題
  • [SPARK-45649] [SC-146742][SQL]統一準備的架構 OffsetWindowFunctionFrame
  • [SPARK-40820] [SC-146727][PYTHON][SQL]從 Json 建立 StructType
  • [SPARK-45620] [SC-146225][PYTHON]修正與 Python UDTF 相關的使用者面向 API 以使用 camelCase
  • [SPARK-45727] [SC-146978][SS]拿掉浮浮中未使用的地圖
  • [SPARK-45723] [SC-146890][PYTHON][CONNECT]目錄方法可避免 pandas 轉換
  • [SPARK-45574] [SC-146106][SQL]新增 ：： 語法作為轉型的速記
  • [SPARK-45670] [SC-146725][CORE][3.5] 在 K8 上部署時不支援 --total-executor-cores SparkSubmit
  • [SPARK-45661] [SC-146594][SQL][PYTHON]在 StructType、MapType 和 ArrayType 中新增 toNullable
  • [SPARK-45524] [SC-146319][PYTHON][SQL]Python 數據源讀取 API 的初始支援
  • [SPARK-45542] [SC-145892][CORE]將取代 setSafeMode(HdfsConstants.SafeModeAction, boolean) 為 setSafeMode(SafeModeAction, boolean)
  • [SPARK-45652] [SC-146641][SQL]SPJ：在動態篩選之後處理空的輸入分割區
  • [SPARK-45454] [SC-144846][SQL]將數據表的預設擁有者設定為 current_user
  • [SPARK-45554] [SC-146875][PYTHON]將彈性參數引入 assertSchemaEqual
  • [SPARK-45242] [SC-143410][SQL]使用 DataFrame 識別碼以語意方式驗證 CollectMetrics
  • [SPARK-45674] [SC-146862][CONNECT][PYTHON]改善 Spark Connect 上 JVM 相依屬性的錯誤訊息。
  • [SPARK-45646] [SC-146276][SQL]拿掉Hive 2.0之前的硬式編碼時間變數
  • [SPARK-43380] [SC-146726][ES-897115][SQL]修正 Avro 讀取速度變慢的問題
  • [SPARK-45545] [SC-146484][CORE]在何處傳遞 SSLOptions，無論我們在哪裡建立 SparkTransportConf
  • [SPARK-45641] [SC-146260][UI]在 AllJobsPage 上顯示應用程式開始時間
  • [SPARK-40154] [SC-146491][Python][Docs]更正 Dataframe.cache 檔字串中的儲存層級
  • [SPARK-45626] [SC-146259][SQL]將_LEGACY_ERROR_TEMP_1055轉換為REQUIRES_SINGLE_PART_NAMESPACE
  • [SPARK-45507] [SC-145900][SQL]巢狀相互關聯的純量子查詢與 COUNT 匯總的正確性修正
  • [SPARK-45619] [SC-146226][CONNECT][PYTHON]將觀察到的計量套用至觀察物件
  • [SPARK-45588] [SC-145909][PROTOBUF][CONNECT][MINOR]StreamingForeachBatchHelper 的 Scaladoc 改進
  • [SPARK-45616] [SC-146120][CORE]避免 ParVector，其不會傳播 ThreadLocals 或 SparkSession
  • [SPARK-45604] [SC-146105][SQL]在 INT64 上新增 LogicalType 檢查 -> Parquet 向量化讀取器的 DateTime 轉換
  • [SPARK-44649] [SC-145891][SQL]運行時間篩選支持傳遞對等的建立端表達式
  • [SPARK-41674] [SC-128408][SQL]運行時間篩選應支援多重層級隨機聯結端作為篩選建立端
  • [SPARK-45547] [SC-146228][ML] 使用內建函式驗證向量
  • [SPARK-45558] [SC-145890][SS]引進用於串流具狀態運算符的元數據檔案
  • [SPARK-45618] [SC-146252][CORE]拿掉 BaseErrorHandler
  • [SPARK-45638] [SC-146251][SQL][Avro]改善小數轉換的測試涵蓋範圍
  • [SPARK-44837] [SC-146020][SQL]變更 ALTER TABLE ALTER PARTITION 資料行錯誤訊息
  • [SPARK-45561] [SC-146264][SQL]在 MySQLDialect 中新增 TINYINT 的適當轉換
  • [SPARK-45632] [SC-146255][SQL]啟用 AQE 時，數據表快取應該避免不必要的 ColumnarToRow
  • [SPARK-45569] [SC-145932][SQL]將名稱指派給錯誤_LEGACY_ERROR_TEMP_2152
  • [SPARK-44784] [SC-141015][CONNECT]讓 SBT 測試隱性。
  • [SPARK-45452] [SC-144836][SQL]改善 InMemoryFileIndex 以使用 FileSystem.listFiles API
  • [SPARK-44735] [SC-146186][SQL]依不符合的數據列插入具有相同名稱的數據行時，新增警告訊息
  • [SPARK-45351] [SC-144791][CORE]將預設值變更 spark.shuffle.service.db.backend 為 ROCKSDB
  • [SPARK-45553] [SC-145906][PS]取代 assertPandasOnSparkEqual
  • [SPARK-45613] [SC-146022][CORE]將 DeterministicLevel 公開為 DeveloperApi
  • [SPARK-45549][SC-145895][CORE]拿掉 中未使用的numExistingExecutorsCoarseGrainedSchedulerBackend
  • [SPARK-45609] [SC-146030][CONNECT]在SparkThrowable Proto訊息中包含 SqlState
  • [SPARK-45595] [SC-146037] 在錯誤訊息中公開 sqlstate
  • [SPARK-45628][SC-146123][ML] 改善vector_to_array.mllib.linalg.SparseVector
  • [SPARK-45009] [SC-145884][SQL][待處理]在 AQE InSubquery 測試的聯結條件中關閉譯碼
  • [SPARK-45576] [SC-145883][CORE]拿掉 ReloadingX509TrustManagerSuite 中不必要的偵錯記錄
  • [SPARK-45485] [SC-145719][CONNECT]使用者代理程式改善：使用 SPARK_CONNECT_USER_AGENT env 變數並包含環境特定屬性
  • [SPARK-45508] [SC-145513][CORE]新增 “–add-opens=java.base/jdk.internal.ref=ALL-UNNAMED”，讓平臺可以在 Java 9+ 上存取清除程式
  • [SPARK-45595] 還原 “[SC-146037] 在錯誤訊息中公開 SQLSTATE”
  • [SPARK-45595] [SC-146037]在錯誤訊息中公開 SQLSTATE
  • [SPARK-45112] 還原 “[SC-143259][SQL] 使用未解析的Function ba...
  • [SPARK-45257][SC-143411][CORE]默認為啟用spark.eventLog.compress
  • [SPARK-45586] [SC-145899][SQL]使用大型表達式樹狀結構減少計劃的編譯程序延遲
  • [SPARK-45517] [SC-145691][CONNECT][14.x]展開更多例外狀況建構函式以支援錯誤架構參數
  • [SPARK-45581] [SC-145896]讓 SQLSTATE 成為必要專案。
  • [SPARK-45427] [SC-145590][CORE]將 RPC SSL 設定新增至 SSLOptions 和 SparkTransportConf
  • [SPARK-45261][SC-143357][CORE]修正EventLogFileWriters以編解碼器的形式處理none
  • [SPARK-45582] [SC-145897][SS]確定在輸出模式串流匯總內呼叫認可之後，不會使用存放區實例
  • [SPARK-45562] [SC-145720][SC-144650][SQL]XML：將 'rowTag' 設為必要選項
  • [SPARK-45392] [SC-144362][CORE][SQL][SS]將取代 Class.newInstance() 為 Class.getDeclaredConstructor().newInstance()
  • [SPARK-45433] [SC-145163][SQL]修正時間戳不符合指定 timestampFormat 時的 CSV/JSON 架構推斷
  • [SPARK-45458] [SC-145011][SQL]將 IllegalArgumentException 轉換為 bitwiseExpressions 中的 SparkIllegalArgumentException
  • [SPARK-45564] [SC-145735][SQL]使用 'BloomFilterAggregate' 表達式簡化 'DataFrameStatFunctions.bloomFilter'
  • [SPARK-45566] [SC-145777][PS]在 Spark 上支援 Pandas API 的類似 Pandas 測試公用程式
  • [SPARK-45498] [SC-145509][CORE]後續操作：忽略舊階段的工作完成...
  • [SPARK-45483] [SC-145152][CONNECT]更正 connect.functions 中的函式群組
  • [SPARK-45577] [SC-145781][PYTHON]修正 UserDefinedPythonTableFunctionAnalyzeRunner，以從具名自變數傳遞折疊的值
  • [SPARK-45009] [SC-138223][待處理]在 AetherSQLQuerySuite 的聯結條件中關閉譯碼
  • [SPARK-45415] [SC-145344]允許在 RocksDB 狀態存放區中選擇性停用「fallocate」
  • [SPARK-45500] [SC-145134][CORE][WEBUI]在 MasterPage 中顯示異常完成的驅動程式數目
  • [SPARK-44120] [SC-144349][PYTHON]支援 Python 3.12
  • [SPARK-45439] [SC-145589][SQL][UI]減少 LiveStageMetrics.accumIdsToMetricType 的記憶體使用量
  • [SPARK-45565] [SC-145717][UI]階段詳細數據上工作清單的不必要的 JSON.stringify 和 JSON.parse 迴圈
  • [SPARK-45567] [SC-145718][CONNECT]如果在 org.apache.spark.sql.connect.execution.ExecuteGrpcResponseSender#run 中移除備援
  • [SPARK-45112] [SC-143259][SQL]在 SQL 數據集函式中使用未解析的函式解析
  • [SPARK-45486] [SASP-2457][SC-145612][CONNECT]進行add_artifact要求等冪
  • [SPARK-44913] [SC-144326][SQL]DS V2 支援向下推入具有 magic 方法的 V2 UDF
  • [SPARK-45538] [SC-145635][PYTHON][CONNECT]pyspark connect overwrite_partitions Bug
  • [SPARK-45491] [SC-145622]新增遺漏的 SQLSTATES 2/2
  • [SPARK-45009] [SC-145620][SC-138223][SQL]在聯結條件中取消更正述詞子查詢
  • [SPARK-45377] [SC-144377][CORE]處理 NettyLogger 中的 InputStream
  • [SPARK-45248] [SC-143759][CORE]設定 Spark UI 伺服器的逾時
  • [SPARK-44594] [SC-145611][SS]拿掉kafka連接器中的備援方法參數
  • [SPARK-45539] [SC-145621][SS]新增判斷提示和記錄以指出附加模式中串流匯總查詢需要浮浮浮水印定義
  • [SPARK-44262][SC-145639][SQL]將和 getInsertStatement 新增dropTable至 JdbcDialect
  • [SPARK-45516] [SC-145480][CONNECT]在SparkThrowable Proto訊息中包含QueryContext
  • [SPARK-45310] [SC-145127][CORE]報告隨機封鎖狀態應該在解除委任移轉期間遵守隨機處理服務
  • [SPARK-45521] [SC-145487][ML] 避免在 中重新計算 nnz VectorAssembler
  • [SPARK-45418] [SC-145485][SQL][PYTHON][CONNECT]將 current_database（） 資料行別名變更為 current_schema（）
  • [SPARK-45116] [SC-145142][SQL]新增 JdbcDialect 參數的一些批注 createTable
  • [SPARK-45495] [SC-145529][core]當動態配置停用時，支援 k8s 叢集的階段層級工作資源配置檔
  • [SPARK-45487] [SC-145559]修正 SQLSTATE 和暫存錯誤
  • [SPARK-45505] [SC-145550][PYTHON]重構 analyzeInPython 使其可重複使用
  • [SPARK-45132] [SC-145425][SQL]修正函式調用的標識碼
  • [SPARK-45213] [SC-145020][SQL]將名稱指派給錯誤_LEGACY_ERROR_TEMP_2151
  • [SPARK-45416] [SC-145126][CONNECT]箭號結果的理智檢查一致性
  • [SPARK-45163] [SC-143386][SQL]合併UNSUPPORTED_VIEW_OPERATION和UNSUPPORTED_TABLE_OPERATION並修正一些問題
  • [SPARK-45421] [SC-144814][SQL]透過 InlineCTE 攔截 AnalysisException
  • [SPARK-43664] [SC-145404][CONNECT][PS]在Spark Connect上使用 Pandas-on-Spark 對象引發 例外 ps.sql 狀況。
  • [SPARK-45402] [SC-145371][SQL][PYTHON]針對 'eval' 和 'terminate' 方法新增 UDTF API，以取用先前的 'analyze' 結果
  • [SPARK-36112] [SC-67885][SQL]使用 DecorrelateInnerQuery 架構支援相互關聯的 EXISTS 和 IN 子查詢
  • [SPARK-45383] [SC-144929][SQL]修正使用非現有資料表進行時間移動的錯誤訊息
  • [SPARK-43254] [SC-143318][SQL]將名稱指派給錯誤_LEGACY_ERROR_TEMP_2018
  • [SPARK-45204] [SC-145167][CONNECT]將選擇性 ExecuteHolder 新增至 SparkConnectPlanner
  • [SPARK-45451] [SC-145144][SQL]設定數據集快取的預設儲存層級
  • [SPARK-45192] [SC-143194][UI]修正 graphviz 邊緣的逾期 lineInterpolate 參數
  • [SPARK-45467] [SC-145146][CORE]將取代 Proxy.getProxyClass() 為 Proxy.newProxyInstance().getClass
  • [SPARK-45397] [SC-145139][ML][CONNECT]新增數位組合器功能轉換器
  • [SPARK-44855] [SC-145226][CONNECT]將 ExecuteGrpcResponseSender 附加至 ExecuteResponseObserver 的小型調整
  • [SPARK-45398][SC-144796][SQL]在表達式中sql()Like附加ESCAPE
  • [SPARK-45494] [SC-145129][CORE][PYTHON]介紹 util 函式以讀取/寫入 PythonWorkerUtils 的位元組陣列
  • [SPARK-45464] [SC-145125][CORE]修正網路 yarn 散發組建
  • [SPARK-45461] [SC-144851][CORE][SQL][MLLIB]介紹 StorageLevel 的對應程式
  • [SPARK-45450] [SC-145009][PYTHON]根據 PEP8 修正匯入：pyspark.pandas 和 pyspark （核心）
  • [SPARK-45475] [SC-145018][SQL]在 JdbcUtils 中使用 DataFrame.foreachPartition，而不是 RDD.foreachPartition
  • [SPARK-45271] [SC-143778][SQL]將_LEGACY_ERROR_TEMP_1113合併至 TABLE_OPERATION 並刪除 QueryCompilationErrors 中一些未使用的方法
  • [SPARK-45449] [SC-145013][SQL]JDBC 數據表的快取失效問題
  • [SPARK-45473] [SC-145017][SQL]修正 RoundBase 的錯誤訊息
  • [SPARK-43299] [SC-145022][SS][CONNECT]在 Scala 用戶端中轉換 StreamingQueryException
  • [SPARK-45474] [SC-145014][CORE][WEBUI]支援 MasterPage JSON API 中的最上層篩選
  • [SPARK-45205] [SC-145012][SQL]CommandResultExec 覆寫反覆運算器方法，以避免觸發多個作業。
  • [SPARK-45472] [SC-145004][SS]RocksDB 狀態存放區不需要重新檢查檢查檢查點路徑是否存在
  • [SPARK-45470] [SC-145010][SQL]避免貼上hive orc壓縮類型的字串值
  • [SPARK-45448] [SC-144829][PYTHON]根據 PEP8 修正匯入：pyspark.testing、pyspark.mllib、pyspark.resource 和 pyspark.streaming
  • [SPARK-45446] [SC-144828][PYTHON]根據 PEP8 修正匯入：pyspark.errors 和 pyspark.ml
  • [SPARK-45239] [SC-144832][CONNECT]減少預設 spark.connect.jvmStacktrace.maxSize
  • [SPARK-45436] [SC-144831][PYTHON][CONNECT]DataFrame 方法會檢查相同的會話
  • [SPARK-45413] [SC-144847][CORE]新增準備卸除 LevelDB 支援的警告
  • [SPARK-45462][SC-144848][CORE][WEBUI]在中顯示DurationApplicationPage
  • [SPARK-44527] [SC-144855][SQL]如果 ScalarSubquery 的 maxRows 為 0，請將 ScalarSubquery 取代為 null
  • [SPARK-45401][SC-144854][PYTHON]在 UDTF 介面中新增方法cleanup
  • [SPARK-43704][SC-144849][CONNECT][PS]支援MultiIndexto_series()
  • [SPARK-45424] [SC-144888][SQL]修正 TimestampFormatter 僅符合前置詞時傳回選擇性剖析結果
  • [SPARK-45441] [SC-144833][PYTHON]介紹適用於 PythonWorkerUtils 的更多 util 函式
  • [SPARK-45412] [SC-144803][PYTHON][CONNECT]在中驗證方案和會話 DataFrame.__init__
  • [SPARK-45408] [SC-144810][CORE]將 RPC SSL 設定新增至 TransportConf
  • [SPARK-45432] [SC-144818][CORE]拿掉已被取代的Hadoop-2 LocatedFileStatus 建構函式
  • [SPARK-45434] [SC-144819][ML][CONNECT]羅吉斯回歸檢查訓練標籤
  • [SPARK-45420] [SC-144808][SQL][PYTHON][CONNECT]將 DataType.fromDDL 新增至 PySpark
  • [SPARK-45406][SC-144793][PYTHON][CONNECT]從 DataFrame 建構函式刪除schema
  • [SPARK-45404] [SC-144799][CORE]支援 AWS_ENDPOINT_URL env 變數
  • [SPARK-43620] [SC-144792][CONNECT][PS]修正 Pandas API 取決於不支援的功能
  • [SPARK-45354] [SC-143991][SQL]從下到下解析函式
  • [SPARK-45394] [SASP-1480][SC-144712][PYTHON][CONNECT]新增成品 API 的重試。 改善錯誤處理（追蹤至 [SPARK-45093]）。
  • [SPARK-45120] [SC-142780][SPARK-45150][UI]將 d3 從 v3 升級至 v7（v7.8.5），並在 UI 中套用 API 變更
  • [SPARK-44838] [SC-143983][SQL] raise_error改進
  • [SPARK-45312] [SC-143754][SQL][UI]支援在執行頁面上切換顯示/隱藏計劃 svg
  • [SPARK-45378] [SC-144448][CORE]將 convertToNettyForSsl 新增至 ManagedBuffer
  • [SPARK-44762] [SC-144338][CONNECT][CORE]SparkConnect.addJobTag 和 Connect SparkSession.addTag 的檔
  • [SPARK-45383] 妥善處理未解決的 RelationTimeTravel
  • [SPARK-45347] [SC-144512][SQL][CONNECT]在 FetchErrorDetailsResponse 中包含 SparkThrowable
  • [SPARK-45012] [SC-141512][SQL]CheckAnalysis 應該在 AnalysisException 中擲回內嵌計劃
  • [SPARK-45359] [SC-144336][PYTHON][CONNECT] DataFrame.{columns, colRegex, explain} 當計劃無效時，應該引發例外狀況
  • [SPARK-45227] [SC-144233][CORE]修正 CoarseGrainedExecutorBackend 的細微線程安全性問題
  • [SPARK-45266] [SC-144171][PYTHON]重構 ResolveFunctions 分析器規則，以在使用數據表自變數時延遲進行橫向聯結
  • [SPARK-45266] 還原 “[SC-144171][PYTHON] 重構 ResolveFunctions 分析器規則，以在使用數據表自變數時延遲進行橫向聯結」
  • [SPARK-45371] [SC-144389][CONNECT]修正 Spark Connect Scala 用戶端中的底紋問題
  • [SPARK-45057] [SC-144214][CORE]當keepReadLock為 false 時，請避免取得讀取鎖定
  • [SPARK-45385] [SC-144357][SQL]取代 spark.sql.parser.escapedStringLiterals
  • [SPARK-45340] [SC-143917][SQL]拿掉 SQL 組態 spark.sql.hive.verifyPartitionPath
  • [SPARK-45266] [SC-144171][PYTHON]重構 ResolveFunctions 分析器規則，以在使用數據表自變數時延遲進行橫向聯結
  • [SPARK-45362] [SC-144198][PYTHON]在 Python UDTF 'eval' 方法取用它們之前，先將 PARTITION BY 表達式投射出來
  • [SPARK-45346] [SC-143925][SQL]合併架構時，Parquet 架構推斷應遵守區分大小寫的旗標
  • [SPARK-45341] [SC-143933][CORE]更正 KVStore.java 批註中的標題層級，以 sbt doc 使用Java17成功執行
  • [SPARK-45334] [SC-143914][SQL]拿掉 parquetSchemaConverter 中的誤導性批注
  • [SPARK-45337] [SC-143932][CORE]重構 AbstractCommandBuilder#getScalaVersion 以移除 Scala 2.12 的檢查
  • [SPARK-45329] [SC-143918][PYTHON][CONNECT]DataFrame 方法略過 pandas 轉換
  • [SPARK-43662] [SC-143923][PS][CONNECT]Spark Connect 中的支援merge_asof
  • [SPARK-44126] [SC-143751][CORE]當目標執行程式解除委任時，隨機移轉失敗計數不應增加
  • [SPARK-44550] [SC-119768][SQL]在 ANSI 下啟用 null IN (empty list) 的正確性修正
  • [SPARK-45316] [SC-143783][CORE][SQL]將新的參數 ignoreCorruptFiles/ignoreMissingFiles 新增至 HadoopRDD 和 NewHadoopRDD
  • [SPARK-45093] [SC-143414][CONNECT][PYTHON]addArtifacts 查詢的錯誤報告
  • [SPARK-44756] [SC-143787][CORE]RetryingBlockTransferor 無法起始重試時執行程式停止回應
  • [SPARK-45333] [SC-143768][CORE]修正與spark.eventLog.buffer.kb相關的一個單元錯誤
  • [SPARK-45317] [SC-143750][SQL][CONNECT]處理例外狀況堆疊追蹤中的 Null 檔名
  • [SPARK-45191] [SC-143407][SQL]InMemoryTableScanExec simpleStringWithNodeId 新增數據行資訊
  • [SPARK-45235] [SC-143314][CONNECT][PYTHON]支持對應和陣列參數的依據 sql()
  • [SPARK-45138] [SC-143309][SS]定義新的錯誤類別，並在檢查點狀態至 DFS 失敗時套用它
  • [SPARK-45297] [SC-143644][SQL]拿掉 SPARK-31827 中新增之 dateformatter 的因應措施
  • [SPARK-44345] [SC-143593][CORE]啟用隨機移轉時，將記錄層級降低 unknown shuffle map output 為WARN
  • [SPARK-44463] [SC-143251][SS][CONNECT]改善連線串流 Python 背景工作角色的錯誤處理
  • [SPARK-45207] [SC-143603][SQL][CONNECT]實作 Scala 用戶端的錯誤擴充
  • [SPARK-45240] [SC-143602][SQL][CONNECT]實作 Python 用戶端的錯誤擴充
  • [SPARK-45216] [SC-143288][SQL]修正不具決定性的植入數據集 API
  • [SPARK-45251] [SC-143419][CONNECT]為 FetchErrorDetails 新增client_type欄位
  • [SPARK-45137] [SC-143001][CONNECT]支持參數化中的 map/array 參數 sql()
  • [SPARK-45224] [SC-143257][PYTHON]將範例 w/ map 和 array 新增為 的參數 sql()
  • [SPARK-44622] [SC-143205][SQL][CONNECT]實作 FetchErrorDetails RPC
  • [SPARK-45178] [SC-136089]使用不支援的來源執行 Trigger.AvailableNow 的單一批次，而不是使用包裝函式
  • [SPARK-44823] [14.x][SC-142979][PYTHON]將黑色更新為 23.9.1 並修正錯誤檢查
  • [SPARK-45078] [SC-142954][SQL]修正 array_insert ImplicitCastInputTypes 無法運作
  • [SPARK-44579] [SC-138428][SQL]在 SQLExecution 中支持中斷取消
  • [SPARK-45252] [SC-143371][CORE]逸出批注中大於/小於符號，以 sbt doc 成功執行
  • [SPARK-45189] [SC-142973][SQL]從 TableIdentifier 建立 UnresolvedRelation 應該包含目錄欄位
  • [SPARK-45229] [SC-143254][CORE][UI]在 MasterPage 中顯示等待提交狀態的驅動程式數目
  • [SPARK-43453]還原 “[SC-143135][PS] 忽略 names MultiIndex 的時機，concataxis=1

Databricks ODBC/JDBC 驅動程式支援

Databricks 支援在過去 2 年中發行的 ODBC/JDBC 驅動程式。 請下載最近發行的驅動程式和升級 (下載 ODBC，下載 JDBC)。

系統環境

  • 作業系統：Ubuntu 22.04.3 LTS
  • Java：Zulu 8.72.0.17-CA-linux64
  • Scala：2.12.15
  • Python：3.10.12
  • R：4.3.1
  • Delta Lake：3.0.0

已安裝的 Python 程式庫

程式庫 版本 程式庫 版本 程式庫 版本
anyio 3.5.0 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
asttokens 2.0.5 attrs 22.1.0 backcall 0.2.0
beautifulsoup4 4.11.1 black 22.6.0 bleach 4.1.0
blinker 1.4 boto3 1.24.28 botocore 1.27.96
certifi 2022.12.7 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 click 8.0.4 comm 0.1.2
contourpy 1.0.5 密碼編譯 39.0.1 cycler 0.11.0
Cython 0.29.32 databricks-sdk 0.1.6 dbus-python 1.2.18
debugpy 1.6.7 decorator 5.1.1 defusedxml 0.7.1
distlib 0.3.7 docstring-to-markdown 0.11 entrypoints 0.4
正在執行 0.8.3 facets-overview 1.1.1 fastjsonschema 2.19.0
filelock 3.12.4 fonttools 4.25.0 googleapis-common-protos 1.61.0
grpcio 1.48.2 grpcio-status 1.48.1 httplib2 0.20.2
idna 3.4 importlib-metadata 4.6.4 ipykernel 6.25.0
ipython 8.14.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
jedi 0.18.1 jeepney 0.7.1 Jinja2 3.1.2
jmespath 0.10.0 joblib 1.2.0 jsonschema 4.17.3
jupyter-client 7.3.4 jupyter-server 1.23.4 jupyter_core 5.2.0
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 keyring 23.5.0
kiwisolver 1.4.4 launchpadlib 1.10.16 lazr.restfulclient 0.14.4
lazr.uri 1.0.6 lxml 4.9.1 MarkupSafe 2.1.1
matplotlib 3.7.0 matplotlib-inline 0.1.6 mccabe 0.7.0
mistune 0.8.4 more-itertools 8.10.0 mypy-extensions 0.4.3
nbclassic 0.5.2 nbclient 0.5.13 nbconvert 6.5.4
nbformat 5.7.0 nest-asyncio 1.5.6 nodeenv 1.8.0
筆記本 6.5.2 notebook_shim 0.2.2 numpy 1.23.5
oauthlib 3.2.0 packaging 22.0 pandas 1.5.3
pandocfilters 1.5.0 parso 0.8.3 pathspec 0.10.3
patsy 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Pillow 9.4.0 pip 22.3.1 platformdirs 2.5.2
plotly 5.9.0 pluggy 1.0.0 prometheus-client 0.14.1
prompt-toolkit 3.0.36 protobuf 4.24.0 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 8.0.0 pyarrow-hotfix 0.4 pycparser 2.21
pydantic 1.10.6 pyflakes 3.1.0 Pygments 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.32
pyparsing 3.0.9 pyright 1.1.294 pyrsistent 0.18.0
python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1 python-lsp-server 1.8.0
pytoolconfig 1.2.5 pytz 2022.7 pyzmq 23.2.0
requests 2.28.1 繩子 1.7.0 s3transfer 0.6.2
scikit-learn 1.1.1 scipy 1.10.0 seaborn 0.12.2
SecretStorage 3.3.1 Send2Trash 1.8.0 setuptools 65.6.3
six 1.16.0 sniffio 1.2.0 soupsieve 2.3.2.post1
ssh-import-id 5.11 stack-data 0.2.0 statsmodels 0.13.5
tenacity 8.1.0 terminado 0.17.1 threadpoolctl 2.2.0
tinycss2 1.2.1 tokenize-rt 4.2.1 tomli 2.0.1
tornado 6.1 traitlets 5.7.1 typing_extensions 4.4.0
ujson 5.4.0 unattended-upgrades 0.1 urllib3 1.26.14
virtualenv 20.16.7 wadllib 1.3.6 wcwidth 0.2.5
webencodings 0.5.1 websocket-client 0.58.0 whatthepatch 1.0.2
wheel 0.38.4 widgetsnbextension 3.6.1 yapf 0.33.0
zipp 1.0.0

已安裝的 R 程式庫

R 連結庫會從 2023-02-10 上的 Posit 套件管理員 CRAN 快照集安裝。

程式庫 版本 程式庫 版本 程式庫 版本
箭號 12.0.1 askpass 1.1 assertthat 0.2.1
backports 1.4.1 base 4.3.1 base64enc 0.1-3
bit 4.0.5 bit64 4.0.5 blob 1.2.4
boot 1.3-28 brew 1.0-8 brio 1.1.3
broom 1.0.5 bslib 0.5.0 cachem 1.0.8
callr 3.7.3 caret 6.0-94 cellranger 1.1.0
chron 2.3-61 class 7.3-22 cli 3.6.1
clipr 0.8.0 clock 0.7.0 叢集 2.1.4
codetools 0.2-19 colorspace 2.1-0 commonmark 1.9.0
compiler 4.3.1 config 0.3.1 衝突 1.2.0
cpp11 0.4.4 crayon 1.5.2 credentials 1.3.2
curl 5.0.1 data.table 1.14.8 datasets 4.3.1
DBI 1.1.3 dbplyr 2.3.3 遞減 1.4.2
devtools 2.4.5 圖表 1.6.5 diffobj 0.3.5
digest 0.6.33 downlit 0.4.3 dplyr 1.1.2
dtplyr 1.3.1 e1071 1.7-13 省略符號 0.3.2
evaluate 0.21 fansi 1.0.4 farver 2.1.1
fastmap 1.1.1 fontawesome 0.5.1 forcats 1.0.0
foreach 1.5.2 foreign 0.8-82 forge 0.2.0
fs 1.6.2 future 1.33.0 future.apply 1.11.0
gargle 1.5.1 泛型 0.1.3 gert 1.9.2
ggplot2 3.4.2 gh 1.4.0 gitcreds 0.1.2
glmnet 4.1-7 globals 0.16.2 glue 1.6.2
googledrive 2.1.1 googlesheets4 1.1.1 gower 1.0.1
graphics 4.3.1 grDevices 4.3.1 grid 4.3.1
gridExtra 2.3 gsubfn 0.7 gtable 0.3.3
hardhat 1.3.0 haven 2.5.3 highr 0.10
hms 1.1.3 htmltools 0.5.5 htmlwidgets 1.6.2
httpuv 1.6.11 httr 1.4.6 httr2 0.2.3
ids 1.0.1 ini 0.3.1 ipred 0.9-14
isoband 0.2.7 iterators 1.0.14 jquerylib 0.1.4
jsonlite 1.8.7 KernSmooth 2.23-21 knitr 1.43
labeling 0.4.2 later 1.3.1 lattice 0.21-8
Lava 1.7.2.1 生命週期 1.0.3 listenv 0.9.0
lubridate 1.9.2 magrittr 2.0.3 markdown 1.7
MASS 7.3-60 矩陣 1.5-4.1 memoise 2.0.1
方法 4.3.1 mgcv 1.8-42 mime 0.12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-162 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.0.6 parallel 4.3.1
parallelly 1.36.0 pillar 1.9.0 pkgbuild 1.4.2
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2.1
plogr 0.2.0 plyr 1.8.8 praise 1.0.0
prettyunits 1.1.1 pROC 1.18.4 processx 3.8.2
prodlim 2023.03.31 profvis 0.3.8 進度 1.2.2
progressr 0.13.0 promises 1.2.0.1 proto 1.0.0
proxy 0.4-27 ps 1.7.5 purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.11 RcppEigen 0.3.3.9.3
readr 2.1.4 readxl 1.4.3 recipes 1.0.6
rematch 1.0.1 rematch2 2.1.2 remotes 2.4.2
reprex 2.0.2 reshape2 1.4.4 rlang 1.1.1
rmarkdown 2.23 RODBC 1.3-20 roxygen2 7.2.3
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-11
RSQLite 2.3.1 rstudioapi 0.15.0 rversions 2.1.2
rvest 1.0.3 sass 0.4.6 scales 1.2.1
selectr 0.4-2 sessioninfo 1.2.2 shape 1.4.6
shiny 1.7.4.1 sourcetools 0.1.7-1 sparklyr 1.8.1
spatial 7.3-15 splines 4.3.1 sqldf 0.4-11
SQUAREM 2021.1 stats 4.3.1 stats4 4.3.1
stringi 1.7.12 stringr 1.5.0 survival 3.5-5
sys 3.4.2 systemfonts 1.0.4 tcltk 4.3.1
testthat 3.1.10 textshaping 0.3.6 tibble 3.2.1
tidyr 1.3.0 tidyselect 1.2.0 tidyverse 2.0.0
timechange 0.2.0 timeDate 4022.108 tinytex 0.45
tools 4.3.1 tzdb 0.4.0 urlchecker 1.0.1
usethis 2.2.2 utf8 1.2.3 utils 4.3.1
uuid 1.1-0 vctrs 0.6.3 viridisLite 0.4.2
vroom 1.6.3 waldo 0.5.1 whisker 0.4.1
withr 2.5.0 xfun 0.39 xml2 1.3.5
xopen 1.0.0 xtable 1.8-4 yaml 2.3.7
zip 2.3.0

安裝 Java 和 Scala 函式庫 (Scala 2.12 叢群版本)

群組識別碼 成品識別碼 版本
ANTLR ANTLR 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-js-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.7.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.15.1
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.咖啡因 caffeine 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1 原生
com.github.fommil.netlib native_system java 1.1
com.github.fommil.netlib native_system java 1.1 原生
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1 原生
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1 原生
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger 分析工具 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.版
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber H3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.25
io.delta delta-sharing-client_2.12 1.0.2
io.dropwizard.metrics metrics-annotation 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlet 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx 收集器 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation 啟用 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow arrow-format 12.0.1
org.apache.arrow arrow-memory-core 12.0.1
org.apache.arrow arrow-memory-netty 12.0.1
org.apache.arrow arrow-vector 12.0.1
org.apache.avro Avro 1.11.2
org.apache.avro avro-ipc 1.11.2
org.apache.avro avro-mapred 1.11.2
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents HttpClient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.20.0
org.apache.logging.log4j log4j-api 2.20.0
org.apache.logging.log4j log4j-core 2.20.0
org.apache.logging.log4j log4j-slf4j2-impl 2.20.0
org.apache.mesos Mesos 1.11.0-shaded-protobuf
org.apache.orc orc-core 1.9.1-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.1-shaded-protobuf
org.apache.orc orc-shims 1.9.1
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper ZooKeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.9
org.mlflow mlflow-spark 2.2.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.0
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap 墊片 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.9.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest 相容 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1