Databricks Runtime 12.2 LTS
下列版本資訊提供由 Apache Spark 3.3.2 提供之 Databricks Runtime 12.2 LTS 的相關信息。
Databricks 於 2023 年 3 月發行了這些映射。
新功能和改善
- Delta Lake 架構演進支援在合併語句中指定源數據行
- 具有共用存取模式的叢集支持結構化串流工作負載
- 預測性 I/O 的新功能
- 隱含橫向數據行別名支援
- 新的 forEachBatch 功能
- 查詢同盟的標準化 連線 選項
- 數位管理的擴充 SQL 函式連結庫
- 匿名字串的新遮罩函式
- 常見的錯誤狀況現在會傳回 SQLSTATEs
- 在FROM子句中叫用產生器函式
- 通訊協議緩衝區的支援已正式推出
- 錯誤修正
Delta Lake 架構演進支援在合併語句中指定源數據行
您現在可以在啟用架構演進時，在插入或更新合併語句的動作中，指定源數據表中存在的數據行。 在 Databricks Runtime 12.1 和以下版本中，只能 INSERT * 使用 或 UPDATE SET * 動作搭配合併進行架構演進。 請參閱 Delta Lake merge 的自動架構演進。
具有共用存取模式的叢集支持結構化串流工作負載
您現在可以使用結構化串流來與共用叢集上的 Unity 目錄互動。 有一些限制適用。 請參閱 Unity 目錄支援哪些結構化串流功能？。
預測性 I/O 的新功能
Foreachbatch 接收的 Photon 支援現已推出。 從來源串流並合併到 Delta 數據表或寫入多個接收的工作負載，現在可以受益於 Photonized Foreachbatch 接收。
隱含橫向數據行別名支援
Azure Databricks 現在默認支援隱含橫向數據行別名。 您現在可以重複使用先前在相同 SELECT 清單中指定的運算式。 例如，假設 SELECT 1 AS a為 ，a + 1 AS ba中的 a + 1 可以解析為先前定義的 1 AS a。 如需解析順序的詳細資訊，請參閱 名稱解析 。
若要關閉此功能，您可以將 設定 spark.sql.lateralColumnAlias.enableImplicitResolution 為 false。
新的 forEachBatch 功能
使用 寫入數據接收器時 foreachBatch ，現在支援 Photon。
查詢同盟的標準化 連線 選項
您現在可以使用一組統一的選項（主機、埠、資料庫、使用者、密碼）來聯機到查詢同盟中支持的數據源。 Port 是選擇性的，除非指定，否則會針對每個數據源使用預設埠號碼。
數位管理的擴充 SQL 函式連結庫
您現在可以使用 array_compact，從數位中移除所有 NULL 元素。 若要將元素附加至陣列，請使用 array_append。
匿名字串的新遮罩函式
叫用mask函式來匿名敏感性字串值。
常見的錯誤狀況現在會傳回 SQLSTATEs
Databricks Runtime 現在包含記載的 SQLSTATE 值，這些值可用來以符合 SQL 標準標準的方式測試錯誤。
在FROM子句中叫用產生器函式
您現在可以叫用數據表值產生器函式，例如在查詢的一般FROM子句中爆炸。 這會將產生器函式調用與其他內建和使用者定義數據表函式對齊。
通訊協議緩衝區的支援已正式推出
您可以使用 from_protobuf 和 to_protobuf 函式，在二進位和結構類型之間交換數據。 請參閱 讀取和寫入通訊協定緩衝區。
錯誤修正
- 針對與 、
delete和merge命令相關的update空白交易，改善差異認可行為的一致性。 在WriteSerializable隔離等級中，不會產生任何變更的命令現在會建立空的認可。Serializable在隔離等級中，這類空白交易現在不會建立認可。
行為變更
具有新橫向數據行別名功能的行為變更
新的橫向數據行別名功能會在名稱解析期間，針對下列情況引入行為變更：
- 橫向數據行別名現在優先於具有相同名稱的相互關聯參考。 例如，針對此查詢，內部的 已解析為相互關聯的參考
t.c1，但現在會變更為橫向數據行別名1 AS c1。c1 AS c2c1SELECT (SELECT c2 FROM (SELECT 1 AS c1, c1 AS c2) WHERE c2 > 5) FROM VALUES(6) AS t(c1)查詢現在會傳NULL回 。 - 橫向數據行別名現在優先於具有相同名稱的函式參數。 例如，針對函式，
CREATE OR REPLACE TEMPORARY FUNCTION func(x INT) RETURNS TABLE (a INT, b INT, c DOUBLE) RETURN SELECT x + 1 AS x, xx函式主體中的 已解析為函式參數 x，但變更為函式主體中的橫向數據行別名x + 1。 查詢SELECT * FROM func(1)現在會傳2, 2回 。 - 若要關閉橫向資料行別名功能，請將 設定
spark.sql.lateralColumnAlias.enableImplicitResolution為false。 如需詳細資訊，請參閱 名稱解析。
連結庫升級
- 升級的 Python 連結庫：
- filelock from 3.8.2 to 3.9.0
- joblib 從 1.1.0 到 1.1.1
- 從 2.6.0 到 2.6.2 的 platformdirs
- 從 1.0.3 到 1.0.4 的 whatthepatch
- 升級的 R 連結庫：
- 類別從 7.3-20 到 7.3-21
- 從 0.2-18 到 0.2-19 的程式代碼工具
- MASS 從 7.3-58 到 7.3-58.2
- nlme 從 3.1-160 到 3.1-162
- 從 1.8-11 到 1.8-12 的 Rserve
- 從 3.3.1 到 3.3.2 的 SparkR
行為變更
- 在建立具有已定義位置的架構時，用戶現在必須擁有
SELECT和MODIFY許可權。
Apache Spark
Databricks Runtime 12.2 包含 Apache Spark 3.3.2。 此版本包含 Databricks Runtime 12.1 中所包含的所有 Spark 修正和改善，以及下列對 Spark 進行的其他錯誤修正和改進：
- [SPARK-42416] [SC-123205][SC-122851][SQL]Dateset 作業不應該再次解析分析的邏輯計劃
- [SPARK-41848] 還原 “[CHERRY-PICK][12.x][12.1][12.0][SC-120037][CORE] 修正使用 TaskResourceProfile 超排程的工作”
- [SPARK-42162] [SC-122711][ES-556261]引進 MultiCommutativeOp 運算式做為標準化大型通勤運算式樹狀架構的記憶體優化
- [SPARK-42406] [SC-122998][PROTOBUF][櫻桃選擇]修正 Protobuf 函式的遞歸深度設定
- [SPARK-42002] [SC-122476][CONNECT][PYTHON]實作 DataFrameWriterV2
- [SPARK-41716] [SC-122545][CONNECT]將_catalog_to_pandas重新命名為目錄中的_execute_and_fetch
- [SPARK-41490] [SC-121774][SQL]將名稱指派給_LEGACY_ERROR_TEMP_2441
- [SPARK-41600] [SC-122538][SPARK-41623][SPARK-41612][CONNECT]實作 Catalog.cacheTable、isCached 和 uncache
- [SPARK-42191] [SC-121990][SQL]支援 udf 'luhn_check'
- [SPARK-42253] [SC-121976][PYTHON]新增測試以偵測重複的錯誤類別
- [SPARK-42268] [SC-122251][CONNECT][PYTHON]在 protos 中新增 UserDefinedType
- [SPARK-42231][SC-121841][SQL]變成
MISSING_STATIC_PARTITION_COLUMNinternalError - [SPARK-42136] [SC-122554]重構 BroadcastHashJoinExec 輸出分割計算
- [SPARK-42158][SC-121610][SQL]整合到
_LEGACY_ERROR_TEMP_1003FIELD_NOT_FOUND - [SPARK-42192] [12.x][SC-121820][PYTHON]將 TypeError 從 pyspark/sql/dataframe.py 遷移至 PySparkTypeError
- [SPARK-35240] 還原 “[SC-118242][SS] 使用 CheckpointFileManager ...
- [SPARK-41488] [SC-121858][SQL]將名稱指派給_LEGACY_ERROR_TEMP_1176 （和 1177）
- [SPARK-42232] [SC-122267][SQL]重新命名錯誤類別：
UNSUPPORTED_FEATURE.JDBC_TRANSACTION - [SPARK-42346] [SC-122480][SQL]在子查詢合併之後重寫相異匯總
- [SPARK-42306][SC-122539][SQL]整合到
_LEGACY_ERROR_TEMP_1317UNRESOLVED_COLUMN.WITH_SUGGESTION - [SPARK-42234] [SC-122354][SQL]重新命名錯誤類別：
UNSUPPORTED_FEATURE.REPEATED_PIVOT - [SPARK-42343][SC-122437][CORE]如果 SparkContext 已停止，請
handleBlockRemovalFailure忽略IOException - [SPARK-41295] [SC-122442][SPARK-41296][SQL]重新命名錯誤類別
- [SPARK-42320] [SC-122478][SQL]將名稱指派給_LEGACY_ERROR_TEMP_2188
- [SPARK-42255] [SC-122483][SQL]將名稱指派給_LEGACY_ERROR_TEMP_2430
- [SPARK-42156][SC-121851][CONNECT]Spark 連線 Client 現在支援 RetryPolicies
- [SPARK-38728] [SC-116723][SQL]測試錯誤類別：FAILED_RENAME_PATH
- [SPARK-40005] [12.X]PySpark 中的獨立範例
- [SPARK-39347] [SC-122457][SS]錯誤修正事件時間 < 0 的時間範圍計算
- [SPARK-42336][SC-122458][CORE]在
getOrElse()ResourceAllocator 中使用 而非contains() - [SPARK-42125][SC-121827][CONNECT][PYTHON]Spark 連線 中的 Pandas UDF
- [SPARK-42217] [SC-122263][SQL]使用 Window 在查詢中支援隱含橫向數據行別名
- [SPARK-35240] [SC-118242][SS]使用 CheckpointFileManager 進行檢查點檔案操作
- [SPARK-42294] [SC-122337][SQL]在 V2 資料表的 DESCRIBE 輸出中包含資料行預設值
- [SPARK-41979] 還原“還原 ”[12.x][SC-121190][SQL] 為錯誤類別中的錯誤訊息新增遺漏的點。」
- [SPARK-42286] [SC-122336][SQL]使用 CAST 對複雜 expr 的先前 Codegen 程式代碼路徑進行後援
- [SPARK-42275] [SC-122249][CONNECT][PYTHON]避免使用內建清單、靜態輸入中的聽寫
- [SPARK-41985] [SC-122172][SQL]集中更多數據行解析規則
- [SPARK-42126][SC-122330][PYTHON][CONNECT]接受 Spark 連線 中 Python 純量 UDF 之 DDL 字串中的傳回類型
- [SPARK-42197] [SC-122328][SC-121514][CONNECT]重複使用 JVM 初始化，並個別設定群組以遠端本機模式設定
- [SPARK-41575] [SC-120118][SQL]將名稱指派給_LEGACY_ERROR_TEMP_2054
- [SPARK-41985] 還原 “[SC-122172][SQL] 集中更多數據行解析規則”
- [SPARK-42123] [SC-122234][SC-121453][SQL]在 DESCRIBE 和 SHOW CREATE TABLE 輸出中包含資料行預設值
- [SPARK-41985] [SC-122172][SQL]集中更多數據行解析規則
- [SPARK-42284] [SC-122233][CONNECT]在執行客戶端測試之前，請確定已建置連線伺服器元件 - SBT
- [SPARK-42239] [SC-121790][SQL]整合
MUST_AGGREGATE_CORRELATED_SCALAR_SUBQUERY - [SPARK-42278] [SC-122170][SQL]DS V2 下推支援自行編譯
SortOrderJDBC 方言 - [SPARK-42259] [SC-122168][SQL]ResolveGroupingAnalytics 應該負責 Python UDAF
- [SPARK-41979] 還原 “[12.x][SC-121190][SQL] 為錯誤類別中的錯誤訊息新增遺漏的點。
- [SPARK-42224][12.x][SC-121708][CONNECT]將 TypeError 移轉至 Spark 連線 函式的錯誤架構
- [SPARK-41712][12.x][SC-121189][PYTHON][CONNECT]將 Spark 連線 錯誤移轉至 PySpark 錯誤架構。
- [SPARK-42119] [SC-121913][SC-121342][SQL]新增內嵌和inline_outer內建數據表值函式
- [SPARK-41489] [SC-121713][SQL]將名稱指派給_LEGACY_ERROR_TEMP_2415
- [SPARK-42082] [12.x][SC-121163][SPARK-41598][PYTHON][CONNECT]介紹 PySparkValueError 和 PySparkTypeError
- [SPARK-42081] [SC-121723][SQL]改善計劃變更驗證
- [SPARK-42225][12.x][SC-121714][CONNECT]新增 Spark 連線 IllegalArgumentException 以精確地處理 Spark 連線 錯誤。
- [SPARK-42044] [12.x][SC-121280][SQL]修正 不正確的錯誤訊息
MUST_AGGREGATE_CORRELATED_SCALAR_SUBQUERY - [SPARK-42194] [12.x][SC-121712][PS]使用數列建立 DataFrame 時，允許 columns 參數。
- [SPARK-42078] [12.x][SC-120761][PYTHON]將 JVM 擲回的錯誤移轉至 PySparkException。
- [SPARK-42133][12.x][SC-121250]將基本數據集 API 方法新增至 Spark 連線 Scala 用戶端
- [SPARK-41979] [12.x][SC-121190][SQL]在錯誤類別中新增錯誤訊息的遺漏點。
- [SPARK-42124][12.x][SC-121420][PYTHON][CONNECT]Spark 連線 中的純量內嵌 Python UDF
- [SPARK-42051] [SC-121994][SQL]HiveGenericUDF 的 Codegen 支援
- [SPARK-42257] [SC-121948][CORE]拿掉未使用的變數外部排序器
- [SPARK-41735] [SC-121771][SQL]使用 MINIMAL 而非 STANDARD for SparkListenerSQLExecutionEnd
- [SPARK-42236] [SC-121882][SQL]完善
NULLABLE_ARRAY_OR_MAP_ELEMENT - [SPARK-42233] [SC-121775][SQL]改善的錯誤訊息
PIVOT_AFTER_GROUP_BY - [SPARK-42229] [SC-121856][CORE]遷移
SparkCoreErrors至錯誤類別 - [SPARK-42163] [SC-121839][SQL]修正不可折迭陣列索引或對應索引鍵的架構剪除
- [SPARK-40711] [SC-119990][SQL]新增視窗的溢出大小計量
- [SPARK-42023] [SC-121847][SPARK-42024][CONNECT][PYTHON]進行
createDataFrame支持AtomicType -> StringType強制 - [SPARK-42202][SC-121837][連線][測試] 改善 E2E 測試伺服器停止邏輯
- [SPARK-41167] [SC-117425][SQL]藉由建立平衡的表達式樹狀結構述詞來改善多重類似效能
- [SPARK-41931] [SC-121618][SQL]較佳的複雜類型定義錯誤訊息
- [SPARK-36124] [SC-121339][SC-110446][SQL]透過 UNION 支援具有相互關聯的子查詢
- [SPARK-42090] [SC-121290][3.3] 在 RetryingBlockTransferor 中引進 sasl 重試計數
- [SPARK-42157] [SC-121264][CORE]
spark.scheduler.mode=FAIR應該提供 FAIR 排程器 - [SPARK-41572] [SC-120772][SQL]將名稱指派給_LEGACY_ERROR_TEMP_2149
- [SPARK-41983] [SC-121224][SQL]重新命名和改善的錯誤訊息
NULL_COMPARISON_RESULT - [SPARK-41976] [SC-121024][SQL]改善的錯誤訊息
INDEX_NOT_FOUND - [SPARK-41994] [SC-121210][SC-120573]指派 SQLSTATE 的 （1/2）
- [SPARK-41415] [SC-121117][3.3] SASL 要求重試
- [SPARK-38591] [SC-121018][SQL]新增 flatMapSortedGroups 和 cogroupSorted
- [SPARK-41975] [SC-120767][SQL]改善的錯誤訊息
INDEX_ALREADY_EXISTS - [SPARK-42056] [SC-121158][SQL][PROTOBUF]新增 Protobuf 函式的遺漏選項
- [SPARK-41984] [SC-120769][SQL]重新命名和改善的錯誤訊息
RESET_PERMISSION_TO_ORIGINAL - [SPARK-41948] [SC-121196][SQL]修正錯誤類別的 NPE：CANNOT_PARSE_JSON_FIELD
- [SPARK-41772] [SC-121176][CONNECT][PYTHON]修正 『s doctest 中
withField不正確的數據行名稱 - [SPARK-41283][SC-121175][CONNECT][PYTHON]新增
array_append至 連線 - [SPARK-41960] [SC-120773][SQL]將名稱指派給_LEGACY_ERROR_TEMP_1056
- [SPARK-42134] [SC-121116][SQL]修正 getPartitionFiltersAndDataFilters（） 來處理沒有參考屬性的篩選
- [SPARK-42096] [SC-121012][CONNECT]模組的
connect一些程式代碼清除 - [SPARK-42099] [SC-121114][SPARK-41845][CONNECT][PYTHON]修正
count(*)和count(col(*)) - [SPARK-42045] [SC-120958][SC-120450][SQL]ANSI SQL 模式：Round/Bround 應該在整數溢位時傳回錯誤
- [SPARK-42043] [SC-120968][CONNECT]使用 E2E 測試的 Scala 客戶端結果
- [SPARK-41884] [SC-121022][CONNECT]將元組支援為巢狀數據列
- [SPARK-42112] [SC-121011][SQL][SS]在函式關閉之前
ContinuousWriteRDD#compute新增 Null 檢查dataWriter - [SPARK-42077] [SC-120553][CONNECT][PYTHON]常值應該針對不支援的 DataType 擲回 TypeError
- [SPARK-42108][SC-120898][SQL]將分析器轉換成
Count(*)Count(1) - [SPARK-41666] [SC-120928][SC-119009][PYTHON]支持參數化的 SQL by
sql() - [SPARK-40599] [SC-120930][SQL]放寬 multiTransform 規則類型，讓替代項目成為任何類型的 Seq
- [SPARK-41574] [SC-120771][SQL]更新
_LEGACY_ERROR_TEMP_2009為INTERNAL_ERROR。 - [SPARK-41579] [SC-120770][SQL]將名稱指派給_LEGACY_ERROR_TEMP_1249
- [SPARK-41974][SC-120766][SQL]變成
INCORRECT_END_OFFSETINTERNAL_ERROR - [SPARK-41530] [SC-120916][SC-118513][CORE]將 MedianHeap 重新命名為 PercentileMap 並支援百分位數
- [SPARK-41757] [SC-120608][SPARK-41901][CONNECT]修正 Column 類別的字串表示法
- [SPARK-42084] [SC-120775][SQL]避免洩漏限定存取限制
- [SPARK-41973] [SC-120765][SQL]將名稱指派給_LEGACY_ERROR_TEMP_1311
- [SPARK-42039] [SC-120655][SQL]SPJ：KeyGroupedPartitioning#partitionValuesOpt 中的 Remove 選項
- [SPARK-42079][SC-120712][CONNECT][PYTHON]為和重新命名 proto 訊息
toDFwithColumnsRenamed - [SPARK-42089] [SC-120605][CONNECT][PYTHON]修正巢狀 Lambda 函式中的變數名稱問題
- [SPARK-41982] [SC-120604][SQL]類型字串的數據分割不應視為數值類型
- [SPARK-40599] [SC-120620][SQL]將 multiTransform 方法新增至 TreeNode 以產生替代專案
- [SPARK-42085] [SC-120556][CONNECT][PYTHON]建立
from_arrow_schema支援的巢狀類型 - [SPARK-42057] [SC-120507][SQL][PROTOBUF]修正錯誤報告中如何處理例外狀況。
- [SPARK-41586] [12.x][所有測試][SC-120544][PYTHON]PySpark 的引進
pyspark.errors和錯誤類別。 - [SPARK-41903] [SC-120543][CONNECT][PYTHON]
Literal應該支援 1-dim ndarray - [SPARK-42021] [SC-120584][CONNECT][PYTHON]提出
createDataFrame支援array.array - [SPARK-41896] [SC-120506][SQL]依數據列索引篩選會傳回空的結果
- [SPARK-41162] [SC-119742][SQL]使用匯總修正自我聯結的反聯結和半聯結
- [SPARK-41961] [SC-120501][SQL]使用 LATERAL 支援數據表值函式
- [SPARK-41752] [SC-120550][SQL][UI]將根執行下的巢狀執行分組
- [SPARK-42047] [SC-120586][SPARK-41900][CONNECT][PYTHON][12.X]常值應該支援 Numpy 資料類型
- [SPARK-42028] [SC-120344][CONNECT][PYTHON]截斷 nanoseconds timestampsl
- [SPARK-42011] [SC-120534][CONNECT][PYTHON]實作 DataFrameReader.csv
- [SPARK-41990][SC-120532][SQL]在
FieldReference.columnV1 到 V2 篩選轉換中使用 而不是apply - [SPARK-39217] [SC-120446][SQL]使民進黨支援剪除方面有聯盟
- [SPARK-42076][SC-120551][CONNECT][PYTHON]將因數數據轉換成
arrow -> rowsconversion.py - [SPARK-42074][SC-120540][SQL]
TPCDSQueryBenchmark啟用KryoSerializer以強制執行 SQL 類別註冊 - [SPARK-42012] [SC-120517][CONNECT][PYTHON]實作 DataFrameReader.orc
- [SPARK-41832] [SC-120513][CONNECT][PYTHON]修正
DataFrame.unionByName，新增allow_missing_columns - [SPARK-38651] [SC-120514][SQL]添加
spark.sql.legacy.allowEmptySchemaWrite - [SPARK-41991] [SC-120406][SQL]
CheckOverflowInTableInsert應該接受 ExpressionProxy 做為子系 - [SPARK-41232] [SC-120073][SQL][PYTHON]新增array_append函式
- [SPARK-42041] [SC-120512][SPARK-42013][CONNECT][PYTHON]DataFrameReader 應該支援路徑清單
- [SPARK-42071][SC-120533][CORE]向 KyroSerializer 註冊
scala.math.Ordering$Reverse - [SPARK-41986] [SC-120429][SQL]在 SinglePartition 上介紹隨機顯示
- [SPARK-42016] [SC-120428][CONNECT][PYTHON]啟用與巢狀數據行相關的測試
- [SPARK-42042] [SC-120427][CONNECT][PYTHON]
DataFrameReader應該支援 StructType 架構 - [SPARK-42031] [SC-120389][CORE][SQL]清除
remove不需要覆寫的方法 - [SPARK-41746] [SC-120463][SPARK-41838][SPARK-41837][SPARK-41835][SPARK-41836][SPARK-41847][CONNECT][PYTHON]建立
createDataFrame(rows/lists/tuples/dicts)支援的巢狀類型 - [SPARK-41437] [SC-117601][SQL][所有測試]請勿針對 v1 回寫後援優化輸入查詢兩次
- [SPARK-41840] [SC-119719][CONNECT][PYTHON]新增遺漏的別名
groupby - [SPARK-41846] [SC-119717][CONNECT][PYTHON]啟用視窗函式的文件測試
- [SPARK-41914] [SC-120094][SQL]FileFormatWriter 在存取 outputOrdering 之前具體化 AQE 方案
- [SPARK-41805] [SC-119992][SQL]在 WindowSpecDefinition 中重複使用表達式
- [SPARK-41977] [SC-120269][SPARK-41978][CONNECT]要接受 float 作為自變數的 SparkSession.range
- [SPARK-42029] [SC-120336][CONNECT]新增 Guava Shading 規則以避免
connect-common啟動失敗 - [SPARK-41989] [SC-120334][PYTHON]避免從 pyspark.pandas 中斷記錄設定
- [SPARK-42003] [SC-120331][SQL]減少 ResolveGroupByAll 中的重複程式代碼
- [SPARK-41635] [SC-120313][SQL]依所有錯誤報告修正群組
- [SPARK-41047] [SC-120291][SQL]改善四捨五入的檔
- [SPARK-41822] [SC-120122][CONNECT]設定 Scala/JVM 用戶端的 gRPC 連線
- [SPARK-41879] [SC-120264][CONNECT][PYTHON]建立
DataFrame.collect支援的巢狀類型 - [SPARK-41887][SC-120268][CONNECT][PYTHON]將接受清單類型參數設為
DataFrame.hint - [SPARK-41964] [SC-120210][CONNECT][PYTHON]新增不支援的IO函式清單
- [SPARK-41595] [SC-120097][SQL]支援FROM子句中的產生器函式爆炸/explode_outer
- [SPARK-41957] [SC-120121][CONNECT][PYTHON]啟用 doctest
DataFrame.hint - [SPARK-41886] [SC-120141][CONNECT][PYTHON]
DataFrame.intersectdoctest 輸出有不同的順序 - [SPARK-41442] [SC-117795][SQL][所有測試]只有在合併有效的計量時，才更新 SQLMetric 值
- [SPARK-41944] [SC-120046][CONNECT]在本機遠端模式開啟時傳遞設定
- [SPARK-41708] [SC-119838][SQL]將 v1write 資訊提取至
WriteFiles - [SPARK-41780] [SC-120000][SQL]應該擲回INVALID_PARAMETER_VALUE。當參數
regexp無效時模式 - [SPARK-41889] [SC-119975][SQL]將根本原因附加至 invalidPatternError 和重構錯誤類別INVALID_PARAMETER_VALUE
- [SPARK-41860] [SC-120028][SQL]將 AvroScanBuilder 和 JsonScanBuilder 案例類別設為
- [SPARK-41945] [SC-120010][CONNECT][PYTHON]Python：使用 pyarrow 連接用戶端遺失的數據行數據。Table.to_pylist
- [SPARK-41690] [SC-119102][SC-119087][SQL][CONNECT]無從驗證編碼器
- [SPARK-41354] [SC-119995][CONNECT][PYTHON]實作 RepartitionByExpression
- [SPARK-41581] [SC-119997][SQL]更新
_LEGACY_ERROR_TEMP_1230為INTERNAL_ERROR - [SPARK-41928] [SC-119972][CONNECT][PYTHON]為新增不支持的清單
functions - [SPARK-41933] [SC-119980][CONNECT]提供自動啟動伺服器的本機模式
- [SPARK-41899] [SC-119971][CONNECT][PYTHON] createDataFrame' 應該尊重使用者提供的 DDL 架構
- [SPARK-41936][SC-119978][CONNECT][PYTHON]
withColumns重複使用withMetadataProto - [SPARK-41898] [SC-119931][CONNECT][PYTHON]Window.rowsBetween、Window.rangeBetween 參數類型檢查與 pyspark 的同位
- [SPARK-41939][SC-119977][CONNECT][PYTHON]新增函式不支持的清單
catalog - [SPARK-41924] [SC-119946][CONNECT][PYTHON]讓 StructType 支援元數據並實作
DataFrame.withMetadata - [SPARK-41934] [SC-119967][CONNECT][PYTHON]為新增不支援的函式清單
session - [SPARK-41875] [SC-119969][CONNECT][PYTHON]為 新增測試案例
Dataset.to() - [SPARK-41824] [SC-119970][CONNECT][PYTHON]使用 doctest 來說明連線
- [SPARK-41880] [SC-119959][CONNECT][PYTHON]讓函式
from_json接受非常值架構 - [SPARK-41927] [SC-119952][CONNECT][PYTHON]為新增不支持的清單
GroupedData - [SPARK-41929] [SC-119949][CONNECT][PYTHON]新增函式
array_compact - [SPARK-41827] [SC-119841][CONNECT][PYTHON]建立
GroupBy接受數據行清單 - [SPARK-41925][SC-119905][SQL]默認為啟用
spark.sql.orc.enableNestedColumnVectorizedReader - [SPARK-41831] [SC-119853][CONNECT][PYTHON]建立
DataFrame.select接受數據行清單 - [SPARK-41455] [SC-119858][CONNECT][PYTHON]讓
DataFrame.collect捨棄時區資訊 - [SPARK-41923] [SC-119861][CONNECT][PYTHON]將 新增
DataFrame.writeTo至不支持的清單 - [SPARK-41912] [SC-119837][SQL]子查詢不應該驗證 CTE
- [SPARK-41828] [SC-119832][CONNECT][PYTHON][12.X]讓
createDataFrame支援空白數據框架 - [SPARK-41905] [SC-119848][CONNECT]支援在配量中作為字串的名稱
- [SPARK-41869] [SC-119845][CONNECT]拒絕dropDuplicates中的單一字串
- [SPARK-41830] [SC-119840][CONNECT][PYTHON]讓 接受
DataFrame.sample與 PySpark 相同的參數 - [SPARK-41849] [SC-119835][CONNECT]實作 DataFrameReader.text
- [SPARK-41861] [SC-119834][SQL]讓 v2 ScanBuilders 組建（） 傳回具類型的掃描
- [SPARK-41825] [SC-119710][CONNECT][PYTHON]啟用與相關的 doctests
DataFrame.show - [SPARK-41855] [SC-119804][SC-119410][SPARK-41814][SPARK-41851][SPARK-41852][CONNECT][PYTHON][12.X]正確將句柄設為
createDataFrameNone/NaN - [SPARK-41833] [SC-119685][SPARK-41881][SPARK-41815][CONNECT][PYTHON]將句柄設為
DataFrame.collectNone/NaN/Array/Binary porperly - [SPARK-39318] [SC-119713][SQL]移除 tpch-plan-stability WithStats 黃金檔案
- [SPARK-41791] [SC-119745]新增檔案來源元數據數據行類型
- [SPARK-41790] [SC-119729][SQL]正確設定 TRANSFORM 讀取器和寫入器的格式
- [SPARK-41829] [SC-119725][CONNECT][PYTHON]在和 中
Sort新增遺漏的排序參數sortWithinPartitions - [SPARK-41576] [SC-119718][SQL]將名稱指派給_LEGACY_ERROR_TEMP_2051
- [SPARK-41821] [SC-119716][CONNECT][PYTHON]修正 DataFrame.describe 的文件測試
- [SPARK-41871] [SC-119714][CONNECT]DataFrame 提示參數可以是 str、float 或 int
- [SPARK-41720] [SC-119076][SQL]將 UnresolvedFunc 重新命名為 UnresolvedFunctionName
- [SPARK-41573] [SC-119567][SQL]將名稱指派給_LEGACY_ERROR_TEMP_2136
- [SPARK-41862] [SC-119492][SQL]修正 Orc 讀取器中與預設值相關的正確性錯誤
- [SPARK-41582] [SC-119482][SC-118701][CORE][SQL]重複使用
INVALID_TYPED_LITERAL而非_LEGACY_ERROR_TEMP_0022
維護更新
請參閱 Databricks Runtime 12.2 維護更新。
系統環境
- 作業系統：Ubuntu 20.04.5 LTS
- Java：Zulu 8.68.0.21-CA-linux64
- Scala：2.12.15
- Python：3.9.5
- R：4.2.2
- Delta Lake：2.2.0
已安裝的 Python 程式庫
| 程式庫 | 版本 | 程式庫 | 版本 | 程式庫 | 版本 |
|---|---|---|---|---|---|
| argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 | asttokens | 2.0.5 |
| attrs | 21.4.0 | backcall | 0.2.0 | backports.entry-points-selectable | 1.2.0 |
| beautifulsoup4 | 4.11.1 | black | 22.3.0 | bleach | 4.1.0 |
| boto3 | 1.21.32 | botocore | 1.24.32 | certifi | 2021.10.8 |
| cffi | 1.15.0 | chardet | 4.0.0 | charset-normalizer | 2.0.4 |
| 按一下 | 8.0.4 | 密碼編譯 | 3.4.8 | cycler | 0.11.0 |
| Cython | 0.29.28 | dbus-python | 1.2.16 | debugpy | 1.5.1 |
| decorator | 5.1.1 | defusedxml | 0.7.1 | distlib | 0.3.6 |
| docstring-to-markdown | 0.11 | entrypoints | 0.4 | 執行 | 0.8.3 |
| facets-overview | 1.0.0 | fastjsonschema | 2.16.2 | filelock | 3.9.0 |
| fonttools | 4.25.0 | idna | 3.3 | ipykernel | 6.15.3 |
| ipython | 8.5.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.2 |
| jedi | 0.18.1 | Jinja2 | 2.11.3 | jmespath | 0.10.0 |
| joblib | 1.1.1 | jsonschema | 4.4.0 | jupyter-client | 6.1.12 |
| jupyter_core | 4.11.2 | jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 |
| kiwisolver | 1.3.2 | MarkupSafe | 2.0.1 | matplotlib | 3.5.1 |
| matplotlib-inline | 0.1.2 | mccabe | 0.7.0 | mistune | 0.8.4 |
| mypy-extensions | 0.4.3 | nbclient | 0.5.13 | nbconvert | 6.4.4 |
| nbformat | 5.3.0 | nest-asyncio | 1.5.5 | nodeenv | 1.7.0 |
| notebook | 6.4.8 | numpy | 1.21.5 | 封裝 | 21.3 |
| pandas | 1.4.2 | pandocfilters | 1.5.0 | parso | 0.8.3 |
| pathspec | 0.9.0 | patsy | 0.5.2 | pexpect | 4.8.0 |
| pickleshare | 0.7.5 | Pillow | 9.0.1 | pip | 21.2.4 |
| platformdirs | 2.6.2 | plotly | 5.6.0 | pluggy | 1.0.0 |
| prometheus-client | 0.13.1 | prompt-toolkit | 3.0.20 | protobuf | 3.19.4 |
| psutil | 5.8.0 | psycopg2 | 2.9.3 | ptyprocess | 0.7.0 |
| pure-eval | 0.2.2 | pyarrow | 7.0.0 | pycparser | 2.21 |
| pyflakes | 2.5.0 | Pygments | 2.11.2 | PyGObject | 3.36.0 |
| pyodbc | 4.0.32 | pyparsing | 3.0.4 | pyright | 1.1.283 |
| 火熱 | 0.18.0 | python-dateutil | 2.8.2 | python-lsp-jsonrpc | 1.0.0 |
| python-lsp-server | 1.6.0 | pytz | 2021.3 | pyzmq | 22.3.0 |
| requests | 2.27.1 | requests-unixsocket | 0.2.0 | 繩 | 0.22.0 |
| s3transfer | 0.5.0 | scikit-learn | 1.0.2 | scipy | 1.7.3 |
| seaborn | 0.11.2 | Send2Trash | 1.8.0 | setuptools | 61.2.0 |
| 六次 | 1.16.0 | soupsieve | 2.3.1 | ssh-import-id | 5.10 |
| stack-data | 0.2.0 | statsmodels | 0.13.2 | tenacity | 8.0.1 |
| terminado | 0.13.1 | testpath | 0.5.0 | threadpoolctl | 2.2.0 |
| tokenize-rt | 4.2.1 | tomli | 1.2.2 | tornado | 6.1 |
| traitlets | 5.1.1 | typing_extensions | 4.1.1 | ujson | 5.1.0 |
| 自動升級 | 0.1 | urllib3 | 1.26.9 | virtualenv | 20.8.0 |
| wcwidth | 0.2.5 | webencodings | 0.5.1 | whatthepatch | 1.0.4 |
| wheel | 0.37.0 | widgetsnbextension | 3.6.1 | yapf | 0.31.0 |
已安裝的 R 連結庫
R 連結庫會從 2022-11-11 上的 Microsoft CRAN 快照集安裝。
| 程式庫 | 版本 | 程式庫 | 版本 | 程式庫 | 版本 |
|---|---|---|---|---|---|
| 箭號 | 10.0.0 | askpass | 1.1 | assertthat | 0.2.1 |
| backports | 1.4.1 | base | 4.2.2 | base64enc | 0.1-3 |
| bit | 4.0.4 | bit64 | 4.0.5 | blob | 1.2.3 |
| boot | 1.3-28 | brew | 1.0-8 | brio | 1.1.3 |
| broom | 1.0.1 | bslib | 0.4.1 | cachem | 1.0.6 |
| callr | 3.7.3 | caret | 6.0-93 | cellranger | 1.1.0 |
| chron | 2.3-58 | class | 7.3-21 | cli | 3.4.1 |
| clipr | 0.8.0 | clock | 0.6.1 | 叢集 | 2.1.4 |
| codetools | 0.2-19 | colorspace | 2.0-3 | commonmark | 1.8.1 |
| compiler | 4.2.2 | config | 0.3.1 | cpp11 | 0.4.3 |
| crayon | 1.5.2 | credentials | 1.3.2 | curl | 4.3.3 |
| data.table | 1.14.4 | datasets | 4.2.2 | DBI | 1.1.3 |
| dbplyr | 2.2.1 | 遞減 | 1.4.2 | devtools | 2.4.5 |
| diffobj | 0.3.5 | digest | 0.6.30 | downlit | 0.4.2 |
| dplyr | 1.0.10 | dtplyr | 1.2.2 | e1071 | 1.7-12 |
| 省略符號 | 0.3.2 | evaluate | 0.18 | fansi | 1.0.3 |
| farver | 2.1.1 | fastmap | 1.1.0 | fontawesome | 0.4.0 |
| forcats | 0.5.2 | foreach | 1.5.2 | foreign | 0.8-82 |
| forge | 0.2.0 | fs | 1.5.2 | future | 1.29.0 |
| future.apply | 1.10.0 | 漱口 | 1.2.1 | 泛型 | 0.1.3 |
| 格特 | 1.9.1 | ggplot2 | 3.4.0 | gh | 1.3.1 |
| gitcreds | 0.1.2 | glmnet | 4.1-4 | globals | 0.16.1 |
| glue | 1.6.2 | googledrive | 2.0.0 | googlesheets4 | 1.0.1 |
| gower | 1.0.0 | graphics | 4.2.2 | grDevices | 4.2.2 |
| grid | 4.2.2 | gridExtra | 2.3 | gsubfn | 0.7 |
| gtable | 0.3.1 | hardhat | 1.2.0 | 避風港 | 2.5.1 |
| highr | 0.9 | hms | 1.1.2 | htmltools | 0.5.3 |
| htmlwidgets | 1.5.4 | httpuv | 1.6.6 | httr | 1.4.4 |
| ids | 1.0.1 | ini | 0.3.1 | ipred | 0.9-13 |
| isoband | 0.2.6 | iterators | 1.0.14 | jquerylib | 0.1.4 |
| jsonlite | 1.8.3 | KernSmooth | 2.23-20 | 針織機 | 1.40 |
| labeling | 0.4.2 | later | 1.3.0 | lattice | 0.20-45 |
| Lava | 1.7.0 | 生命週期 | 1.0.3 | listenv | 0.8.0 |
| lubridate | 1.9.0 | magrittr | 2.0.3 | markdown | 1.3 |
| MASS | 7.3-58.2 | 矩陣 | 1.5-1 | 備忘 | 2.0.1 |
| 方法 | 4.2.2 | mgcv | 1.8-41 | mime | 0.12 |
| miniUI | 0.1.1.1 | ModelMetrics | 1.2.2.2 | modelr | 0.1.9 |
| 蒙塞爾 | 0.5.0 | nlme | 3.1-162 | nnet | 7.3-18 |
| numDeriv | 2016.8-1.1 | openssl | 2.0.4 | parallel | 4.2.2 |
| parallelly | 1.32.1 | pillar | 1.8.1 | pkgbuild | 1.3.1 |
| pkgconfig | 2.0.3 | pkgdown | 2.0.6 | pkgload | 1.3.1 |
| plogr | 0.2.0 | plyr | 1.8.7 | 讚美 | 1.0.0 |
| prettyunits | 1.1.1 | pROC | 1.18.0 | processx | 3.8.0 |
| prodlim | 2019.11.13 | profvis | 0.3.7 | 進度 | 1.2.2 |
| progressr | 0.11.0 | promises | 1.2.0.1 | proto | 1.0.0 |
| proxy | 0.4-27 | ps | 1.7.2 | purrr | 0.3.5 |
| r2d3 | 0.2.6 | R6 | 2.5.1 | 不雅 | 1.2.4 |
| randomForest | 4.7-1.1 | rappdirs | 0.3.3 | rcmdcheck | 1.4.0 |
| RColorBrewer | 1.1-3 | Rcpp | 1.0.9 | RcppEigen | 0.3.3.9.3 |
| readr | 2.1.3 | readxl | 1.4.1 | recipes | 1.0.3 |
| rematch | 1.0.1 | rematch2 | 2.1.2 | remotes | 2.4.2 |
| reprex | 2.0.2 | reshape2 | 1.4.4 | rlang | 1.0.6 |
| rmarkdown | 2.18 | RODBC | 1.3-19 | roxygen2 | 7.2.1 |
| rpart | 4.1.19 | rprojroot | 2.0.3 | Rserve | 1.8-12 |
| RSQLite | 2.2.18 | rstudioapi | 0.14 | rversions | 2.1.2 |
| rvest | 1.0.3 | sass | 0.4.2 | scales | 1.2.1 |
| selectr | 0.4-2 | sessioninfo | 1.2.2 | shape | 1.4.6 |
| shiny | 1.7.3 | sourcetools | 0.1.7 | sparklyr | 1.7.8 |
| SparkR | 3.3.2 | spatial | 7.3-11 | splines | 4.2.2 |
| sqldf | 0.4-11 | SQUAREM | 2021.1 | stats | 4.2.2 |
| stats4 | 4.2.2 | stringi | 1.7.8 | stringr | 1.4.1 |
| survival | 3.4-0 | sys | 3.4.1 | systemfonts | 1.0.4 |
| tcltk | 4.2.2 | testthat | 3.1.5 | textshaping | 0.3.6 |
| tibble | 3.1.8 | tidyr | 1.2.1 | tidyselect | 1.2.0 |
| tidyverse | 1.3.2 | timechange | 0.1.1 | timeDate | 4021.106 |
| tinytex | 0.42 | tools | 4.2.2 | tzdb | 0.3.0 |
| urlchecker | 1.0.1 | usethis | 2.1.6 | utf8 | 1.2.2 |
| utils | 4.2.2 | uuid | 1.1-0 | vctrs | 0.5.0 |
| viridisLite | 0.4.1 | vroom | 1.6.0 | waldo | 0.4.0 |
| 晶須 | 0.4 | withr | 2.5.0 | xfun | 0.34 |
| xml2 | 1.3.3 | xopen | 1.0.0 | xtable | 1.8-4 |
| yaml | 2.3.6 | zip | 2.2.2 |
已安裝的 Java 和 Scala 連結庫 （Scala 2.12 叢集版本）
| 群組識別碼 | 成品標識碼 | 版本 |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.189 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.12.189 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.189 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.12.189 |
| com.amazonaws | aws-java-sdk-config | 1.12.189 |
| com.amazonaws | aws-java-sdk-core | 1.12.189 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.12.189 |
| com.amazonaws | aws-java-sdk-directconnect | 1.12.189 |
| com.amazonaws | aws-java-sdk-directory | 1.12.189 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.12.189 |
| com.amazonaws | aws-java-sdk-ec2 | 1.12.189 |
| com.amazonaws | aws-java-sdk-ecs | 1.12.189 |
| com.amazonaws | aws-java-sdk-efs | 1.12.189 |
| com.amazonaws | aws-java-sdk-elasticache | 1.12.189 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.189 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.189 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.189 |
| com.amazonaws | aws-java-sdk-emr | 1.12.189 |
| com.amazonaws | aws-java-sdk-glacier | 1.12.189 |
| com.amazonaws | aws-java-sdk-glue | 1.12.189 |
| com.amazonaws | aws-java-sdk-iam | 1.12.189 |
| com.amazonaws | aws-java-sdk-importexport | 1.12.189 |
| com.amazonaws | aws-java-sdk-kinesis | 1.12.189 |
| com.amazonaws | aws-java-sdk-kms | 1.12.189 |
| com.amazonaws | aws-java-sdk-lambda | 1.12.189 |
| com.amazonaws | aws-java-sdk-logs | 1.12.189 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.12.189 |
| com.amazonaws | aws-java-sdk-opsworks | 1.12.189 |
| com.amazonaws | aws-java-sdk-rds | 1.12.189 |
| com.amazonaws | aws-java-sdk-redshift | 1.12.189 |
| com.amazonaws | aws-java-sdk-route53 | 1.12.189 |
| com.amazonaws | aws-java-sdk-s3 | 1.12.189 |
| com.amazonaws | aws-java-sdk-ses | 1.12.189 |
| com.amazonaws | aws-java-sdk-simpledb | 1.12.189 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.189 |
| com.amazonaws | aws-java-sdk-sns | 1.12.189 |
| com.amazonaws | aws-java-sdk-sqs | 1.12.189 |
| com.amazonaws | aws-java-sdk-ssm | 1.12.189 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.12.189 |
| com.amazonaws | aws-java-sdk-sts | 1.12.189 |
| com.amazonaws | aws-java-sdk-support | 1.12.189 |
| com.amazonaws | aws-java-sdk-js-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.12.189 |
| com.amazonaws | jmespath-java | 1.12.189 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | stream | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | 同學 | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations | 2.13.4 |
| com.fasterxml.jackson.core | jackson-core | 2.13.4 |
| com.fasterxml.jackson.core | jackson-databind | 2.13.4.2 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.13.4 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.13.4 |
| com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.13.4 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.13.4 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.13.4 |
| com.github.ben-manes.咖啡因 | 咖啡因 | 2.3.4 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | 核心 | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | native_system java | 1.1 |
| com.github.fommil.netlib | native_system-java-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.luben | zstd-jni | 1.5.2-1 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.8.6 |
| com.google.crypto.tink | 小 叮噹 | 1.6.1 |
| com.google.flatbuffers | flatbuffers-java | 1.12.0 |
| com.google.guava | 番 石榴 | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 2.0.204 |
| com.helger | 分析器 | 1.1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.ning | compress-lzf | 1.1 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.12 | 0.10.0 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.uber | h3 | 3.7.0 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| commons-cli | commons-cli | 1.5.0 |
| commons-codec | commons-codec | 1.15 |
| commons-collections | commons-collections | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-fileupload | commons-fileupload | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.11.0 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-pool | commons-pool | 1.5.4 |
| dev.ludovic.netlib | arpack | 2.2.1 |
| dev.ludovic.netlib | blas | 2.2.1 |
| dev.ludovic.netlib | lapack | 2.2.1 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0.21 |
| io.delta | delta-sharing-spark_2.12 | 0.6.3 |
| io.dropwizard.metrics | metrics-core | 4.1.1 |
| io.dropwizard.metrics | metrics-graphite | 4.1.1 |
| io.dropwizard.metrics | metrics-healthchecks | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | metrics-jmx | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | metrics-jvm | 4.1.1 |
| io.dropwizard.metrics | metrics-servlet | 4.1.1 |
| io.netty | netty-all | 4.1.74.Final |
| io.netty | netty-buffer | 4.1.74.Final |
| io.netty | netty-codec | 4.1.74.Final |
| io.netty | netty-common | 4.1.74.Final |
| io.netty | netty-handler | 4.1.74.Final |
| io.netty | netty-resolver | 4.1.74.Final |
| io.netty | netty-tcnative-classes | 2.0.48.Final |
| io.netty | netty-transport | 4.1.74.Final |
| io.netty | netty-transport-classes-epoll | 4.1.74.Final |
| io.netty | netty-transport-classes-kqueue | 4.1.74.Final |
| io.netty | netty-transport-native-epoll-linux-aarch_64 | 4.1.74.Final |
| io.netty | netty-transport-native-epoll-linux-x86_64 | 4.1.74.Final |
| io.netty | netty-transport-native-kqueue-osx-aarch_64 | 4.1.74.Final |
| io.netty | netty-transport-native-kqueue-osx-x86_64 | 4.1.74.Final |
| io.netty | netty-transport-native-unix-common | 4.1.74.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | 收藏家 | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | 啟用 | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | Jta | 1.1 |
| javax.transaction | transaction-api | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.11 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.10.13 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | 泡菜 | 1.2 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.13.22 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.8 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | arrow-format | 7.0.0 |
| org.apache.arrow | arrow-memory-core | 7.0.0 |
| org.apache.arrow | arrow-memory-netty | 7.0.0 |
| org.apache.arrow | arrow-vector | 7.0.0 |
| org.apache.avro | avro | 1.11.0 |
| org.apache.avro | avro-ipc | 1.11.0 |
| org.apache.avro | avro-mapred | 1.11.0 |
| org.apache.commons | commons-collections4 | 4.4 |
| org.apache.commons | commons-compress | 1.21 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.12.0 |
| org.apache.commons | commons-math3 | 3.6.1 |
| org.apache.commons | commons-text | 1.10.0 |
| org.apache.curator | curator-client | 2.13.0 |
| org.apache.curator | curator-framework | 2.13.0 |
| org.apache.curator | 策展人-食譜 | 2.13.0 |
| org.apache.derby | Derby | 10.14.2.0 |
| org.apache.hadoop | hadoop-client-api | 3.3.4-databricks |
| org.apache.hadoop | hadoop-client-runtime | 3.3.4 |
| org.apache.hive | hive-beeline | 2.3.9 |
| org.apache.hive | hive-cli | 2.3.9 |
| org.apache.hive | hive-jdbc | 2.3.9 |
| org.apache.hive | hive-llap-client | 2.3.9 |
| org.apache.hive | hive-llap-common | 2.3.9 |
| org.apache.hive | hive-serde | 2.3.9 |
| org.apache.hive | hive-shims | 2.3.9 |
| org.apache.hive | hive-storage-api | 2.8.1 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
| org.apache.hive.shims | hive-shims-common | 2.3.9 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
| org.apache.httpcomponents | httpclient | 4.5.13 |
| org.apache.httpcomponents | httpcore | 4.4.14 |
| org.apache.ivy | 常春藤 | 2.5.0 |
| org.apache.logging.log4j | log4j-1.2-api | 2.18.0 |
| org.apache.logging.log4j | log4j-api | 2.18.0 |
| org.apache.logging.log4j | log4j-core | 2.18.0 |
| org.apache.logging.log4j | log4j-slf4j-impl | 2.18.0 |
| org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
| org.apache.orc | orc-core | 1.7.6 |
| org.apache.orc | orc-mapreduce | 1.7.6 |
| org.apache.orc | orc-shims | 1.7.6 |
| org.apache.parquet | parquet-column | 1.12.3-databricks-0002 |
| org.apache.parquet | parquet-common | 1.12.3-databricks-0002 |
| org.apache.parquet | parquet-encoding | 1.12.3-databricks-0002 |
| org.apache.parquet | parquet-format-structure | 1.12.3-databricks-0002 |
| org.apache.parquet | parquet-hadoop | 1.12.3-databricks-0002 |
| org.apache.parquet | parquet-jackson | 1.12.3-databricks-0002 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.xbean | xbean-asm9-shaded | 4.20 |
| org.apache.yetus | audience-annotations | 0.13.0 |
| org.apache.zookeeper | zookeeper | 3.6.2 |
| org.apache.zookeeper | zookeeper-jute | 3.6.2 |
| org.checkerframework | checker-qual | 3.5.0 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-continuation | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-http | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-io | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-jndi | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-plus | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-proxy | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-security | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-server | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-servlet | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-servlets | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-util | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-webapp | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-xml | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-api | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-client | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-common | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-server | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-servlet | 9.4.46.v20220331 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.36 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.36 |
| org.glassfish.jersey.core | jersey-client | 2.36 |
| org.glassfish.jersey.core | 澤西-通用 | 2.36 |
| org.glassfish.jersey.core | jersey-server | 2.36 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.36 |
| org.hibernate.validator | hibernate-validator | 6.1.0.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jetbrains | annotations | 17.0.0 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
| org.json4s | json4s-core_2.12 | 3.7.0-M11 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
| org.lz4 | lz4-java | 1.8.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.7.4 |
| org.mlflow | mlflow-spark | 2.1.1 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.3.3 |
| org.roaringbitmap | RoaringBitmap | 0.9.25 |
| org.roaringbitmap | 墊片 | 0.9.25 |
| org.rocksdb | rocksdbjni | 6.28.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.14 |
| org.scala-lang | scala-library_2.12 | 2.12.14 |
| org.scala-lang | scala-reflect_2.12 | 2.12.14 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.4.3 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 1.2 |
| org.scalanlp | breeze_2.12 | 1.2 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.36 |
| org.slf4j | jul-to-slf4j | 1.7.36 |
| org.slf4j | slf4j-api | 1.7.36 |
| org.spark-project.spark | 閑置 | 1.0.0 |
| org.threeten | threeten-extra | 1.5.0 |
| org.tukaani | xz | 1.9 |
| org.typelevel | algebra_2.12 | 2.0.1 |
| org.typelevel | cats-kernel_2.12 | 2.1.1 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0 |
| org.typelevel | spire-platform_2.12 | 0.17.0 |
| org.typelevel | spire-util_2.12 | 0.17.0 |
| org.typelevel | spire_2.12 | 0.17.0 |
| org.wildfly.openssl | wildfly-openssl | 1.0.7.Final |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.8.4 |
| org.yaml | 蛇形 | 1.24 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.cryptools | AmazonCorrettoCryptoProvider | 1.6.1-linux-x86_64 |
| software.amazon.ion | ion-java | 1.0.2 |
| Stax | stax-api | 1.0.1 |