Share via

Databricks Runtime 的維護更新 （封存）

  • 發行項

此封存頁面會列出不再支援 Databricks Runtime 版本的維護更新。 若要將維護更新新增至現有的叢集，請重新啟動叢集。

若要移轉至支援的 Databricks Runtime 版本，請參閱 Databricks Runtime 移轉指南。

重要

此檔已淘汰，且可能未更新。 不再支援此內容中所提及的產品、服務或技術。 請參閱 Databricks Runtime 版本資訊版本和相容性。

注意

本文包含字詞白名單的參考，這是 Azure Databricks 未使用的字詞。 從軟體中移除該字詞時，我們也會將其從本文中移除。

Databricks Runtime 版本

依發行的維護更新：

如需支援 Databricks Runtime 版本的維護更新，請參閱 Databricks Runtime 維護更新。

Databricks Runtime 14.0

請參閱 Databricks Runtime 14.0 （不支援）。

  • 2024年2月8日
    • [SPARK-46396] 時間戳推斷不應該擲回例外狀況。
    • [SPARK-46794] 從 LogicalRDD 條件約束中移除子查詢。
    • [SPARK-45182] 在重試由總和檢查碼決定的父不確定階段之後，忽略舊階段的工作完成。
    • [SPARK-46933] 將查詢運行時間計量新增至使用 JDBCRDD 的連接器。
    • [SPARK-45957] 避免產生非可執行命令的執行計劃。
    • [SPARK-46861] 避免 DAGScheduler 中的死結。
    • [SPARK-46930] 在 Avro 中新增聯集類型欄位的自訂前置詞支援。
    • [SPARK-46941] 如果包含 SizeBasedWindowFunction，則無法針對 top-k 計算插入視窗群組限制節點。
    • [SPARK-45582] 確定在輸出模式串流匯總內呼叫認可之後，不會使用存放區實例。
    • 操作系統安全性更新。
  • 2024 年 1 月 31 日
    • [SPARK-46541] 修正自我聯結中的模棱兩可數據行參考。
    • [SPARK-46676] dropDuplicatesWithinWatermark 不應該在計劃正式化時失敗。
    • [SPARK-46769] 精簡時間戳相關的架構推斷。
    • [SPARK-45498] 後續操作：忽略舊階段嘗試中的工作完成。
    • 還原 [SPARK-46769] 精簡時間戳相關的架構推斷。
    • [SPARK-46383] 藉由減少的 TaskInfo.accumulables()生命週期來減少驅動程式堆積使用量。
    • [SPARK-46633] 修正 Avro 讀取器以處理長度為零的區塊。
    • [SPARK-46677] 修正 dataframe["*"] 解決方案。
    • [SPARK-46684] 修正 CoGroup.applyInPandas/Arrow 以正確傳遞自變數。
    • [SPARK-46763] 修正 ReplaceDeduplicateWithAggregate 中重複屬性的判斷提示失敗。
    • [SPARK-46610] 當選項中索引鍵的值沒有值時，建立數據表應該擲回例外狀況。
    • 操作系統安全性更新。
  • 2024年1月17日
    • shuffle Photon 查詢所傳回之說明計劃的節點會更新，以在廣播聯結的隨機顯示期間發生記憶體不足錯誤時新增causedBroadcastJoinBuildOOM=true旗標。
    • 為了避免在透過 TLSv1.3 通訊時增加延遲，此維護版本包含 JDK 8 安裝的修補程式，以修正 JDK Bug JDK-8293562。
    • [SPARK-46394] 修正spark.catalog.listDatabases（） 設定為 true 時 spark.sql.legacy.keepCommandOutputSchema ，具有特殊字元的架構問題。
    • [SPARK-46250] Deflake test_parity_listener。
    • [SPARK-45814] 讓 ArrowConverters.createEmptyArrowBatch 呼叫 close（） 以避免記憶體流失。
    • [SPARK-46173] 略過 trimAll 呼叫在日期剖析期間。
    • [SPARK-46484] 讓 resolveOperators 協助程式函式保留計畫標識碼。
    • [SPARK-46466] 向量化 parquet 讀取器不應該對 timestamp ntz 進行重新基底。
    • [SPARK-46056] 使用 byteArrayDecimalType 預設值修正 Parquet 向量化讀取 NPE。
    • [SPARK-46058] 為 privateKeyPassword 新增個別旗標。
    • [SPARK-46478] 將 SPARK-43049 還原為使用 oracle varchar（255） 做為字串。
    • [SPARK-46132] 支援 RPC SSL 的 JKS 金鑰密碼。
    • [SPARK-46417] 呼叫hive.getTable並throwException 為 false 時，請勿失敗。
    • [SPARK-46261]DataFrame.withColumnsRenamed 應保留聽寫/地圖排序。
    • [SPARK-46370] 修正在變更數據行預設值之後從數據表查詢時的錯誤。
    • [SPARK-46609] 避免 PartitioningPreservingUnaryExecNode 中的指數爆炸。
    • [SPARK-46600] 將 SqlConf 和 SqlApiConf 之間的共用程式代碼移至 SqlApiConfHelper。
    • [SPARK-46538] 修正 中的 ALSModel.transform模棱兩可數據行參考問題。
    • [SPARK-46337] 請 CTESubstitution 保留 PLAN_ID_TAG。
    • [SPARK-46602] 當檢視/數據表不存在時，在 allowExisting 檢視中傳播。
    • [SPARK-46260]DataFrame.withColumnsRenamed 應遵守聽寫順序。
    • [SPARK-46145] 找不到數據表或檢視表時，spark.catalog.listTables 不會擲回例外狀況。
  • 2023年12月14日
    • 修正了 getColumns 作業中逸出底線源自 JDBC 或 ODBC 用戶端的問題，錯誤地處理並解譯為通配符。
    • [SPARK-46255] 支援複雜類型 -> 字串轉換。
    • [SPARK-46028] 將接受輸入資料列設為 Column.__getitem__ 。
    • [SPARK-45920] 依序數分組應該是等冪。
    • [SPARK-45433] 修正時間戳不符合指定 timestampFormat 時的 CSV/JSON 架構推斷。
    • [SPARK-45509]修正 Spark 連線 的 df 資料行參考行為。
    • 操作系統安全性更新。
  • 2023年11月29日
    • 已安裝新的套件， pyarrow-hotfix 以補救 PyArrow RCE 弱點。
    • 修正了源自 JDBC 或 ODBC 用戶端之作業中 getColumns 逸出底線錯誤解譯為通配符的問題。
    • 使用自動載入器或串流數據表擷取 CSV 數據時，大型 CSV 檔案現在可分割，而且可以在架構推斷和數據處理期間平行處理。
    • Spark-snowflake 連接器已升級至 2.12.0。
    • [SPARK-45859] 在延遲中 ml.functions 建立UDF物件。
    • 還原 [SPARK-45592]。
    • [SPARK-45892] 重構優化器計劃驗證以分離 validateSchemaOutput 和 validateExprIdUniqueness。
    • [SPARK-45592] 已修正 InMemoryTableScanExecAQE 中的正確性問題。
    • [SPARK-45620] 與 Python UDF 相關的 API 現在使用 camelCase。
    • [SPARK-44784] 做了 SBT 測試隱性。
    • [SPARK-45770]已針對 修正數據DataFrameDropColumnsDataframe.drop行解析。
    • [SPARK-45544] 整合式 SSL 支援至 TransportContext。
    • [SPARK-45730] 改善的時間 ReloadingX509TrustManagerSuite條件約束。
    • 操作系統安全性更新。
  • 2023年11月10日
    • 已變更 Unity 目錄串流數據表和具體化檢視的數據摘要查詢，以顯示錯誤訊息。
    • [SPARK-45545]SparkTransportConfSSLOptions會在建立時繼承。
    • [SPARK-45584] 已修正使用 TakeOrderedAndProjectExec的子查詢執行失敗。
    • [SPARK-45427] 已將 RPC SSL 設定新增至 SSLOptions 和 SparkTransportConf。
    • [SPARK-45541]新增 。 SSLFactory
    • [SPARK-45430]FramelessOffsetWindowFunction和offset > rowCount時IGNORE NULLS不再失敗。
    • [SPARK-45429] 已新增 SSL RPC 通訊的協助程式類別。
    • [SPARK-44219] 已新增額外的每個規則驗證，以進行優化重寫。
    • [SPARK-45543] 修正了如果其他視窗函式沒有與類似排名的函式相同的視窗框架，則會產生錯誤的問題 InferWindowGroupLimit 。
    • 操作系統安全性更新。
  • 2023年10月23日
    • [SPARK-45426] 已新增 對 ReloadingX509TrustManager的支援。
    • [SPARK-45396] 新增模組 PySpark.ml.connect 的檔案專案，並在 新增 Evaluator 至 __all__ml.connect。
    • [SPARK-45256] 已修正寫入超過初始容量的值時失敗的問題 DurationWriter 。
    • [SPARK-45279]plan_id附加至所有邏輯計劃。
    • [SPARK-45250] 已新增在關閉動態配置時，針對 yarn 叢集的階段層級工作資源配置檔支援。
    • [SPARK-45182] 已新增復原隨機隨機對應階段的支援，因此當階段輸出不確定時，可以重試所有階段工作。
    • [SPARK-45419] 藉由移除較大型版本的檔案版本對應專案，避免重複使用 rocksdb sst 不同 rocksdb 實例中的檔案。
    • [SPARK-45386] 已修正錯誤傳回 0 的問題 StorageLevel.NONE 。
    • 操作系統安全性更新。
  • 2023年10月13日
    • Snowflake-jdbc 相依性從 3.13.29 升級至 3.13.33。
    • 函 array_insert 式是以 1 為基底的正和負索引，而之前，它是以 0 為基底的負索引。 它現在會在索引 -1 的輸入數位列結尾插入新元素。 若要還原先前的行為，請將 設定 spark.sql.legacy.negativeIndexInArrayInsert 為 true。
    • 當已啟用 ignoreCorruptFiles具有自動載入器的 CSV 架構推斷時，Azure Databricks 不再忽略損毀的檔案。
    • [SPARK-45227] 已修正的 CoarseGrainedExecutorBackend細微線程安全性問題。
    • [SPARK-44658]ShuffleStatus.getMapStatus 應該傳回 None 而不是 Some(null)。
    • [SPARK-44910]Encoders.bean 不支援具有泛型型別自變數的超級類別。
    • [SPARK-45346] 在合併架構時，Parquet 架構推斷會遵守區分大小寫的旗標。
    • 還原 [SPARK-42946]。
    • [SPARK-42205] 已更新 JSON 通訊協定，以移除工作或階段啟動事件中的可存取記錄。
    • [SPARK-45360] Spark 工作階段產生器支援從 SPARK_REMOTE初始化。
    • [SPARK-45316] 新增新的參數 ignoreCorruptFiles/ignoreMissingFiles 新增到 HadoopRDD 和 NewHadoopRDD。
    • [SPARK-44909] 當火炬散發者記錄串流伺服器無法使用時，請略過執行。
    • [SPARK-45084]StateOperatorProgress 現在會使用精確的隨機分割區編號。
    • [SPARK-45371]已修正Spark連線 Scala 用戶端中的底紋問題。
    • [SPARK-45178] 使用不支援的來源執行單一批次 Trigger.AvailableNow ，而不是使用包裝函式。
    • [SPARK-44840] 以 array_insert() 1 為基底的負索引。
    • [SPARK-44551] 編輯要與 OSS 同步的批注。
    • [SPARK-45078] 當專案類型不等於衍生元件類型時，函 ArrayInsert 式現在會進行明確轉換。
    • [SPARK-45339] PySpark 現在會記錄重試錯誤。
    • [SPARK-45057] 當 為 false 時 keepReadLock ，請避免取得讀取鎖定。
    • [SPARK-44908] 已修正交叉驗證子參數 foldCol 功能。
    • 操作系統安全性更新。

Databricks Runtime 13.1

請參閱 Databricks Runtime 13.1 （不支援）。

  • 2023年11月29日
    • 修正了源自 JDBC 或 ODBC 用戶端之作業中 getColumns 逸出底線錯誤解譯為通配符的問題。
    • [SPARK-44846] 拿掉 之後 RemoveRedundantAggregates的複雜群組表達式。
    • [SPARK-43802] 已修正 unhex 和 unbase64 表達式的 codegen 會失敗的問題。
    • [SPARK-43718] 已修正聯結中索引鍵的 USING Null 性。
    • 操作系統安全性更新。
  • 2023年11月14日
    • Delta Lake 串流查詢上的分割區篩選會在速率限制之前下推，以達到更佳的使用率。
    • 已變更 Unity 目錄串流數據表和具體化檢視的數據摘要查詢，以顯示錯誤訊息。
    • [SPARK-45584] 已修正使用 TakeOrderedAndProjectExec的子查詢執行失敗。
    • [SPARK-45430]FramelessOffsetWindowFunction和offset > rowCount時IGNORE NULLS不再失敗。
    • [SPARK-45543] 已修正當其他視窗函式沒有與類似排名函式相同的視窗框架時，造成問題的問題 InferWindowGroupLimit 。
    • 操作系統安全性更新。
  • 2023年10月24日
    • [SPARK-43799] 已將描述元二進位選項新增至 PySpark Protobuf API。
    • 還原 [SPARK-42946]。
    • [SPARK-45346] Parquet 架構推斷現在會遵守合併架構時區分大小寫的旗標。
    • 操作系統安全性更新。
  • 2023年10月13日
    • Snowflake-jdbc 相依性從 3.13.29 升級至 3.13.33。
    • 使用自動載入器在 CSV 架構推斷期間啟用時 ignoreCorruptFiles ，不再忽略損毀的檔案。
    • [SPARK-44658]ShuffleStatus.getMapStatus 會傳 None 回 而不是 Some(null)。
    • [SPARK-45178] 使用不支援的來源執行單一批次 Trigger.AvailableNow ，而不是使用包裝函式。
    • [SPARK-42205] 已更新 JSON 通訊協定，以移除工作或階段啟動事件中的可存取記錄。
    • 操作系統安全性更新。
  • 2023年9月12日
    • [SPARK-44718] 比對 ColumnVector 記憶體模式組態預設值為 OffHeapMemoryMode config 值。
    • SPARK-44878 關閉寫入管理員的 RocksDB 嚴格限制，以避免快取完成時插入例外狀況。
    • 其他修正。
  • 2023 年 8 月 30 日
    • [SPARK-44871] 已修正 『percentile_disc行為。
    • [SPARK-44714] 輕鬆限制有關查詢的 LCA 解析。
    • [SPARK-44245]PySpark.sql.dataframe sample() 檔測試現在僅供說明。
    • [SPARK-44818] 已修正在初始化之前 taskThread 發出之擱置中工作中斷的競爭。
    • 操作系統安全性更新。
  • 2023 年 8 月 15 日
    • [SPARK-44485]優化 。TreeNode.generateTreeString
    • [SPARK-44643] 已修正 Row.__repr__ 當數據列是空的。
    • [SPARK-44504] 維護工作現在會在停止錯誤時清除已載入的提供者。
    • [SPARK-44479] 已修正 protobuf 從空白結構類型轉換。
    • [SPARK-44464] 已修正 applyInPandasWithStatePythonRunner 為輸出具有 Null 作為第一個數據行值的數據列。
    • 其他修正。
  • 2023年7月27日
    • 已修正針對與其他外部或受控儲存位置發生衝突的儲存位置路徑呼叫時傳回INVALID_PARAMETER_VALUE.LOCATION_OVERLAP的問題dbutils.fs.ls()。
    • [SPARK-44199]CacheManager 不再不必要地重新整理 fileIndex 。
    • [SPARK-44448]已修正和InferWindowGroupLimit的錯誤結果錯誤。DenseRankLimitIterator
    • 操作系統安全性更新。
  • 2023年7月24日
    • 還原 [SPARK-42323]。
    • [SPARK-41848] 已修正工作 TaskResourceProfile過度排程的問題。
    • [SPARK-44136]已修正在 執行程式中取得具體化，而不是 中的FlatMapGroupsWithStateExec驅動程序的問題StateManager。
    • [SPARK-44337] 已修正將任何欄位設定為 Any.getDefaultInstance 導致剖析錯誤的問題。
    • 操作系統安全性更新。
  • 2023年6月27日
    • 操作系統安全性更新。
  • 2023年6月15日
    • Photonized approx_count_distinct。
    • 模式中的 failOnUnknownFields JSON 剖析器現在會卸除模式中的 DROPMALFORMED 記錄，並在模式中 FAILFAST 直接失敗。
    • Snowflake-jdbc 連結庫已升級至 3.13.29，以解決安全性問題。
    • PubSubRecord屬性欄位會儲存為 JSON，而不是純量對應中的字串，以便進行更直接的串行化和還原串行化。
    • 命令 EXPLAIN EXTENDED 現在會傳回查詢的結果快取資格。
    • 使用 SHALLOW CLONE Iceberg 和 Parquet 改善累加式更新的效能。
    • [SPARK-43032] Python SQM Bug 修正。
    • [SPARK-43404]略過針對相同版本的 RocksDB 狀態存放區重複使用 sst 檔案，以避免標識碼不符錯誤。
    • [SPARK-43340] 處理事件記錄中遺漏的堆疊追蹤欄位。
    • [SPARK-43527]已修正 PySpark 中的 。catalog.listCatalogs
    • [SPARK-43541] 傳播解析表達式和遺漏數據行的所有 Project 標記。
    • [SPARK-43300]NonFateSharingCache Guava Cache 的包裝函式。
    • [SPARK-43378] 正確關閉 中的 deserializeFromChunkedBuffer數據流物件。
    • [SPARK-42852]從EquivalentExpressions還原NamedLambdaVariable相關的變更。
    • [SPARK-43779]ParseToDate 現在會在主線程中載入 EvalMode 。
    • [SPARK-43413] 修正 IN 子查詢 ListQuery 可為 Null 性。
    • [SPARK-43889] 新增的數據行名稱 __dir__() 檢查，以篩選出容易出錯的數據行名稱。
    • [SPARK-43043] 改善 .updateMapOutput 的 MapOutputTracker效能
    • [SPARK-43522] 已修正使用陣列索引建立結構數據行名稱。
    • [SPARK-43457] 具有 OS、Python 和 Spark 版本的八月使用者代理程式。
    • [SPARK-43286] 已更新 aes_encrypt CBC 模式以產生隨機 IV。
    • [SPARK-42851]使用supportedExpression()保護 EquivalentExpressions.addExpr() 。
    • 還原 [SPARK-43183]。
    • 操作系統安全性更新。

Databricks Runtime 12.2 LTS

請參閱 Databricks Runtime 12.2 LTS。

  • 2023年11月29日
    • 修正了源自 JDBC 或 ODBC 用戶端之作業中 getColumns 逸出底線錯誤解譯為通配符的問題。
    • [SPARK-42205]已移除和啟動事件中的StageTask記錄可存取。
    • [SPARK-44846] 拿掉 之後 RemoveRedundantAggregates的複雜群組表達式。
    • [SPARK-43718] 已修正聯結中索引鍵的 USING Null 性。
    • [SPARK-45544] 整合式 SSL 支援至 TransportContext。
    • [SPARK-43973] 結構化串流 UI 現在會顯示失敗的查詢。
    • [SPARK-45730] 改善的時間 ReloadingX509TrustManagerSuite條件約束。
    • [SPARK-45859] 在延遲中 ml.functions 建立UDF物件。
    • 操作系統安全性更新。
  • 2023年11月14日
    • Delta Lake 串流查詢上的分割區篩選會在速率限制之前下推，以達到更佳的使用率。
    • [SPARK-45545]SparkTransportConfSSLOptions會在建立時繼承。
    • [SPARK-45427] 已將 RPC SSL 設定新增至 SSLOptions 和 SparkTransportConf。
    • [SPARK-45584] 已修正使用 TakeOrderedAndProjectExec的子查詢執行失敗。
    • [SPARK-45541]新增 。 SSLFactory
    • [SPARK-45430]FramelessOffsetWindowFunction和offset > rowCount時IGNORE NULLS不再失敗。
    • [SPARK-45429] 已新增 SSL RPC 通訊的協助程式類別。
    • 操作系統安全性更新。
  • 2023年10月24日
    • [SPARK-45426] 已新增 對 ReloadingX509TrustManager的支援。
    • 其他修正。
  • 2023年10月13日
    • Snowflake-jdbc 相依性從 3.13.29 升級至 3.13.33。
    • [SPARK-42553] 請確定間隔後至少一個時間單位。
    • [SPARK-45346] 在合併架構時，Parquet 架構推斷會遵守區分大小寫的旗標。
    • [SPARK-45178] 使用不支援的來源執行單一批次 Trigger.AvailableNow ，而不是使用包裝函式。
    • [SPARK-45084]StateOperatorProgress 表示使用正確且適當的隨機分割區編號。
  • 2023年9月12日
    • [SPARK-44873] 已新增在Hive用戶端中使用巢狀數據行的支援 alter view 。
    • [SPARK-44718] 比對 ColumnVector 記憶體模式組態預設值為 OffHeapMemoryMode config 值。
    • [SPARK-43799] 已將描述元二進位選項新增至 PySpark Protobuf API。
    • 其他修正。
  • 2023 年 8 月 30 日
  • 2023 年 8 月 15 日
    • [SPARK-44504] 維護工作會在停止錯誤時清除已載入的提供者。
    • [SPARK-44464] 已修正 applyInPandasWithStatePythonRunner 為輸出具有 Null 作為第一個數據行值的數據列。
    • 操作系統安全性更新。
  • 2023年7月29日
    • 已修正針對與其他外部或受控儲存位置發生衝突的儲存位置路徑呼叫時傳回INVALID_PARAMETER_VALUE.LOCATION_OVERLAP的問題dbutils.fs.ls()。
    • [SPARK-44199]CacheManager 不再不必要地重新整理 fileIndex 。
    • 操作系統安全性更新。
  • 2023年7月24日
    • [SPARK-44337] 已修正將任何欄位設定為 Any.getDefaultInstance 導致剖析錯誤的問題。
    • [SPARK-44136]已修正在 執行程式中取得具體化，而不是 中的FlatMapGroupsWithStateExec驅動程序的問題StateManager。
    • 操作系統安全性更新。
  • 2023年6月23日
    • 操作系統安全性更新。
  • 2023年6月15日
    • Photonized approx_count_distinct。
    • Snowflake-jdbc 連結庫已升級至 3.13.29，以解決安全性問題。
    • [SPARK-43779]ParseToDate 現在會在主線程中載入 EvalMode 。
    • [SPARK-43156][SPARK-43098] 已關閉的 decorrelateInnerQuery 擴充純量子查詢計數錯誤測試。
    • 操作系統安全性更新。
  • 2023年6月2日
    • 模式中的 failOnUnknownFields JSON 剖析器會在模式中 DROPMALFORMED 卸除記錄，並在模式中 FAILFAST 直接失敗。
    • 使用 SHALLOW CLONE Iceberg 和 Parquet 改善累加式更新的效能。
    • 已修正自動載入器中不同來源檔格式在提供的架構未包含推斷的數據分割時不一致的問題。 讀取推斷數據分割架構中遺漏數據行的檔案時，此問題可能會導致非預期的失敗。
    • [SPARK-43404] 略過針對相同版本的 RocksDB 狀態存放區重複使用 sst 檔案，以避免標識碼不符錯誤。
    • [SPARK-43413][11.3-13.0] 已修正 IN 子查詢 ListQuery 可為 Null 性。
    • [SPARK-43522] 已修正使用陣列索引建立結構數據行名稱。
    • [SPARK-43541] 傳播解析表達式和遺漏數據行的所有 Project 標記。
    • [SPARK-43527]已修正 PySpark 中的 。catalog.listCatalogs
    • [SPARK-43123] 內部欄位元數據不會再外洩至目錄。
    • [SPARK-43340] 已修正事件記錄檔中遺漏的堆疊追蹤欄位。
    • [SPARK-42444]DataFrame.drop 現在正確處理重複的數據行。
    • [SPARK-42937]PlanSubqueries 現在會設定 InSubqueryExec#shouldBroadcast 為 true。
    • [SPARK-43286] 已更新 aes_encrypt CBC 模式以產生隨機 IV。
    • [SPARK-43378] 正確關閉 中的 deserializeFromChunkedBuffer數據流物件。
  • 2023年5月17日
    • 當透過動態調整批次大小來掃描異常結構化的檔案時，Parquet 掃描現在會針對 OOM 進行強固。 分析檔案元數據以先佔性較低的批次大小，並在工作重試時再次降低為最終安全網。
    • 如果 Avro 檔案只 failOnUnknownFields\ 使用 選項或架構演進模式中的 failOnNewColumns\ 自動載入器讀取，則會讀取具有不同數據類型的數據行，而不是擲回錯誤，指出無法讀取 null\ 檔案。 這些讀取現在會失敗，並建議使用者使用 rescuedDataColumn\ 選項。
    • 自動載入器現在會執行下列動作。
      • 如果提供其中一個數據類型，則正確讀取且不再救援 Integer、 Short和 Byte 類型，但 Avro 檔案建議其他兩種類型之一。
      • 防止將間隔類型讀取為日期或時間戳類型，以避免取得損毀的日期。
      • 防止具有較低精確度的讀取 Decimal 類型。
    • [SPARK-43172] 從 Spark 連線客戶端公開主機和令牌。
    • [SPARK-43293]__qualified_access_only 在一般資料列中會忽略 。
    • [SPARK-43098] 修正純量子查詢依 子句分組時的正確性 COUNT 錯誤。
    • [SPARK-43085] 支援多部分數據表名稱的數據行 DEFAULT 指派。
    • [SPARK-43190]ListQuery.childOutput 現在與次要輸出一致。
    • [SPARK-43192] 已移除使用者代理程式字元集驗證。
    • 操作系統安全性更新。
  • 2023年4月25日
    • 如果只使用 failOnUnknownFields 選項或架構演進模式中的 failOnNewColumns 自動載入器讀取 Parquet 檔案，則會讀取具有不同資料類型的數據行，而不是擲回錯誤，指出無法讀取 null 檔案。 這些讀取現在會失敗，並建議使用者使用 rescuedDataColumn 選項。
    • 如果提供下列其中一個數據類型，自動載入器現在會正確讀取，且不再救援 Integer、 Short和 Byte 類型。 Parquet 檔案建議其他兩種類型之一。 先前啟用已獲救的數據行時，數據類型不相符會導致數據行儲存，即使數據行可讀取也一樣。
    • [SPARK-43009]使用常數參數Any化sql()
    • [SPARK-42406] 卸除欄位以終止 Protobuf 遞歸欄位
    • [SPARK-43038] 支援 CBC 模式的依據 aes_encrypt()/aes_decrypt()
    • [SPARK-42971]如果背景工作處理WorkDirCleanup事件時為 Null，則變更為列印workdirappDirs
    • [SPARK-43018] 修正具有時間戳常值之 INSERT 命令的錯誤
    • 操作系統安全性更新。
  • 2023年4月11日
    • 在命令中 SYNC 支援舊版數據來源格式。
    • 修正存放庫外部筆記本中 %autoreload 行為的問題。
    • 已修正在巢狀 JSON 物件架構中偵測到新數據行時，自動載入器架構演進可能會進入無限失敗循環的問題。
    • [SPARK-42928] 進行 resolvePersistentFunction 同步處理。
    • [SPARK-42936] 修正子句可透過子匯總直接解析的 LCan 問題。
    • [SPARK-42967] 修正 SparkListenerTaskStart.stageAttemptId 取消階段之後的工作啟動時間。
    • 操作系統安全性更新。
  • 2023年3月29日

    • Databricks SQL 現在支援指定 Delta Lake 數據表數據行的預設值，不論是在數據表建立時間或之後。 後續 INSERT的 、 UPDATE、 DELETE和 MERGE 命令可以使用 explicit DEFAULT 關鍵詞來參考任何數據行的預設值。 此外，如果任何 INSERT 指派具有比目標數據表少之數據行的明確清單，則對應的數據行預設值會取代其餘數據行（如果沒有指定預設值則為NULL）。

      例如：

      CREATE TABLE t (first INT, second DATE DEFAULT CURRENT_DATE()) USING delta;
INSERT INTO t VALUES (0, DEFAULT);
INSERT INTO t VALUES (1, DEFAULT);
SELECT first, second FROM t;
\> 0, 2023-03-28
1, 2023-03-28z

    • 自動載入器現在會為數據流起始至少一個同步的 RocksDB 記錄清除 Trigger.AvailableNow ，以檢查檢查點是否可以定期清除快速執行的自動載入器數據流。 這可能會導致某些串流在關閉之前花費更長的時間，但它會節省您的記憶體成本，並改善未來執行的自動載入器體驗。

    • 您現在可以修改 Delta 資料表，以使用 DeltaTable.addFeatureSupport(feature_name)將支援新增至資料表功能。

    • [SPARK-42794] 將lockAcquireTimeoutMs增加到2分鐘，以取得結構串流中的RocksDB狀態存放區

    • [SPARK-42521] 為 INSERT 新增 NUL，其中包含比目標數據表少的使用者指定資料行清單

    • [SPARK-42702][SPARK-42623] 支援子查詢和 CTE 中的參數化查詢

    • [SPARK-42668] 嘗試關閉 HDFSStateStoreProvider 中的壓縮數據流時攔截例外狀況

    • [SPARK-42403] JsonProtocol 應該處理 Null JSON 字串

  • 2023年3月8日
    • 錯誤訊息「無法初始化組態」已改善，以提供更多內容給客戶。
    • 使用 table 屬性將功能新增至 Delta 數據表有術語變更。 慣用的語法現在 'delta.feature.featureName'='supported' 不是 'delta.feature.featureName'='enabled'。 為了保持回溯相容性，使用 'delta.feature.featureName'='enabled' 仍可運作，而且會繼續運作。
    • 從這個版本開始，可以將數據表建立/取代為其他數據表屬性 delta.ignoreProtocolDefaults ，以忽略通訊協定相關的Spark組態，其中包括默認支援的讀取器和寫入器版本和數據表功能。
    • [SPARK-42070] 將Mask函式自變數的預設值從 -1 變更為NULL
    • [SPARK-41793] 有效小數上範圍子句所定義的視窗框架結果不正確
    • [SPARK-42484] UnsafeRowUtils 更好的錯誤訊息
    • [SPARK-42516] 建立檢視時一律擷取會話時區設定
    • [SPARK-42635] 修正 TimestampAdd 表達式。
    • [SPARK-42622] 已關閉值的替代
    • [SPARK-42534] 修正 DB2Dialect Limit 子句
    • [SPARK-42121] 新增內建數據表值函式 posexplode、posexplode_outer、json_tuple和堆疊
    • [SPARK-42045] ANSI SQL 模式：Round/Bround 應該在 tiny/small/significant integer overflow 上傳回錯誤
    • 操作系統安全性更新。

Databricks Runtime 11.3 LTS

請參閱 Databricks Runtime 11.3 LTS。

  • 2023年11月29日
    • 修正了源自 JDBC 或 ODBC 用戶端之作業中 getColumns 逸出底線錯誤解譯為通配符的問題。
    • [SPARK-43973] 結構化串流 UI 現在會顯示失敗的查詢。
    • [SPARK-45730] 改善的時間 ReloadingX509TrustManagerSuite條件約束。
    • [SPARK-45544] 整合式 SSL 支援至 TransportContext。
    • [SPARK-45859] 在延遲中 ml.functions 建立UDF物件。
    • [SPARK-43718] 已修正聯結中索引鍵的 USING Null 性。
    • [SPARK-44846] 拿掉 之後 RemoveRedundantAggregates的複雜群組表達式。
    • 操作系統安全性更新。
  • 2023年11月14日
    • Delta Lake 串流查詢上的分割區篩選會在速率限制之前下推，以達到更佳的使用率。
    • [SPARK-42205] 已移除階段和工作啟動事件中的記錄可存取。
    • [SPARK-45545]SparkTransportConfSSLOptions會在建立時繼承。
    • 還原 [SPARK-33861]。。
    • [SPARK-45541]新增 。 SSLFactory
    • [SPARK-45429] 已新增 SSL RPC 通訊的協助程式類別。
    • [SPARK-45584] 已修正使用 TakeOrderedAndProjectExec的子查詢執行失敗。
    • [SPARK-45430]FramelessOffsetWindowFunction和offset > rowCount時IGNORE NULLS不再失敗。
    • [SPARK-45427] 已將 RPC SSL 設定新增至 SSLOptions 和 SparkTransportConf。
    • 操作系統安全性更新。
  • 2023年10月24日
    • [SPARK-45426] 已新增 對 ReloadingX509TrustManager的支援。
    • 其他修正。
  • 2023年10月13日
    • Snowflake-jdbc 相依性從 3.13.29 升級至 3.13.33。
    • [SPARK-45178] 使用不支援的來源執行單一批次 Trigger.AvailableNow ，而不是使用包裝函式。
    • [SPARK-45084]StateOperatorProgress 表示使用正確且適當的隨機分割區編號。
    • [SPARK-45346] Parquet 架構推斷現在會遵守合併架構時區分大小寫的旗標。
    • 操作系統安全性更新。
  • 2023年9月10日
    • 其他修正。
  • 2023 年 8 月 30 日
    • [SPARK-44818] 已修正在初始化之前 taskThread 發出之擱置中工作中斷的競爭。
    • [SPARK-44871][11.3-13.0] 已修正 percentile_disc 行為。
    • 操作系統安全性更新。
  • 2023 年 8 月 15 日
    • [SPARK-44485]優化 。TreeNode.generateTreeString
    • [SPARK-44504] 維護工作會在停止錯誤時清除已載入的提供者。
    • [SPARK-44464] 已修正 applyInPandasWithStatePythonRunner 為輸出具有 Null 作為第一個數據行值的數據列。
    • 操作系統安全性更新。
  • 2023年7月27日
    • 已修正針對與其他外部或受控儲存位置發生衝突的儲存位置路徑呼叫時傳回INVALID_PARAMETER_VALUE.LOCATION_OVERLAP的問題dbutils.fs.ls()。
    • [SPARK-44199]CacheManager 不再不必要地重新整理 fileIndex 。
    • 操作系統安全性更新。
  • 2023年7月24日
    • [SPARK-44136] 已修正 StateManager 可以在執行程式中具體化，而不是在 FlatMapGroupsWithStateExec 中取得驅動程序的問題。
    • 操作系統安全性更新。
  • 2023年6月23日
    • 操作系統安全性更新。
  • 2023年6月15日
    • Photonized approx_count_distinct。
    • Snowflake-jdbc 連結庫已升級至 3.13.29，以解決安全性問題。
    • [SPARK-43779]ParseToDate 現在會在主線程中載入 EvalMode 。
    • [SPARK-40862] 支援 RewriteCorrelatedScalarSubquery 中的非匯總子查詢
    • [SPARK-43156][SPARK-43098] 已關閉的 decorrelateInnerQuery 擴充純量子查詢計數 Bug 測試。
    • [SPARK-43098] 修正純量子查詢具有群組 by 子句時的正確性 COUNT Bug
    • 操作系統安全性更新。
  • 2023年6月2日
    • 模式中的 failOnUnknownFields JSON 剖析器會在模式中 DROPMALFORMED 卸除記錄，並在模式中 FAILFAST 直接失敗。
    • 使用 SHALLOW CLONE Iceberg 和 Parquet 改善累加式更新的效能。
    • 已修正自動載入器中不同來源檔格式在提供的架構未包含推斷的數據分割時不一致的問題。 讀取推斷數據分割架構中遺漏數據行的檔案時，此問題可能會導致非預期的失敗。
    • [SPARK-43404]略過針對相同版本的 RocksDB 狀態存放區重複使用 sst 檔案，以避免標識碼不符錯誤。
    • [SPARK-43527]已修正 PySpark 中的 。catalog.listCatalogs
    • [SPARK-43413][11.3-13.0] 已修正 IN 子查詢 ListQuery 可為 Null 性。
    • [SPARK-43340] 已修正事件記錄檔中遺漏的堆疊追蹤欄位。

Databricks Runtime 10.4 LTS

請參閱 Databricks Runtime 10.4 LTS。

  • 2023年11月29日
    • [SPARK-45544] 整合式 SSL 支援至 TransportContext。
    • [SPARK-45859] 在延遲中 ml.functions 建立UDF物件。
    • [SPARK-43718] 已修正聯結中索引鍵的 USING Null 性。
    • [SPARK-45730] 改善的時間 ReloadingX509TrustManagerSuite條件約束。
    • [SPARK-42205] 已移除階段和工作啟動事件中的記錄可存取。
    • [SPARK-44846] 拿掉 之後 RemoveRedundantAggregates的複雜群組表達式。
    • 操作系統安全性更新。
  • 2023年11月14日
  • 2023年10月24日
    • [SPARK-45426] 已新增 對 ReloadingX509TrustManager的支援。
    • 操作系統安全性更新。
  • 2023年10月13日
    • [SPARK-45084]StateOperatorProgress 表示使用正確且適當的隨機分割區編號。
    • [SPARK-45178] 使用不支援的來源執行單一批次 Trigger.AvailableNow ，而不是使用包裝函式。
    • 操作系統安全性更新。
  • 2023年9月10日
    • 其他修正。
  • 2023 年 8 月 30 日
    • [SPARK-44818] 已修正在初始化之前 taskThread 發出之擱置中工作中斷的競爭。
    • 操作系統安全性更新。
  • 2023 年 8 月 15 日
    • [SPARK-44504] 維護工作會在停止錯誤時清除已載入的提供者。
    • [SPARK-43973] 結構化串流 UI 現在會顯示失敗的查詢。
    • 操作系統安全性更新。
  • 2023年6月23日
    • 操作系統安全性更新。
  • 2023年6月15日
    • Snowflake-jdbc 連結庫已升級至 3.13.29，以解決安全性問題。
    • [SPARK-43098] 修正純量子查詢具有群組 by 子句時的正確性 COUNT Bug
    • [SPARK-40862] 支援 RewriteCorrelatedScalarSubquery 中的非匯總子查詢
    • [SPARK-43156][SPARK-43098] 已關閉的 decorrelateInnerQuery 擴充純量子查詢計數測試。
    • 操作系統安全性更新。
  • 2023年6月2日
    • 模式中的 failOnUnknownFields JSON 剖析器會在模式中 DROPMALFORMED 卸除記錄，並在模式中 FAILFAST 直接失敗。
    • 已修正 JSON 獲救資料剖析中的問題，以防止 UnknownFieldException。
    • 已修正自動載入器中不同來源檔格式在提供的架構未包含推斷的數據分割時不一致的問題。 讀取推斷數據分割架構中遺漏數據行的檔案時，此問題可能會導致非預期的失敗。
    • [SPARK-43404] 略過針對相同版本的 RocksDB 狀態存放區重複使用 sst 檔案，以避免標識碼不符錯誤。
    • [SPARK-43413] 已修正 IN 子查詢 ListQuery 可為 Null 性。
    • 操作系統安全性更新。
  • 2023年5月17日
    • 當透過動態調整批次大小來掃描異常結構化的檔案時，Parquet 掃描現在會針對 OOM 進行強固。 分析檔案元數據以先佔性較低的批次大小，並在工作重試時再次降低為最終安全網。
    • [SPARK-41520] 分割 AND_OR 樹狀結構模式以分隔 AND 和 OR。
    • [SPARK-43190]ListQuery.childOutput 現在與次要輸出一致。
    • 操作系統安全性更新。
  • 2023年4月25日
    • [SPARK-42928] 進行 resolvePersistentFunction 同步處理。
    • 操作系統安全性更新。
  • 2023年4月11日
    • 已修正在巢狀 JSON 物件架構中偵測到新數據行時，自動載入器架構演進可能會進入無限失敗循環的問題。
    • [SPARK-42937]PlanSubqueries 現在會設定 InSubqueryExec#shouldBroadcast 為 true。
    • [SPARK-42967] 修正 SparkListenerTaskStart.stageAttemptId 當工作在取消階段之後啟動時。
  • 2023年3月29日
    • [SPARK-42668] 嘗試關閉 HDFSStateStoreProvider 中的壓縮數據流時攔截例外狀況
    • [SPARK-42635] 修正 ...
    • 操作系統安全性更新。
  • 2023年3月14日
    • [SPARK-41162] 使用匯總修正自我聯結的反聯結和半聯結
    • [SPARK-33206] 修正小型索引檔案的隨機索引快取權數計算
    • [SPARK-42484]UnsafeRowUtils已改善錯誤訊息
    • 其他修正。
  • 2023年2月28日
    • 支援 yyyy-MM-dd date_format所產生的數據行。 這項變更支援yyyy-MM-dd的數據分割剪除，做為所產生數據行中的date_format。
    • 用戶現在可以使用 Databricks Runtime 9.1 LTS 或更新版本，讀取和寫入需要讀取器第 3 版和寫入器第 7 版的特定差異數據表。 若要成功，數據表通訊協定中列出的數據表功能必須由目前版本的 Databricks Runtime 支援。
    • 支援 yyyy-MM-dd date_format所產生的數據行。 這項變更支援yyyy-MM-dd的數據分割剪除，做為所產生數據行中的date_format。
    • 操作系統安全性更新。
  • 2023年2月16日
    • [SPARK-30220] 使用 Filter 節點外部的 Exists/In 子查詢來啟用
    • 操作系統安全性更新。
  • 2023年1月31日
    • JDBC 數據表的數據表類型現在預設為 EXTERNAL。
  • 2023年1月18日
    • 當數據行名稱包含無效字元，例如空格符或分號時，Azure Synapse 連接器會傳回更具描述性的錯誤訊息。 在這種情況下，將會傳回下列訊息： Azure Synapse Analytics failed to run the JDBC query produced by the connector. Check column names do not include not valid characters such as ';' or white space。
    • [SPARK-38277] 在 RocksDB 狀態存放區認可之後清除寫入批次
    • [SPARK-41199] 修正 DSv1 串流來源和 DSv2 串流來源共同使用時的計量問題
    • [SPARK-41198] 修正串流查詢中具有 CTE 和 DSv1 串流來源的計量
    • [SPARK-41339] 關閉並重新建立 RocksDB 寫入批次，而不只是清除
    • [SPARK-41732] 為規則 SessionWindowing 套用樹狀模式型剪除
    • 操作系統安全性更新。
  • 2022年11月29日
    • 使用者可以使用 Redshift 連接器來撰寫數據時，設定前置和尾端空格符的行為。 已新增下列選項來控制空格符處理：
      • csvignoreleadingwhitespace當 設定為 時，會在 設定CSV為 true或 CSV GZIP時tempformat，從值中移除前置空格符。 當組態設定為 false時，會保留空格符。 根據預設，此值是 true。
      • csvignoretrailingwhitespace當 設定為 時，會在 設定CSV為 true或 CSV GZIP時tempformat，從值中移除尾端空格符。 當組態設定為 false時，會保留空格符。 根據預設，此值是 true。
    • 已修正當所有數據行都保留為字串（cloudFiles.inferColumnTypes 未設定或設定為 false）和 JSON 包含巢狀物件時，自動載入器中的 JSON 剖析問題。
    • 操作系統安全性更新。
  • 2022 年 11 月 15 日
    • 已將 Apache commons-text 升級至 1.10.0。
    • [SPARK-40646] 結構、對應和數位的 JSON 剖析已修正，因此當記錄的一部分不符合架構時，仍然可以正確剖析其餘的記錄，而不是傳回 Null。 若要加入改善的行為，請將 設定 spark.sql.json.enablePartialResults 為 true。 旗標預設為關閉，以保留原始行為。
    • [SPARK-40292] 修正從巢狀結構參考數位時函式中的數據 arrays_zip 行名稱
    • 操作系統安全性更新。
  • 2022年11月1日
    • 修正了如果 Delta 數據表具有名為 _change_type的使用者定義數據行，但 變更數據摘要 已關閉該數據表的問題，該數據行中的數據在執行 時 MERGE，會錯誤地填入 NULL 值。
    • 已修正啟用時 allowOverwrites ，自動載入器中檔案可以在相同的微批次中複製的問題
    • [SPARK-40697] 新增讀取端字元填補以涵蓋外部數據檔
    • [SPARK-40596] 在 ExecutorDecommissionInfo 中填入 ExecutorDecommissionInfo 中的訊息
    • 操作系統安全性更新。
  • 2022年10月18日
    • 操作系統安全性更新。
  • 2022 年 10 月 5 日
    • [SPARK-40468] 在選取 CSV 時 _corrupt_record 修正數據行剪除。
    • 操作系統安全性更新。
  • 2022 年 9 月 22 日
    • 用戶可以設定 spark.conf.set（spark.databricks.io.listKeysWithPrefix.azure.enabled， true） 以在 ADLS Gen2 上重新啟用自動載入器內建清單。 內建清單先前因效能問題而關閉，但可能導致客戶的記憶體成本增加。
    • [SPARK-40315] 為 ArrayBasedMapData 常值新增 hashCode（）
    • [SPARK-40213] 支援 Latin-1 字元的 ASCII 值轉換
    • [SPARK-40380] 修正 InvokeLike 的常數折疊，以避免內嵌在方案中的非串行化常值
    • [SPARK-38404] 改善巢狀 CTE 參考外部 CTE 時的 CTE 解析
    • [SPARK-40089] 修正某些十進位類型的排序
    • [SPARK-39887] RemoveRedundantAliases 應保留讓投影節點輸出是唯一的別名
  • 2022 年 9 月 6 日
    • [SPARK-40235] 使用中斷鎖定，而不是在 Executor.updateDependencies 中同步處理
    • [SPARK-40218] GROUPING SETS 應該保留群組數據行
    • [SPARK-39976] ArrayIntersect 應該正確處理左運算式中的 Null
    • [SPARK-40053] 新增 assume 至需要 Python 運行時間環境的動態取消案例
    • [SPARK-35542] 修正：為多個具有參數 splitsArray、inputCols 和 outputCols 的數據行建立貯體化程式，在儲存它之後無法載入
    • [SPARK-40079] 新增空白輸入案例的 Imputer inputCols 驗證
  • 2022 年 8 月 24 日
    • [SPARK-39983] 請勿在驅動程式上快取未串行化的廣播關係
    • [SPARK-39775] 剖析 Avro 架構時停用驗證預設值
    • [SPARK-39962] 當群組屬性是空的時套用投影
    • [SPARK-37643] 當 charVarcharAsString 為 true 時，char 數據類型述詞查詢應該略過 rpadding 規則
    • 操作系統安全性更新。
  • 2022 年 8 月 9 日
    • [SPARK-39847] 如果呼叫端線程中斷，請修正 RocksDBLoader.loadLibrary（） 中的競爭狀況
    • [SPARK-39731] 使用 CORRECTED 時間剖析器原則剖析 「yyyyMMdd」 格式的日期時，修正 CSV 和 JSON 數據源的問題
    • 操作系統安全性更新。
  • 2022年7月27日
    • [SPARK-39625] 新增 Dataset.as（結構類型）
    • [SPARK-39689]在 CSV 資料源中支援 2 個字元lineSep
    • [SPARK-39104] InMemoryRelation#isCachedColumnBuffersLoaded 應該是安全線程
    • [SPARK-39570] 內嵌數據表應該允許具有別名的表達式
    • [SPARK-39702] 使用共用 byteRawChannel 減少 TransportCipher$EncryptedMessage 的記憶體額外負荷
    • [SPARK-39575] 在 AvroDeserializer 中新增 ByteBuffer#rewind after ByteBuffer#get
    • [SPARK-39476] 從 Long 轉換為 Float/Double 或從整數轉換成 Float 時，停用解除包裝轉換優化
    • [SPARK-38868] 優化外部聯結時，請勿從篩選述詞傳播例外狀況
    • 操作系統安全性更新。
  • 2022年7月20日
    • 當來源不具決定性時，讓 Delta MERGE 作業結果保持一致。
    • [SPARK-39355] 單一數據行使用引號來建構 UnresolvedAttribute
    • [SPARK-39548] 使用 window 子句查詢的 CreateView 命令按下錯誤視窗定義找不到問題
    • [SPARK-39419] 修正 ArraySort 以在比較子傳回 Null 時擲回例外狀況
    • 已關閉自動載入器針對 Azure 上的目錄清單使用內建雲端 API。
    • 操作系統安全性更新。
  • 2022年7月5日
    • [SPARK-39376] 從 NATURAL/USING JOIN 隱藏子查詢別名星形展開中的重複數據行
    • 操作系統安全性更新。
  • 2022年6月15日
    • [SPARK-39283] 修正TaskMemoryManager與UnsafeExternalSorter.SpillableIterator之間的死結
    • [SPARK-39285] 讀取檔案時，Spark 不應該檢查功能變數名稱
    • [SPARK-34096] 改善nth_value忽略位移視窗上 Null 的效能
    • [SPARK-36718]isExtractOnly修正 CollapseProject 中的檢查
  • 2022年6月2日
    • [SPARK-39093] 避免將年月間隔或日時間間隔除以整數時發生codegen編譯錯誤
    • [SPARK-38990] 在評估date_trunc/截斷格式做為系結參考時，請避免 NullPointerException
    • 操作系統安全性更新。
  • 2022年5月18日
    • 修正自動載入器中潛在的內建記憶體流失。
    • [SPARK-38918] 巢狀數據行剪除應該篩選出不屬於目前關聯的屬性
    • [SPARK-37593] 如果使用 G1GC 和 ON_HEAP，請減少預設頁面大小LONG_ARRAY_OFFSET
    • [SPARK-39084] 修正 df.rdd.isEmpty（） 使用 TaskContext 停止工作完成的反覆運算器
    • [SPARK-32268] 在 injectBloomFilter 中新增 ColumnPruning
    • [SPARK-38974] 在清單函式中篩選具有指定資料庫名稱的已註冊函式
    • [SPARK-38931] 為 RocksDBFileManager 建立根 dfs 目錄，並在第 1 個檢查點上具有未知數目的索引鍵
    • 操作系統安全性更新。
  • 2022年4月19日
    • 已將 Java AWS SDK 從 1.11.655 版升級為 1.12.1899。
    • 已修正筆記本範圍連結庫無法在批次串流作業中運作的問題。
    • [SPARK-38616] 追蹤 Catalyst TreeNode 中的 SQL 查詢文字
    • 操作系統安全性更新。
  • 2022年4月6日
    • 此版本現在提供下列 Spark SQL 函式：
      • timestampadd() 和 dateadd()：將指定單位中的時間持續時間新增至時間戳運算式。
      • timestampdiff() 和 datediff()：計算指定單位中兩個時間戳表達式之間的時間差異。
    • Parquet-MR 已升級至 1.12.2
    • 已改善 parquet 檔案中完整架構的支援
    • [SPARK-38631] 使用 Java 實作在 Utils.unpack 解除 tarring
    • [SPARK-38509][SPARK-38481] 櫻桃挑選三 timestmapadd/diff 個變化。
    • [SPARK-38523] 修正從 CSV 參考損毀的記錄數據行
    • [SPARK-38237] 允許 ClusteredDistribution 要求完整叢集金鑰
    • [SPARK-38437] 數據源中 datetime 的 Lenient 串行化
    • [SPARK-38180] 允許相互關聯的相等述詞中的安全向上轉換表達式
    • [SPARK-38155] 不允許具有不支援述詞之橫向子查詢中的相異匯總
    • 操作系統安全性更新。

Databricks Runtime 9.1 LTS

請參閱 Databricks Runtime 9.1 LTS。

  • 2023年11月29日
    • [SPARK-45859] 在延遲中 ml.functions 建立UDF物件。
    • [SPARK-45544] 整合式 SSL 支援至 TransportContext。
    • [SPARK-45730] 改善的時間 ReloadingX509TrustManagerSuite條件約束。
    • 操作系統安全性更新。
  • 2023年11月14日
    • [SPARK-45545]SparkTransportConfSSLOptions會在建立時繼承。
    • [SPARK-45429] 已新增 SSL RPC 通訊的協助程式類別。
    • [SPARK-45427] 已將 RPC SSL 設定新增至 SSLOptions 和 SparkTransportConf。
    • [SPARK-45584] 已修正使用 TakeOrderedAndProjectExec的子查詢執行失敗。
    • [SPARK-45541]新增 。 SSLFactory
    • [SPARK-42205] 已移除階段和工作啟動事件中的記錄可存取。
    • 操作系統安全性更新。
  • 2023年10月24日
    • [SPARK-45426] 已新增 對 ReloadingX509TrustManager的支援。
    • 操作系統安全性更新。
  • 2023年10月13日
    • 操作系統安全性更新。
  • 2023年9月10日
    • 其他修正。
  • 2023 年 8 月 30 日
    • 操作系統安全性更新。
  • 2023 年 8 月 15 日
    • 操作系統安全性更新。
  • 2023年6月23日
    • Snowflake-jdbc 連結庫已升級至 3.13.29，以解決安全性問題。
    • 操作系統安全性更新。
  • 2023年6月15日
    • [SPARK-43098] 修正純量子查詢具有群組 by 子句時的正確性 COUNT Bug
    • [SPARK-43156][SPARK-43098] 使用關閉來 decorrelateInnerQuery 擴充純量子查詢計數 Bug 測試。
    • [SPARK-40862] 支援 RewriteCorrelatedScalarSubquery 中的非匯總子查詢
    • 操作系統安全性更新。
  • 2023年6月2日
    • 模式中的 failOnUnknownFields JSON 剖析器會在模式中 DROPMALFORMED 卸除記錄，並在模式中 FAILFAST 直接失敗。
    • 已修正 JSON 獲救資料剖析中的問題，以防止 UnknownFieldException。
    • 已修正自動載入器中不同來源檔格式在提供的架構未包含推斷的數據分割時不一致的問題。 讀取推斷數據分割架構中遺漏數據行的檔案時，此問題可能會導致非預期的失敗。
    • [SPARK-37520]startswith()新增和 endswith() 字串函式
    • [SPARK-43413] 已修正 IN 子查詢 ListQuery 可為 Null 性。
    • 操作系統安全性更新。
  • 2023年5月17日
    • 操作系統安全性更新。
  • 2023年4月25日
    • 操作系統安全性更新。
  • 2023年4月11日
    • 已修正在巢狀 JSON 物件架構中偵測到新數據行時，自動載入器架構演進可能會進入無限失敗循環的問題。
    • [SPARK-42967] 修正 SparkListenerTaskStart.stageAttemptId 當工作在取消階段之後啟動時。
  • 2023年3月29日
    • 操作系統安全性更新。
  • 2023年3月14日
    • [SPARK-42484] 改善的錯誤 UnsafeRowUtils訊息。
    • 其他修正。
  • 2023年2月28日
    • 用戶現在可以使用 Databricks Runtime 9.1 LTS 或更新版本，讀取和寫入需要讀取器第 3 版和寫入器第 7 版的特定差異數據表。 若要成功，數據表通訊協定中列出的數據表功能必須由目前版本的 Databricks Runtime 支援。
    • 操作系統安全性更新。
  • 2023年2月16日
    • 操作系統安全性更新。
  • 2023年1月31日
    • JDBC 數據表的數據表類型現在預設為 EXTERNAL。
  • 2023年1月18日
    • 操作系統安全性更新。
  • 2022年11月29日
    • 已修正當所有數據行都保留為字串（cloudFiles.inferColumnTypes 未設定或設定為 false）和 JSON 包含巢狀物件時，自動載入器中的 JSON 剖析問題。
    • 操作系統安全性更新。
  • 2022 年 11 月 15 日
    • 已將 Apache commons-text 升級至 1.10.0。
    • 操作系統安全性更新。
    • 其他修正。
  • 2022年11月1日
    • 修正了如果 Delta 數據表具有名為 _change_type的使用者定義數據行，但 變更數據摘要 已關閉該數據表的問題，該數據行中的數據在執行 時 MERGE，會錯誤地填入 NULL 值。
    • 已修正啟用時 allowOverwrites ，自動載入器中檔案可以在相同的微批次中複製的問題
    • [SPARK-40596] 在 ExecutorDecommissionInfo 中填入 ExecutorDecommissionInfo 中的訊息
    • 操作系統安全性更新。
  • 2022年10月18日
    • 操作系統安全性更新。
  • 2022 年 10 月 5 日
    • 其他修正。
    • 操作系統安全性更新。
  • 2022 年 9 月 22 日
    • 用戶可以設定 spark.conf.set（“spark.databricks.io.listKeysWithPrefix.azure.enabled”， “true”） 以重新啟用 ADLS Gen2 上的自動載入器內建清單。 內建清單先前因效能問題而關閉，但可能導致客戶的記憶體成本增加。
    • [SPARK-40315] 為 ArrayBasedMapData 常值新增 hashCode（）
    • [SPARK-40089] 修正某些十進位類型的排序
    • [SPARK-39887] RemoveRedundantAliases 應保留讓投影節點輸出是唯一的別名
  • 2022 年 9 月 6 日
    • [SPARK-40235] 使用中斷鎖定，而不是在 Executor.updateDependencies 中同步處理
    • [SPARK-35542] 修正：為多個具有參數 splitsArray、inputCols 和 outputCols 的數據行建立貯體化程式，在儲存它之後無法載入
    • [SPARK-40079] 新增空白輸入案例的 Imputer inputCols 驗證
  • 2022 年 8 月 24 日
    • [SPARK-39666]在 ExpressionEncoder 中使用 UnsafeProjection.create spark.sql.codegen.factoryMode
    • [SPARK-39962] 當群組屬性是空的時套用投影
    • 操作系統安全性更新。
  • 2022 年 8 月 9 日
    • 操作系統安全性更新。
  • 2022年7月27日
    • 當來源不具決定性時，讓 Delta MERGE 作業結果保持一致。
    • [SPARK-39689]支援 CSV 數據源中的 2 個字元lineSep
    • [SPARK-39575]在中AvroDeserializer新增ByteBuffer#rewind之後ByteBuffer#get。
    • [SPARK-37392] 已修正催化劑優化工具的效能錯誤。
    • 操作系統安全性更新。
  • 2022年7月13日
    • [SPARK-39419]ArraySort 當比較子傳回 Null 時，會擲回例外狀況。
    • 已關閉自動載入器針對 Azure 上的目錄清單使用內建雲端 API。
    • 操作系統安全性更新。
  • 2022年7月5日
    • 操作系統安全性更新。
    • 其他修正。
  • 2022年6月15日
    • [SPARK-39283]修正和UnsafeExternalSorter.SpillableIterator之間的TaskMemoryManager死結。
  • 2022年6月2日
    • [SPARK-34554] 在中實作 copy()ColumnarMap方法。
    • 操作系統安全性更新。
  • 2022年5月18日
    • 已修正自動載入器中潛在的內建記憶體流失。
    • 將 AWS SDK 版本從 1.11.655 升級至 1.11.678。
    • [SPARK-38918] 巢狀數據行剪除應該篩選出不屬於目前關聯的屬性
    • [SPARK-39084]使用 TaskContext 在工作完成時停止反覆運算器來修正df.rdd.isEmpty()
    • 操作系統安全性更新。
  • 2022年4月19日
    • 操作系統安全性更新。
    • 其他修正。
  • 2022年4月6日
    • [SPARK-38631] 使用 Java 實作在 Utils.unpack 解除 tarring
    • 操作系統安全性更新。
  • 2022年3月22日
    • 已變更高並行叢集上筆記本的目前工作目錄，並啟用數據表訪問控制或認證傳遞至使用者的主目錄。 先前，Active Directory 是 /databricks/driver。
    • [SPARK-38437] 數據源中 datetime 的 Lenient 串行化
    • [SPARK-38180] 允許相互關聯的相等述詞中的安全向上轉換表達式
    • [SPARK-38155] 不允許具有不支援述詞之橫向子查詢中的相異匯總
    • [SPARK-27442] 在 parquet 中讀取或寫入數據時，已移除複選字段。
  • 2022 年 3 月 14 日
    • [SPARK-38236] 建立/改變數據表中指定的絕對檔案路徑會被視為相對
    • [SPARK-34069] 如果local屬性 SPARK_JOB_INTERRUPT_ON_CANCEL 設定為 true，則中斷工作線程。
  • 2022年2月23日
    • [SPARK-37859] 使用 Spark 3.1 使用 JDBC 建立的 SQL 資料表無法使用 Spark 3.2 讀取。
  • 2022 年 2 月 8 日
    • [SPARK-27442] 在 parquet 中讀取或寫入數據時，已移除複選字段。
    • 操作系統安全性更新。
  • 2022年2月1日
    • 操作系統安全性更新。
  • 2022年1月26日
    • 已修正在特定罕見情況下，Delta 數據表上的並行交易可以以不可串行化的順序認可的問題。
    • 已修正當 ANSI SQL 方言啟用時，命令可能會失敗的問題 OPTIMIZE 。
  • 2022年1月19日
    • 次要修正和安全性增強功能。
    • 操作系統安全性更新。
  • 2021年11月4日
    • 已修正可能導致結構化串流失敗的問題 ArrayIndexOutOfBoundsException。
    • 已修正可能會造成 IOException 之類的 java.io.IOException: No FileSystem for scheme 查詢失敗的競爭條件，或可能會導致修改 sparkContext.hadoopConfiguration 在查詢中不生效。
    • Delta Sharing 的 Apache Spark 連線 or 已升級至 0.2.0。
  • 2021年10月20日
    • 已將 BigQuery 連接器從 0.18.1 升級至 0.22.2。 這會新增 BigNumeric 類型的支援。

Databricks Runtime 13.0 （不支援）

請參閱 Databricks Runtime 13.0 （不支援）。

  • 2023 年 10 月 13 日

    • Snowflake-jdbc 相依性從 3.13.29 升級至 3.13.33。
    • [SPARK-42553][SQL]請確定間隔後至少一個時間單位。
    • [SPARK-45178] 使用不支援的來源執行單一批次 Trigger.AvailableNow ，而不是使用包裝函式。
    • [SPARK-44658][CORE] ShuffleStatus.getMapStatus 會傳 None 回 而不是 Some(null)。
    • [SPARK-42205][CORE]拿掉 中工作/階段啟動事件 JsonProtocol中可累積的記錄。
    • 操作系統安全性更新。

  • 2023 年 9 月 12 日

    • [SPARK-44485][SQL]優化 TreeNode.generateTreeString。
    • [SPARK-44718][SQL]比對 ColumnVector 記憶體模式組態預設值為 OffHeapMemoryMode config 值。
    • 其他錯誤修正。

  • 2023 年 8 月 30 日

  • 2023 年 8 月 15 日

    • [SPARK-44643][SQL][PYTHON]修正 Row.__repr__ 當數據列是空的。
    • [SPARK-44504][Backport]維護工作會在停止錯誤時清除已載入的提供者。
    • [SPARK-44479][CONNECT][PYTHON]已修正 protobuf 從空白結構類型轉換。
    • [SPARK-44464][SS]已修正 applyInPandasWithStatePythonRunner 為輸出具有 Null 第一個數據行值的數據列。
    • 其他錯誤修正。

  • 2023年7月29日

    • 已修正針對與其他外部或受控儲存位置發生衝突的儲存位置路徑呼叫時所傳回INVALID_PARAMETER_VALUE.LOCATION_OVERLAP的錯誤dbutils.fs.ls()。
    • [SPARK-44199]CacheManager 不再不必要地重新整理 fileIndex 。
    • 操作系統安全性更新。

  • 2023 年 7 月 24 日

    • [SPARK-44337][PROTOBUF]已修正將任何欄位設定為 Any.getDefaultInstance 導致剖析錯誤的問題。
    • [SPARK-44136][SS]已修正在 執行程式中取得具體化，而不是 中的FlatMapGroupsWithStateExec驅動程序的問題StateManager。
    • 還原 [SPARK-42323][SQL] 將名稱指派給 _LEGACY_ERROR_TEMP_2332。
    • 操作系統安全性更新。

  • 2023 年 6 月 23 日

    • 操作系統安全性更新。

  • 2023年6月15日

    • Photonized approx_count_distinct。
    • Snowflake-jdbc 連結庫已升級至 3.13.29，以解決安全性問題。
    • [SPARK-43156][SPARK-43098][SQL]停用 decorrelateInnerQuery 來擴充純量子查詢計數 Bug 測試
    • [SPARK-43779][SQL] ParseToDate 現在會在主線程中載入 EvalMode 。
    • [SPARK-42937][SQL] PlanSubqueries 應設定 InSubqueryExec#shouldBroadcast 為 true
    • 操作系統安全性更新。

  • 2023年6月2日

    • 模式中的 failOnUnknownFields JSON 剖析器會在模式中 DROPMALFORMED 卸除記錄，並在模式中 FAILFAST 直接失敗。
    • 使用 SHALLOW CLONE Iceberg 和 Parquet 改善累加式更新的效能。
    • 已修正自動載入器中不同來源檔格式在提供的架構未包含推斷的數據分割時不一致的問題。 讀取推斷數據分割架構中遺漏數據行的檔案時，此問題可能會導致非預期的失敗。
    • [SPARK-43404][Backport]略過針對相同版本的 RocksDB 狀態存放區重複使用 sst 檔案，以避免標識碼不符錯誤。
    • [SPARK-43340][CORE]已修正事件記錄檔中遺漏的堆疊追蹤欄位。
    • [SPARK-43300][CORE] NonFateSharingCache Guava Cache 的包裝函式。
    • [SPARK-43378][CORE]正確關閉 中的 deserializeFromChunkedBuffer數據流物件。
    • [SPARK-16484][SQL]使用8位緩存器來代表DataSketches。
    • [SPARK-43522][SQL]已修正使用陣列索引建立結構數據行名稱。
    • [SPARK-43413][11.3-13.0][SQL]已修正 IN 子查詢 ListQuery 可為 Null 性。
    • [SPARK-43043][CORE]改善 MapOutputTracker.updateMapOutput 效能。
    • [SPARK-16484][SQL]已新增 DataSketches HllSketch 的支援。
    • [SPARK-43123][SQL]內部欄位元數據不會再外洩至目錄。
    • [SPARK-42851][SQL]使用supportedExpression()保護 EquivalentExpressions.addExpr() 。
    • [SPARK-43336][SQL]和之間的TimestampTimestampNTZ轉換需要時區。
    • [SPARK-43286][SQL]已更新 aes_encrypt CBC 模式以產生隨機 IV。
    • [SPARK-42852][SQL] NamedLambdaVariable 已從 EquivalentExpressions還原相關的變更。
    • [SPARK-43541][SQL]傳播解析表達式和遺漏數據行的所有 Project 標記。
    • [SPARK-43527][PYTHON]已修正 PySpark 中的 。catalog.listCatalogs
    • 操作系統安全性更新。

  • 2023年5月31日

    • 針對在 Unity 目錄中註冊之 Delta 數據表的預設優化寫入支援已展開，以包含 CTAS 數據分割數據表的語句和 INSERT 作業。 此行為與 SQL 倉儲上的預設值一致。 請參閱 Azure Databricks 上 Delta Lake 的優化寫入。

  • 2023年5月17日

    • 修正回歸，其中 _metadata.file_path 和 _metadata.file_name 會傳回格式不正確的字串。 例如，現在會以空白表示路徑， s3://test-bucket/some%20directory/some%20data.csv 而不是 s3://test-bucket/some directory/some data.csv。
    • 當透過動態調整批次大小來掃描異常結構化的檔案時，Parquet 掃描現在會針對 OOM 進行強固。 分析檔案元數據以先佔性較低的批次大小，並在工作重試時再次降低為最終安全網。
      • 如果 Avro 檔案只 failOnUnknownFields\ 使用 選項或架構演進模式中的 failOnNewColumns\ 自動載入器讀取，則會讀取具有不同數據類型的數據行，而不是擲回錯誤，指出無法讀取 null\ 檔案。 這些讀取現在會失敗，並建議使用者使用 rescuedDataColumn\ 選項。
    • 自動載入器現在會執行下列動作。
      • 如果提供其中一個數據類型，則正確讀取且不再救援 IntegerShortByte 、類型，但 Avro 檔案建議其他兩種類型之一。
      • 防止將間隔類型讀取為日期或時間戳類型，以避免取得損毀的日期。
      • 防止具有較低精確度的讀取 Decimal 類型。
    • [SPARK-43172] [CONNECT]從 Spark 連線客戶端公開主機和令牌。
    • [SPARK-43293][SQL] __qualified_access_only 在一般資料列中會忽略 。
    • [SPARK-43098][SQL]修正純量子查詢依 子句分組時的正確性 COUNT 錯誤。
    • [SPARK-43085][SQL]支援多部分數據表名稱的數據行 DEFAULT 指派。
    • [SPARK-43190][SQL] ListQuery.childOutput 現在與次要輸出一致。
    • [SPARK-43192] [CONNECT]已移除使用者代理程式字元集驗證。

  • 2023年4月25日

    • 您可以使用 修改 Delta 數據表，以新增對 Delta 數據表功能 DeltaTable.addFeatureSupport(feature_name)的支援。
    • 命令 SYNC 現在支援舊版數據源格式。
    • 已修正在 Python 筆記本中執行任何其他命令之前使用 Python 格式器的錯誤，可能會導致筆記本路徑遺失 sys.path.
    • Azure Databricks 現在支援指定 Delta 數據表數據行的預設值。 INSERT、 UPDATE、 DELETE和 MERGE 命令可以使用 explicit DEFAULT 關鍵字來參考資料行的預設值。 對於 INSERT 明確列出比目標數據表少數據行的命令，對應的數據行預設值會取代其餘數據行（如果沒有 NULL 指定預設值則為 ）。

  • 修正 Web 終端機無法用來存取某些使用者的檔案 /Workspace 的錯誤。

    • 如果只使用 failOnUnknownFields 選項或架構演進模式中的 failOnNewColumns 自動載入器讀取 Parquet 檔案，則會讀取具有不同資料類型的數據行，而不是擲回錯誤，指出無法讀取 null 檔案。 這些讀取現在會失敗，並建議使用者使用 rescuedDataColumn 選項。
    • 自動載入器現在已正確讀取，而且不再修復 Integer，ShortByte如果提供其中一種數據類型，則為類型。 Parquet 檔案建議其他兩種類型之一。 當先前啟用已獲救的數據行時，數據類型不相符會導致數據行即使可讀取，也會讓數據行獲救。
    • 已修正在巢狀 JSON 對象的架構中偵測到新數據行時，自動載入器架構演進可以進入無限失敗迴圈的 Bug。
    • [SPARK-42794][SS]將lockAcquireTimeoutMs增加到2分鐘，以在結構串流中取得RocksDB狀態存放區。
    • [SPARK-39221][SQL]針對節流伺服器作業/階段索引標籤，請正確編輯敏感性資訊。
    • [SPARK-42971][CORE]如果背景工作角色處理WorkDirCleanup事件時為 null，則變更為列印。workdirappDirs
    • [SPARK-42936][SQL]修正具有 子句可透過子匯總直接解析的 LCA 錯誤。
    • [SPARK-43018][SQL]修正具有時間戳常值之命令的錯誤 INSERT 。
    • 還原 [SPARK-42754][SQL][UI] 修正巢狀 SQL 執行中的回溯相容性問題。
    • 還原 [SPARK-41498] 透過聯集傳播元數據。
    • [SPARK-43038][SQL]依 aes_encrypt()/aes_decrypt()支援 CBC 模式。
    • [SPARK-42928][SQL]進行 resolvePersistentFunction 同步處理。
    • [SPARK-42521][SQL]使用使用者指定的數據行清單來新增 NULL 的值 INSERT ，其數據行數目會比目標數據表少。
    • [SPARK-41391][SQL]的 groupBy.agg(count_distinct) 輸出數據行名稱不正確。
    • [SPARK-42548][SQL]新增 ReferenceAllColumns 以略過重寫屬性。
    • [SPARK-42423][SQL]新增元數據數據行檔案區塊開始和長度。
    • [SPARK-42796][SQL]支援在中CachedBatch存取數據TimestampNTZ行。
    • [SPARK-42266][PYTHON]使用 IPython 時，請移除 shell.py 執行的父目錄。
    • [SPARK-43011][SQL] array_insert 應該失敗，且索引為 0。
    • [SPARK-41874][CONNECT][PYTHON]Spark 連線 的支援SameSemantics。
    • [SPARK-42702][SPARK-42623][SQL]支援子查詢和 CTE 中的參數化查詢。
    • [SPARK-42967][CORE]修正 SparkListenerTaskStart.stageAttemptId 取消階段之後的工作啟動時間。
    • 操作系統安全性更新。

Databricks Runtime 12.1 （不支援）

請參閱 Databricks Runtime 12.1 （不支援）。

  • 2023 年 6 月 23 日

    • 操作系統安全性更新。

  • 2023年6月15日

    • Photonized approx_count_distinct。
    • Snowflake-jdbc 連結庫已升級至 3.13.29，以解決安全性問題。
    • [SPARK-43779][SQL] ParseToDate 現在會在主線程中載入 EvalMode 。
    • [SPARK-43156][SPARK-43098][SQL]停用 decorrelateInnerQuery 來擴充純量子查詢計數 Bug 測試
    • 操作系統安全性更新。

  • 2023年6月2日

    • 模式中的 failOnUnknownFields JSON 剖析器會在模式中 DROPMALFORMED 卸除記錄，並在模式中 FAILFAST 直接失敗。
    • 使用 SHALLOW CLONE Iceberg 和 Parquet 改善累加式更新的效能。
    • 已修正自動載入器中不同來源檔格式在提供的架構未包含推斷的數據分割時不一致的問題。 讀取推斷數據分割架構中遺漏數據行的檔案時，此問題可能會導致非預期的失敗。
    • [SPARK-43404][Backport]略過針對相同版本的 RocksDB 狀態存放區重複使用 sst 檔案，以避免標識碼不符錯誤。
    • [SPARK-43413][11.3-13.0][SQL]已修正 IN 子查詢 ListQuery 可為 Null 性。
    • [SPARK-43522][SQL]已修正使用陣列索引建立結構數據行名稱。
    • [SPARK-42444][PYTHON] DataFrame.drop 現在會正確地處理重複的數據行。
    • [SPARK-43541][SQL]傳播解析表達式和遺漏數據行的所有 Project 標記。
    • [SPARK-43340][CORE]已修正事件記錄檔中遺漏的堆疊追蹤欄位。
    • [SPARK-42937][SQL] PlanSubqueries 現在會設定 InSubqueryExec#shouldBroadcast 為 true。
    • [SPARK-43527][PYTHON]已修正 PySpark 中的 。catalog.listCatalogs
    • [SPARK-43378][CORE]正確關閉 中的 deserializeFromChunkedBuffer數據流物件。

  • 2023年5月17日

    • 當透過動態調整批次大小來掃描異常結構化的檔案時，Parquet 掃描現在會針對 OOM 進行強固。 分析檔案元數據以先佔性較低的批次大小，並在工作重試時再次降低為最終安全網。
    • 如果 Avro 檔案只 failOnUnknownFields\ 使用 選項或架構演進模式中的 failOnNewColumns\ 自動載入器讀取，則會讀取具有不同數據類型的數據行，而不是擲回錯誤，指出無法讀取 null\ 檔案。 這些讀取現在會失敗，並建議使用者使用 rescuedDataColumn\ 選項。
    • 自動載入器現在會執行下列動作。
      • 如果提供其中一個數據類型，則正確讀取且不再救援 IntegerShortByte 、類型，但 Avro 檔案建議其他兩種類型之一。
      • 防止將間隔類型讀取為日期或時間戳類型，以避免取得損毀的日期。
      • 防止具有較低精確度的讀取 Decimal 類型。
    • [SPARK-43098][SQL]修正純量子查詢依 子句分組時的正確性 COUNT 錯誤。
    • [SPARK-43190][SQL] ListQuery.childOutput 現在與次要輸出一致。
    • 操作系統安全性更新。

  • 2023年4月25日

    • 如果只使用 failOnUnknownFields 選項或架構演進模式中的 failOnNewColumns 自動載入器讀取 Parquet 檔案，則會讀取具有不同資料類型的數據行，而不是擲回錯誤，指出無法讀取 null 檔案。 這些讀取現在會失敗，並建議使用者使用 rescuedDataColumn 選項。
    • 自動載入器現在已正確讀取，而且不再修復 Integer，ShortByte如果提供其中一種數據類型，則為類型。 Parquet 檔案建議其他兩種類型之一。 當先前啟用已獲救的數據行時，數據類型不相符會導致數據行即使可讀取，也會讓數據行獲救。
    • [SPARK-43009][SQL]使用常數參數Any化sql()。
    • [SPARK-42971][CORE]如果背景工作角色處理WorkDirCleanup事件時為 null，則變更為列印。workdirappDirs
    • 操作系統安全性更新。

  • 2023 年 4 月 11 日

    • 在SYNC命令中支援舊版數據源格式。
    • 修正存放庫中筆記本中 %autoreload 行為中的 Bug。
    • 已修正在巢狀 JSON 對象的架構中偵測到新數據行時，自動載入器架構演進可以進入無限失敗迴圈的 Bug。
    • [SPARK-42928][SQL]進行 resolvePersistentFunction 同步處理。
    • [SPARK-42967][CORE]修正 SparkListenerTaskStart.stageAttemptId 取消階段之後的工作啟動時間。
    • 操作系統安全性更新。

  • 2023年3月29日

    • 自動載入器現在會針對數據流觸發至少一個同步的 RocksDB 記錄清除 Trigger.AvailableNow ，以確保檢查點可以定期清除快速執行的自動載入器數據流。 這可能會導致某些串流在關閉之前花費更長的時間，但會節省您的記憶體成本，並改善未來執行的自動載入器體驗。
    • 您現在可以修改 Delta 資料表，以使用 DeltaTable.addFeatureSupport(feature_name)將支援新增至資料表功能。
    • [SPARK-42702][SPARK-42623][SQL]支援子查詢和 CTE 中的參數化查詢
    • [SPARK-41162][SQL]使用匯總修正自我聯結的反聯結和半聯結
    • [SPARK-42403][CORE]JsonProtocol 應該處理 Null JSON 字串
    • [SPARK-42668][SS]嘗試關閉 HDFSStateStoreProvider 中止壓縮數據流時攔截例外狀況
    • [SPARK-42794][SS]將lockAcquireTimeoutMs增加到2分鐘，以取得結構串流中的RocksDB狀態存放區

  • 2023 年 3 月 14 日

    • 使用 table 屬性將功能新增至 Delta 數據表有術語變更。 慣用的語法現在 'delta.feature.featureName'='supported' 不是 'delta.feature.featureName'='enabled'。 為了回溯相容性，使用 'delta.feature.featureName'='enabled' 仍可運作，且會繼續運作。
    • [SPARK-42622][CORE]停用值中的替代
    • [SPARK-42534][SQL]修正 DB2Dialect Limit 子句
    • [SPARK-42635][SQL]修正 TimestampAdd 表達式。
    • [SPARK-42516][SQL]建立檢視時一律擷取會話時區設定
    • [SPARK-42484] [SQL]UnsafeRowUtils 更好的錯誤訊息
    • [SPARK-41793][SQL]大型小數點上範圍子句所定義的視窗框架結果不正確
    • 操作系統安全性更新。

  • 2023 年 2 月 24 日

    • 您現在可以使用一組統一的選項（host、、port、databaseuserpassword、 ）聯機到查詢同盟中支持的數據源（PostgreSQL、MySQL、Synapse、Snowflake、Redshift、SQL Server）。 請注意，這是選擇性的 port ，如果未提供，則會針對每個數據源使用預設埠號碼。

    PostgreSQL 聯機組態的範例

    CREATE TABLE postgresql_table
USING postgresql
OPTIONS (
  dbtable '<table-name>',
  host '<host-name>',
  database '<database-name>',
  user '<user>',
  password secret('scope', 'key')
);

    Snowflake 連線設定的範例

    CREATE TABLE snowflake_table
USING snowflake
OPTIONS (
  dbtable '<table-name>',
  host '<host-name>',
  port '<port-number>',
  database '<database-name>',
  user secret('snowflake_creds', 'my_username'),
  password secret('snowflake_creds', 'my_password'),
  schema '<schema-name>',
  sfWarehouse '<warehouse-name>'
);
    • [SPARK-41989][PYTHON]避免從 pyspark.pandas 中斷記錄設定
    • [SPARK-42346][SQL]在子查詢合併之後重寫相異匯總
    • [SPARK-41990][SQL]在 FieldReference.column V1 到 V2 篩選轉換中使用 而不是apply
    • 還原 [SPARK-41848][CORE] 使用 TaskResourceProfile 修正過度排程的工作
    • [SPARK-42162] 引進 MultiCommutativeOp 運算式做為標準化大型通勤運算式樹狀架構的記憶體優化
    • 操作系統安全性更新。

  • 2023年2月16日

    • SYNC 命令支援同步處理重新建立的 Hive 中繼存放區數據表。 如果 HMS 數據表先前已同步至 Unity 目錄，但隨後卸除並重新建立，後續的重新同步作業將會運作，而不是擲回TABLE_ALREADY_EXISTS狀態代碼。
    • [SPARK-41219][SQL]IntegralDivide 使用 decimal（1， 0） 來表示 0
    • [SPARK-36173][CORE]支援在 TaskContext 中取得 CPU 號碼
    • [SPARK-41848][CORE]使用TaskResourceProfile修正工作過度排程
    • [SPARK-42286][SQL]使用 CAST 對複雜 expr 的先前 Codegen 程式代碼路徑進行後援

  • 2023 年 1 月 31 日

    • 建立具有已定義位置的架構現在需要使用者具有 ANY FILE 的 SELECT 和 MODIFY 許可權。
    • [SPARK-41581][SQL]將名稱指派給_LEGACY_ERROR_TEMP_1230
    • [SPARK-41996][SQL][SS]修正kafka測試以驗證遺失的數據分割以考慮Kafka作業緩慢的問題
    • [SPARK-41580][SQL]將名稱指派給_LEGACY_ERROR_TEMP_2137
    • [SPARK-41666][PYTHON]支持參數化的 SQL by sql()
    • [SPARK-41579][SQL]將名稱指派給_LEGACY_ERROR_TEMP_1249
    • [SPARK-41573][SQL]將名稱指派給_LEGACY_ERROR_TEMP_2136
    • [SPARK-41574][SQL]將名稱指派給_LEGACY_ERROR_TEMP_2009
    • [SPARK-41049][待處理]修正 ConvertToLocalRelation 的程式代碼同步回歸
    • [SPARK-41576][SQL]將名稱指派給_LEGACY_ERROR_TEMP_2051
    • [SPARK-41572][SQL]將名稱指派給_LEGACY_ERROR_TEMP_2149
    • [SPARK-41575][SQL]將名稱指派給_LEGACY_ERROR_TEMP_2054
    • 操作系統安全性更新。

Databricks Runtime 12.0 （不支援）

請參閱 Databricks Runtime 12.0 （不支援）。

  • 2023年6月15日

    • Photonized approx_count_distinct。
    • Snowflake-jdbc 連結庫已升級至 3.13.29，以解決安全性問題。
    • [SPARK-43156][SPARK-43098][SQL]停用 decorrelateInnerQuery 來擴充純量子查詢計數 Bug 測試
    • [SPARK-43779][SQL] ParseToDate 現在會在主線程中載入 EvalMode 。
    • 操作系統安全性更新。

  • 2023年6月2日

    • 模式中的 failOnUnknownFields JSON 剖析器會在模式中 DROPMALFORMED 卸除記錄，並在模式中 FAILFAST 直接失敗。
    • 使用 SHALLOW CLONE Iceberg 和 Parquet 改善累加式更新的效能。
    • 已修正自動載入器中不同來源檔格式在提供的架構未包含推斷的數據分割時不一致的問題。 讀取推斷數據分割架構中遺漏數據行的檔案時，此問題可能會導致非預期的失敗。
    • [SPARK-42444][PYTHON] DataFrame.drop 現在會正確地處理重複的數據行。
    • [SPARK-43404][Backport]略過針對相同版本的 RocksDB 狀態存放區重複使用 sst 檔案，以避免標識碼不符錯誤。
    • [11.3-13.0][[SPARK-43413]]https://issues.apache.org/jira/browse/SPARK-43413][SQL]已修正 IN 子查詢 ListQuery 可為 Null 性。
    • [SPARK-43527][PYTHON]已修正 PySpark 中的 。catalog.listCatalogs
    • [SPARK-43522][SQL]已修正使用陣列索引建立結構數據行名稱。
    • [SPARK-43541][SQL]傳播解析表達式和遺漏數據行的所有 Project 標記。
    • [SPARK-43340][CORE]已修正事件記錄檔中遺漏的堆疊追蹤欄位。
    • [SPARK-42937][SQL] PlanSubqueries 設定 InSubqueryExec#shouldBroadcast 為 true。

  • 2023年5月17日

    • 當透過動態調整批次大小來掃描異常結構化的檔案時，Parquet 掃描現在會針對 OOM 進行強固。 分析檔案元數據以先佔性較低的批次大小，並在工作重試時再次降低為最終安全網。
    • 如果 Avro 檔案只 failOnUnknownFields\ 使用 選項或架構演進模式中的 failOnNewColumns\ 自動載入器讀取，則會讀取具有不同數據類型的數據行，而不是擲回錯誤，指出無法讀取 null\ 檔案。 這些讀取現在會失敗，並建議使用者使用 rescuedDataColumn\ 選項。
    • 自動載入器現在會執行下列動作。
      • 如果提供其中一個數據類型，則正確讀取且不再救援 IntegerShortByte 、類型，但 Avro 檔案建議其他兩種類型之一。
      • 防止將間隔類型讀取為日期或時間戳類型，以避免取得損毀的日期。
      • 防止具有較低精確度的讀取 Decimal 類型。
    • [SPARK-43172] [CONNECT]從 Spark 連線客戶端公開主機和令牌。
    • [SPARK-41520][SQL]分割 AND_OR 樹狀結構模式以分隔 AND 和 OR。
    • [SPARK-43098][SQL]修正純量子查詢依 子句分組時的正確性 COUNT 錯誤。
    • [SPARK-43190][SQL] ListQuery.childOutput 現在與次要輸出一致。
    • 操作系統安全性更新。

  • 2023年4月25日

    • 如果只使用 failOnUnknownFields 選項或架構演進模式中的 failOnNewColumns 自動載入器讀取 Parquet 檔案，則會讀取具有不同資料類型的數據行，而不是擲回錯誤，指出無法讀取 null 檔案。 這些讀取現在會失敗，並建議使用者使用 rescuedDataColumn 選項。
    • 自動載入器現在已正確讀取，而且不再修復 Integer，ShortByte如果提供其中一種數據類型，則為類型。 Parquet 檔案建議其他兩種類型之一。 當先前啟用已獲救的數據行時，數據類型不相符會導致數據行即使可讀取，也會讓數據行獲救。
    • [SPARK-42971][CORE]如果背景工作處理WorkDirCleanup事件時為 Null，則變更為列印workdirappDirs
    • 操作系統安全性更新。

  • 2023 年 4 月 11 日

    • 在命令中 SYNC 支援舊版數據來源格式。
    • 修正存放庫中筆記本中 %autoreload 行為中的 Bug。
    • 已修正在巢狀 JSON 對象的架構中偵測到新數據行時，自動載入器架構演進可以進入無限失敗迴圈的 Bug。
    • [SPARK-42928][SQL]進行 resolvePersistentFunction 同步處理。
    • [SPARK-42967][CORE]修正 SparkListenerTaskStart.stageAttemptId 取消階段之後的工作啟動時間。
    • 操作系統安全性更新。

  • 2023年3月29日

    • [SPARK-42794][SS]將lockAcquireTimeoutMs增加到2分鐘，以取得結構串流中的RocksDB狀態存放區
    • [SPARK-41162][SQL]使用匯總修正自我聯結的反聯結和半聯結
    • [SPARK-42403][CORE]JsonProtocol 應該處理 Null JSON 字串
    • [SPARK-42668][SS]嘗試關閉 HDFSStateStoreProvider 中止壓縮數據流時攔截例外狀況
    • 其他錯誤修正。

  • 2023 年 3 月 14 日

  • 2023 年 2 月 24 日

    • 查詢同盟的標準化 連線 選項

      您現在可以使用一組統一的選項（host、、port、databaseuserpassword、 ）聯機到查詢同盟中支持的數據源（PostgreSQL、MySQL、Synapse、Snowflake、Redshift、SQL Server）。 請注意，這是選擇性的 port ，如果未提供，則會針對每個數據源使用預設埠號碼。

      PostgreSQL 聯機組態的範例

      CREATE TABLE postgresql_table
USING postgresql
OPTIONS (
  dbtable '<table-name>',
  host '<host-name>',
  database '<database-name>',
  user '<user>',
  password secret('scope', 'key')
);

      Snowflake 連線設定的範例

      CREATE TABLE snowflake_table
USING snowflake
OPTIONS (
  dbtable '<table-name>',
  host '<host-name>',
  port '<port-number>',
  database '<database-name>',
  user secret('snowflake_creds', 'my_username'),
  password secret('snowflake_creds', 'my_password'),
  schema '<schema-name>',
  sfWarehouse '<warehouse-name>'
);

    • 還原 [SPARK-41848][CORE] 使用 TaskResourceProfile 修正過度排程的工作

    • [SPARK-42162] 引進 MultiCommutativeOp 運算式做為標準化大型通勤運算式樹狀架構的記憶體優化

    • [SPARK-41990][SQL]在 FieldReference.column V1 到 V2 篩選轉換中使用 而不是apply

    • [SPARK-42346][SQL]在子查詢合併之後重寫相異匯總

    • 操作系統安全性更新。

  • 2023年2月16日

    • 用戶現在可以使用 Databricks Runtime 9.1 或更新版本，讀取和寫入需要讀取器第 3 版和寫入器第 7 版的特定 Delta 數據表。 若要成功，數據表通訊協定中列出的數據表功能必須由目前版本的 Databricks Runtime 支援。
    • SYNC 命令支援同步處理重新建立的 Hive 中繼存放區數據表。 如果 HMS 數據表先前已同步至 Unity 目錄，但隨後卸除並重新建立，後續的重新同步作業將會運作，而不是擲回TABLE_ALREADY_EXISTS狀態代碼。
    • [SPARK-36173][CORE]支援在 TaskContext 中取得 CPU 號碼
    • [SPARK-42286][SQL]使用 CAST 對複雜 expr 的先前 Codegen 程式代碼路徑進行後援
    • [SPARK-41848][CORE]使用TaskResourceProfile修正工作過度排程
    • [SPARK-41219][SQL]IntegralDivide 使用 decimal（1， 0） 來表示 0

  • 2023 年 1 月 25 日

    • [SPARK-41660][SQL]只有在使用元數據行時才會傳播元數據行
    • [SPARK-41379][SS][PYTHON]在適用於 PySpark 中 foreachBatch 接收的使用者函式中，在 DataFrame 中提供複製的 Spark 會話
    • [SPARK-41669][SQL]canCollapseExpressions 中的早期剪除
    • 操作系統安全性更新。

  • 2023 年 1 月 18 日

    • REFRESH FUNCTION SQL 命令現在支援 SQL 函式和 SQL 資料表函式。 例如，命令可用來重新整理在另一個 SQL 工作階段中更新的持續性 SQL 函式。
    • Java Database 連線 ivity （JDBC） 數據源 v1 現在支援 LIMIT 子句下推，以改善查詢中的效能。 這個功能預設為啟用，而且可以停用 spark.databricks.optimizer.jdbcDSv1LimitPushdown.enabled 設定為 false。
    • 在舊版數據表 ACL 叢集中，建立參考 JVM 類別的函式現在需要 MODIFY_CLASSPATH 許可權。
    • Java Database 連線 ivity （JDBC） 數據源 v1 現在支援 LIMIT 子句下推，以改善查詢中的效能。 此功能預設為啟用，而且可以停用 spark.databricks.optimizer.jdbcDSv1LimitPushdown.enabled 設為 false。
    • 當數據行名稱包含空格符或分號等無效字元時，Azure Synapse 連接器現在會傳回更具描述性的錯誤訊息。 在這種情況下，將會傳回下列訊息： Azure Synapse Analytics failed to execute the JDBC query produced by the connector. Make sure column names do not include any invalid characters such as ';' or whitespace。
    • Spark 結構化串流現在可在差異共享數據表上使用 format（“deltasharing”）作為來源。
    • [SPARK-38277][SS]在 RocksDB 狀態存放區認可之後清除寫入批次
    • [SPARK-41733][SQL][SS]為規則 ResolveWindowTime 套用樹狀模式型剪除
    • [SPARK-39591][SS]異步進度追蹤
    • [SPARK-41339][SQL]關閉並重新建立 RocksDB 寫入批次，而不只是清除
    • [SPARK-41198][SS]修正串流查詢中具有 CTE 和 DSv1 串流來源的計量
    • [SPARK-41539][SQL]針對 LogicalRDD 邏輯計劃中輸出的統計數據和條件約束重新對應
    • [SPARK-41732][SQL][SS]為規則 SessionWindowing 套用樹狀模式型剪除
    • [SPARK-41862][SQL]修正 Orc 讀取器中與預設值相關的正確性錯誤
    • [SPARK-41199][SS]修正 DSv1 串流來源和 DSv2 串流來源共同使用時的計量問題
    • [SPARK-41261][PYTHON][SS]修正當群組索引鍵的數據行未依最早順序排列時，applyInPandasWithState 的問題
    • 操作系統安全性更新。

  • 2023年5月17日

    • 當透過動態調整批次大小來掃描異常結構化的檔案時，Parquet 掃描現在會針對 OOM 進行強固。 分析檔案元數據以先佔性較低的批次大小，並在工作重試時再次降低為最終安全網。
    • 修正在叢集初始化期間無法連線到中繼存放區之後，導致 Azure Databricks 作業持續存在的回歸。
    • [SPARK-41520][SQL]分割 AND_OR 樹狀結構模式以分隔 AND 和 OR。
    • [SPARK-43190][SQL] ListQuery.childOutput 現在與次要輸出一致。
    • 操作系統安全性更新。

  • 2023年4月25日

    • 如果只使用 failOnUnknownFields 選項或架構演進模式中的 failOnNewColumns 自動載入器讀取 Parquet 檔案，則會讀取具有不同資料類型的數據行，而不是擲回錯誤，指出無法讀取 null 檔案。 這些讀取現在會失敗，並建議使用者使用 rescuedDataColumn 選項。
    • 自動載入器現在已正確讀取，而且不再修復 Integer，ShortByte如果提供其中一種數據類型，則為類型。 Parquet 檔案建議其他兩種類型之一。 當先前啟用已獲救的數據行時，數據類型不相符會導致數據行即使可讀取，也會讓數據行獲救。
    • [SPARK-42937][SQL] PlanSubqueries 現在會設定 InSubqueryExec#shouldBroadcast 為 true。
    • 操作系統安全性更新。

  • 2023 年 4 月 11 日

    • 在SYNC命令中支援舊版數據源格式。
    • 修正存放庫中筆記本中 %autoreload 行為中的 Bug。
    • 已修正在巢狀 JSON 對象的架構中偵測到新數據行時，自動載入器架構演進可以進入無限失敗迴圈的 Bug。
    • [SPARK-42928][SQL]將 resolvePersistentFunction 同步處理。
    • [SPARK-42967][CORE]修正 SparkListenerTaskStart.stageAttemptId 當工作在取消階段之後啟動時。

  • 2023年3月29日

    • [SPARK-42794][SS]將lockAcquireTimeoutMs增加到2分鐘，以取得結構串流中的RocksDB狀態存放區
    • [SPARK-42403][CORE]JsonProtocol 應該處理 Null JSON 字串
    • [SPARK-42668][SS]嘗試關閉 HDFSStateStoreProvider 中止壓縮數據流時攔截例外狀況
    • 操作系統安全性更新。

  • 2023 年 3 月 14 日

    • [SPARK-42635][SQL]修正 TimestampAdd 表達式。
    • [SPARK-41793][SQL]大型小數點上範圍子句所定義的視窗框架結果不正確
    • [SPARK-42484] [SQL]UnsafeRowUtils 更好的錯誤訊息
    • [SPARK-42534][SQL]修正 DB2Dialect Limit 子句
    • [SPARK-41162][SQL]使用匯總修正自我聯結的反聯結和半聯結
    • [SPARK-42516][SQL]建立檢視時一律擷取會話時區設定
    • 其他錯誤修正。

  • 2023 年 2 月 28 日

    • 查詢同盟的標準化 連線 選項

      您現在可以使用一組統一的選項（host、、port、databaseuserpassword、 ）聯機到查詢同盟中支持的數據源（PostgreSQL、MySQL、Synapse、Snowflake、Redshift、SQL Server）。 請注意，這是選擇性的 port ，如果未提供，則會針對每個數據源使用預設埠號碼。

      PostgreSQL 聯機組態的範例

      CREATE TABLE postgresql_table
USING postgresql
OPTIONS (
  dbtable '<table-name>',
  host '<host-name>',
  database '<database-name>',
  user '<user>',
  password secret('scope', 'key')
);

      Snowflake 連線設定的範例

      CREATE TABLE snowflake_table
USING snowflake
OPTIONS (
  dbtable '<table-name>',
  host '<host-name>',
  port '<port-number>',
  database '<database-name>',
  user secret('snowflake_creds', 'my_username'),
  password secret('snowflake_creds', 'my_password'),
  schema '<schema-name>',
  sfWarehouse '<warehouse-name>'
);

    • [SPARK-42286][SQL]使用 CAST 對複雜 expr 的先前 Codegen 程式代碼路徑進行後援

    • [SPARK-41989][PYTHON]避免從 pyspark.pandas 中斷記錄設定

    • [SPARK-42346][SQL]在子查詢合併之後重寫相異匯總

    • [SPARK-41360][CORE]如果執行程式遺失，請避免 BlockManager 重新註冊

    • [SPARK-42162] 引進 MultiCommutativeOp 運算式做為標準化大型通勤運算式樹狀架構的記憶體優化

    • [SPARK-41990][SQL]在 FieldReference.column V1 到 V2 篩選轉換中使用 而不是apply

    • 操作系統安全性更新。

  • 2023年2月16日

    • 用戶現在可以使用 Databricks Runtime 9.1 或更新版本，讀取和寫入需要讀取器第 3 版和寫入器第 7 版的特定 Delta 數據表。 若要成功，數據表通訊協定中列出的數據表功能必須由目前版本的 Databricks Runtime 支援。
    • SYNC 命令支援同步處理重新建立的 Hive 中繼存放區數據表。 如果 HMS 數據表先前已同步至 Unity 目錄，但隨後卸除並重新建立，後續的重新同步作業將會運作，而不是擲回TABLE_ALREADY_EXISTS狀態代碼。
    • [SPARK-41219][SQL]IntegralDivide 使用 decimal（1， 0） 來表示 0
    • [SPARK-40382][SQL]在中依語意對等子系將相異匯總表達式分組 RewriteDistinctAggregates
    • 操作系統安全性更新。

  • 2023 年 1 月 25 日

    • [SPARK-41379][SS][PYTHON]在適用於 PySpark 中 foreachBatch 接收的使用者函式中，在 DataFrame 中提供複製的 Spark 會話
    • [SPARK-41660][SQL]只有在使用元數據行時才會傳播元數據行
    • [SPARK-41669][SQL]canCollapseExpressions 中的早期剪除
    • 其他錯誤修正。

  • 2023 年 1 月 18 日

    • REFRESH FUNCTION SQL 命令現在支援 SQL 函式和 SQL 資料表函式。 例如，命令可用來重新整理在另一個 SQL 工作階段中更新的持續性 SQL 函式。
    • Java Database 連線 ivity （JDBC） 數據源 v1 現在支援 LIMIT 子句下推，以改善查詢中的效能。 這個功能預設為啟用，而且可以停用 spark.databricks.optimizer.jdbcDSv1LimitPushdown.enabled 設定為 false。
    • Java Database 連線 ivity （JDBC） 數據源 v1 現在支援 LIMIT 子句下推，以改善查詢中的效能。 此功能預設為啟用，而且可以停用 spark.databricks.optimizer.jdbcDSv1LimitPushdown.enabled 設為 false。
    • 當數據行名稱包含空格符或分號等無效字元時，Azure Synapse 連接器現在會傳回更具描述性的錯誤訊息。 在這種情況下，將會傳回下列訊息： Azure Synapse Analytics failed to execute the JDBC query produced by the connector. Make sure column names do not include any invalid characters such as ';' or whitespace。
    • [SPARK-41198][SS]修正串流查詢中具有 CTE 和 DSv1 串流來源的計量
    • [SPARK-41862][SQL]修正 Orc 讀取器中與預設值相關的正確性錯誤
    • [SPARK-41539][SQL]針對 LogicalRDD 邏輯計劃中輸出的統計數據和條件約束重新對應
    • [SPARK-39591][SS]異步進度追蹤
    • [SPARK-41199][SS]修正 DSv1 串流來源和 DSv2 串流來源共同使用時的計量問題
    • [SPARK-41261][PYTHON][SS]修正當群組索引鍵的數據行未依最早順序排列時，applyInPandasWithState 的問題
    • [SPARK-41339][SQL]關閉並重新建立 RocksDB 寫入批次，而不只是清除
    • [SPARK-41732][SQL][SS]為規則 SessionWindowing 套用樹狀模式型剪除
    • [SPARK-38277][SS]在 RocksDB 狀態存放區認可之後清除寫入批次
    • 操作系統安全性更新。

  • 2022 年 11 月 29 日

    • 使用者可以使用 Redshift 連接器來撰寫數據時，設定前置和尾端空格符的行為。 已新增下列選項來控制空格符處理：
      • csvignoreleadingwhitespace當 設定為 時，會在 設定CSV為 true或 CSV GZIP時，從值tempformat中移除前置空格符。 當組態設定為 false時，會保留空格符。 根據預設，此值是 true。
      • csvignoretrailingwhitespace當 設定為 時，會在 設定CSV為 true或 CSV GZIP時tempformat，從值中移除尾端空格符。 當組態設定為 false時，會保留空格符。 根據預設，此值是 true。
    • 已修正當所有數據行都保留為字串時，自動載入器中的 JSON 剖析錯誤（cloudFiles.inferColumnTypes 未設定或設定為 false），且 JSON 包含巢狀物件。
    • 將相依性升級 snowflake-jdbc 至 3.13.22 版。
    • JDBC 數據表的數據表類型現在預設為 EXTERNAL。
    • [SPARK-40906][SQL] Mode 應該先複製金鑰再插入 Map
    • 操作系統安全性更新。

  • 2022 年 11 月 15 日

    • 數據表 ACL 和 UC 共用叢集現在允許來自 python 的 Dataset.toJSON 方法。
    • [SPARK-40646] 結構、對應和數位的 JSON 剖析已修正，因此當記錄的一部分不符合架構時，仍然可以正確剖析其餘的記錄，而不是傳回 Null。 若要加入改善的行為集 spark.sql.json.enablePartialResults 至 true。 預設會停用旗標以保留原始行為
    • [SPARK-40903][SQL]如果數據類型已變更，請避免重新排序 decimal Add 以進行標準化
    • [SPARK-40618][SQL]使用參考追蹤修正 MergeScalarSubqueries 規則中的 Bug 與巢狀子查詢
    • [SPARK-40697][SQL]新增讀取端字元填補以涵蓋外部數據檔
    • 操作系統安全性更新。

  • 2022 年 11 月 1 日

    • Unity 目錄中的結構化串流現在支援重新整理暫時存取令牌。 使用 Unity 目錄執行的所有用途或作業叢集的串流工作負載，在初始令牌到期后不再失敗。
    • 已修正如果 Delta 數據表具有名為 _change_type的使用者定義數據行，但 在該數據表上停用變更數據摘要 ，該數據行中的數據在執行 時 MERGE，會錯誤地填入 NULL 值的問題。
    • 已修正在條件中執行和使用來自來源的 99 個數據行可能會導致 java.lang.ClassCastException: org.apache.spark.sql.vectorized.ColumnarBatch cannot be cast to org.apache.spark.sql.catalyst.InternalRow的問題MERGE。
    • 已修正啟用時 allowOverwrites ，自動載入器會在相同的微批次中複製檔案的問題。
    • 已將 Apache commons-text 升級至 1.10.0。
    • [SPARK-38881][DSTREAMS][KINESIS][PYSPARK]已新增 CloudWatch MetricsLevel Config 的支援
    • [SPARK-40596][CORE]在 ExecutorDecommissionInfo 中填入 ExecutorDecommissionInfo 中的訊息
    • [SPARK-40670][SS][PYTHON]修正輸入架構具有「不可為 Null」數據行時 applyInPandasWithState 中的 NPE
    • 操作系統安全性更新。

Databricks Runtime 11.2 （不支援）

請參閱 Databricks Runtime 11.2 （不支援）。

  • 2023年2月28日
    • [SPARK-42286][SQL]使用 CAST 對複雜 expr 的先前 Codegen 程式代碼路徑進行後援
    • [SPARK-42346][SQL]在子查詢合併之後重寫相異匯總
    • 操作系統安全性更新。
  • 2023年2月16日
    • 用戶現在可以使用 Databricks Runtime 9.1 或更新版本，讀取和寫入需要讀取器第 3 版和寫入器第 7 版的特定 Delta 數據表。 若要成功，數據表通訊協定中列出的數據表功能必須由目前版本的 Databricks Runtime 支援。
    • SYNC 命令支援同步處理重新建立的 Hive 中繼存放區數據表。 如果 HMS 數據表先前已同步至 Unity 目錄，但隨後卸除並重新建立，後續的重新同步作業將會運作，而不是擲回TABLE_ALREADY_EXISTS狀態代碼。
    • [SPARK-41219][SQL]IntegralDivide 使用 decimal（1， 0） 來表示 0
    • 操作系統安全性更新。
  • 2023年1月31日
    • JDBC 數據表的數據表類型現在預設為 EXTERNAL。
    • [SPARK-41379][SS][PYTHON]在適用於 PySpark 中 foreachBatch 接收的使用者函式中，在 DataFrame 中提供複製的 Spark 會話
  • 2023年1月18日
    • 當數據行名稱包含空格符或分號等無效字元時，Azure Synapse 連接器現在會傳回更具描述性的錯誤訊息。 在這種情況下，將會傳回下列訊息： Azure Synapse Analytics failed to execute the JDBC query produced by the connector. Make sure column names do not include any invalid characters such as ';' or whitespace。
    • [SPARK-41198][SS]修正串流查詢中具有 CTE 和 DSv1 串流來源的計量
    • [SPARK-41862][SQL]修正 Orc 讀取器中與預設值相關的正確性錯誤
    • [SPARK-41539][SQL]針對 LogicalRDD 邏輯計劃中輸出的統計數據和條件約束重新對應
    • [SPARK-41199][SS]修正 DSv1 串流來源和 DSv2 串流來源共同使用時的計量問題
    • [SPARK-41339][SQL]關閉並重新建立 RocksDB 寫入批次，而不只是清除
    • [SPARK-41732][SQL][SS]為規則 SessionWindowing 套用樹狀模式型剪除
    • [SPARK-38277][SS]在 RocksDB 狀態存放區認可之後清除寫入批次
    • 操作系統安全性更新。
  • 2022年11月29日
    • 使用者可以使用 Redshift 連接器來撰寫數據時，設定前置和尾端空格符的行為。 已新增下列選項來控制空格符處理：
      • csvignoreleadingwhitespace當 設定為 時，會在 設定CSV為 true或 CSV GZIP時，從值tempformat中移除前置空格符。 當組態設定為 false時，會保留空格符。 根據預設，此值是 true。
      • csvignoretrailingwhitespace當 設定為 時，會在 設定CSV為 true或 CSV GZIP時tempformat，從值中移除尾端空格符。 當組態設定為 false時，會保留空格符。 根據預設，此值是 true。
    • 已修正當所有數據行都保留為字串時，自動載入器中的 JSON 剖析錯誤（cloudFiles.inferColumnTypes 未設定或設定為 false），且 JSON 包含巢狀物件。
    • [SPARK-40906][SQL] Mode 應該先複製金鑰再插入 Map
    • 操作系統安全性更新。
  • 2022 年 11 月 15 日
    • [SPARK-40646] 結構、對應和數位的 JSON 剖析已修正，因此當記錄的一部分不符合架構時，仍然可以正確剖析其餘的記錄，而不是傳回 Null。 若要加入改善的行為，請將 設定 spark.sql.json.enablePartialResults 為 true。 預設會停用旗標以保留原始行為
    • [SPARK-40618][SQL]使用參考追蹤修正 MergeScalarSubqueries 規則中的 Bug 與巢狀子查詢
    • [SPARK-40697][SQL]新增讀取端字元填補以涵蓋外部數據檔
    • 操作系統安全性更新。
  • 2022年11月1日
    • 已將 Apache commons-text 升級至 1.10.0。
    • 已修正如果 Delta 數據表具有名為 _change_type的使用者定義數據行，但 在該數據表上停用變更數據摘要 ，該數據行中的數據在執行 時 MERGE，會錯誤地填入 NULL 值的問題。
    • 已修正在條件中執行和使用來自來源的 99 個數據行可能會導致 java.lang.ClassCastException: org.apache.spark.sql.vectorized.ColumnarBatch cannot be cast to org.apache.spark.sql.catalyst.InternalRow的問題MERGE。
    • 已修正啟用時 allowOverwrites ，自動載入器中檔案可以在相同的微批次中複製的問題
    • [SPARK-40596][CORE]在 ExecutorDecommissionInfo 中填入 ExecutorDecommissionInfo 中的訊息
    • 操作系統安全性更新。
  • 2022年10月19日
    • 已修正在已啟用 Unity 目錄的叢集 /倉儲上使用暫存認證的 COPY INTO 使用量問題。
    • [SPARK-40213][SQL]支援 Latin-1 字元的 ASCII 值轉換
    • 操作系統安全性更新。
  • 2022 年 10 月 5 日
    • 用戶可以設定spark.conf.set（“spark.databricks.io.listKeysWithPrefix.azure.enabled”， “true”） 以在 ADLS Gen2 上重新啟用自動載入器原生清單。 原生清單先前因效能問題而關閉，但可能會導致客戶的記憶體成本增加。 這項變更已在先前的維護更新中推出至 DBR 10.4 和 9.1。
    • [SPARK-40315][SQL]支援 URL 編碼/譯碼為內建函式，並整理 URL 相關函式
    • [SPARK-40156][SQL]url_decode() 應該傳回錯誤類別
    • [SPARK-40169] 請勿下推 Parquet 篩選條件，而沒有數據架構的參考
    • [SPARK-40460][SS]修正選取時串流計量 _metadata
    • [SPARK-40468][SQL]在選取_corrupt_record時修正 CSV 中的數據行剪除
    • [SPARK-40055][SQL] listCatalogs 也應該傳回spark_catalog，即使spark_catalog實作為 defaultSessionCatalog
    • 操作系統安全性更新。
  • 2022 年 9 月 22 日
    • [SPARK-40315][SQL]為 ArrayBasedMapData 常值新增 hashCode（）
    • [SPARK-40389][SQL]如果轉換可能溢位，小數點無法向上轉型為整數類型
    • [SPARK-40380][SQL]修正 InvokeLike 的常數折疊，以避免內嵌在方案中的非串行化常值
    • [SPARK-40066][SQL][待處理]在取得 ElementType 之前，請先檢查 ElementAt 是否已解析
    • [SPARK-40109][SQL]新的 SQL 函式：get（）
    • [SPARK-40066][SQL]ANSI 模式：對對應數據行的無效存取一律傳回 Null
    • [SPARK-40089][SQL]修正某些十進位類型的排序
    • [SPARK-39887][SQL]RemoveRedundantAliases 應保留讓投影節點輸出是唯一的別名
    • [SPARK-40152][SQL]修正split_part codegen 編譯問題
    • [SPARK-40235][CORE]使用中斷鎖定，而不是在 Executor.updateDependencies 中同步處理
    • [SPARK-40212][SQL]SparkSQL castPartValue 無法正確處理位元組、簡短或 float
    • [SPARK-40218][SQL]GROUPING SETS 應該保留群組數據行
    • [SPARK-35542][ML] 修正：針對具有參數的多個數據行所建立的 Bucketizer
    • [SPARK-40079] 新增空白輸入案例的 Imputer inputCols 驗證
    • [SPARK-39912]SPARK-39828[SQL] 精簡型目錄Impl

Databricks Runtime 11.1 （不支援）

請參閱 Databricks Runtime 11.1 （不支援）。

  • 2023 年 1 月 31 日

    • [SPARK-41379][SS][PYTHON]在適用於 PySpark 中 foreachBatch 接收的使用者函式中，在 DataFrame 中提供複製的 Spark 會話
    • 其他錯誤修正。

  • 2023 年 1 月 18 日

    • 當數據行名稱包含空格符或分號等無效字元時，Azure Synapse 連接器現在會傳回更具描述性的錯誤訊息。 在這種情況下，將會傳回下列訊息： Azure Synapse Analytics failed to execute the JDBC query produced by the connector. Make sure column names do not include any invalid characters such as ';' or whitespace。
    • [SPARK-41198][SS]修正串流查詢中具有 CTE 和 DSv1 串流來源的計量
    • [SPARK-41862][SQL]修正 Orc 讀取器中與預設值相關的正確性錯誤
    • [SPARK-41199][SS]修正 DSv1 串流來源和 DSv2 串流來源共同使用時的計量問題
    • [SPARK-41339][SQL]關閉並重新建立 RocksDB 寫入批次，而不只是清除
    • [SPARK-41732][SQL][SS]為規則 SessionWindowing 套用樹狀模式型剪除
    • [SPARK-38277][SS]在 RocksDB 狀態存放區認可之後清除寫入批次
    • 操作系統安全性更新。

  • 2022 年 11 月 29 日

    • 使用者可以使用 Redshift 連接器來撰寫數據時，設定前置和尾端空格符的行為。 已新增下列選項來控制空格符處理：
      • csvignoreleadingwhitespace當 設定為 時，會在 設定CSV為 true或 CSV GZIP時，從值tempformat中移除前置空格符。 當組態設定為 false時，會保留空格符。 根據預設，此值是 true。
      • csvignoretrailingwhitespace當 設定為 時，會在 設定CSV為 true或 CSV GZIP時tempformat，從值中移除尾端空格符。 當組態設定為 false時，會保留空格符。 根據預設，此值是 true。
    • 已修正當所有數據行都保留為字串時，自動載入器中的 JSON 剖析錯誤（cloudFiles.inferColumnTypes 未設定或設定為 false），且 JSON 包含巢狀物件。
    • [SPARK-39650][SS]修正串流重複數據刪除與回溯相容性中的不正確值架構
    • 操作系統安全性更新。

  • 2022 年 11 月 15 日

    • [SPARK-40646] 結構、對應和數位的 JSON 剖析已修正，因此當記錄的一部分不符合架構時，仍然可以正確剖析其餘的記錄，而不是傳回 Null。若要加入改善的行為，請將 設定 spark.sql.json.enablePartialResults 為 true。 預設會停用旗標以保留原始行為
    • 操作系統安全性更新。

  • 2022 年 11 月 1 日

    • 已將 Apache commons-text 升級至 1.10.0。
    • 已修正如果 Delta 數據表具有名為 _change_type的使用者定義數據行，但 在該數據表上停用變更數據摘要 ，該數據行中的數據在執行 時 MERGE，會錯誤地填入 NULL 值的問題。
    • 已修正在條件中執行和使用來自來源的 99 個數據行可能會導致 java.lang.ClassCastException: org.apache.spark.sql.vectorized.ColumnarBatch cannot be cast to org.apache.spark.sql.catalyst.InternalRow的問題MERGE。
    • 已修正啟用時 allowOverwrites ，自動載入器中檔案可以在相同的微批次中複製的問題
    • [SPARK-40697][SQL]新增讀取端字元填補以涵蓋外部數據檔
    • [SPARK-40596][CORE]在 ExecutorDecommissionInfo 中填入 ExecutorDecommissionInfo 中的訊息
    • 操作系統安全性更新。

  • 2022 年 10 月 18 日

    • 已修正在已啟用 Unity 目錄的叢集 /倉儲上使用暫存認證的 COPY INTO 使用量問題。
    • [SPARK-40213][SQL]支援 Latin-1 字元的 ASCII 值轉換
    • 操作系統安全性更新。

  • 2022 年 10 月 5 日

    • 用戶可以設定spark.conf.set（“spark.databricks.io.listKeysWithPrefix.azure.enabled”， “true”） 以在 ADLS Gen2 上重新啟用自動載入器原生清單。 原生清單先前因效能問題而關閉，但可能會導致客戶的記憶體成本增加。 這項變更已在先前的維護更新中推出至 DBR 10.4 和 9.1。
    • [SPARK-40169] 請勿下推 Parquet 篩選條件，而沒有數據架構的參考
    • [SPARK-40460][SS]修正選取時串流計量 _metadata
    • [SPARK-40468][SQL]在選取_corrupt_record時修正 CSV 中的數據行剪除
    • [SPARK-40055][SQL] listCatalogs 也應該傳回spark_catalog，即使spark_catalog實作為 defaultSessionCatalog
    • 操作系統安全性更新。

  • 2022 年 9 月 22 日

    • [SPARK-40315][SQL]為 ArrayBasedMapData 常值新增 hashCode（）
    • [SPARK-40380][SQL]修正 InvokeLike 的常數折疊，以避免內嵌在方案中的非串行化常值
    • [SPARK-40089][SQL]修正某些十進位類型的排序
    • [SPARK-39887][SQL]RemoveRedundantAliases 應保留讓投影節點輸出是唯一的別名
    • [SPARK-40152][SQL]修正split_part codegen 編譯問題

  • 2022 年 9 月 6 日

    • 我們已更新 Table 存取控制 s （Table ACL） 中的許可權模型，因此只有MODIFY許可權才能使用ALTER TABLE 來變更資料表的架構或數據表屬性。 先前，這些作業需要使用者擁有數據表。 仍然需要擁有權，才能授與數據表的許可權、變更其擁有者、變更其位置，或重新命名它。 這項變更可讓數據表 ACL 的許可權模型與 Unity 目錄更加一致。
    • [SPARK-40235][CORE]使用中斷鎖定，而不是在 Executor.updateDependencies 中同步處理
    • [SPARK-40212][SQL]SparkSQL castPartValue 無法正確處理位元組、簡短或 float
    • [SPARK-40218][SQL]GROUPING SETS 應該保留群組數據行
    • [SPARK-39976][SQL]ArrayIntersect 應該正確處理左運算式中的 Null
    • [SPARK-40053][CORE][SQL][測試]新增 assume 至需要 Python 運行時間環境的動態取消案例
    • [SPARK-35542][CORE][ML] 修正：針對具有 splitsArray、inputCols 和 outputCols 之多個數據行建立的貯體化程式在儲存後無法載入
    • [SPARK-40079][CORE]新增空白輸入案例的 Imputer inputCols 驗證

  • 2022 年 8 月 24 日

    • 共用、提供者和收件者現在支援 SQL 命令來變更擁有者、批注、重新命名
    • [SPARK-39983][CORE][SQL]請勿在驅動程式上快取未串行化的廣播關係
    • [SPARK-39912][SPARK-39828][SQL]精簡型錄型目錄Impl
    • [SPARK-39775][CORE][AVRO]剖析 Avro 架構時停用驗證預設值
    • [SPARK-39806] 已修正存取分割數據表上元數據結構損毀的查詢問題
    • [SPARK-39867][SQL]全域限制不應繼承 OrderPreservingUnaryNode
    • [SPARK-39962][PYTHON][SQL]當群組屬性是空的時套用投影
    • [SPARK-39839][SQL]在 UnsafeRow 結構完整性檢查中使用非零位移處理 Null 可變長度十進位的特殊案例AndSize
    • [SPARK-39713][SQL]ANSI 模式：新增針對INVALID_ARRAY_INDEX錯誤使用try_element_at的建議
    • [SPARK-39847][SS]如果呼叫端線程中斷，請修正 RocksDBLoader.loadLibrary（） 中的競爭狀況
    • [SPARK-39731][SQL]使用 CORRECTED 時間剖析器原則剖析 「yyyyMMdd」 格式的日期時，修正 CSV 和 JSON 數據源的問題
    • 操作系統安全性更新。

  • 2022 年 8 月 10 日

    • 對於具有數據表訪問控制的差異數據表，透過 DML 語句進行自動架構演進，現在INSERTMERGE可供具有MODIFY這類數據表許可權的所有使用者使用。 此外，使用 執行架構演進 COPY INTO 所需的許可權現在會從 OWNER 降低為 ， MODIFY 以便與其他命令保持一致性。 這些變更會使數據表 ACL 安全性模型與 Unity 目錄安全性模型以及取代資料表等其他作業更一致。
    • [SPARK-39889] 將除法的錯誤訊息增強 0
    • [SPARK-39795] [SQL]新的 SQL 函式：try_to_timestamp
    • [SPARK-39749] 一律在 ANSI 模式下將十進位轉換為字串時使用純字串表示法
    • [SPARK-39625] 將 df.as 重新命名為 df.to
    • [SPARK-39787] [SQL]在函式剖析錯誤to_timestamp中使用錯誤類別
    • [SPARK-39625] [SQL]新增 Dataset.as（結構類型）
    • [SPARK-39689]在 CSV 資料源中支援 2 個字元lineSep
    • [SPARK-39579] [SQL][PYTHON][R] 讓 ListFunctions/getFunction/functionExists 與 3 層命名空間相容
    • [SPARK-39702] [CORE]使用共用 byteRawChannel 減少 TransportCipher$EncryptedMessage 的記憶體額外負荷
    • [SPARK-39575] [AVRO] 在 AvroDeserializer 中新增 ByteBuffer#rewind after ByteBuffer#get
    • [SPARK-39265] [SQL]修正啟用SPARK_ANSI_SQL_MODE時的測試失敗
    • [SPARK-39441] [SQL]加速重複數據刪除Relations
    • [SPARK-39497] [SQL]改善遺漏地圖索引鍵數據行的分析例外狀況
    • [SPARK-39476] [SQL]從 Long 轉換為 Float/Double 或從整數轉換成 Float 時，停用解除包裝轉換優化
    • [SPARK-39434] [SQL]當陣列索引超出界限時，提供運行時錯誤查詢內容

Databricks Runtime 11.0 （不支援）

請參閱 Databricks Runtime 11.0 （不支援）。

  • 2022年11月29日
    • 使用者可以使用 Redshift 連接器來撰寫數據時，設定前置和尾端空格符的行為。 已新增下列選項來控制空格符處理：
      • csvignoreleadingwhitespace當 設定為 時，會在 設定CSV為 true或 CSV GZIP時，從值tempformat中移除前置空格符。 當組態設定為 false時，會保留空格符。 根據預設，此值是 true。
      • csvignoretrailingwhitespace當 設定為 時，會在 設定CSV為 true或 CSV GZIP時tempformat，從值中移除尾端空格符。 當組態設定為 false時，會保留空格符。 根據預設，此值是 true。
    • 已修正當所有數據行都保留為字串時，自動載入器中的 JSON 剖析錯誤（cloudFiles.inferColumnTypes 未設定或設定為 false），且 JSON 包含巢狀物件。
    • [SPARK-39650][SS]修正串流重複數據刪除與回溯相容性中的不正確值架構
    • 操作系統安全性更新。
  • 2022 年 11 月 15 日
    • [SPARK-40646] 結構、對應和數位的 JSON 剖析已修正，因此當記錄的一部分不符合架構時，仍然可以正確剖析其餘的記錄，而不是傳回 Null。 若要加入改善的行為，請將 設定 spark.sql.json.enablePartialResults 為 true。 旗標預設為停用，以保留原始行為。
  • 2022年11月1日
    • 已將 Apache commons-text 升級至 1.10.0。
    • 已修正如果 Delta 數據表具有名為 _change_type的使用者定義數據行，但 在該數據表上停用變更數據摘要 ，該數據行中的數據在執行 時 MERGE，會錯誤地填入 NULL 值的問題。
    • 已修正啟用時 allowOverwrites ，自動載入器中檔案可以在相同的微批次中複製的問題
    • [SPARK-40697][SQL]新增讀取端字元填補以涵蓋外部數據檔
    • [SPARK-40596][CORE]在 ExecutorDecommissionInfo 中填入 ExecutorDecommissionInfo 中的訊息
    • 操作系統安全性更新。
  • 2022年10月18日
    • [SPARK-40213][SQL]支援 Latin-1 字元的 ASCII 值轉換
    • 操作系統安全性更新。
  • 2022 年 10 月 5 日
    • 用戶可以設定spark.conf.set（“spark.databricks.io.listKeysWithPrefix.azure.enabled”， “true”） 以在 ADLS Gen2 上重新啟用自動載入器原生清單。 原生清單先前因效能問題而關閉，但可能會導致客戶的記憶體成本增加。 這項變更已在先前的維護更新中推出至 DBR 10.4 和 9.1。
    • [SPARK-40169] 請勿下推 Parquet 篩選條件，而沒有數據架構的參考
    • [SPARK-40460][SS]修正選取時串流計量 _metadata
    • [SPARK-40468][SQL]在選取_corrupt_record時修正 CSV 中的數據行剪除
    • 操作系統安全性更新。
  • 2022 年 9 月 22 日
    • [SPARK-40315][SQL]為 ArrayBasedMapData 常值新增 hashCode（）
    • [SPARK-40380][SQL]修正 InvokeLike 的常數折疊，以避免內嵌在方案中的非串行化常值
    • [SPARK-40089][SQL]修正某些十進位類型的排序
    • [SPARK-39887][SQL]RemoveRedundantAliases 應保留讓投影節點輸出是唯一的別名
    • [SPARK-40152][SQL]修正split_part codegen 編譯問題
  • 2022 年 9 月 6 日
    • [SPARK-40235][CORE]使用中斷鎖定，而不是在 Executor.updateDependencies 中同步處理
    • [SPARK-40212][SQL]SparkSQL castPartValue 無法正確處理位元組、簡短或 float
    • [SPARK-40218][SQL]GROUPING SETS 應該保留群組數據行
    • [SPARK-39976][SQL]ArrayIntersect 應該正確處理左運算式中的 Null
    • [SPARK-40053][CORE][SQL][測試]新增 assume 至需要 Python 運行時間環境的動態取消案例
    • [SPARK-35542][CORE][ML] 修正：針對具有 splitsArray、inputCols 和 outputCols 之多個數據行建立的貯體化程式在儲存後無法載入
    • [SPARK-40079][CORE]新增空白輸入案例的 Imputer inputCols 驗證
  • 2022 年 8 月 24 日
    • [SPARK-39983][CORE][SQL]請勿在驅動程式上快取未串行化的廣播關係
    • [SPARK-39775][CORE][AVRO]剖析 Avro 架構時停用驗證預設值
    • [SPARK-39806] 已修正存取分割數據表上元數據結構損毀的查詢問題
    • [SPARK-39867][SQL]全域限制不應繼承 OrderPreservingUnaryNode
    • [SPARK-39962][PYTHON][SQL]當群組屬性是空的時套用投影
    • 操作系統安全性更新。
  • 2022 年 8 月 9 日
    • [SPARK-39713][SQL]ANSI 模式：新增針對INVALID_ARRAY_INDEX錯誤使用try_element_at的建議
    • [SPARK-39847] 如果呼叫端線程中斷，請修正 RocksDBLoader.loadLibrary（） 中的競爭狀況
    • [SPARK-39731][SQL]使用 CORRECTED 時間剖析器原則剖析 「yyyyMMdd」 格式的日期時，修正 CSV 和 JSON 數據源的問題
    • [SPARK-39889] 將除法的錯誤訊息增強 0
    • [SPARK-39795][SQL]新的 SQL 函式：try_to_timestamp
    • [SPARK-39749] 一律在 ANSI 模式下將十進位轉換為字串時使用純字串表示法
    • [SPARK-39625][SQL]新增 Dataset.to（結構類型）
    • [SPARK-39787][SQL]在函式剖析錯誤to_timestamp中使用錯誤類別
    • 操作系統安全性更新。
  • 2022年7月27日
    • [SPARK-39689]在 CSV 資料源中支援 2 個字元lineSep
    • [SPARK-39104][SQL]InMemoryRelation#isCachedColumnBuffersLoaded 應該是安全線程
    • [SPARK-39702][CORE]使用共用 byteRawChannel 減少 TransportCipher$EncryptedMessage 的記憶體額外負荷
    • [SPARK-39575][AVRO] 在 AvroDeserializer 中新增 ByteBuffer#rewind after ByteBuffer#get
    • [SPARK-39497][SQL]改善遺漏地圖索引鍵數據行的分析例外狀況
    • [SPARK-39441][SQL]加速重複數據刪除Relations
    • [SPARK-39476][SQL]從 Long 轉換為 Float/Double 或從整數轉換成 Float 時，停用解除包裝轉換優化
    • [SPARK-39434][SQL]當陣列索引超出界限時，提供運行時錯誤查詢內容
    • [SPARK-39570][SQL]內嵌數據表應該允許具有別名的表達式
    • 操作系統安全性更新。
  • 2022年7月13日
    • 當來源不具決定性時，讓 Delta MERGE 作業結果保持一致。
    • 已修正在非 DBFS 路徑上執行時cloud_files_state TVF 的問題。
    • 已停用自動載入器針對 Azure 上的目錄清單使用原生雲端 API。
    • [SPARK-38796][SQL]更新to_number和try_to_number函式，以允許具有正數的 PR
    • [SPARK-39272][SQL]將查詢內容的開始位置增加 1
    • [SPARK-39419][SQL]修正 ArraySort 以在比較子傳回 Null 時擲回例外狀況
    • 操作系統安全性更新。
  • 2022年7月5日
    • 改善錯誤類別範圍的錯誤訊息。
    • [SPARK-39451][SQL]支援將間隔轉換成 ANSI 模式中的整數
    • [SPARK-39361] 請勿在默認記錄組態中使用Log4J2的擴充可擲回轉換模式
    • [SPARK-39354][SQL]確保即使同時有dataTypeMismatchError相關Filter專案也一樣顯示Table or view not found
    • [SPARK-38675][CORE]修正 BlockInfoManager 中解除鎖定期間的競爭
    • [SPARK-39392][SQL]精簡 try_* 函式提示的 ANSI 錯誤訊息
    • [SPARK-39214][SQL][3.3] 改善與 CAST 相關的錯誤
    • [SPARK-37939][SQL]在剖析屬性的錯誤中使用錯誤類別
    • [SPARK-39085][SQL]將的錯誤訊息 INCONSISTENT_BEHAVIOR_CROSS_VERSION 移至 error-classes.json
    • [SPARK-39376][SQL]從 NATURAL/USING JOIN 隱藏子查詢別名星形展開中的重複數據行
    • [SPARK-39283][CORE]修正TaskMemoryManager與UnsafeExternalSorter.SpillableIterator之間的死結
    • [SPARK-39285][SQL]讀取檔案時，Spark 不應該檢查功能變數名稱
    • 操作系統安全性更新。

Databricks Runtime 10.5 （不支援）

請參閱 Databricks Runtime 10.5 （不支援）。

  • 2022年11月1日
    • 已修正如果 Delta 數據表具有名為 _change_type的使用者定義數據行，但 在該數據表上停用變更數據摘要 ，該數據行中的數據在執行 時 MERGE，會錯誤地填入 NULL 值的問題。
    • [SPARK-40697][SQL]新增讀取端字元填補以涵蓋外部數據檔
    • [SPARK-40596][CORE]在 ExecutorDecommissionInfo 中填入 ExecutorDecommissionInfo 中的訊息
    • 操作系統安全性更新。
  • 2022年10月18日
    • 操作系統安全性更新。
  • 2022 年 10 月 5 日
    • 用戶可以設定spark.conf.set（“spark.databricks.io.listKeysWithPrefix.azure.enabled”， “true”） 以在 ADLS Gen2 上重新啟用自動載入器原生清單。 原生清單先前因效能問題而關閉，但可能會導致客戶的記憶體成本增加。 這項變更已在先前的維護更新中推出至 DBR 10.4 和 9.1。
    • reload4j 已升級至 1.2.19，以修正弱點。
    • [SPARK-40460][SS]修正選取時串流計量 _metadata
    • [SPARK-40468][SQL]在選取_corrupt_record時修正 CSV 中的數據行剪除
    • 操作系統安全性更新。
  • 2022 年 9 月 22 日
    • [SPARK-40315][SQL]為 ArrayBasedMapData 常值新增 hashCode（）
    • [SPARK-40213][SQL]支援 Latin-1 字元的 ASCII 值轉換
    • [SPARK-40380][SQL]修正 InvokeLike 的常數折疊，以避免內嵌在方案中的非串行化常值
    • [SPARK-38404][SQL]改善巢狀 CTE 參考外部 CTE 時的 CTE 解析
    • [SPARK-40089][SQL]修正某些十進位類型的排序
    • [SPARK-39887][SQL]RemoveRedundantAliases 應保留讓投影節點輸出是唯一的別名
    • 操作系統安全性更新。
  • 2022 年 9 月 6 日
    • [SPARK-40235][CORE]使用中斷鎖定，而不是在 Executor.updateDependencies 中同步處理
    • [SPARK-39976][SQL]ArrayIntersect 應該正確處理左運算式中的 Null
    • [SPARK-40053][CORE][SQL][測試]新增 assume 至需要 Python 運行時間環境的動態取消案例
    • [SPARK-35542][CORE][ML] 修正：針對具有 splitsArray、inputCols 和 outputCols 之多個數據行建立的貯體化程式在儲存後無法載入
    • [SPARK-40079][CORE]新增空白輸入案例的 Imputer inputCols 驗證
  • 2022 年 8 月 24 日
    • [SPARK-39983][CORE][SQL]請勿在驅動程式上快取未串行化的廣播關係
    • [SPARK-39775][CORE][AVRO]剖析 Avro 架構時停用驗證預設值
    • [SPARK-39806] 已修正存取分割數據表上元數據結構損毀的查詢問題
    • [SPARK-39962][PYTHON][SQL]當群組屬性是空的時套用投影
    • [SPARK-37643][SQL] 當 charVarcharAsString 為 true 時，char 數據類型述詞查詢應該略過 rpadding 規則
    • 操作系統安全性更新。
  • 2022 年 8 月 9 日
    • [SPARK-39847] 如果呼叫端線程中斷，請修正 RocksDBLoader.loadLibrary（） 中的競爭狀況
    • [SPARK-39731][SQL]使用 CORRECTED 時間剖析器原則剖析 「yyyyMMdd」 格式的日期時，修正 CSV 和 JSON 數據源的問題
    • 操作系統安全性更新。
  • 2022年7月27日
    • [SPARK-39625][SQL]新增 Dataset.as（結構類型）
    • [SPARK-39689]在 CSV 資料源中支援 2 個字元lineSep
    • [SPARK-39104][SQL]InMemoryRelation#isCachedColumnBuffersLoaded 應該是安全線程
    • [SPARK-39570][SQL]內嵌數據表應該允許具有別名的表達式
    • [SPARK-39702][CORE]使用共用 byteRawChannel 減少 TransportCipher$EncryptedMessage 的記憶體額外負荷
    • [SPARK-39575][AVRO] 在 AvroDeserializer 中新增 ByteBuffer#rewind after ByteBuffer#get
    • [SPARK-39476][SQL]從 Long 轉換為 Float/Double 或從整數轉換成 Float 時，停用解除包裝轉換優化
    • 操作系統安全性更新。
  • 2022年7月13日
    • 當來源不具決定性時，讓 Delta MERGE 作業結果保持一致。
    • [SPARK-39355][SQL]單一數據行使用引號來建構 UnresolvedAttribute
    • [SPARK-39548][SQL]具有 window 子句查詢的 CreateView 命令遇到找不到錯誤的視窗定義問題
    • [SPARK-39419][SQL]修正 ArraySort 以在比較子傳回 Null 時擲回例外狀況
    • 已停用自動載入器針對 Azure 上的目錄清單使用原生雲端 API。
    • 操作系統安全性更新。
  • 2022年7月5日
    • [SPARK-39376][SQL]從 NATURAL/USING JOIN 隱藏子查詢別名星形展開中的重複數據行
    • 操作系統安全性更新。
  • 2022年6月15日
    • [SPARK-39283][CORE]修正TaskMemoryManager與UnsafeExternalSorter.SpillableIterator之間的死結
    • [SPARK-39285][SQL]讀取檔案時，Spark 不應該檢查功能變數名稱
    • [SPARK-34096][SQL]改善nth_value忽略位移視窗上 Null 的效能
    • [SPARK-36718][SQL][FOLLOWUP] isExtractOnly 修正 CollapseProject 中的檢查
  • 2022年6月2日
    • [SPARK-39166][SQL]在 WSCG 關閉時，提供二進位算術的運行時間錯誤查詢內容
    • [SPARK-39093][SQL]避免將年月間隔或日時間間隔除以整數時發生codegen編譯錯誤
    • [SPARK-38990][SQL]在評估date_trunc/截斷格式做為系結參考時，請避免 NullPointerException
    • 操作系統安全性更新。
  • 2022年5月18日
    • 修正自動載入器中潛在的原生記憶體流失。
    • [SPARK-38868][SQL]優化外部聯結時，請勿從篩選述詞傳播例外狀況
    • [SPARK-38796][SQL]根據新的規格實作to_number和try_to_number SQL 函式
    • [SPARK-38918][SQL]巢狀數據行剪除應該篩選出不屬於目前關聯的屬性
    • [SPARK-38929][SQL]改善 ANSI 中轉換失敗的錯誤訊息
    • [SPARK-38926][SQL]SQL 樣式中錯誤訊息中的輸出類型
    • [SPARK-39084][PYSPARK]修正 df.rdd.isEmpty（） 使用 TaskContext 停止工作完成的反覆運算器
    • [SPARK-32268][SQL]在 injectBloomFilter 中新增 ColumnPruning
    • [SPARK-38908][SQL]在從字串轉換成 Number/Date/Timestamp/Boolean 的運行時間錯誤中提供查詢內容
    • [SPARK-39046][SQL]如果 TreeNode.origin 設定錯誤，則傳回空的內容字串
    • [SPARK-38974][SQL]在清單函式中篩選具有指定資料庫名稱的已註冊函式
    • [SPARK-38762][SQL]在十進位元錯誤中提供查詢內容
    • [SPARK-38931][SS]為 RocksDBFileManager 建立根 dfs 目錄，並在第 1 個檢查點上使用未知的索引鍵數目
    • [SPARK-38992][CORE]避免在 ShellBasedGroupsMappingProvider 中使用 bash -c
    • [SPARK-38716][SQL]在對應索引鍵中提供查詢內容不存在錯誤
    • [SPARK-38889][SQL]編譯布爾數據行篩選，以使用 MSSQL 數據源的位類型
    • [SPARK-38698][SQL]在 Divide/Div/Reminder/Pmod 的運行時間錯誤中提供查詢內容
    • [SPARK-38823][SQL]使 NewInstance 無法折疊以修正匯總緩衝區損毀問題
    • [SPARK-38809][SS]在數據流聯結的對稱哈希實作中略過 Null 值的實作選項
    • [SPARK-38676][SQL]在新增/減去/乘法的運行時間錯誤訊息中提供 SQL 查詢內容
    • [SPARK-38677][PYSPARK]由於封鎖 I/O，Python MonitorThread 應該偵測死結
    • 操作系統安全性更新。

Databricks Runtime 10.3 （不支援）

請參閱 Databricks Runtime 10.3 （不支援）。

  • 2022年7月27日
    • [SPARK-39689]在 CSV 資料源中支援 2 個字元lineSep
    • [SPARK-39104][SQL]InMemoryRelation#isCachedColumnBuffersLoaded 應該是安全線程
    • [SPARK-39702][CORE]使用共用 byteRawChannel 減少 TransportCipher$EncryptedMessage 的記憶體額外負荷
    • 操作系統安全性更新。
  • 2022年7月20日
    • 當來源不具決定性時，讓 Delta MERGE 作業結果保持一致。
    • [SPARK-39476][SQL]從 Long 轉換為 Float/Double 或從整數轉換成 Float 時，停用解除包裝轉換優化
    • [SPARK-39548][SQL]具有 window 子句查詢的 CreateView 命令遇到找不到錯誤的視窗定義問題
    • [SPARK-39419][SQL]修正 ArraySort 以在比較子傳回 Null 時擲回例外狀況
    • 操作系統安全性更新。
  • 2022年7月5日
    • [SPARK-39376][SQL]從 NATURAL/USING JOIN 隱藏子查詢別名星形展開中的重複數據行
    • 操作系統安全性更新。
  • 2022年6月15日
    • [SPARK-39283][CORE]修正TaskMemoryManager與UnsafeExternalSorter.SpillableIterator之間的死結
    • [SPARK-39285][SQL]讀取檔案時，Spark 不應該檢查功能變數名稱
    • [SPARK-34096][SQL]改善nth_value忽略位移視窗上 Null 的效能
    • [SPARK-36718][SQL][FOLLOWUP] isExtractOnly 修正 CollapseProject 中的檢查
  • 2022年6月2日
    • [SPARK-38990][SQL]在評估date_trunc/截斷格式做為系結參考時，請避免 NullPointerException
    • 操作系統安全性更新。
  • 2022年5月18日
    • 修正自動載入器中潛在的原生記憶體流失。
    • [SPARK-38918][SQL]巢狀數據行剪除應該篩選出不屬於目前關聯的屬性
    • [SPARK-37593][CORE]如果使用 G1GC 和 ON_HEAP，請減少預設頁面大小LONG_ARRAY_OFFSET
    • [SPARK-39084][PYSPARK]修正 df.rdd.isEmpty（） 使用 TaskContext 停止工作完成的反覆運算器
    • [SPARK-32268][SQL]在 injectBloomFilter 中新增 ColumnPruning
    • [SPARK-38974][SQL]在清單函式中篩選具有指定資料庫名稱的已註冊函式
    • [SPARK-38889][SQL]編譯布爾數據行篩選，以使用 MSSQL 數據源的位類型
    • 操作系統安全性更新。
  • 2022年5月4日
    • 已將 Java AWS SDK 從 1.11.655 版升級為 1.12.1899。
  • 2022年4月19日
    • [SPARK-38616][SQL]追蹤 Catalyst TreeNode 中的 SQL 查詢文字
    • 操作系統安全性更新。
  • 2022年4月6日
    • [SPARK-38631][CORE]使用 Java 實作在 Utils.unpack 解除 tarring
    • 操作系統安全性更新。
  • 2022年3月22日
    • 已變更高並行叢集上筆記本的目前工作目錄，並啟用數據表訪問控制或認證傳遞至使用者的主目錄。 先前的工作目錄是 /databricks/driver。
    • [SPARK-38437][SQL]數據源中 datetime 的 Lenient 串行化
    • [SPARK-38180][SQL]允許相互關聯的相等述詞中的安全向上轉換表達式
    • [SPARK-38155][SQL]不允許具有不支援述詞之橫向子查詢中的相異匯總
    • [SPARK-38325][SQL]ANSI 模式：避免 HashJoin.extractKeyExprAt 中可能發生的運行時間錯誤（）
  • 2022 年 3 月 14 日
    • 改善 Delta Lake 中空交易的交易衝突偵測。
    • [SPARK-38185][SQL]修正如果聚合函數是空的，則修正數據不正確
    • [SPARK-38318]取代數據集檢視時的 [SQL] 回歸
    • [SPARK-38236][SQL]建立/改變數據表中指定的絕對檔案路徑會被視為相對
    • [SPARK-35937][SQL]從時間戳擷取日期字段應該在ANSI模式中運作
    • [SPARK-34069][SQL]應遵守終止屏障工作 SPARK_JOB_INTERRUPT_ON_CANCEL
    • [SPARK-37707][SQL]允許在 TimestampNTZ 與 Date/Timestamp 之間儲存指派
  • 2022年2月23日
    • [SPARK-27442][SQL]在 parquet 中讀取/寫入數據時移除檢查功能變數名稱

Databricks Runtime 10.2 （不支援）

請參閱 Databricks Runtime 10.2 （不支援）。

  • 2022年6月15日
    • [SPARK-39283][CORE]修正TaskMemoryManager與UnsafeExternalSorter.SpillableIterator之間的死結
    • [SPARK-39285][SQL]讀取檔案時，Spark 不應該檢查功能變數名稱
    • [SPARK-34096][SQL]改善nth_value忽略位移視窗上 Null 的效能
  • 2022年6月2日
    • [SPARK-38918][SQL]巢狀數據行剪除應該篩選出不屬於目前關聯的屬性
    • [SPARK-38990][SQL]在評估date_trunc/截斷格式做為系結參考時，請避免 NullPointerException
    • 操作系統安全性更新。
  • 2022年5月18日
    • 修正自動載入器中潛在的原生記憶體流失。
    • [SPARK-39084][PYSPARK]修正 df.rdd.isEmpty（） 使用 TaskContext 停止工作完成的反覆運算器
    • [SPARK-38889][SQL]編譯布爾數據行篩選，以使用 MSSQL 數據源的位類型
    • [SPARK-38931][SS]為 RocksDBFileManager 建立根 dfs 目錄，並在第 1 個檢查點上使用未知的索引鍵數目
    • 操作系統安全性更新。
  • 2022年5月4日
    • 已將 Java AWS SDK 從 1.11.655 版升級為 1.12.1899。
  • 2022年4月19日
    • 操作系統安全性更新。
    • 其他錯誤修正。
  • 2022年4月6日
    • [SPARK-38631][CORE]使用 Java 實作在 Utils.unpack 解除 tarring
    • 操作系統安全性更新。
  • 2022年3月22日
    • 已變更高並行叢集上筆記本的目前工作目錄，並啟用數據表訪問控制或認證傳遞至使用者的主目錄。 先前的工作目錄是 /databricks/driver。
    • [SPARK-38437][SQL]數據源中 datetime 的 Lenient 串行化
    • [SPARK-38180][SQL]允許相互關聯的相等述詞中的安全向上轉換表達式
    • [SPARK-38155][SQL]不允許具有不支援述詞之橫向子查詢中的相異匯總
    • [SPARK-38325][SQL]ANSI 模式：避免 HashJoin.extractKeyExprAt 中可能發生的運行時間錯誤（）
  • 2022 年 3 月 14 日
    • 改善 Delta Lake 中空交易的交易衝突偵測。
    • [SPARK-38185][SQL]修正如果聚合函數是空的，則修正數據不正確
    • [SPARK-38318]取代數據集檢視時的 [SQL] 回歸
    • [SPARK-38236][SQL]建立/改變數據表中指定的絕對檔案路徑會被視為相對
    • [SPARK-35937][SQL]從時間戳擷取日期字段應該在ANSI模式中運作
    • [SPARK-34069][SQL]應遵守終止屏障工作 SPARK_JOB_INTERRUPT_ON_CANCEL
    • [SPARK-37707][SQL]允許在 TimestampNTZ 與 Date/Timestamp 之間儲存指派
  • 2022年2月23日
    • [SPARK-37577][SQL]修正 ClassCastException：ArrayType 無法轉換成產生剪除的 StructType
  • 2022 年 2 月 8 日
    • [SPARK-27442][SQL]在 parquet 中讀取/寫入數據時，移除檢查功能變數名稱。
    • 操作系統安全性更新。
  • 2022年2月1日
    • 操作系統安全性更新。
  • 2022年1月26日
    • 已修正差異數據表上的並行交易在特定罕見情況下可以以不可串行化的順序認可的錯誤。
    • 修正了啟用 ANSI SQL 方言時 OPTIMIZE 命令可能會失敗的錯誤。
  • 2022年1月19日
    • 引進了將暫存認證內嵌至 COPY INTO 的支援，以載入源數據，而不需要 SQL ANY_FILE 許可權
    • 錯誤修正和安全性增強功能。
  • 2021年12月20日
    • 已修正 Parquet 資料行索引型篩選的罕見錯誤。

Databricks Runtime 10.1 （不支援）

請參閱 Databricks Runtime 10.1 （不支援）。

  • 2022年6月15日
    • [SPARK-39283][CORE]修正TaskMemoryManager與UnsafeExternalSorter.SpillableIterator之間的死結
    • [SPARK-39285][SQL]讀取檔案時，Spark 不應該檢查功能變數名稱
    • [SPARK-34096][SQL]改善nth_value忽略位移視窗上 Null 的效能
  • 2022年6月2日
    • 操作系統安全性更新。
  • 2022年5月18日
    • 修正自動載入器中潛在的原生記憶體流失。
    • [SPARK-39084][PYSPARK]修正 df.rdd.isEmpty（） 使用 TaskContext 停止工作完成的反覆運算器
    • [SPARK-38889][SQL]編譯布爾數據行篩選，以使用 MSSQL 數據源的位類型
    • 操作系統安全性更新。
  • 2022年4月19日
    • [SPARK-37270][SQL]如果 elseValue 是空的，請修正可折疊至 CaseWhen 分支
    • 操作系統安全性更新。
  • 2022年4月6日
    • [SPARK-38631][CORE]使用 Java 實作在 Utils.unpack 解除 tarring
    • 操作系統安全性更新。
  • 2022年3月22日
    • [SPARK-38437][SQL]數據源中 datetime 的 Lenient 串行化
    • [SPARK-38180][SQL]允許相互關聯的相等述詞中的安全向上轉換表達式
    • [SPARK-38155][SQL]不允許具有不支援述詞之橫向子查詢中的相異匯總
    • [SPARK-38325][SQL]ANSI 模式：避免 HashJoin.extractKeyExprAt 中可能發生的運行時間錯誤（）
  • 2022 年 3 月 14 日
    • 改善 Delta Lake 中空交易的交易衝突偵測。
    • [SPARK-38185][SQL]修正如果聚合函數是空的，則修正數據不正確
    • [SPARK-38318]取代數據集檢視時的 [SQL] 回歸
    • [SPARK-38236][SQL]建立/改變數據表中指定的絕對檔案路徑會被視為相對
    • [SPARK-35937][SQL]從時間戳擷取日期字段應該在ANSI模式中運作
    • [SPARK-34069][SQL]應遵守終止屏障工作 SPARK_JOB_INTERRUPT_ON_CANCEL
    • [SPARK-37707][SQL]允許在 TimestampNTZ 與 Date/Timestamp 之間儲存指派
  • 2022年2月23日
    • [SPARK-37577][SQL]修正 ClassCastException：ArrayType 無法轉換成產生剪除的 StructType
  • 2022 年 2 月 8 日
    • [SPARK-27442][SQL]在 parquet 中讀取/寫入數據時，移除檢查功能變數名稱。
    • 操作系統安全性更新。
  • 2022年2月1日
    • 操作系統安全性更新。
  • 2022年1月26日
    • 已修正差異數據表上的並行交易在特定罕見情況下可以以不可串行化的順序認可的錯誤。
    • 修正了啟用 ANSI SQL 方言時 OPTIMIZE 命令可能會失敗的錯誤。
  • 2022年1月19日
    • 引進了將暫存認證內嵌至 COPY INTO 的支援，以載入源數據，而不需要 SQL ANY_FILE 許可權
    • 已修正特定情況下查詢結果快取的記憶體不足問題。
    • 已修正使用者將目前目錄切換至非預設目錄時的問題 USE DATABASE 。
    • 錯誤修正和安全性增強功能。
    • 操作系統安全性更新。
  • 2021年12月20日
    • 已修正 Parquet 資料行索引型篩選的罕見錯誤。

Databricks Runtime 10.0 （不支援）

請參閱 Databricks Runtime 10.0 （不支援）。

  • 2022年4月19日
    • [SPARK-37270][SQL]如果 elseValue 是空的，請修正可折疊至 CaseWhen 分支
    • 操作系統安全性更新。
  • 2022年4月6日
    • [SPARK-38631][CORE]使用 Java 實作在 Utils.unpack 解除 tarring
    • 操作系統安全性更新。
  • 2022年3月22日
    • [SPARK-38437][SQL]數據源中 datetime 的 Lenient 串行化
    • [SPARK-38180][SQL]允許相互關聯的相等述詞中的安全向上轉換表達式
    • [SPARK-38155][SQL]不允許具有不支援述詞之橫向子查詢中的相異匯總
    • [SPARK-38325][SQL]ANSI 模式：避免 HashJoin.extractKeyExprAt 中可能發生的運行時間錯誤（）
  • 2022 年 3 月 14 日
    • 改善 Delta Lake 中空交易的交易衝突偵測。
    • [SPARK-38185][SQL]修正如果聚合函數是空的，則修正數據不正確
    • [SPARK-38318]取代數據集檢視時的 [SQL] 回歸
    • [SPARK-38236][SQL]建立/改變數據表中指定的絕對檔案路徑會被視為相對
    • [SPARK-35937][SQL]從時間戳擷取日期字段應該在ANSI模式中運作
    • [SPARK-34069][SQL]應遵守終止屏障工作 SPARK_JOB_INTERRUPT_ON_CANCEL
    • [SPARK-37707][SQL]允許在 TimestampNTZ 與 Date/Timestamp 之間儲存指派
  • 2022年2月23日
    • [SPARK-37577][SQL]修正 ClassCastException：ArrayType 無法轉換成產生剪除的 StructType
  • 2022 年 2 月 8 日
    • [SPARK-27442][SQL]在 parquet 中讀取/寫入數據時，移除檢查功能變數名稱。
    • [SPARK-36905][SQL]修正讀取沒有明確數據行名稱的Hive檢視
    • [SPARK-37859][SQL]修正使用 JDBC 搭配 Spark 3.1 建立的 SQL 資料表無法使用 3.2 讀取的問題
    • 操作系統安全性更新。
  • 2022年2月1日
    • 操作系統安全性更新。
  • 2022年1月26日
    • 已修正差異數據表上的並行交易在特定罕見情況下可以以不可串行化的順序認可的錯誤。
    • 修正了啟用 ANSI SQL 方言時 OPTIMIZE 命令可能會失敗的錯誤。
  • 2022年1月19日
    • 錯誤修正和安全性增強功能。
    • 操作系統安全性更新。
  • 2021年12月20日
    • 已修正 Parquet 資料行索引型篩選的罕見錯誤。
  • 2021年11月9日
    • 引進了其他組態旗標，以啟用 ANSI 行為的精細控制。
  • 2021年11月4日
    • 已修正可能導致結構化串流失敗並出現ArrayIndexOutOfBoundsException的錯誤
    • 已修正可能會造成 IOException 之類的 java.io.IOException: No FileSystem for scheme 查詢失敗的競爭條件，或可能會導致修改 sparkContext.hadoopConfiguration 在查詢中不生效。
    • Delta Sharing 的 Apache Spark 連線 or 已升級至 0.2.0。
  • 2021 年 11 月 30 日
    • 修正了時間戳剖析的問題，其中沒有冒號的時區字串被視為無效。
    • 已修正特定情況下查詢結果快取的記憶體不足問題。
    • 已修正使用者將目前目錄切換至非預設目錄時的問題 USE DATABASE 。

Databricks Runtime 9.0 （不支援）

請參閱 Databricks Runtime 9.0 （不支援）。

  • 2022 年 2 月 8 日
    • 操作系統安全性更新。
  • 2022年2月1日
    • 操作系統安全性更新。
  • 2022年1月26日
    • 修正了啟用 ANSI SQL 方言時 OPTIMIZE 命令可能會失敗的錯誤。
  • 2022年1月19日
    • 錯誤修正和安全性增強功能。
    • 操作系統安全性更新。
  • 2021年11月4日
    • 已修正可能導致結構化串流失敗並出現ArrayIndexOutOfBoundsException的錯誤
    • 已修正可能會造成 IOException 之類的 java.io.IOException: No FileSystem for scheme 查詢失敗的競爭條件，或可能會導致修改 sparkContext.hadoopConfiguration 在查詢中不生效。
    • Delta Sharing 的 Apache Spark 連線 or 已升級至 0.2.0。
  • 2021年9月22日
    • 已修正將Spark數位轉換成 null 的 Bug
  • 2021年9月15日
    • 已修正可能導致查詢失敗的競爭條件，其 IOException 類似 java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x。
  • 2021年9月8日
    • 已新增架構名稱（databaseName.schemaName.tableName格式）的支持，作為 Azure Synapse 連線 or 的目標數據表名稱。
    • 已新增Spark SQL的幾何和地理位置 JDBC 類型支援。
    • [SPARK-33527][SQL]擴充譯碼功能，以與主流資料庫一致。
    • [SPARK-36532][CORE][3.1] 已修正 中的 CoarseGrainedExecutorBackend.onDisconnected 死結，以避免 executorsconnected 執行程式關機停止回應。
  • 2021年8月25日
    • SQL Server 驅動程序連結庫已升級至 9.2.1.jre8。
    • Snowflake 連接器已升級至 2.9.0。
    • 已修正 AutoML 實驗頁面上最佳試用筆記本的連結中斷。

Databricks Runtime 8.4 （不支援）

請參閱 Databricks Runtime 8.4 （不支援）。

  • 2022年1月19日
    • 操作系統安全性更新。
  • 2021年11月4日
    • 已修正可能導致結構化串流失敗並出現ArrayIndexOutOfBoundsException的錯誤
    • 已修正可能會造成 IOException 之類的 java.io.IOException: No FileSystem for scheme 查詢失敗的競爭條件，或可能會導致修改 sparkContext.hadoopConfiguration 在查詢中不生效。
    • Delta Sharing 的 Apache Spark 連線 or 已升級至 0.2.0。
  • 2021年9月22日
    • Spark JDBC 驅動程式已升級至 2.6.19.1030
    • [SPARK-36734][SQL]將 ORC 升級至 1.5.1
  • 2021年9月15日
    • 已修正可能導致查詢失敗的競爭條件，其 IOException 類似 java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x。
    • 操作系統安全性更新。
  • 2021年9月8日
    • [SPARK-36532][CORE][3.1] 已修正 中的 CoarseGrainedExecutorBackend.onDisconnected 死結，以避免 executorsconnected 執行程式關機停止回應。
  • 2021年8月25日
    • SQL Server 驅動程序連結庫已升級至 9.2.1.jre8。
    • Snowflake 連接器已升級至 2.9.0。
    • 修正由新的 Parquet 預先擷取優化所造成的認證傳遞錯誤，其中在檔案存取期間找不到使用者的傳遞認證。
  • 2021年8月11日
    • 修正導致舊版 Databricks Runtime 8.4 的 RocksDB 不相容問題。 這會修正自動載入器、 COPY INTO和具狀態串流應用程式的轉送相容性。
    • 修正使用自動載入器讀取 CSV 檔案與頭檔不符時的錯誤。 如果數據行名稱不相符，數據行會以 Null 填入。 現在，如果提供架構，它會假設架構相同，而且只有在已啟用已獲救的數據行時，才會儲存數據行不符。
    • 將稱為 externalDataSource 的新選項新增至 Azure Synapse 連接器，以移除 CONTROL 資料庫讀取 PolyBase 的許可權需求。
  • 2021年7月29日
    • [SPARK-36034][BUILD]將向下推入篩選條件中的日期時間重新設定為 Parquet
    • [SPARK-36163][BUILD]在 JDBC 連接器提供者和新增 connectionProvider 選項中傳播正確的 JDBC 屬性

Databricks Runtime 8.3 （不支援）

請參閱 Databricks Runtime 8.3 （不支援）。

  • 2022年1月19日
    • 操作系統安全性更新。
  • 2021年11月4日
    • 已修正可能導致結構化串流失敗並出現ArrayIndexOutOfBoundsException的錯誤
    • 已修正可能會造成 IOException 之類的 java.io.IOException: No FileSystem for scheme 查詢失敗的競爭條件，或可能會導致修改 sparkContext.hadoopConfiguration 在查詢中不生效。
  • 2021年9月22日
    • Spark JDBC 驅動程式已升級至 2.6.19.1030
  • 2021年9月15日
    • 已修正可能導致查詢失敗的競爭條件，其 IOException 類似 java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x。
    • 操作系統安全性更新。
  • 2021年9月8日
    • [SPARK-35700][SQL][WARMFIX]在外部系統建立和寫入時，讀取 char/varchar orc 數據表。
    • [SPARK-36532][CORE][3.1] 已修正 中的 CoarseGrainedExecutorBackend.onDisconnected 死結，以避免 executorsconnected 執行程式關機停止回應。
  • 2021年8月25日
    • SQL Server 驅動程序連結庫已升級至 9.2.1.jre8。
    • Snowflake 連接器已升級至 2.9.0。
    • 修正由新的 Parquet 預先擷取優化所造成的認證傳遞錯誤，其中在檔案存取期間找不到使用者的傳遞認證。
  • 2021年8月11日
    • 修正使用自動載入器讀取 CSV 檔案與頭檔不符時的錯誤。 如果數據行名稱不相符，數據行會以 Null 填入。 現在，如果提供架構，它會假設架構相同，而且只有在已啟用已獲救的數據行時，才會儲存數據行不符。
  • 2021年7月29日
    • 將 Databricks Snowflake Spark 連接器升級至 2.9.0-spark-3.1
    • [SPARK-36034][BUILD]將向下推入篩選條件中的日期時間重新設定為 Parquet
    • [SPARK-36163][BUILD]在 JDBC 連接器提供者和新增 connectionProvider 選項中傳播正確的 JDBC 屬性
  • 2021年7月14日
    • 已修正在 Azure Synapse 連接器中搭配點使用數據行名稱時的問題。
    • Synapse 連線 or 的引進database.schema.table格式。
    • 已新增支援，以提供 databaseName.schemaName.tableName 格式做為目標資料表，而不只是 schemaName.tableName 或 tableName。
  • 2021年6月15日
    • NoSuchElementException已修正 Delta Lake 優化寫入中的 Bug，在寫入大量數據並遇到執行程式損失時可能發生
    • 新增 SQL CREATE GROUP、 DROP GROUP、 ALTER GROUP、 SHOW GROUPS和 SHOW USERS 命令。 如需詳細資訊，請參閱 安全性語句 和 Show 語句。

Databricks Runtime 8.2 （不支援）

請參閱 Databricks Runtime 8.2 （不支援）。

  • 2021 年 9 月 22 日

    • 操作系統安全性更新。

  • 2021年9月15日

    • 已修正可能導致查詢失敗的競爭條件，其 IOException 類似 java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x。

  • 2021 年 9 月 8 日

    • [SPARK-35700][SQL][WARMFIX]在外部系統建立和寫入時，讀取 char/varchar orc 數據表。
    • [SPARK-36532][CORE][3.1] 已修正 中的 CoarseGrainedExecutorBackend.onDisconnected 死結，以避免 executorsconnected 執行程式關機停止回應。

  • 2021 年 8 月 25 日

    • Snowflake 連接器已升級至 2.9.0。

  • 2021年8月11日

    • [SPARK-36034][SQL]將向下推入篩選中的日期時間重新設定為 parquet。

  • 2021年7月29日

    • 將 Databricks Snowflake Spark 連接器升級至 2.9.0-spark-3.1
    • [SPARK-36163][BUILD]在 JDBC 連接器提供者和新增 connectionProvider 選項中傳播正確的 JDBC 屬性

  • 2021 年 7 月 14 日

    • 已修正在 Azure Synapse 連接器中搭配點使用數據行名稱時的問題。
    • Synapse 連線 or 的引進database.schema.table格式。
    • 已新增支援，以提供 databaseName.schemaName.tableName 格式做為目標資料表，而不只是 schemaName.tableName 或 tableName。
    • 修正了使用 Delta 資料表防止用戶及時前往舊版可用版本的錯誤。

  • 2021 年 6 月 15 日

    • 修正 NoSuchElementException Delta Lake 優化寫入中的 Bug，在寫入大量數據並遇到執行程式損失時可能發生

  • 2021 年 5 月 26 日

    • 已使用安全性修補程式更新 Python，以修正 Python 安全性弱點 （CVE-2021-3177）。

  • 2021 年 4 月 30 日

    • 操作系統安全性更新。
    • [SPARK-35227][BUILD]在SparkSubmit中更新spark套件的解析程式
    • [SPARK-34245][CORE]確定 Master 會移除無法傳送完成狀態的執行程式
    • 已修正自動載入器回報結構化串流進度計量時的 OOM 問題。

Databricks Runtime 8.1 （不支援）

請參閱 Databricks Runtime 8.1 （不支援）。

  • 2021 年 9 月 22 日

    • 操作系統安全性更新。

  • 2021年9月15日

    • 已修正可能導致查詢失敗的競爭條件，其 IOException 類似 java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x。

  • 2021 年 9 月 8 日

    • [SPARK-35700][SQL][WARMFIX]在外部系統建立和寫入時，讀取 char/varchar orc 數據表。
    • [SPARK-36532][CORE][3.1] 已修正 中的 CoarseGrainedExecutorBackend.onDisconnected 死結，以避免 executorsconnected 執行程式關機停止回應。

  • 2021 年 8 月 25 日

    • Snowflake 連接器已升級至 2.9.0。

  • 2021年8月11日

    • [SPARK-36034][SQL]將向下推入篩選中的日期時間重新設定為 parquet。

  • 2021年7月29日

    • 將 Databricks Snowflake Spark 連接器升級至 2.9.0-spark-3.1
    • [SPARK-36163][BUILD]在 JDBC 連接器提供者和新增 connectionProvider 選項中傳播正確的 JDBC 屬性

  • 2021 年 7 月 14 日

    • 已修正在 Azure Synapse 連接器中搭配點使用數據行名稱時的問題。
    • 修正了使用 Delta 資料表防止用戶及時前往舊版可用版本的錯誤。

  • 2021 年 6 月 15 日

    • 修正 NoSuchElementException Delta Lake 優化寫入中的 Bug，在寫入大量數據並遇到執行程式損失時可能發生

  • 2021 年 5 月 26 日

    • 已使用安全性修補程式更新 Python，以修正 Python 安全性弱點 （CVE-2021-3177）。

  • 2021 年 4 月 30 日

    • 操作系統安全性更新。
    • [SPARK-35227][BUILD]在SparkSubmit中更新spark套件的解析程式
    • 已修正自動載入器回報結構化串流進度計量時的 OOM 問題。

  • 2021年4月27日

    • [SPARK-34245][CORE]確定 Master 會移除無法傳送完成狀態的執行程式
    • [SPARK-34856][SQL]ANSI 模式：允許將複雜類型轉型為字串類型
    • [SPARK-35014] 修正 PhysicalAggregation 模式，以不重寫可折疊表達式
    • [SPARK-34769][SQL]AnsiTypeCoercion：在 TypeCollection 中傳回最窄的可轉換類型
    • [SPARK-34614][SQL]ANSI 模式：將字串轉換成布爾值會在剖析錯誤時擲回例外狀況
    • [SPARK-33794][SQL]ANSI 模式：修正 NextDay 運算式在收到無效輸入時擲回運行時間 IllegalArgumentException

Databricks Runtime 8.0 （不支援）

請參閱 Databricks Runtime 8.0 （不支援）。

  • 2021年9月15日

    • 已修正可能導致查詢失敗的競爭條件，其 IOException 類似 java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x。

  • 2021 年 8 月 25 日

    • Snowflake 連接器已升級至 2.9.0。

  • 2021年8月11日

    • [SPARK-36034][SQL]將向下推入篩選中的日期時間重新設定為 parquet。

  • 2021年7月29日

    • [SPARK-36163][BUILD]在 JDBC 連接器提供者和新增 connectionProvider 選項中傳播正確的 JDBC 屬性

  • 2021 年 7 月 14 日

    • 已修正在 Azure Synapse 連接器中搭配點使用數據行名稱時的問題。
    • 修正了使用 Delta 資料表防止用戶及時前往舊版可用版本的錯誤。

  • 2021 年 5 月 26 日

    • 已使用安全性修補程式更新 Python，以修正 Python 安全性弱點 （CVE-2021-3177）。

  • 2021 年 4 月 30 日

    • 操作系統安全性更新。
    • [SPARK-35227][BUILD]在SparkSubmit中更新spark套件的解析程式
    • [SPARK-34245][CORE]確定 Master 會移除無法傳送完成狀態的執行程式

  • 2021年3月24日

    • [SPARK-34681][SQL]修正在建置具有不相等條件的左側時，完整外部隨機哈希聯結的 Bug
    • [SPARK-34534] 修正使用 FetchShuffleBlocks 擷取區塊時的 blockIds 順序
    • [SPARK-34613][SQL]修正檢視不會擷取停用提示設定

  • 2021 年 3 月 9 日

    • [SPARK-34543][SQL]在解析 v1 中的數據分割規格時遵守 spark.sql.caseSensitive 設定 SET LOCATION
    • [SPARK-34392][SQL]支援 DateTimeUtils 中的 ZoneOffset +h：mm。 getZoneId
    • [UI]修正 Spark DAG 視覺效果的 href 連結
    • [SPARK-34436][SQL]DPP 支援 LIKE ANY/ALL 運算式

Databricks Runtime 7.6 （不支援）

請參閱 Databricks Runtime 7.6 （不支援）。

  • 2021年8月11日
    • [SPARK-36034][SQL]將向下推入篩選中的日期時間重新設定為 parquet。
  • 2021年7月29日
    • [SPARK-32998][BUILD]新增僅使用內部存放庫覆寫默認遠端存放庫的功能
  • 2021年7月14日
    • 修正了使用 Delta 資料表防止用戶及時前往舊版可用版本的錯誤。
  • 2021年5月26日
    • 已使用安全性修補程式更新 Python，以修正 Python 安全性弱點 （CVE-2021-3177）。
  • 2021年4月30日
    • 操作系統安全性更新。
    • [SPARK-35227][BUILD]在SparkSubmit中更新spark套件的解析程式
    • [SPARK-34245][CORE]確定 Master 會移除無法傳送完成狀態的執行程式
  • 2021年3月24日
    • [SPARK-34768][SQL]遵守 Univocity 中的預設輸入緩衝區大小
    • [SPARK-34534] 修正使用 FetchShuffleBlocks 擷取區塊時的 blockIds 順序
  • 2021年3月9日
    • （僅限 Azure）已修正使用 Databricks Runtime 7.6 執行 Databricks Runtime 7.2 中建立的舊自動載入器數據流時，可能導致 NullPointerException 的自動載入器錯誤
    • [UI]修正 Spark DAG 視覺效果的 href 連結
    • SizeInBytesOnlyStatsSparkPlanVisitor 中無法正確處理未知的分葉節點 SparkPlan
    • 還原的輸出架構 SHOW DATABASES
    • [Delta][8.0, 7.6]已修正檔案大小自動調整邏輯中的計算錯誤
    • 停用磁碟快取中差異數據表檔案的過時檢查
    • [SQL]當範圍聯結提示存在時，請使用正確的動態剪除建置索引鍵
    • 停用非 SQL 程式代碼路徑中的 char 類型支援
    • 避免 DataFrameReader.schema 中的 NPE
    • 修正 EventGridClient 回應沒有實體時的 NPE
    • 修正 Azure 自動載入器中的讀取已關閉串流錯誤
    • [SQL]啟用 AOS 時，請勿產生隨機分割區編號建議
  • 2021年2月24日
    • 已將Spark BigQuery 連接器升級至 v0.18，其引進了各種 Bug 修正和支援 Arrow 和 Avro 迭代器。
    • 修正當 Parquet 檔案的小數位數和小數位數與 Spark 架構不同時，導致 Spark 傳回不正確結果的正確性問題。
    • 已修正包含空間數據類型的 Microsoft SQL Server 數據表讀取失敗問題，方法是新增 Spark SQL 的 geometry 和 geography JDBC 類型支援。
    • 引進了新的組態 spark.databricks.hive.metastore.init.reloadFunctions.enabled。 此組態可控制內建Hive初始化。 當設定為 true 時，Azure Databricks 會從使用者所擁有的 FunctionRegistry所有資料庫重載所有函式。 這是Hive中繼存放區中的預設行為。 當設定為 false 時，Azure Databricks 會停用此程式以進行優化。
    • [SPARK-34212] 已修正從 Parquet 檔案讀取十進位數據相關問題。
    • [SPARK-34260][SQL]修正在建立暫存檢視兩次時未解決的Exception。

Databricks Runtime 7.5 （不支援）

請參閱 Databricks Runtime 7.5 （不支援）。

  • 2021年5月26日
    • 已使用安全性修補程式更新 Python，以修正 Python 安全性弱點 （CVE-2021-3177）。
  • 2021年4月30日
    • 操作系統安全性更新。
    • [SPARK-35227][BUILD]在SparkSubmit中更新spark套件的解析程式
    • [SPARK-34245][CORE]確定 Master 會移除無法傳送完成狀態的執行程式
  • 2021年3月24日
    • [SPARK-34768][SQL]遵守 Univocity 中的預設輸入緩衝區大小
    • [SPARK-34534] 修正使用 FetchShuffleBlocks 擷取區塊時的 blockIds 順序
  • 2021年3月9日
    • （僅限 Azure）已修正使用 Databricks Runtime 7.5 執行 Databricks Runtime 7.2 中建立的舊自動載入器數據流時，可能導致 NullPointerException 的自動載入器錯誤。
    • [UI]修正 Spark DAG 視覺效果的 href 連結
    • SizeInBytesOnlyStatsSparkPlanVisitor 中無法正確處理未知的分葉節點 SparkPlan
    • 還原的輸出架構 SHOW DATABASES
    • 停用磁碟快取中差異數據表檔案的過時檢查
    • [SQL]當範圍聯結提示存在時，請使用正確的動態剪除建置索引鍵
    • 停用非 SQL 程式代碼路徑中的 char 類型支援
    • 避免 DataFrameReader.schema 中的 NPE
    • 修正 EventGridClient 回應沒有實體時的 NPE
    • 修正 Azure 自動載入器中的讀取已關閉串流錯誤
  • 2021年2月24日
    • 已將Spark BigQuery 連接器升級至 v0.18，其引進了各種 Bug 修正和支援 Arrow 和 Avro 迭代器。
    • 修正當 Parquet 檔案的小數位數和小數位數與 Spark 架構不同時，導致 Spark 傳回不正確結果的正確性問題。
    • 已修正包含空間數據類型的 Microsoft SQL Server 數據表讀取失敗問題，方法是新增 Spark SQL 的 geometry 和 geography JDBC 類型支援。
    • 引進了新的組態 spark.databricks.hive.metastore.init.reloadFunctions.enabled。 此組態可控制內建Hive初始化。 當設定為 true 時，Azure Databricks 會從使用者所擁有的 FunctionRegistry所有資料庫重載所有函式。 這是Hive中繼存放區中的預設行為。 當設定為 false 時，Azure Databricks 會停用此程式以進行優化。
    • [SPARK-34212] 已修正從 Parquet 檔案讀取十進位數據相關問題。
    • [SPARK-34260][SQL]修正在建立暫存檢視兩次時未解決的Exception。
  • 2021年2月4日
    • 修正了防止執行設定全域限制的查詢累加執行的回歸，例如 SELECT * FROM table LIMIT nrows。 透過啟用箭號串行化，透過 ODBC/JDBC 執行查詢的用戶會經歷回歸。
    • 引進Hive用戶端的寫入時間檢查，以防止差異數據表Hive中繼存放區中的元數據損毀。
    • 修正當叢集環境變數組態包含無效bash語法時，導致 DBFS FUSE 無法啟動的回歸。
  • 2021年1月20日
    • 修正了 2021 年 1 月 12 日維護版本中的回歸，可能導致 AnalysisException 不正確，並指出數據行在自我聯結中模棱兩可。 當使用者將DataFrame與其衍生的DataFrame（所謂的自我聯結）聯結至下列條件時，就會發生此回歸：
      • 這兩個 DataFrame 有一般數據行，但自我聯結的輸出沒有通用數據行。 例如，df.join(df.select($"col" as "new_col"), cond)
      • 衍生的數據框架會透過 select、groupBy 或 window 排除某些數據行。
      • 聯結的數據框架之後的聯結條件或下列轉換是指非通用數據行。 例如，df.join(df.drop("a"), df("a") === 1)
  • 2021年1月12日
    • Azure 儲存體 SDK 從 2.3.8 升級至 2.3.9。
    • [SPARK-33593][SQL]向量讀取器取得具有二進位數據分割值的不正確數據
    • [SPARK-33480][SQL] 更新 char/varchar 數據表插入長度檢查的錯誤訊息

Databricks Runtime 7.3 LTS （不支援）

請參閱 Databricks Runtime 7.3 LTS （不支援）。

  • 2023年9月10日

    • 其他錯誤修正。

  • 2023 年 8 月 30 日

    • 操作系統安全性更新。

  • 2023 年 8 月 15 日

    • 操作系統安全性更新。

  • 2023 年 6 月 23 日

    • Snowflake-jdbc 連結庫已升級至 3.13.29，以解決安全性問題。
    • 操作系統安全性更新。

  • 2023年6月15日

    • [SPARK-43413][SQL]修正 IN 子查詢 ListQuery 可為 Null 性。
    • 操作系統安全性更新。

  • 2023年6月2日

    • 已修正自動載入器中不同來源檔格式在提供的架構未包含推斷的數據分割時不一致的問題。 讀取推斷數據分割架構中遺漏數據行的檔案時，此問題可能會導致非預期的失敗。

  • 2023年5月17日

    • 操作系統安全性更新。

  • 2023年4月25日

    • 操作系統安全性更新。

  • 2023 年 4 月 11 日

    • [SPARK-42967][CORE]修正 SparkListenerTaskStart.stageAttemptId 當工作在取消階段之後啟動時。
    • 其他錯誤修正。

  • 2023年3月29日

    • 操作系統安全性更新。

  • 2023 年 3 月 14 日

    • 其他錯誤修正。

  • 2023 年 2 月 28 日

    • 操作系統安全性更新。

  • 2023年2月16日

    • 操作系統安全性更新。

  • 2023 年 1 月 31 日

    • JDBC 數據表的數據表類型現在預設為 EXTERNAL。

  • 2023 年 1 月 18 日

    • 操作系統安全性更新。

  • 2022 年 11 月 29 日

    • 其他錯誤修正。

  • 2022 年 11 月 15 日

    • 已將 Apache commons-text 升級至 1.10.0。
    • 操作系統安全性更新。
    • 其他錯誤修正。

  • 2022 年 11 月 1 日

    • [SPARK-38542][SQL]UnsafeHashedRelation 應該串行化 numKeys out

  • 2022 年 10 月 18 日

    • 操作系統安全性更新。

  • 2022 年 10 月 5 日

    • 其他錯誤修正。
    • 操作系統安全性更新。

  • 2022 年 9 月 22 日

  • 2022 年 9 月 6 日

    • [SPARK-35542][CORE][ML] 修正：針對具有 splitsArray、inputCols 和 outputCols 之多個數據行建立的貯體化程式在儲存後無法載入
    • [SPARK-40079][CORE]新增空白輸入案例的 Imputer inputCols 驗證

  • 2022 年 8 月 24 日

    • [SPARK-39962][PYTHON][SQL]當群組屬性是空的時套用投影
    • 操作系統安全性更新。

  • 2022 年 8 月 9 日

    • 操作系統安全性更新。

  • 2022 年 7 月 27 日

    • 當來源不具決定性時，讓 Delta MERGE 作業結果保持一致。
    • 操作系統安全性更新。
    • 其他錯誤修正。

  • 2022 年 7 月 13 日

    • [SPARK-32680][SQL]請勿使用未解決的查詢預先處理 V2 CTAS
    • 已停用自動載入器針對 Azure 上的目錄清單使用原生雲端 API。
    • 操作系統安全性更新。

  • 2022年7月5日

    • 操作系統安全性更新。
    • 其他錯誤修正。

  • 2022 年 6 月 2 日

    • [SPARK-38918][SQL]巢狀數據行剪除應該篩選出不屬於目前關聯的屬性
    • 操作系統安全性更新。

  • 2022 年 5 月 18 日

    • 將 AWS SDK 版本從 1.11.655 升級至 1.11.678。
    • 操作系統安全性更新。
    • 其他錯誤修正。

  • 2022 年 4 月 19 日

    • 操作系統安全性更新。
    • 其他錯誤修正。

  • 2022 年 4 月 6 日

    • 操作系統安全性更新。
    • 其他錯誤修正。

  • 2022 年 3 月 14 日

    • 從 log4j 1.2.17 jar 移除易受攻擊的類別
    • 其他錯誤修正。

  • 2022年2月23日

  • 2022 年 2 月 8 日

    • 將Ubuntu JDK升級至1.8.0.312。
    • 操作系統安全性更新。

  • 2022 年 2 月 1 日

    • 操作系統安全性更新。

  • 2022 年 1 月 26 日

    • 修正了啟用 ANSI SQL 方言時 OPTIMIZE 命令可能會失敗的錯誤。

  • 2022 年 1 月 19 日

    • Conda 預設通道已從 7.3 ML LTS 中移除
    • 操作系統安全性更新。

  • 2021年12月7日

    • 操作系統安全性更新。

  • 2021年11月4日

    • 已修正可能導致結構化串流失敗並出現ArrayIndexOutOfBoundsException的錯誤
    • 已修正可能會造成 IOException 之類的 java.io.IOException: No FileSystem for scheme 查詢失敗的競爭條件，或可能會導致修改 sparkContext.hadoopConfiguration 在查詢中不生效。

  • 2021年9月15日

    • 已修正可能導致查詢失敗的競爭條件，其 IOException 類似 java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x。
    • 操作系統安全性更新。

  • 2021 年 9 月 8 日

    • [SPARK-35700][SQL][WARMFIX]在外部系統建立和寫入時，讀取 char/varchar orc 數據表。
    • [SPARK-36532][CORE][3.1] 已修正 中的 CoarseGrainedExecutorBackend.onDisconnected 死結，以避免 executorsconnected 執行程式關機停止回應。

  • 2021 年 8 月 25 日

    • Snowflake 連接器已升級至 2.9.0。

  • 2021年7月29日

    • [SPARK-36034][BUILD]將向下推入篩選條件中的日期時間重新設定為 Parquet
    • [SPARK-34508][BUILD]如果網路關閉，請略過HiveExternalCatalogVersionsSuite

  • 2021 年 7 月 14 日

    • 介紹 database.schema.table Azure Synapse 連接器的格式。
    • 已新增支援，以提供 databaseName.schemaName.tableName 格式做為目標資料表，而不只是 schemaName.tableName 或 tableName。
    • 修正了使用 Delta 資料表防止用戶及時前往舊版可用版本的錯誤。

  • 2021 年 6 月 15 日

    • 修正 NoSuchElementException Delta Lake 優化寫入中的 Bug，在寫入大量數據並遇到執行程式損失時可能發生
    • 已使用安全性修補程式更新 Python，以修正 Python 安全性弱點 （CVE-2021-3177）。

  • 2021 年 4 月 30 日

    • 操作系統安全性更新。
    • [SPARK-35227][BUILD]在SparkSubmit中更新spark套件的解析程式
    • [SPARK-34245][CORE]確定 Master 會移除無法傳送完成狀態的執行程式
    • [SPARK-35045][SQL]新增內部選項以控制單一調用中的輸入緩衝區

  • 2021年3月24日

    • [SPARK-34768][SQL]遵守 Univocity 中的預設輸入緩衝區大小
    • [SPARK-34534] 修正使用 FetchShuffleBlocks 擷取區塊時的 blockIds 順序
    • [SPARK-33118][SQL]CREATE TEMPORARY TABLE 失敗並出現位置

  • 2021 年 3 月 9 日

    • Azure Data Lake 儲存體 Gen2 的已更新 Azure Blob 檔案系統驅動程式現在預設為啟用。 它帶來了多個穩定性改善。
    • 修正 Windows 上的路徑分隔符 databricks-connect get-jar-dir
    • [UI]修正 Spark DAG 視覺效果的 href 連結
    • [DBCONNECT]在 Databricks 連線 7.3 中新增 FlatMapCoGroupsInPandas 的支援
    • 還原的輸出架構 SHOW DATABASES
    • [SQL]當範圍聯結提示存在時，請使用正確的動態剪除建置索引鍵
    • 停用磁碟快取中差異數據表檔案的過時檢查
    • [SQL]啟用 AOS 時，請勿產生隨機分割區編號建議

  • 2021年2月24日

    • 已將Spark BigQuery 連接器升級至 v0.18，其引進了各種 Bug 修正和支援 Arrow 和 Avro 迭代器。
    • 修正當 Parquet 檔案的小數位數和小數位數與 Spark 架構不同時，導致 Spark 傳回不正確結果的正確性問題。
    • 已修正包含空間數據類型的 Microsoft SQL Server 數據表讀取失敗問題，方法是新增 Spark SQL 的 geometry 和 geography JDBC 類型支援。
    • 引進了新的組態 spark.databricks.hive.metastore.init.reloadFunctions.enabled。 此組態可控制內建Hive初始化。 當設定為 true 時，Azure Databricks 會從使用者所擁有的 FunctionRegistry所有資料庫重載所有函式。 這是Hive中繼存放區中的預設行為。 當設定為 false 時，Azure Databricks 會停用此程式以進行優化。
    • [SPARK-34212] 已修正從 Parquet 檔案讀取十進位數據相關問題。
    • [SPARK-33579][UI]修正 Proxy 後方的執行程式空白頁面。
    • [SPARK-20044][UI]使用路徑前置詞支援前端反向 Proxy 後方的 Spark UI。
    • [SPARK-33277][PYSPARK][SQL]使用 ContextAwareIterator 在工作結束之後停止取用。

  • 2021年2月4日

    • 修正了防止執行設定全域限制的查詢累加執行的回歸，例如 SELECT * FROM table LIMIT nrows。 透過啟用箭號串行化，透過 ODBC/JDBC 執行查詢的用戶會經歷回歸。
    • 修正當叢集環境變數組態包含無效bash語法時，導致 DBFS FUSE 無法啟動的回歸。

  • 2021年1月20日

    • 修正了 2021 年 1 月 12 日維護版本中的回歸，可能導致 AnalysisException 不正確，並指出數據行在自我聯結中模棱兩可。 當使用者將DataFrame與其衍生的DataFrame（所謂的自我聯結）聯結至下列條件時，就會發生此回歸：
      • 這兩個 DataFrame 有一般數據行，但自我聯結的輸出沒有通用數據行。 例如，df.join(df.select($"col" as "new_col"), cond)
      • 衍生的數據框架會透過 select、groupBy 或 window 排除某些數據行。
      • 聯結的數據框架之後的聯結條件或下列轉換是指非通用數據行。 例如，df.join(df.drop("a"), df("a") === 1)

  • 2021 年 1 月 12 日

    • 操作系統安全性更新。
    • [SPARK-33593][SQL]向量讀取器取得具有二進位數據分割值的不正確數據
    • [SPARK-33677][SQL]如果模式包含任何 escapeChar，請略過 LikeSimplification 規則
    • [SPARK-33592][ML][PYTHON]estimatorParam 中的 Pyspark ML 驗證程序參數 地圖 儲存和重載之後可能會遺失
    • [SPARK-33071][SPARK-33536][SQL]避免將 join（） 中的 LogicalPlan dataset_id變更為不中斷 DetectAmbiguousSelfJoin

  • 2020 年 12 月 8 日

    • [SPARK-33587][CORE]在巢狀嚴重錯誤上終止執行程式
    • [SPARK-27421][SQL]修正剪除數據分割數據行時 int 資料行和值類別 java.lang.String 的篩選
    • [SPARK-33316][SQL]支持使用者在 Avro 撰寫中為不可為 Null 的催化劑架構提供可為 Null 的 Avro 架構
    • 使用 Databricks 啟動的 Spark 作業 連線 可能會在執行程式堆疊追蹤中無限期Executor$TaskRunner.$anonfun$copySessionState停止回應
    • 操作系統安全性更新。

  • 2020 年 12 月 1 日

    • [SPARK-33404][SQL][3.0] 修正表達式中 date_trunc 不正確的結果
    • [SPARK-33339][PYTHON]Pyspark 應用程式因非例外狀況錯誤而停止回應
    • [SPARK-33183][SQL][HOTFIX]修正優化器規則 RemoveSorts 並新增實體規則以移除多餘的排序
    • [SPARK-33371][PYTHON][3.0] Python 3.9 的更新 setup.py 和測試
    • [SPARK-33391][SQL] element_at CreateArray 不遵循一個型索引。
    • [SPARK-33306][SQL]將日期轉換成字串時需要時區
    • [SPARK-33260][SQL]修正 SortOrder 為 Stream 時 SortExec 不正確的結果

  • 2020 年 11 月 5 日

    • 修正與相關的 UserGroupInformation.getCurrentUser()ABFS 和 WASB 鎖定。
    • 修正 Avro 讀取器讀取 MAGIC 位元組時的無限循環錯誤。
    • 新增對USAGE許可權的支援。
    • 數據表訪問控制中許可權檢查的效能改善。

  • 2020 年 10 月 13 日

    • 操作系統安全性更新。
    • 當在已啟用高並行認證傳遞的叢集時，您可以使用 FUSE 掛接在 /dbfs/ 的 DBFS 讀取和寫入。 支援一般掛接，但尚未支援需要傳遞認證的掛接。
    • [SPARK-32999][SQL]使用 Utils.getSimpleName 避免在 TreeNode 中叫用格式不正確的類別名稱
    • [SPARK-32585][SQL]支援 Scala 中的 scala 列舉 反思
    • 已修正 FUSE 掛接中含有無效 XML 字元之檔名的清單目錄
    • FUSE 掛接不再使用 ListMultipartUploads

  • 2020 年 9 月 29 日

    • [SPARK-32718][SQL]拿掉間隔單位的不必要關鍵詞
    • [SPARK-32635][SQL]修正可折疊傳播
    • 新增群組態 spark.shuffle.io.decoder.consolidateThreshold。 將組態值設定為 Long.MAX_VALUE ，以略過 netty FrameBuffers 的匯總，這會在邊角案例中防止 java.lang.IndexOutOfBoundsException 。

  • 2023年4月25日

    • 操作系統安全性更新。

  • 2023 年 4 月 11 日

    • 其他錯誤修正。

  • 2023年3月29日

    • 其他錯誤修正。

  • 2023 年 3 月 14 日

    • 操作系統安全性更新。

  • 2023 年 2 月 28 日

    • 操作系統安全性更新。

  • 2023年2月16日

    • 操作系統安全性更新。

  • 2023 年 1 月 31 日

    • 其他錯誤修正。

  • 2023 年 1 月 18 日

    • 操作系統安全性更新。

  • 2022 年 11 月 29 日

    • 操作系統安全性更新。

  • 2022 年 11 月 15 日

    • 操作系統安全性更新。
    • 其他錯誤修正。

  • 2022 年 11 月 1 日

    • 操作系統安全性更新。

  • 2022 年 10 月 18 日

    • 操作系統安全性更新。
    • 2022 年 10 月 5 日
      • 操作系統安全性更新。
    • 2022 年 8 月 24 日
      • 操作系統安全性更新。
    • 2022 年 8 月 9 日
      • 操作系統安全性更新。
    • 2022年7月27日
      • 操作系統安全性更新。
    • 2022年7月5日
      • 操作系統安全性更新。
    • 2022年6月2日
      • 操作系統安全性更新。
    • 2022年5月18日
      • 操作系統安全性更新。
    • 2022年4月19日
      • 操作系統安全性更新。
      • 其他錯誤修正。
    • 2022年4月6日
      • 操作系統安全性更新。
      • 其他錯誤修正。
    • 2022 年 3 月 14 日
      • 其他錯誤修正。
    • 2022年2月23日
      • 其他錯誤修正。
    • 2022 年 2 月 8 日
      • 將Ubuntu JDK升級至1.8.0.312。
      • 操作系統安全性更新。
    • 2022年2月1日
      • 操作系統安全性更新。
    • 2022年1月19日
      • 操作系統安全性更新。
    • 2021年9月22日
      • 操作系統安全性更新。
    • 2021年4月30日
      • 操作系統安全性更新。
      • [SPARK-35227][BUILD]在SparkSubmit中更新spark套件的解析程式
    • 2021年1月12日
      • 操作系統安全性更新。
    • 2020 年 12 月 8 日
      • [SPARK-27421][SQL]修正剪除數據分割數據行時 int 資料行和值類別 java.lang.String 的篩選
      • 操作系統安全性更新。
    • 2020 年 12 月 1 日
    • [SPARK-33260][SQL]修正 SortOrder 為 Stream 時 SortExec 不正確的結果
    • 2020 年 11 月 3 日
      • 已將 Java 版本從 1.8.0_252 升級至 1.8.0_265。
      • 修正與 UserGroupInformation.getCurrentUser（） 相關的 ABFS 和 WASB 鎖定
    • 2020 年 10 月 13 日
      • 操作系統安全性更新。

Databricks Runtime 6.4 擴充支援 （不支援）

請參閱 Databricks Runtime 6.4（不支援）和 Databricks Runtime 6.4 擴充支援（不支援）。

  • 2022年7月5日

    • 操作系統安全性更新。
    • 其他錯誤修正。

  • 2022 年 6 月 2 日

    • 操作系統安全性更新。

  • 2022 年 5 月 18 日

    • 操作系統安全性更新。

  • 2022 年 4 月 19 日

    • 操作系統安全性更新。
    • 其他錯誤修正。

  • 2022 年 4 月 6 日

    • 操作系統安全性更新。
    • 其他錯誤修正。

  • 2022 年 3 月 14 日

    • 從 log4j 1.2.17 jar 移除易受攻擊的類別
    • 其他錯誤修正。

  • 2022年2月23日

    • 其他錯誤修正。

  • 2022 年 2 月 8 日

    • 將Ubuntu JDK升級至1.8.0.312。
    • 操作系統安全性更新。

  • 2022 年 2 月 1 日

    • 操作系統安全性更新。

  • 2022 年 1 月 26 日

    • 修正了啟用 ANSI SQL 方言時 OPTIMIZE 命令可能會失敗的錯誤。

  • 2022 年 1 月 19 日

    • 操作系統安全性更新。

  • 2021年12月8日

    • 操作系統安全性更新。

  • 2021 年 9 月 22 日

    • 操作系統安全性更新。

  • 2021 年 6 月 15 日

    • [SPARK-35576][SQL]在 Set 命令的結果中修訂敏感性資訊

  • 2021年6月7日

    • 新增名為 spark.sql.maven.additionalRemoteRepositories的新組態，這是選擇性其他遠端 Maven 鏡像的逗號分隔字串組態。 值預設為 https://maven-central.storage-download.googleapis.com/maven2/。

  • 2021 年 4 月 30 日

    • 操作系統安全性更新。
    • [SPARK-35227][BUILD]在SparkSubmit中更新spark套件的解析程式

  • 2021 年 3 月 9 日

    • 將HADOOP-17215移植到 Azure Blob 檔案系統驅動程式（支援條件式覆寫）。
    • 修正 Windows 上的路徑分隔符 databricks-connect get-jar-dir
    • 已新增Hive中繼存放區2.3.5、2.3.6和2.3.7版的支援
    • 漏油後，箭頭 「totalResultsCollected」 報告不正確

  • 2021年2月24日

    • 引進了新的組態 spark.databricks.hive.metastore.init.reloadFunctions.enabled。 此組態可控制內建Hive初始化。 當設定為 true 時，Azure Databricks 會從使用者所擁有的 FunctionRegistry所有資料庫重載所有函式。 這是Hive中繼存放區中的預設行為。 當設定為 false 時，Azure Databricks 會停用此程式以進行優化。

  • 2021年2月4日

    • 修正了防止執行設定全域限制的查詢累加執行的回歸，例如 SELECT * FROM table LIMIT nrows。 透過啟用箭號串行化，透過 ODBC/JDBC 執行查詢的用戶會經歷回歸。
    • 修正當叢集環境變數組態包含無效bash語法時，導致 DBFS FUSE 無法啟動的回歸。

  • 2021 年 1 月 12 日

    • 操作系統安全性更新。

  • 2020 年 12 月 8 日

    • [SPARK-27421][SQL]修正剪除數據分割數據行時 int 資料行和值類別 java.lang.String 的篩選
    • [SPARK-33183][SQL]修正優化器規則 RemoveSorts 並新增實體規則以移除多餘的排序
    • [Runtime 6.4 ML GPU]我們先前已安裝不正確的 NCCL 版本（2.7.8-1+cuda11.1）。 此版本會將它更正為與 CUDA 10.0 相容的 2.4.8-1+cuda10.0。
    • 操作系統安全性更新。

  • 2020 年 12 月 1 日

  • 2020 年 11 月 3 日

    • 已將 Java 版本從 1.8.0_252 升級至 1.8.0_265。
    • 修正與 UserGroupInformation.getCurrentUser（） 相關的 ABFS 和 WASB 鎖定
    • 修正讀取MAGIC位元組時Avro讀取器的無限循環錯誤。

  • 2020 年 10 月 13 日

    • 操作系統安全性更新。
    • [SPARK-32999][SQL][2.4] 使用 Utils.getSimpleName 避免在 TreeNode 中達到格式不正確的類別名稱
    • 已修正 FUSE 掛接中含有無效 XML 字元之檔名的清單目錄
    • FUSE 掛接不再使用 ListMultipartUploads

  • 2020 年 9 月 24 日

    • 已修正標準叢集上的傳遞仍會限制檔系統實作使用者使用的先前限制。 現在，用戶將能夠存取本機文件系統，而不受限制。
    • 操作系統安全性更新。

  • 2020 年 9 月 8 日

    • 已為 Azure Synapse Analytics 建立新的參數。 maxbinlength 此參數可用來控制 BinaryType 資料行的數據行長度，並轉譯為 VARBINARY(maxbinlength)。 您可以使用 來設定 .option("maxbinlength", n)，其中0 < n <= 8000。
    • 將 Azure 儲存體 SDK 更新為 8.6.4，並在 WASB 驅動程式所建立的連線上保持 TCP 保持運作

  • 2020 年 8 月 25 日

    • 已修正自我合併中的模棱兩可屬性解析

  • 2020 年 8 月 18 日

    • [SPARK-32431][SQL]檢查從內建數據源讀取中的重複巢狀數據行
    • 已修正使用 Trigger.Once 時 AQS 連接器中的競爭條件。

  • 2020 年 8 月 11 日

  • 2020 年 8 月 3 日

    • 您現在可以在已啟用傳遞的叢集上使用 LDA 轉換函式。
    • 操作系統安全性更新。

  • 2020 年 7 月 7 日

    • 已將 Java 版本從 1.8.0_232 升級至 1.8.0_252。

  • 2020 年 4 月 21 日

    • [SPARK-31312][SQL]HiveFunctionWrapper 中 UDF 實例的快取類別實例

  • 2020 年 4 月 7 日

    • 為了解決 pandas udf 無法與 PyArrow 0.15.0 和更新版本搭配運作的問題，我們新增了環境變數 （ARROW_PRE_0_15_IPC_FORMAT=1） 來啟用這些 PyArrow 版本的支援。 請參閱 [SPARK-29367] 中的指示。

  • 2020 年 3 月 10 日

    • 安全性方案上的互動式叢集預設會使用優化的自動調整。
    • Databricks Runtime 中包含的 Snowflake 連接器已spark-snowflake_2.11更新為 2.5.9 版。 snowflake-jdbc 會更新為3.12.0版。

Databricks Runtime 5.5 LTS （不支援）

請參閱 Databricks Runtime 5.5 LTS（不支援）和 Databricks Runtime 5.5 擴充支援（不支援）。

  • 2021年12月8日

    • 操作系統安全性更新。

  • 2021 年 9 月 22 日

    • 操作系統安全性更新。

  • 2021 年 8 月 25 日

    • 在 5.5 ML 外延支援版本中降級一些先前升級的 Python 套件，以維持與 5.5 ML LTS（現已淘汰）更好的同位。 如需兩個版本的更新差異，請參閱 [_]/release-notes/runtime/5.5xml.md）。

  • 2021 年 6 月 15 日

    • [SPARK-35576][SQL]在 Set 命令的結果中修訂敏感性資訊

  • 2021年6月7日

    • 新增名為 spark.sql.maven.additionalRemoteRepositories的新組態，這是選擇性其他遠端 Maven 鏡像的逗號分隔字串組態。 值預設為 https://maven-central.storage-download.googleapis.com/maven2/。

  • 2021 年 4 月 30 日

    • 操作系統安全性更新。
    • [SPARK-35227][BUILD]在SparkSubmit中更新spark套件的解析程式

  • 2021 年 3 月 9 日

    • 將HADOOP-17215移植到 Azure Blob 檔案系統驅動程式（支援條件式覆寫）。

  • 2021年2月24日

    • 引進了新的組態 spark.databricks.hive.metastore.init.reloadFunctions.enabled。 此組態可控制內建Hive初始化。 當設定為 true 時，Azure Databricks 會從使用者所擁有的 FunctionRegistry所有資料庫重載所有函式。 這是Hive中繼存放區中的預設行為。 當設定為 false 時，Azure Databricks 會停用此程式以進行優化。

  • 2021 年 1 月 12 日

  • 2020 年 12 月 8 日

    • [SPARK-27421][SQL]修正剪除數據分割數據行時 int 資料行和值類別 java.lang.String 的篩選
    • 操作系統安全性更新。

  • 2020 年 12 月 1 日

  • 2020 年 10 月 29 日

    • 已將 Java 版本從 1.8.0_252 升級至 1.8.0_265。
    • 修正與 UserGroupInformation.getCurrentUser（） 相關的 ABFS 和 WASB 鎖定
    • 修正讀取MAGIC位元組時Avro讀取器的無限循環錯誤。

  • 2020 年 10 月 13 日

    • 操作系統安全性更新。
    • [SPARK-32999][SQL][2.4] 使用 Utils.getSimpleName 避免在 TreeNode 中達到格式不正確的類別名稱

  • 2020 年 9 月 24 日

    • 操作系統安全性更新。

  • 2020 年 9 月 8 日

    • 已為 Azure Synapse Analytics 建立新的參數。 maxbinlength 此參數可用來控制 BinaryType 資料行的數據行長度，並轉譯為 VARBINARY(maxbinlength)。 您可以使用 來設定 .option("maxbinlength", n)，其中0 < n <= 8000。

  • 2020 年 8 月 18 日

    • [SPARK-32431][SQL]檢查從內建數據源讀取中的重複巢狀數據行
    • 已修正使用 Trigger.Once 時 AQS 連接器中的競爭條件。

  • 2020 年 8 月 11 日

  • 2020 年 8 月 3 日

    • 操作系統安全性更新

  • 2020 年 7 月 7 日

    • 已將 Java 版本從 1.8.0_232 升級至 1.8.0_252。

  • 2020 年 4 月 21 日

    • [SPARK-31312][SQL]HiveFunctionWrapper 中 UDF 實例的快取類別實例

  • 2020 年 4 月 7 日

    • 為了解決 pandas udf 無法與 PyArrow 0.15.0 和更新版本搭配運作的問題，我們新增了環境變數 （ARROW_PRE_0_15_IPC_FORMAT=1） 來啟用這些 PyArrow 版本的支援。 請參閱 [SPARK-29367] 中的指示。

  • 2020 年 3 月 25 日

    • Databricks Runtime 中包含的 Snowflake 連接器已spark-snowflake_2.11更新為 2.5.9 版。 snowflake-jdbc 會更新為3.12.0版。

  • 2020 年 3 月 10 日

    • 作業輸出，例如發出至 stdout 的記錄輸出，受限於 20 MB 的大小限制。 如果總輸出的大小較大，將會取消執行並標示為失敗。 若要避免遇到此限制，您可以將Spark組態true設為 spark.databricks.driver.disableScalaOutput ，以防止從驅動程式傳回 stdout。 旗標值預設為 false。 旗標可控制 Scala JAR 作業和 Scala 筆記本的數據格輸出。 如果已啟用 旗標，Spark 不會將作業執行結果傳回給用戶端。 旗標不會影響在叢集記錄檔中寫入的數據。 建議只針對 JAR 作業的自動化叢集設定此旗標，因為它會停用筆記本結果。

  • 2020 年 2 月 18 日

    • [SPARK-24783][SQL] spark.sql.shuffle.partitions=0 應該擲回例外狀況
    • 使用ADLS Gen2的認證傳遞效能降低，因為啟用ADLS用戶端預先擷取時線程本機處理不正確。 在啟用認證傳遞之前，此版本會停用 ADLS Gen2 預先擷取，直到我們有適當的修正為止。

  • 2020 年 1 月 28 日

  • 2020 年 1 月 14 日

    • 已將 Java 版本從 1.8.0_222 升級為 1.8.0_232。

  • 2019 年 11 月 19 日

    • [SPARK-29743] [SQL] 範例如果其子系的 needCopyResult 為 true，則範例應該將 needCopyResult 設定為 true
    • R 版本從 3.6.0 意外升級至 3.6.1。 我們將其降級回 3.6.0。

  • 2019 年 11 月 5 日

    • 已將 Java 版本從 1.8.0_212 升級至 1.8.0_222。

  • 2019年10月23日

    • [SPARK-29244][CORE]防止 BytesToBytesMap 中的可用頁面再次可用

  • 2019 年 10 月 8 日

    • 伺服器端變更以允許 Simba Apache Spark ODBC 驅動程式在擷取結果期間重新連線並繼續進行（需要 Simba Apache Spark ODBC 驅動程式 2.6.10 版）。
    • 已修正搭配數據表 ACL 啟用叢集使用 Optimize 命令的問題。
    • 已修正連結庫因為數據表 ACL 和認證傳遞已啟用叢集的 Scala UDF 禁止錯誤而失敗的問題 pyspark.ml 。
    • 認證傳遞的 Allowlisted SerDe 和 SerDeUtil 方法。
    • 已修正在 WASB 用戶端中檢查錯誤碼時的 NullPointerException。

  • 2019年9月24日

    • 改善 Parquet 寫入器的穩定性。
    • 已修正 Thrift 查詢在開始執行之前取消的問題，可能會卡在 STARTED 狀態中。

  • 2019 年 9 月 10 日

    • 將安全線程反覆運算器新增至 BytesToBytesMap
    • [SPARK-27992][SPARK-28881]允許 Python 與連接線程聯結以傳播錯誤
    • 已修正影響特定全域匯總查詢的 Bug。
    • 已改善認證修訂。
    • [SPARK-27330][SS] 支援 foreach 寫入器中的工作中止
    • [SPARK-28642]隱藏SHOW CREATE TABLE 中的認證
    • [SPARK-28699][SQL]在重新分割案例中停用使用 ShuffleExchangeExec 的弧度排序

  • 2019 年 8 月 27 日

    • [SPARK-20906][SQL]允許 API 中具有架構登錄的使用者指定架構to_avro
    • [SPARK-27838][SQL]支援使用者針對可為 Null 的催化劑架構提供不可為 Null 的 avro 架構，而沒有任何 Null 記錄
    • 改善 Delta Lake 時間旅行
    • 修正影響特定 transform 表達式的問題
    • 啟用進程隔離時支持廣播變數

  • 2019 年 8 月 13 日

    • 差異串流來源應該檢查數據表的最新通訊協定
    • [SPARK-28260]將 CLOSED 狀態新增至 ExecutionState
    • [SPARK-28489][SS]修正 KafkaOffsetRangeCalculator.getRanges 可能會卸除位移的錯誤

  • 2019年7月30日

    • [SPARK-28015][SQL]Check stringToDate（） 會針對 yyyy 和 yyyy-[m]m 格式取用整個輸入
    • [SPARK-28308][CORE]剖析之前，應該先填補 CalendarInterval 子秒部分
    • [SPARK-27485]EnsureRequirements.reorder 應該正常處理重複的表達式
    • [SPARK-28355][CORE][PYTHON]針對UDF透過廣播壓縮的臨界值使用Spark conf

Databricks Light 2.4 擴充支援

請參閱 Databricks Light 2.4（不支援）和 Databricks Light 2.4 擴充支援（不支援）。

Databricks Runtime 7.4 （不支援）

請參閱 Databricks Runtime 7.4 （不支援）。

  • 2021 年 4 月 30 日

    • 操作系統安全性更新。
    • [SPARK-35227][BUILD]在SparkSubmit中更新spark套件的解析程式
    • [SPARK-34245][CORE]確定 Master 會移除無法傳送完成狀態的執行程式
    • [SPARK-35045][SQL]新增內部選項，以單聲控制輸入緩衝區，以及 CSV 輸入緩衝區大小的設定

  • 2021年3月24日

    • [SPARK-34768][SQL]遵守 Univocity 中的預設輸入緩衝區大小
    • [SPARK-34534] 修正使用 FetchShuffleBlocks 擷取區塊時的 blockIds 順序

  • 2021 年 3 月 9 日

    • Azure Data Lake 儲存體 Gen2 的更新 Azure Blob 檔案系統驅動程式現在預設會啟用。 它帶來了多個穩定性改善。
    • [ES-67926][UI]修正 Spark DAG 視覺效果的 href 連結
    • [ES-65064]還原的輸出架構 SHOW DATABASES
    • [SC-70522][SQL]當範圍聯結提示存在時，請使用正確的動態剪除建置索引鍵
    • [SC-35081]停用磁碟快取中差異數據表檔案的過時檢查
    • [SC-70640]修正 EventGridClient 回應沒有實體時的 NPE
    • [SC-70220][SQL]啟用 AOS 時，請勿產生隨機分割區編號建議

  • 2021年2月24日

    • 已將Spark BigQuery 連接器升級至 v0.18，其引進了各種 Bug 修正和支援 Arrow 和 Avro 迭代器。
    • 修正當 Parquet 檔案的小數位數和小數位數與 Spark 架構不同時，導致 Spark 傳回不正確結果的正確性問題。
    • 已修正包含空間數據類型的 Microsoft SQL Server 數據表讀取失敗問題，方法是新增 Spark SQL 的 geometry 和 geography JDBC 類型支援。
    • 引進了新的組態 spark.databricks.hive.metastore.init.reloadFunctions.enabled。 此組態可控制內建Hive初始化。 當設定為 true 時，Azure Databricks 會從使用者所擁有的 FunctionRegistry所有資料庫重載所有函式。 這是Hive中繼存放區中的預設行為。 當設定為 false 時，Azure Databricks 會停用此程式以進行優化。
    • [SPARK-34212] 已修正從 Parquet 檔案讀取十進位數據相關問題。
    • [SPARK-33579][UI]修正 Proxy 後方的執行程式空白頁面。
    • [SPARK-20044][UI]使用路徑前置詞支援前端反向 Proxy 後方的 Spark UI。
    • [SPARK-33277][PYSPARK][SQL]使用 ContextAwareIterator 在工作結束之後停止取用。

  • 2021年2月4日

    • 修正了防止執行設定全域限制的查詢累加執行的回歸，例如 SELECT * FROM table LIMIT nrows。 透過啟用箭號串行化，透過 ODBC/JDBC 執行查詢的用戶會經歷回歸。
    • 修正當叢集環境變數組態包含無效bash語法時，導致 DBFS FUSE 無法啟動的回歸。

  • 2021年1月20日

    • 修正了 2021 年 1 月 12 日維護版本中的回歸，可能導致 AnalysisException 不正確，並指出數據行在自我聯結中模棱兩可。 當使用者將DataFrame與其衍生的DataFrame（所謂的自我聯結）聯結至下列條件時，就會發生此回歸：
      • 這兩個 DataFrame 有一般數據行，但自我聯結的輸出沒有通用數據行。 例如，df.join(df.select($"col" as "new_col"), cond)
      • 衍生的數據框架會透過 select、groupBy 或 window 排除某些數據行。
      • 聯結的數據框架之後的聯結條件或下列轉換是指非通用數據行。 例如，df.join(df.drop("a"), df("a") === 1)

  • 2021 年 1 月 12 日

    • 操作系統安全性更新。
    • [SPARK-33593][SQL]向量讀取器取得具有二進位數據分割值的不正確數據
    • [SPARK-33677][SQL]如果模式包含任何 escapeChar，請略過 LikeSimplification 規則
    • [SPARK-33071][SPARK-33536][SQL]避免將 join（） 中的 LogicalPlan dataset_id變更為不中斷 DetectAmbiguousSelfJoin

  • 2020 年 12 月 8 日

    • [SPARK-33587][CORE]在巢狀嚴重錯誤上終止執行程式
    • [SPARK-27421][SQL]修正剪除數據分割數據行時 int 資料行和值類別 java.lang.String 的篩選
    • [SPARK-33316][SQL]支持使用者在 Avro 撰寫中為不可為 Null 的催化劑架構提供可為 Null 的 Avro 架構
    • 操作系統安全性更新。

  • 2020 年 12 月 1 日

    • [SPARK-33404][SQL][3.0] 修正表達式中 date_trunc 不正確的結果
    • [SPARK-33339][PYTHON]Pyspark 應用程式因非例外狀況錯誤而停止回應
    • [SPARK-33183][SQL][HOTFIX]修正優化器規則 RemoveSorts 並新增實體規則以移除多餘的排序
    • [SPARK-33371][PYTHON][3.0] Python 3.9 的更新 setup.py 和測試
    • [SPARK-33391][SQL] element_at CreateArray 不遵循一個型索引。
    • [SPARK-33306][SQL]將日期轉換成字串時需要時區
    • [SPARK-33260][SQL]修正 SortOrder 為 Stream 時 SortExec 不正確的結果
    • [SPARK-33272][SQL] 修剪 QueryPlan.transformUpWithNewOutput 中的屬性對應

Databricks Runtime 7.2 （不支援）

請參閱 Databricks Runtime 7.2 （不支援）。

  • 2021年2月4日

    • 修正了防止執行設定全域限制的查詢累加執行的回歸，例如 SELECT * FROM table LIMIT nrows。 透過啟用箭號串行化，透過 ODBC/JDBC 執行查詢的用戶會經歷回歸。
    • 修正當叢集環境變數組態包含無效bash語法時，導致 DBFS FUSE 無法啟動的回歸。

  • 2021年1月20日

    • 修正了 2021 年 1 月 12 日維護版本中的回歸，可能導致 AnalysisException 不正確，並指出數據行在自我聯結中模棱兩可。 當使用者將DataFrame與其衍生的DataFrame（所謂的自我聯結）聯結至下列條件時，就會發生此回歸：
      • 這兩個 DataFrame 有一般數據行，但自我聯結的輸出沒有通用數據行。 例如，df.join(df.select($"col" as "new_col"), cond)
      • 衍生的數據框架會透過 select、groupBy 或 window 排除某些數據行。
      • 聯結的數據框架之後的聯結條件或下列轉換是指非通用數據行。 例如，df.join(df.drop("a"), df("a") === 1)

  • 2021 年 1 月 12 日

    • 操作系統安全性更新。
    • [SPARK-33593][SQL]向量讀取器取得具有二進位數據分割值的不正確數據
    • [SPARK-33677][SQL]如果模式包含任何 escapeChar，請略過 LikeSimplification 規則
    • [SPARK-33071][SPARK-33536][SQL]避免將 join（） 中的 LogicalPlan dataset_id變更為不中斷 DetectAmbiguousSelfJoin

  • 2020 年 12 月 8 日

    • [SPARK-27421][SQL]修正剪除數據分割數據行時 int 資料行和值類別 java.lang.String 的篩選
    • [SPARK-33404][SQL]修正表達式中 date_trunc 不正確的結果
    • [SPARK-33339][PYTHON]Pyspark 應用程式因非例外狀況錯誤而停止回應
    • [SPARK-33183][SQL]修正優化器規則 RemoveSorts 並新增實體規則以移除多餘的排序
    • [SPARK-33391][SQL] element_at CreateArray 不遵循一個型索引。
    • 操作系統安全性更新。

  • 2020 年 12 月 1 日

    • [SPARK-33306][SQL]將日期轉換成字串時需要時區
    • [SPARK-33260][SQL]修正 SortOrder 為 Stream 時 SortExec 不正確的結果

  • 2020 年 11 月 3 日

    • 已將 Java 版本從 1.8.0_252 升級至 1.8.0_265。
    • 修正與 UserGroupInformation.getCurrentUser（） 相關的 ABFS 和 WASB 鎖定
    • 修正讀取MAGIC位元組時Avro讀取器的無限循環錯誤。

  • 2020 年 10 月 13 日

    • 操作系統安全性更新。
    • [SPARK-32999][SQL]使用 Utils.getSimpleName 避免在 TreeNode 中叫用格式不正確的類別名稱
    • 已修正 FUSE 掛接中含有無效 XML 字元之檔名的清單目錄
    • FUSE 掛接不再使用 ListMultipartUploads

  • 2020 年 9 月 29 日

    • [SPARK-28863][SQL][WARMFIX]引進AlreadyOptimized 以防止重新分析 V1FallbackWriters
    • [SPARK-32635][SQL]修正可折疊傳播
    • 新增群組態 spark.shuffle.io.decoder.consolidateThreshold。 將組態值設定為 Long.MAX_VALUE ，以略過 netty FrameBuffers 的匯總，這會在邊角案例中防止 java.lang.IndexOutOfBoundsException 。

  • 2020 年 9 月 24 日

    • [SPARK-32764][SQL] -0.0 應該等於 0.0
    • [SPARK-32753][SQL]只有在轉換計劃時，將標籤複製到沒有標籤的節點
    • [SPARK-32659][SQL]修正在非不可部分完成類型上插入動態數據分割剪除的數據問題
    • 操作系統安全性更新。

  • 2020 年 9 月 8 日

    • 已為 Azure Synapse Analytics 建立新的參數。 maxbinlength 此參數可用來控制 BinaryType 資料行的數據行長度，並轉譯為 VARBINARY(maxbinlength)。 您可以使用 來設定 .option("maxbinlength", n)，其中0 < n <= 8000。

Databricks Runtime 7.1 （不支援）

請參閱 Databricks Runtime 7.1 （不支援）。

  • 2021年2月4日

    • 修正當叢集環境變數組態包含無效bash語法時，導致 DBFS FUSE 無法啟動的回歸。

  • 2021年1月20日

    • 修正了 2021 年 1 月 12 日維護版本中的回歸，可能導致 AnalysisException 不正確，並指出數據行在自我聯結中模棱兩可。 當使用者將DataFrame與其衍生的DataFrame（所謂的自我聯結）聯結至下列條件時，就會發生此回歸：
      • 這兩個 DataFrame 有一般數據行，但自我聯結的輸出沒有通用數據行。 例如，df.join(df.select($"col" as "new_col"), cond)
      • 衍生的數據框架會透過 select、groupBy 或 window 排除某些數據行。
      • 聯結的數據框架之後的聯結條件或下列轉換是指非通用數據行。 例如，df.join(df.drop("a"), df("a") === 1)

  • 2021 年 1 月 12 日

    • 操作系統安全性更新。
    • [SPARK-33593][SQL]向量讀取器取得具有二進位數據分割值的不正確數據
    • [SPARK-33677][SQL]如果模式包含任何 escapeChar，請略過 LikeSimplification 規則
    • [SPARK-33071][SPARK-33536][SQL]避免將 join（） 中的 LogicalPlan dataset_id變更為不中斷 DetectAmbiguousSelfJoin

  • 2020 年 12 月 8 日

    • [SPARK-27421][SQL]修正剪除數據分割數據行時 int 資料行和值類別 java.lang.String 的篩選
    • 使用 Databricks 啟動的 Spark 作業 連線 可能會在執行程式堆疊追蹤中無限期Executor$TaskRunner.$anonfun$copySessionState停止回應
    • 操作系統安全性更新。

  • 2020 年 12 月 1 日

    • [SPARK-33404][SQL][3.0] 修正表達式中 date_trunc 不正確的結果
    • [SPARK-33339][PYTHON]Pyspark 應用程式因非例外狀況錯誤而停止回應
    • [SPARK-33183][SQL][HOTFIX]修正優化器規則 RemoveSorts 並新增實體規則以移除多餘的排序
    • [SPARK-33371][PYTHON][3.0] Python 3.9 的更新 setup.py 和測試
    • [SPARK-33391][SQL] element_at CreateArray 不遵循一個型索引。
    • [SPARK-33306][SQL]將日期轉換成字串時需要時區

  • 2020 年 11 月 3 日

    • 已將 Java 版本從 1.8.0_252 升級至 1.8.0_265。
    • 修正與 UserGroupInformation.getCurrentUser（） 相關的 ABFS 和 WASB 鎖定
    • 修正讀取MAGIC位元組時Avro讀取器的無限循環錯誤。

  • 2020 年 10 月 13 日

    • 操作系統安全性更新。
    • [SPARK-32999][SQL]使用 Utils.getSimpleName 避免在 TreeNode 中叫用格式不正確的類別名稱
    • 已修正 FUSE 掛接中含有無效 XML 字元之檔名的清單目錄
    • FUSE 掛接不再使用 ListMultipartUploads

  • 2020 年 9 月 29 日

    • [SPARK-28863][SQL][WARMFIX]引進AlreadyOptimized 以防止重新分析 V1FallbackWriters
    • [SPARK-32635][SQL]修正可折疊傳播
    • 新增群組態 spark.shuffle.io.decoder.consolidateThreshold。 將組態值設定為 Long.MAX_VALUE ，以略過 netty FrameBuffers 的匯總，這會在邊角案例中防止 java.lang.IndexOutOfBoundsException 。

  • 2020 年 9 月 24 日

    • [SPARK-32764][SQL] -0.0 應該等於 0.0
    • [SPARK-32753][SQL]只有在轉換計劃時，將標籤複製到沒有標籤的節點
    • [SPARK-32659][SQL]修正在非不可部分完成類型上插入動態數據分割剪除的數據問題
    • 操作系統安全性更新。

  • 2020 年 9 月 8 日

    • 已為 Azure Synapse Analytics 建立新的參數。 maxbinlength 此參數可用來控制 BinaryType 資料行的數據行長度，並轉譯為 VARBINARY(maxbinlength)。 您可以使用 來設定 .option("maxbinlength", n)，其中0 < n <= 8000。

  • 2020 年 8 月 25 日

    • [SPARK-32159][SQL]修正與之間的 Aggregator[Array[_], _, _] 整合 UnresolvedMapObjects
    • [SPARK-32559][SQL]修正 中未正確處理非 ASCII 字元的 UTF8String.toInt/toLong修剪邏輯
    • [SPARK-32543][R] 移除 arrow::as_tibble SparkR 中的使用量
    • [SPARK-32091][CORE]拿掉遺失執行程式上的區塊時忽略逾時錯誤
    • 已修正使用 MSI 認證影響 Azure Synapse 連接器的問題
    • 已修正自我合併中的模棱兩可屬性解析

  • 2020 年 8 月 18 日

    • [SPARK-32594][SQL]修正插入Hive資料表的日期串行化
    • [SPARK-32237][SQL]解決 CTE 中的提示
    • [SPARK-32431][SQL]檢查從內建數據源讀取中的重複巢狀數據行
    • [SPARK-32467][UI]避免 HTTPs 重新導向上的編碼 URL 兩次
    • 已修正使用 Trigger.Once 時 AQS 連接器中的競爭條件。

  • 2020 年 8 月 11 日

  • 2020 年 8 月 3 日

    • 您現在可以在已啟用傳遞的叢集上使用 LDA 轉換函式。

Databricks Runtime 7.0 （不支援）

請參閱 Databricks Runtime 7.0 （不支援）。

  • 2021年2月4日

    • 修正當叢集環境變數組態包含無效bash語法時，導致 DBFS FUSE 無法啟動的回歸。

  • 2021年1月20日

    • 修正了 2021 年 1 月 12 日維護版本中的回歸，可能導致 AnalysisException 不正確，並指出數據行在自我聯結中模棱兩可。 當使用者將DataFrame與其衍生的DataFrame（所謂的自我聯結）聯結至下列條件時，就會發生此回歸：
      • 這兩個 DataFrame 有一般數據行，但自我聯結的輸出沒有通用數據行。 例如，df.join(df.select($"col" as "new_col"), cond)
      • 衍生的數據框架會透過 select、groupBy 或 window 排除某些數據行。
      • 聯結的數據框架之後的聯結條件或下列轉換是指非通用數據行。 例如，df.join(df.drop("a"), df("a") === 1)

  • 2021 年 1 月 12 日

    • 操作系統安全性更新。
    • [SPARK-33593][SQL]向量讀取器取得具有二進位數據分割值的不正確數據
    • [SPARK-33677][SQL]如果模式包含任何 escapeChar，請略過 LikeSimplification 規則
    • [SPARK-33071][SPARK-33536][SQL]避免將 join（） 中的 LogicalPlan dataset_id變更為不中斷 DetectAmbiguousSelfJoin

  • 2020 年 12 月 8 日

    • [SPARK-27421][SQL]修正剪除數據分割數據行時 int 資料行和值類別 java.lang.String 的篩選
    • [SPARK-33404][SQL]修正表達式中 date_trunc 不正確的結果
    • [SPARK-33339][PYTHON]Pyspark 應用程式因非例外狀況錯誤而停止回應
    • [SPARK-33183][SQL]修正優化器規則 RemoveSorts 並新增實體規則以移除多餘的排序
    • [SPARK-33391][SQL] element_at CreateArray 不遵循一個型索引。
    • 操作系統安全性更新。

  • 2020 年 12 月 1 日

  • 2020 年 11 月 3 日

    • 已將 Java 版本從 1.8.0_252 升級至 1.8.0_265。
    • 修正與 UserGroupInformation.getCurrentUser（） 相關的 ABFS 和 WASB 鎖定
    • 修正讀取MAGIC位元組時Avro讀取器的無限循環錯誤。

  • 2020 年 10 月 13 日

    • 操作系統安全性更新。
    • [SPARK-32999][SQL]使用 Utils.getSimpleName 避免在 TreeNode 中叫用格式不正確的類別名稱
    • 已修正 FUSE 掛接中含有無效 XML 字元之檔名的清單目錄
    • FUSE 掛接不再使用 ListMultipartUploads

  • 2020 年 9 月 29 日

    • [SPARK-28863][SQL][WARMFIX]引進AlreadyOptimized 以防止重新分析 V1FallbackWriters
    • [SPARK-32635][SQL]修正可折疊傳播
    • 新增群組態 spark.shuffle.io.decoder.consolidateThreshold。 將組態值設定為 Long.MAX_VALUE ，以略過 netty FrameBuffers 的匯總，這會在邊角案例中防止 java.lang.IndexOutOfBoundsException 。

  • 2020 年 9 月 24 日

    • [SPARK-32764][SQL] -0.0 應該等於 0.0
    • [SPARK-32753][SQL]只有在轉換計劃時，將標籤複製到沒有標籤的節點
    • [SPARK-32659][SQL]修正在非不可部分完成類型上插入動態數據分割剪除的數據問題
    • 操作系統安全性更新。

  • 2020 年 9 月 8 日

    • 已為 Azure Synapse Analytics 建立新的參數。 maxbinlength 此參數可用來控制 BinaryType 資料行的數據行長度，並轉譯為 VARBINARY(maxbinlength)。 您可以使用 來設定 .option("maxbinlength", n)，其中0 < n <= 8000。

  • 2020 年 8 月 25 日

    • [SPARK-32159][SQL]修正與之間的 Aggregator[Array[_], _, _] 整合 UnresolvedMapObjects
    • [SPARK-32559][SQL]修正 中未正確處理非 ASCII 字元的 UTF8String.toInt/toLong修剪邏輯
    • [SPARK-32543][R] 移除 arrow::as_tibble SparkR 中的使用量
    • [SPARK-32091][CORE]拿掉遺失執行程式上的區塊時忽略逾時錯誤
    • 已修正使用 MSI 認證影響 Azure Synapse 連接器的問題
    • 已修正自我合併中的模棱兩可屬性解析

  • 2020 年 8 月 18 日

    • [SPARK-32594][SQL]修正插入Hive資料表的日期串行化
    • [SPARK-32237][SQL]解決 CTE 中的提示
    • [SPARK-32431][SQL]檢查從內建數據源讀取中的重複巢狀數據行
    • [SPARK-32467][UI]避免 HTTPs 重新導向上的編碼 URL 兩次
    • 已修正使用 Trigger.Once 時 AQS 連接器中的競爭條件。

  • 2020 年 8 月 11 日

    • [SPARK-32280][SPARK-32372][SQL]ResolveReferences.dedupRight 應該只重寫衝突計劃上階節點的屬性
    • [SPARK-32234][SQL]選取 ORC 數據表時，Spark SQL 命令失敗
    • 您現在可以在已啟用傳遞的叢集上使用 LDA 轉換函式。

Databricks Runtime 6.6 （不支援）

請參閱 Databricks Runtime 6.6 （不支援）。

  • 2020 年 12 月 1 日

  • 2020 年 11 月 3 日

    • 已將 Java 版本從 1.8.0_252 升級至 1.8.0_265。
    • 修正與 UserGroupInformation.getCurrentUser（） 相關的 ABFS 和 WASB 鎖定
    • 修正讀取MAGIC位元組時Avro讀取器的無限循環錯誤。

  • 2020 年 10 月 13 日

    • 操作系統安全性更新。
    • [SPARK-32999][SQL][2.4] 使用 Utils.getSimpleName 避免在 TreeNode 中達到格式不正確的類別名稱
    • 已修正 FUSE 掛接中含有無效 XML 字元之檔名的清單目錄
    • FUSE 掛接不再使用 ListMultipartUploads

  • 2020 年 9 月 24 日

    • 操作系統安全性更新。

  • 2020 年 9 月 8 日

    • 已為 Azure Synapse Analytics 建立新的參數。 maxbinlength 此參數可用來控制 BinaryType 資料行的數據行長度，並轉譯為 VARBINARY(maxbinlength)。 您可以使用 來設定 .option("maxbinlength", n)，其中0 < n <= 8000。
    • 將 Azure 儲存體 SDK 更新為 8.6.4，並在 WASB 驅動程式所建立的連線上保持 TCP 保持運作

  • 2020 年 8 月 25 日

    • 已修正自我合併中的模棱兩可屬性解析

  • 2020 年 8 月 18 日

    • [SPARK-32431][SQL]檢查從內建數據源讀取中的重複巢狀數據行
    • 已修正使用 Trigger.Once 時 AQS 連接器中的競爭條件。

  • 2020 年 8 月 11 日

    • [SPARK-28676][CORE]避免從 ContextCleaner 過度記錄
    • [SPARK-31967][UI]降級至 vis.js 4.21.0 以修正作業 UI 載入時間回歸

  • 2020 年 8 月 3 日

    • 您現在可以在已啟用傳遞的叢集上使用 LDA 轉換函式。
    • 操作系統安全性更新。

Databricks Runtime 6.5 （不支援）

請參閱 Databricks Runtime 6.5 （不支援）。

  • 2020 年 9 月 24 日
    • 已修正標準叢集上的傳遞仍會限制檔系統實作使用者使用的先前限制。 現在，用戶將能夠存取本機文件系統，而不受限制。
    • 操作系統安全性更新。
  • 2020 年 9 月 8 日
    • 已為 Azure Synapse Analytics 建立新的參數。 maxbinlength 此參數可用來控制 BinaryType 資料行的數據行長度，並轉譯為 VARBINARY(maxbinlength)。 您可以使用 來設定 .option("maxbinlength", n)，其中0 < n <= 8000。
    • 將 Azure 儲存體 SDK 更新為 8.6.4，並在 WASB 驅動程式所建立的連線上保持 TCP 保持運作
  • 2020 年 8 月 25 日
    • 已修正自我合併中的模棱兩可屬性解析
  • 2020 年 8 月 18 日
    • [SPARK-32431][SQL]檢查從內建數據源讀取中的重複巢狀數據行
    • 已修正使用 Trigger.Once 時 AQS 連接器中的競爭條件。
  • 2020 年 8 月 11 日
  • 2020 年 8 月 3 日
    • 您現在可以在已啟用傳遞的叢集上使用 LDA 轉換函式。
    • 操作系統安全性更新。
  • 2020 年 7 月 7 日
    • 已將 Java 版本從 1.8.0_242 升級為 1.8.0_252。
  • 2020 年 4 月 21 日
    • [SPARK-31312][SQL]HiveFunctionWrapper 中 UDF 實例的快取類別實例

Databricks Runtime 6.3 （不支援）

請參閱 Databricks Runtime 6.3 （不支援）。

  • 2020 年 7 月 7 日
    • 已將 Java 版本從 1.8.0_232 升級至 1.8.0_252。
  • 2020 年 4 月 21 日
    • [SPARK-31312][SQL]HiveFunctionWrapper 中 UDF 實例的快取類別實例
  • 2020 年 4 月 7 日
    • 為了解決 pandas udf 無法與 PyArrow 0.15.0 和更新版本搭配運作的問題，我們新增了環境變數 （ARROW_PRE_0_15_IPC_FORMAT=1） 來啟用這些 PyArrow 版本的支援。 請參閱 [SPARK-29367] 中的指示。
  • 2020 年 3 月 10 日
    • Databricks Runtime 中包含的 Snowflake 連接器已spark-snowflake_2.11更新為 2.5.9 版。 snowflake-jdbc 會更新為3.12.0版。
  • 2020 年 2 月 18 日
    • 使用ADLS Gen2的認證傳遞效能降低，因為啟用ADLS用戶端預先擷取時線程本機處理不正確。 在啟用認證傳遞之前，此版本會停用 ADLS Gen2 預先擷取，直到我們有適當的修正為止。
  • 2020 年 2 月 11 日
    • [SPARK-24783][SQL] spark.sql.shuffle.partitions=0 應該擲回例外狀況
    • [SPARK-30447][SQL]常數傳播可為 Null 性問題
    • [SPARK-28152][SQL]新增舊版 MsSqlServerDialect 數值對應的舊版 conf
    • Allowlisted the overwrite function so the MLModels extends MLWriter could call the function.

Databricks Runtime 6.2 （不支援）

請參閱 Databricks Runtime 6.2 （不支援）。

  • 2020 年 4 月 21 日
    • [SPARK-31312][SQL]HiveFunctionWrapper 中 UDF 實例的快取類別實例
  • 2020 年 4 月 7 日
    • 為了解決 pandas udf 無法與 PyArrow 0.15.0 和更新版本搭配運作的問題，我們新增了環境變數 （ARROW_PRE_0_15_IPC_FORMAT=1） 來啟用這些 PyArrow 版本的支援。 請參閱 [SPARK-29367] 中的指示。
  • 2020 年 3 月 25 日
    • 作業輸出，例如發出至 stdout 的記錄輸出，受限於 20 MB 的大小限制。 如果總輸出的大小較大，將會取消執行並標示為失敗。 若要避免遇到此限制，您可以將Spark組態true設為 spark.databricks.driver.disableScalaOutput ，以防止從驅動程式傳回 stdout。 旗標值預設為 false。 旗標可控制 Scala JAR 作業和 Scala 筆記本的數據格輸出。 如果已啟用 旗標，Spark 不會將作業執行結果傳回給用戶端。 旗標不會影響在叢集記錄檔中寫入的數據。 建議只針對 JAR 作業的自動化叢集設定此旗標，因為它會停用筆記本結果。
  • 2020 年 3 月 10 日
    • Databricks Runtime 中包含的 Snowflake 連接器已spark-snowflake_2.11更新為 2.5.9 版。 snowflake-jdbc 會更新為3.12.0版。
  • 2020 年 2 月 18 日
    • [SPARK-24783][SQL] spark.sql.shuffle.partitions=0 應該擲回例外狀況
    • 使用ADLS Gen2的認證傳遞效能降低，因為啟用ADLS用戶端預先擷取時線程本機處理不正確。 在啟用認證傳遞之前，此版本會停用 ADLS Gen2 預先擷取，直到我們有適當的修正為止。
  • 2020 年 1 月 28 日
    • 針對已啟用認證傳遞之叢集的允許清單 ML 模型寫入器的覆寫函式，讓模型儲存可以在認證傳遞叢集上使用覆寫模式。
    • [SPARK-30447][SQL]常數傳播可為 Null 的問題。
    • [SPARK-28152][SQL]新增舊版 MsSqlServerDialect 數值對應的舊版 conf。
  • 2020 年 1 月 14 日
    • 已將 Java 版本從 1.8.0_222 升級為 1.8.0_232。
  • 2019年12月10日
    • [SPARK-29904][SQL]剖析 JSON/CSV 數據源以微秒精確度的時間戳。

Databricks Runtime 6.1 （不支援）

請參閱 Databricks Runtime 6.1 （不支援）。

  • 2020 年 4 月 7 日
    • 為了解決 pandas udf 無法與 PyArrow 0.15.0 和更新版本搭配運作的問題，我們新增了環境變數 （ARROW_PRE_0_15_IPC_FORMAT=1） 來啟用這些 PyArrow 版本的支援。 請參閱 [SPARK-29367] 中的指示。
  • 2020 年 3 月 25 日
    • 作業輸出，例如發出至 stdout 的記錄輸出，受限於 20 MB 的大小限制。 如果總輸出的大小較大，將會取消執行並標示為失敗。 若要避免遇到此限制，您可以將Spark組態true設為 spark.databricks.driver.disableScalaOutput ，以防止從驅動程式傳回 stdout。 旗標值預設為 false。 旗標可控制 Scala JAR 作業和 Scala 筆記本的數據格輸出。 如果已啟用 旗標，Spark 不會將作業執行結果傳回給用戶端。 旗標不會影響在叢集記錄檔中寫入的數據。 建議只針對 JAR 作業的自動化叢集設定此旗標，因為它會停用筆記本結果。
  • 2020 年 3 月 10 日
    • Databricks Runtime 中包含的 Snowflake 連接器已spark-snowflake_2.11更新為 2.5.9 版。 snowflake-jdbc 會更新為3.12.0版。
  • 2020 年 2 月 18 日
    • [SPARK-24783][SQL] spark.sql.shuffle.partitions=0 應該擲回例外狀況
    • 使用ADLS Gen2的認證傳遞效能降低，因為啟用ADLS用戶端預先擷取時線程本機處理不正確。 在啟用認證傳遞之前，此版本會停用 ADLS Gen2 預先擷取，直到我們有適當的修正為止。
  • 2020 年 1 月 28 日
    • [SPARK-30447][SQL]常數傳播可為 Null 的問題。
    • [SPARK-28152][SQL]新增舊版 MsSqlServerDialect 數值對應的舊版 conf。
  • 2020 年 1 月 14 日
    • 已將 Java 版本從 1.8.0_222 升級為 1.8.0_232。
  • 2019年11月7日
    • [SPARK-29743][SQL] 範例如果其子系的 needCopyResult 為 true，則應該將 needCopyResult 設定為 true。
    • 公開預覽版中 Spark 組態屬性和環境變數所參考的秘密。 請參閱 在Spark組態屬性或環境變數中使用秘密。
  • 2019年11月5日
    • 已修正 DBFS FUSE 中的 Bug，以處理路徑中具有 // 的裝入點。
    • [SPARK-29081] 以更快的實作取代對屬性上的 SerializationUtils.clone 呼叫
    • [SPARK-29244][CORE]防止 BytesToBytesMap 中的可用頁面再次可用
    • （6.1 ML） 未小心安裝連結庫 mkl 2019.4 版。 我們已將它降級為 mkl 2019.3 版，以符合 Anaconda Distribution 2019.03。

Databricks Runtime 6.0 （不支援）

請參閱 Databricks Runtime 6.0 （不支援）。

  • 2020 年 3 月 25 日
    • 作業輸出，例如發出至 stdout 的記錄輸出，受限於 20 MB 的大小限制。 如果總輸出的大小較大，將會取消執行並標示為失敗。 若要避免遇到此限制，您可以將Spark組態true設為 spark.databricks.driver.disableScalaOutput ，以防止從驅動程式傳回 stdout。 旗標值預設為 false。 旗標可控制 Scala JAR 作業和 Scala 筆記本的數據格輸出。 如果已啟用 旗標，Spark 不會將作業執行結果傳回給用戶端。 旗標不會影響在叢集記錄檔中寫入的數據。 建議只針對 JAR 作業的自動化叢集設定此旗標，因為它會停用筆記本結果。
  • 2020 年 2 月 18 日
    • 使用ADLS Gen2的認證傳遞效能降低，因為啟用ADLS用戶端預先擷取時線程本機處理不正確。 在啟用認證傳遞之前，此版本會停用 ADLS Gen2 預先擷取，直到我們有適當的修正為止。
  • 2020 年 2 月 11 日
    • [SPARK-24783][SQL] spark.sql.shuffle.partitions=0 應該擲回例外狀況
  • 2020 年 1 月 28 日
    • [SPARK-30447][SQL]常數傳播可為 Null 的問題。
    • [SPARK-28152][SQL]新增舊版 MsSqlServerDialect 數值對應的舊版 conf。
  • 2020 年 1 月 14 日
    • 已將 Java 版本從 1.8.0_222 升級為 1.8.0_232。
  • 2019年11月19日
    • [SPARK-29743] [SQL] 範例如果其子系的 needCopyResult 為 true，則範例應該將 needCopyResult 設定為 true
  • 2019年11月5日
    • dbutils.tensorboard.start() 現在支援 TensorBoard 2.0（如果手動安裝）。
    • 已修正 DBFS FUSE 中的 Bug，以處理路徑中具有 // 的裝入點。
    • [SPARK-29081]以更快的實作取代對屬性上的 SerializationUtils.clone 呼叫
  • 2019年10月23日
    • [SPARK-29244][CORE]防止 BytesToBytesMap 中的可用頁面再次可用
  • 2019年10月8日
    • 伺服器端變更以允許 Simba Apache Spark ODBC 驅動程式在擷取結果期間重新連線並繼續進行（需要 Simba Apache Spark ODBC 驅動程式 2.6.10 版）。
    • 已修正搭配數據表 ACL 啟用叢集使用 Optimize 命令的問題。
    • 已修正連結庫因為數據表 ACL 和認證傳遞已啟用叢集的 Scala UDF 禁止錯誤而失敗的問題 pyspark.ml 。
    • 認證傳遞的 Allowlisted SerDe/SerDeUtil 方法。
    • 已修正在 WASB 用戶端中檢查錯誤碼時的 NullPointerException。
    • 已修正未將使用者認證轉送至 所 dbutils.notebook.run()建立作業的問題。

Databricks Runtime 5.4 ML （不支援）

請參閱 Databricks Runtime 5.4 for ML （不支援）。

  • 2019年6月18日
    • 改善在 Hyperopt 整合中處理 MLflow 作用中的執行
    • 已改善 Hyperopt 中的訊息
    • 已將套件 Marchkdown 從 3.1 更新為 3.1.1

Databricks Runtime 5.4 （不支援）

請參閱 Databricks Runtime 5.4 （不支援）。

  • 2019年11月19日
    • [SPARK-29743] [SQL] 範例如果其子系的 needCopyResult 為 true，則範例應該將 needCopyResult 設定為 true
  • 2019年10月8日
    • 伺服器端變更以允許 Simba Apache Spark ODBC 驅動程式在擷取結果期間連線失敗後重新連線並繼續進行（需要 Simba Apache Spark ODBC 驅動程式更新至 2.6.10 版）。
    • 已修正在 WASB 用戶端中檢查錯誤碼時的 NullPointerException。
  • 2019年9月10日
    • 將安全線程反覆運算器新增至 BytesToBytesMap
    • 已修正影響特定全域匯總查詢的 Bug。
    • [SPARK-27330][SS] 支援 foreach 寫入器中的工作中止
    • [SPARK-28642]隱藏SHOW CREATE TABLE 中的認證
    • [SPARK-28699][SQL]在重新分割案例中停用使用 ShuffleExchangeExec 的弧度排序
    • [SPARK-28699][CORE]修正中止不確定階段的邊角案例
  • 2019年8月27日
    • 修正影響特定 transform 表達式的問題
  • 2019年8月13日
    • 差異串流來源應該檢查數據表的最新通訊協定
    • [SPARK-28489][SS]修正 KafkaOffsetRangeCalculator.getRanges 可能會卸除位移的錯誤
  • 2019年7月30日
    • [SPARK-28015][SQL]Check stringToDate（） 會針對 yyyy 和 yyyy-[m]m 格式取用整個輸入
    • [SPARK-28308][CORE]剖析之前，應該先填補 CalendarInterval 子秒部分
    • [SPARK-27485]EnsureRequirements.reorder 應該正常處理重複的表達式
  • 2019年7月2日
    • 已將 snappy-java 從 1.1.7.1 升級至 1.1.7.3。
  • 2019年6月18日
    • 改善在 MLlib 整合中處理 MLflow 作用中的執行
    • 改善與使用磁碟快取相關的 Databricks Advisor 訊息
    • 已修正使用較高順序函式影響的錯誤
    • 已修正影響差異元數據查詢的 Bug

Databricks Runtime 5.3 （不支援）

請參閱 Databricks Runtime 5.3 （不支援）。

  • 2019年11月7日
    • [SPARK-29743][SQL] 範例如果其子系的 needCopyResult 為 true，則範例應該將 needCopyResult 設定為 true
  • 2019年10月8日
    • 伺服器端變更以允許 Simba Apache Spark ODBC 驅動程式在擷取結果期間連線失敗後重新連線並繼續進行（需要 Simba Apache Spark ODBC 驅動程式更新至 2.6.10 版）。
    • 已修正在 WASB 用戶端中檢查錯誤碼時的 NullPointerException。
  • 2019年9月10日
    • 將安全線程反覆運算器新增至 BytesToBytesMap
    • 已修正影響特定全域匯總查詢的 Bug。
    • [SPARK-27330][SS] 支援 foreach 寫入器中的工作中止
    • [SPARK-28642]隱藏SHOW CREATE TABLE 中的認證
    • [SPARK-28699][SQL]在重新分割案例中停用使用 ShuffleExchangeExec 的弧度排序
    • [SPARK-28699][CORE]修正中止不確定階段的邊角案例
  • 2019年8月27日
    • 修正影響特定 transform 表達式的問題
  • 2019年8月13日
    • 差異串流來源應該檢查數據表的最新通訊協定
    • [SPARK-28489][SS]修正 KafkaOffsetRangeCalculator.getRanges 可能會卸除位移的錯誤
  • 2019年7月30日
    • [SPARK-28015][SQL]Check stringToDate（） 會針對 yyyy 和 yyyy-[m]m 格式取用整個輸入
    • [SPARK-28308][CORE]剖析之前，應該先填補 CalendarInterval 子秒部分
    • [SPARK-27485]EnsureRequirements.reorder 應該正常處理重複的表達式
  • 2019年6月18日
    • 改善與使用磁碟快取相關的 Databricks Advisor 訊息
    • 已修正使用較高順序函式影響的錯誤
    • 已修正影響差異元數據查詢的 Bug
  • 2019年5月28日
    • 改善差異的穩定性
    • 讀取差異LAST_CHECKPOINT檔案時容許 IOException
      • 已將復原新增至失敗的連結庫安裝
  • 2019 年 5 月 7 日
    • 埠 HADOOP-15778 （ABFS：修正用戶端節流以進行讀取） 至 Azure Data Lake 儲存體 Gen2 連接器
    • 將HADOOP-16040埠 （ABFS：容許的 Bug 修正程式OobAppends 組態）移植到 Azure Data Lake 儲存體 Gen2 連接器
    • 已修正影響資料表 ACL 的錯誤
    • 已修正載入差異記錄總和檢查碼檔案時的競爭狀況
    • 已修正差異衝突偵測邏輯，無法將「插入 + 覆寫」識別為純「附加」作業
    • 確定數據表 ACL 已啟用時不會停用磁碟快取
    • [SPARK-27494][SS]Null 索引鍵/值無法在Kafka來源 v2 中運作
    • [SPARK-27446][R] 如果有的話，請使用現有的Spark conf。
    • [SPARK-27454][SPARK-27454][ML][SQL]遇到一些不合法的映射時，Spark 映像數據源會失敗
    • [SPARK-27160][SQL]在建置 Orc 篩選時修正 DecimalType
    • [SPARK-27338][CORE]修正 UnsafeExternalSorter 與 TaskMemoryManager 之間的死結

Databricks Runtime 5.2 （不支援）

請參閱 Databricks Runtime 5.2 （不支援）。

  • 2019年9月10日
    • 將安全線程反覆運算器新增至 BytesToBytesMap
    • 已修正影響特定全域匯總查詢的 Bug。
    • [SPARK-27330][SS] 支援 foreach 寫入器中的工作中止
    • [SPARK-28642]隱藏SHOW CREATE TABLE 中的認證
    • [SPARK-28699][SQL]在重新分割案例中停用使用 ShuffleExchangeExec 的弧度排序
    • [SPARK-28699][CORE]修正中止不確定階段的邊角案例
  • 2019年8月27日
    • 修正影響特定 transform 表達式的問題
  • 2019年8月13日
    • 差異串流來源應該檢查數據表的最新通訊協定
    • [SPARK-28489][SS]修正 KafkaOffsetRangeCalculator.getRanges 可能會卸除位移的錯誤
  • 2019年7月30日
    • [SPARK-28015][SQL]Check stringToDate（） 會針對 yyyy 和 yyyy-[m]m 格式取用整個輸入
    • [SPARK-28308][CORE]剖析之前，應該先填補 CalendarInterval 子秒部分
    • [SPARK-27485]EnsureRequirements.reorder 應該正常處理重複的表達式
  • 2019年7月2日
    • 讀取差異LAST_CHECKPOINT檔案時容許 IOException
  • 2019年6月18日
    • 改善與使用磁碟快取相關的 Databricks Advisor 訊息
    • 已修正使用較高順序函式影響的錯誤
    • 已修正影響差異元數據查詢的 Bug
  • 2019年5月28日
    • 已將復原新增至失敗的連結庫安裝
  • 2019 年 5 月 7 日
    • 埠 HADOOP-15778 （ABFS：修正用戶端節流以進行讀取）至 Azure Data Lake 儲存體 Gen2 連接器
    • 將 HADOOP-16040 移植到 Azure Data Lake 儲存體 Gen2 連接器（ABFS：可容忍的 Bug 修正程式OobAppends 設定）
    • 已修正載入差異記錄總和檢查碼檔案時的競爭狀況
    • 已修正差異衝突偵測邏輯，無法將「插入 + 覆寫」識別為純「附加」作業
    • 確定數據表 ACL 已啟用時不會停用磁碟快取
    • [SPARK-27494][SS]Null 索引鍵/值無法在Kafka來源 v2 中運作
    • [SPARK-27454][SPARK-27454][ML][SQL]遇到一些不合法的映射時，Spark 映像數據源會失敗
    • [SPARK-27160][SQL]在建置 Orc 篩選時修正 DecimalType
    • [SPARK-27338][CORE]修正 UnsafeExternalSorter 與 TaskMemoryManager 之間的死結
  • 2019年3月26日
    • 避免在全階段產生的程式代碼中內嵌平臺相依位移
    • [SPARK-26665][CORE]修正 BlockTransferService.fetchBlockSync 可能永遠停止響應的錯誤。
    • [SPARK-27134][SQL] array_distinct函式無法正確使用包含數位陣列資料行。
    • [SPARK-24669][SQL]在DROP DATABASE CASCADE的情況下使數據表失效。
    • [SPARK-26572][SQL] 修正匯總 codegen 結果評估。
    • 已修正影響特定 PythonUDF 的 Bug。
  • 2019年2月26日
    • [SPARK-26864][SQL]當 Python udf 當做左半聯結條件使用時，查詢可能會傳回不正確的結果。
    • [SPARK-26887][PYTHON]直接建立 datetime.date，而不是建立 datetime64 做為中繼數據。
    • 已修正影響 JDBC/ODBC 伺服器的 Bug。
    • 已修正影響 PySpark 的錯誤。
    • 建置HadoopRDD時排除隱藏的檔案。
    • 已修正造成串行化問題的 Delta 錯誤。
  • 2019年2月12日
    • 已修正搭配 Azure ADLS Gen2 裝入點使用 Delta 的問題。
    • 已修正在傳送已啟用加密的大型 RPC 錯誤訊息時，Spark 低階網路協定可能會中斷的問題（設定為 true 時 spark.network.crypto.enabled ）。
  • 2019年1月30日
    • 已修正在快取關聯性上放置扭曲聯結提示時的 StackOverflowError。
    • 已修正 SQL 快取快取的快取 RDD 與其實體計畫之間的不一致，這會導致不正確的結果。
    • [SPARK-26706][SQL]修正 illegalNumericPrecedence ByteType。
    • [SPARK-26709][SQL]OptimizeMetadataOnlyQuery 無法正確處理空的記錄。
    • 在推斷架構時，CSV/JSON 數據源應避免擷取路徑。
    • 已修正 Window 運算符的條件約束推斷。
    • 已修正使用已啟用數據表 ACL 的叢集來安裝蛋類連結庫的問題。

Databricks Runtime 5.1 （不支援）

請參閱 Databricks Runtime 5.1 （不支援）。

  • 2019年8月13日
    • 差異串流來源應該檢查數據表的最新通訊協定
    • [SPARK-28489][SS]修正 KafkaOffsetRangeCalculator.getRanges 可能會卸除位移的錯誤
  • 2019年7月30日
    • [SPARK-28015][SQL]Check stringToDate（） 會針對 yyyy 和 yyyy-[m]m 格式取用整個輸入
    • [SPARK-28308][CORE]剖析之前，應該先填補 CalendarInterval 子秒部分
    • [SPARK-27485]EnsureRequirements.reorder 應該正常處理重複的表達式
  • 2019年7月2日
    • 讀取差異LAST_CHECKPOINT檔案時容許 IOException
  • 2019年6月18日
    • 已修正使用較高順序函式影響的錯誤
    • 已修正影響差異元數據查詢的 Bug
  • 2019年5月28日
    • 已將復原新增至失敗的連結庫安裝
  • 2019 年 5 月 7 日
    • 埠 HADOOP-15778 （ABFS：修正用戶端節流以進行讀取）至 Azure Data Lake 儲存體 Gen2 連接器
    • 將 HADOOP-16040 連接埠移植到 Azure Data Lake 儲存體 Gen2 連接器（ABFS：容許的 Bug 修正程式OobAppends 組態）
    • 已修正載入差異記錄總和檢查碼檔案時的競爭狀況
    • 已修正差異衝突偵測邏輯，無法將「插入 + 覆寫」識別為純「附加」作業
    • [SPARK-27494][SS]Null 索引鍵/值無法在Kafka來源 v2 中運作
    • [SPARK-27454][SPARK-27454][ML][SQL]遇到一些不合法的映射時，Spark 映像數據源會失敗
    • [SPARK-27160][SQL]在建置 Orc 篩選時修正 DecimalType
    • [SPARK-27338][CORE]修正 UnsafeExternalSorter 與 TaskMemoryManager 之間的死結
  • 2019年3月26日
    • 避免在全階段產生的程式代碼中內嵌平臺相依位移
    • 已修正影響特定 PythonUDF 的 Bug。
  • 2019年2月26日
    • [SPARK-26864][SQL]當 Python udf 當做左半聯結條件使用時，查詢可能會傳回不正確的結果。
    • 已修正影響 JDBC/ODBC 伺服器的 Bug。
    • 建置HadoopRDD時排除隱藏的檔案。
  • 2019年2月12日
    • 已修正使用已啟用數據表 ACL 的叢集來安裝蛋類連結庫的問題。
    • 已修正 SQL 快取快取的快取 RDD 與其實體計畫之間的不一致，這會導致不正確的結果。
    • [SPARK-26706][SQL]修正 illegalNumericPrecedence ByteType。
    • [SPARK-26709][SQL]OptimizeMetadataOnlyQuery 無法正確處理空的記錄。
    • 已修正 Window 運算符的條件約束推斷。
    • 已修正在傳送已啟用加密的大型 RPC 錯誤訊息時，Spark 低階網路協定可能會中斷的問題（設定為 true 時 spark.network.crypto.enabled ）。
  • 2019年1月30日
    • 已修正會導致 df.rdd.count() UDT 針對特定案例傳回不正確答案的問題。
    • 已修正影響安裝轉輪機的問題。
    • [SPARK-26267]偵測 Kafka 不正確的位移時重試。
    • 已修正影響串流查詢中多個檔案數據流來源的錯誤。
    • 已修正在快取關聯性上放置扭曲聯結提示時的 StackOverflowError。
    • 已修正 SQL 快取快取的快取 RDD 與其實體計畫之間的不一致，這會導致不正確的結果。
  • 2019 年 1 月 8 日
    • 已修正導致錯誤 org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelisted的問題。
    • [SPARK-26352]聯結重新排序不應變更輸出屬性的順序。
    • [SPARK-26366]ReplaceExceptWithFilter 應該將 NULL 視為 False。
    • Delta Lake 的穩定性改善。
    • Delta Lake 已啟用。
    • 已修正在 Azure Data Lake 儲存體 Gen1 啟用 Microsoft Entra ID 認證傳遞時，導致 Azure Data Lake 儲存體 Gen2 存取失敗的問題。
    • Databricks IO 快取現已針對所有定價層的 Ls 系列背景工作實例類型啟用。

Databricks Runtime 5.0 （不支援）

請參閱 Databricks Runtime 5.0 （不支援）。

  • 2019年6月18日
    • 已修正使用較高順序函式影響的錯誤
  • 2019 年 5 月 7 日
    • 已修正載入差異記錄總和檢查碼檔案時的競爭狀況
    • 已修正差異衝突偵測邏輯，無法將「插入 + 覆寫」識別為純「附加」作業
    • [SPARK-27494][SS]Null 索引鍵/值無法在Kafka來源 v2 中運作
    • [SPARK-27454][SPARK-27454][ML][SQL]遇到一些不合法的映射時，Spark 映像數據源會失敗
    • [SPARK-27160][SQL]在建置 Orc 篩選時修正 DecimalType
      • [SPARK-27338][CORE]修正 UnsafeExternalSorter 與 TaskMemoryManager 之間的死結
  • 2019年3月26日
    • 避免在全階段產生的程式代碼中內嵌平臺相依位移
    • 已修正影響特定 PythonUDF 的 Bug。
  • 2019 年 3 月 12 日
    • [SPARK-26864][SQL]當 Python udf 當做左半聯結條件使用時，查詢可能會傳回不正確的結果。
  • 2019年2月26日
    • 已修正影響 JDBC/ODBC 伺服器的 Bug。
    • 建置HadoopRDD時排除隱藏的檔案。
  • 2019年2月12日
    • 已修正 SQL 快取快取的快取 RDD 與其實體計畫之間的不一致，這會導致不正確的結果。
    • [SPARK-26706][SQL]修正 illegalNumericPrecedence ByteType。
    • [SPARK-26709][SQL]OptimizeMetadataOnlyQuery 無法正確處理空的記錄。
    • 已修正 Window 運算符的條件約束推斷。
    • 已修正在傳送已啟用加密的大型 RPC 錯誤訊息時，Spark 低階網路協定可能會中斷的問題（設定為 true 時 spark.network.crypto.enabled ）。
  • 2019年1月30日
    • 已修正會導致 df.rdd.count() UDT 針對特定案例傳回不正確答案的問題。
    • [SPARK-26267]偵測 Kafka 不正確的位移時重試。
    • 已修正影響串流查詢中多個檔案數據流來源的錯誤。
    • 已修正在快取關聯性上放置扭曲聯結提示時的 StackOverflowError。
    • 已修正 SQL 快取快取的快取 RDD 與其實體計畫之間的不一致，這會導致不正確的結果。
  • 2019 年 1 月 8 日
    • 已修正導致錯誤 org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelisted的問題。
    • [SPARK-26352]聯結重新排序不應變更輸出屬性的順序。
    • [SPARK-26366]ReplaceExceptWithFilter 應該將 NULL 視為 False。
    • Delta Lake 的穩定性改善。
    • Delta Lake 已啟用。
    • Databricks IO 快取現已針對所有定價層的 Ls 系列背景工作實例類型啟用。
  • 2018 年 12 月 18 日
    • [SPARK-26293]在子查詢中具有 Python UDF 時，轉換例外狀況
    • 已修正使用Join和 Limit 影響特定查詢的問題。
    • 在Spark UI中從 RDD 名稱修訂認證
  • 2018 年 12 月 6 日
    • 修正當使用 orderBy 緊接著 groupBy 搭配 group-by 索引鍵做為排序依據索引鍵的前置部分時，導致查詢結果不正確的問題。
    • 已將 Spark 的 Snowflake 連線 or 從 2.4.9.2-spark_2.4_pre_release 升級為 2.4.10。
    • 只有在啟用 或 spark.sql.files.ignoreMissingFiles 旗標時，才忽略一或多個重試之後spark.sql.files.ignoreCorruptFiles損毀的檔案。
    • 已修正影響特定自我聯集查詢的問題。
    • 已修正節流伺服器的 Bug，其中會話有時會在取消時外洩。
    • [SPARK-26307]已修正使用Hive SerDe 插入資料分割資料表時的 CTAS。
    • [SPARK-26147]即使只使用聯結一端的數據行，聯結條件中的 Python UDF 也會失敗
    • [SPARK-26211]針對具有 null 的二進位和結構與數位修正 InSet。
    • [SPARK-26181]hasMinMaxStats的方法ColumnStatsMap不正確。
    • 已修正在沒有因特網存取的環境中安裝 Python Wheel 的問題。
  • 2018 年 11 月 20 日
    • 已修正在取消串流查詢之後導致筆記本無法使用的問題。
    • 已修正使用視窗函式影響特定查詢的問題。
    • 已修正使用多個架構變更影響 Delta 數據流的問題。
    • 修正了影響具有左半/反聯結之特定匯總查詢的問題。

Databricks Runtime 4.3 （不支援）

請參閱 Databricks Runtime 4.3 （不支援）。

  • 2019 年 4 月 9 日

    • [SPARK-26665][CORE]修正可能導致 BlockTransferService.fetchBlockSync 永遠停止響應的錯誤。
    • [SPARK-24669][SQL]在DROP DATABASE CASCADE的情況下使數據表失效。

  • 2019 年 3 月 12 日

    • 已修正影響程式代碼產生的錯誤。
    • 已修正影響 Delta 的錯誤。

  • 2019年2月26日

    • 已修正影響 JDBC/ODBC 伺服器的 Bug。

  • 2019 年 2 月 12 日

    • [SPARK-26709][SQL]OptimizeMetadataOnlyQuery 無法正確處理空的記錄。
    • 在建置HadoopRDD時排除隱藏的檔案。
    • 已修正 IN 述詞的 Parquet 篩選轉換，其值為空白時。
    • 已修正在傳送已啟用加密的大型 RPC 錯誤訊息時，Spark 低階網路協定可能會中斷的問題（設定為 true 時 spark.network.crypto.enabled ）。

  • 2019年1月30日

    • 已修正會導致 df.rdd.count() UDT 針對特定案例傳回不正確答案的問題。
    • 已修正 SQL 快取快取的快取 RDD 與其實體計畫之間的不一致，這會導致不正確的結果。

  • 2019 年 1 月 8 日

    • 已修正導致錯誤 org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelisted的問題。
    • 在Spark UI中從 RDD 名稱修訂認證
    • [SPARK-26352]聯結重新排序不應變更輸出屬性的順序。
    • [SPARK-26366]ReplaceExceptWithFilter 應該將 NULL 視為 False。
    • Delta Lake 已啟用。
    • Databricks IO 快取現已針對所有定價層的 Ls 系列背景工作實例類型啟用。

  • 2018 年 12 月 18 日

    • [SPARK-25002]Avro：修改輸出記錄命名空間。
    • 已修正使用Join和 Limit 影響特定查詢的問題。
    • [SPARK-26307]已修正使用Hive SerDe 插入資料分割資料表時的 CTAS。
    • 只有在啟用 或 spark.sql.files.ignoreMissingFiles 旗標時，才忽略一或多個重試之後spark.sql.files.ignoreCorruptFiles損毀的檔案。
    • [SPARK-26181]hasMinMaxStats的方法ColumnStatsMap不正確。
    • 已修正在沒有因特網存取的環境中安裝 Python Wheel 的問題。
    • 已修正查詢分析器中的效能問題。
    • 已修正 PySpark 中導致 DataFrame 動作失敗的問題，並出現「連線拒絕」錯誤。
    • 已修正影響特定自我聯集查詢的問題。

  • 2018 年 11 月 20 日

    • [SPARK-17916][SPARK-25241]修正在設定 nullValue 時，要剖析為 null 的空字串。
    • [SPARK-25387]修正因 CSV 輸入不正確所造成的 NPE。
    • 修正了影響具有左半/反聯結之特定匯總查詢的問題。

  • 2018 年 11 月 6 日

    • [SPARK-25741]長 URL 不會在 Web UI 中正確轉譯。
    • [SPARK-25714]修正優化器規則 BooleanSimplification 中的 Null 處理。
    • 已修正在 Synapse Analytics 連接器中影響暫存物件清除的問題。
    • [SPARK-25816]修正巢狀擷取器中的屬性解析。

  • 2018 年 10 月 16 日

    • 已修正影響在 Delta 資料表上執行的 SHOW CREATE TABLE 輸出的錯誤。
    • 已修正影響作業的 Union Bug。

  • 2018 年 9 月 25 日

    • [SPARK-25368][SQL]不正確的條件約束推斷會傳回錯誤的結果。
    • [SPARK-25402][SQL]布爾值Simplification 中的 Null 處理。
    • 已修正 NotSerializableException Avro 數據源中的問題。

  • 2018 年 9 月 11 日

    • [SPARK-25214][SS]修正 Kafka v2 來源在 時 failOnDataLoss=false可能會傳回重複記錄的問題。
    • [SPARK-24987][SS]修正當 articlePartition 沒有新的位移時，Kafka 取用者流失。
    • 篩選縮減應該正確處理 Null 值。
    • 改善執行引擎的穩定性。

  • 2018 年 8 月 28 日

    • 修正 Delta Lake Delete 命令中的 Bug，該錯誤會錯誤地刪除條件評估為 Null 的數據列。
    • [SPARK-25142]當 Python 背景工作角色無法在 中 _load_from_socket開啟套接字時新增錯誤訊息。

  • 2018 年 8 月 23 日

    • [SPARK-23935]mapEntry 會 org.codehaus.commons.compiler.CompileException擲回 。
    • 已修正 Parquet 讀取器中可為 Null 的對應問題。
    • [SPARK-25051][SQL]FixNullability 不應該在 AnalysisBarrier 上停止。
    • [SPARK-25081]已修正當溢出無法配置記憶體時，ShuffleExternalSorter 可能會存取已釋放的記憶體頁面的錯誤。
    • 已修正 Databricks Delta 與 Pyspark 之間的互動，這可能會導致暫時性讀取失敗。
    • [SPARK-25084]”在多個數據行上散發 by （以括弧括住） 可能會導致 codegen 問題。
    • [SPARK-25096]如果轉換是強制可為 Null，則鬆散可為 Null。
    • 降低 Delta Lake Optimize 命令所使用的預設線程數目，降低記憶體額外負荷，並加快認可數據的速度。
    • [SPARK-25114]修正當減去兩個單字之間的減法時，Integer.MAX_VALUE 可修正 RecordBinaryComparator。
    • 已修正命令部分成功時的秘密管理員修訂。

Databricks Runtime 4.2 （不支援）

請參閱 Databricks Runtime 4.2 （不支援）。

  • 2019年2月26日

    • 已修正影響 JDBC/ODBC 伺服器的 Bug。

  • 2019 年 2 月 12 日

    • [SPARK-26709][SQL]OptimizeMetadataOnlyQuery 無法正確處理空的記錄。
    • 在建置HadoopRDD時排除隱藏的檔案。
    • 已修正 IN 述詞的 Parquet 篩選轉換，其值為空白時。
    • 已修正在傳送已啟用加密的大型 RPC 錯誤訊息時，Spark 低階網路協定可能會中斷的問題（設定為 true 時 spark.network.crypto.enabled ）。

  • 2019年1月30日

    • 已修正會導致 df.rdd.count() UDT 針對特定案例傳回不正確答案的問題。

  • 2019 年 1 月 8 日

    • 已修正導致錯誤 org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelisted的問題。
    • 在Spark UI中從 RDD 名稱修訂認證
    • [SPARK-26352]聯結重新排序不應變更輸出屬性的順序。
    • [SPARK-26366]ReplaceExceptWithFilter 應該將 NULL 視為 False。
    • Delta Lake 已啟用。
    • Databricks IO 快取現已針對所有定價層的 Ls 系列背景工作實例類型啟用。

  • 2018 年 12 月 18 日

    • [SPARK-25002]Avro：修改輸出記錄命名空間。
    • 已修正使用Join和 Limit 影響特定查詢的問題。
    • [SPARK-26307]已修正使用Hive SerDe 插入資料分割資料表時的 CTAS。
    • 只有在啟用 或 spark.sql.files.ignoreMissingFiles 旗標時，才忽略一或多個重試之後spark.sql.files.ignoreCorruptFiles損毀的檔案。
    • [SPARK-26181]hasMinMaxStats的方法ColumnStatsMap不正確。
    • 已修正在沒有因特網存取的環境中安裝 Python Wheel 的問題。
    • 已修正查詢分析器中的效能問題。
    • 已修正 PySpark 中導致 DataFrame 動作失敗的問題，並出現「連線拒絕」錯誤。
    • 已修正影響特定自我聯集查詢的問題。

  • 2018 年 11 月 20 日

    • [SPARK-17916][SPARK-25241]修正在設定 nullValue 時，要剖析為 null 的空字串。
    • 修正了影響具有左半/反聯結之特定匯總查詢的問題。

  • 2018 年 11 月 6 日

    • [SPARK-25741]長 URL 不會在 Web UI 中正確轉譯。
    • [SPARK-25714]修正優化器規則 BooleanSimplification 中的 Null 處理。

  • 2018 年 10 月 16 日

    • 已修正影響在 Delta 資料表上執行的 SHOW CREATE TABLE 輸出的錯誤。
    • 已修正影響作業的 Union Bug。

  • 2018 年 9 月 25 日

    • [SPARK-25368][SQL]不正確的條件約束推斷會傳回錯誤的結果。
    • [SPARK-25402][SQL]布爾值Simplification 中的 Null 處理。
    • 已修正 NotSerializableException Avro 數據源中的問題。

  • 2018 年 9 月 11 日

    • [SPARK-25214][SS]修正 Kafka v2 來源在 時 failOnDataLoss=false可能會傳回重複記錄的問題。
    • [SPARK-24987][SS]修正當 articlePartition 沒有新的位移時，Kafka 取用者流失。
    • 篩選縮減應該正確處理 Null 值。

  • 2018 年 8 月 28 日

    • 修正 Delta Lake Delete 命令中的 Bug，該錯誤會錯誤地刪除條件評估為 Null 的數據列。

  • 2018 年 8 月 23 日

    • 已修正差異快照集的 NoClassDefError
    • [SPARK-23935]mapEntry 會 org.codehaus.commons.compiler.CompileException擲回 。
    • [SPARK-24957][SQL]具有十進位的平均值，後面接著匯總會傳回錯誤的結果。 可能會傳回 AVERAGE 不正確的結果。 如果 Divide 的結果與轉型為相同的類型，則會略過 Average 運算符中加入的 CAST。
    • [SPARK-25081]已修正當溢出無法配置記憶體時，ShuffleExternalSorter 可能會存取已釋放的記憶體頁面的錯誤。
    • 已修正 Databricks Delta 與 Pyspark 之間的互動，這可能會導致暫時性讀取失敗。
    • [SPARK-25114]修正當減去兩個單字之間的減法時，Integer.MAX_VALUE 可修正 RecordBinaryComparator。
    • [SPARK-25084]”在多個數據行上散發 by （以括弧括住） 可能會導致 codegen 問題。
    • [SPARK-24934][SQL]明確允許清單在記憶體內部分割區剪除的上限/下限支持類型。 當針對快取數據的查詢篩選中使用複雜數據類型時，Spark 一律會傳回空的結果集。 記憶體內部統計數據型剪除會產生不正確的結果，因為針對複雜型別的上限/下限設定 null。 修正方式是不要針對複雜類型使用記憶體內部統計數據型剪除。
    • 已修正命令部分成功時的秘密管理員修訂。
    • 已修正 Parquet 讀取器中可為 Null 的對應問題。

  • 2018 年 8 月 2 日

    • 已在 Python 中新增 writeStream.table API。
    • 已修正影響差異檢查點的問題。
    • [SPARK-24867][SQL]將 AnalysisBarrier 新增至 DataFrameWriter。 使用 DataFrameWriter 撰寫具有 UDF 的數據框架時，不會使用 SQL 快取。 這是我們在 AnalysisBarrier 中所做的變更所造成的回歸，因為並非所有分析器規則都是等冪的。
    • 已修正可能導致 mergeInto 命令產生不正確結果的問題。
    • 改善存取 Azure Data Lake 儲存體 Gen1 的穩定性。
    • [SPARK-24809]在執行程式中串行化 LongHashedRelation 可能會導致數據錯誤。
    • [SPARK-24878][SQL]修正包含 Null 之基本類型之數位型別的反向函式。

  • 2018 年 7 月 11 日

    • 修正了查詢執行中的 Bug，會導致具有不同精確度的小數位數數據行匯總在某些情況下傳回不正確的結果。
    • 已修正在 NullPointerException 進階匯總作業期間擲回的 Bug，例如群組集。

Databricks Runtime 4.1 ML （不支援）

請參閱 Databricks Runtime 4.1 ML （不支援）。

  • 2018 年 7 月 31 日
    • 已將 Azure Synapse Analytics 新增至 ML 運行時間 4.1
    • 已修正當述詞中使用的數據分割數據行名稱與數據表架構中該數據行的案例不同時，可能會導致不正確的查詢結果的錯誤。
    • 已修正影響 Spark SQL 執行引擎的錯誤。
    • 已修正影響程式代碼產生的錯誤。
    • 已修正影響 Delta Lake 的錯誤 （java.lang.NoClassDefFoundError）。
    • 改善 Delta Lake 中的錯誤處理。
    • 已修正錯誤，導致針對字串數據行 32 個字元或更新的字串數據行收集不正確的數據略過統計數據。

Databricks Runtime 4.1 （不支援）

請參閱 Databricks Runtime 4.1 （不支援）。

  • 2019 年 1 月 8 日

    • [SPARK-26366]ReplaceExceptWithFilter 應該將 NULL 視為 False。
    • Delta Lake 已啟用。

  • 2018 年 12 月 18 日

    • [SPARK-25002]Avro：修改輸出記錄命名空間。
    • 已修正使用Join和 Limit 影響特定查詢的問題。
    • [SPARK-26307]已修正使用Hive SerDe 插入資料分割資料表時的 CTAS。
    • 只有在啟用 或 spark.sql.files.ignoreMissingFiles 旗標時，才忽略一或多個重試之後spark.sql.files.ignoreCorruptFiles損毀的檔案。
    • 已修正在沒有因特網存取的環境中安裝 Python Wheel 的問題。
    • 已修正 PySpark 中導致 DataFrame 動作失敗的問題，並出現「連線拒絕」錯誤。
    • 已修正影響特定自我聯集查詢的問題。

  • 2018 年 11 月 20 日

    • [SPARK-17916][SPARK-25241]修正在設定 nullValue 時，要剖析為 null 的空字串。
    • 修正了影響具有左半/反聯結之特定匯總查詢的問題。

  • 2018 年 11 月 6 日

    • [SPARK-25741]長 URL 不會在 Web UI 中正確轉譯。
    • [SPARK-25714]修正優化器規則 BooleanSimplification 中的 Null 處理。

  • 2018 年 10 月 16 日

    • 已修正影響在 Delta 資料表上執行的 SHOW CREATE TABLE 輸出的錯誤。
    • 已修正影響作業的 Union Bug。

  • 2018 年 9 月 25 日

    • [SPARK-25368][SQL]不正確的條件約束推斷會傳回錯誤的結果。
    • [SPARK-25402][SQL]布爾值Simplification 中的 Null 處理。
    • 已修正 NotSerializableException Avro 數據源中的問題。

  • 2018 年 9 月 11 日

    • [SPARK-25214][SS]修正 Kafka v2 來源在 時 failOnDataLoss=false可能會傳回重複記錄的問題。
    • [SPARK-24987][SS]修正當 articlePartition 沒有新的位移時，Kafka 取用者流失。
    • 篩選縮減應該正確處理 Null 值。

  • 2018 年 8 月 28 日

    • 修正 Delta Lake Delete 命令中的 Bug，該錯誤會錯誤地刪除條件評估為 Null 的數據列。
    • [SPARK-25084]”在多個數據行上散發 by （以括弧括住） 可能會導致 codegen 問題。
    • [SPARK-25114]修正當減去兩個單字之間的減法時，Integer.MAX_VALUE 可修正 RecordBinaryComparator。

  • 2018 年 8 月 23 日

    • 已修正差異快照集的 NoClassDefError。
    • [SPARK-24957][SQL]具有十進位的平均值，後面接著匯總會傳回錯誤的結果。 可能會傳回 AVERAGE 不正確的結果。 如果 Divide 的結果與轉型為相同的類型，則會略過 Average 運算符中加入的 CAST。
    • 已修正 Parquet 讀取器中可為 Null 的對應問題。
    • [SPARK-24934][SQL]明確允許清單在記憶體內部分割區剪除的上限/下限支持類型。 當針對快取數據的查詢篩選中使用複雜數據類型時，Spark 一律會傳回空的結果集。 記憶體內部統計數據型剪除會產生不正確的結果，因為針對複雜型別的上限/下限設定 null。 修正方式是不要針對複雜類型使用記憶體內部統計數據型剪除。
    • [SPARK-25081]已修正當溢出無法配置記憶體時，ShuffleExternalSorter 可能會存取已釋放的記憶體頁面的錯誤。
    • 已修正 Databricks Delta 與 Pyspark 之間的互動，這可能會導致暫時性讀取失敗。
    • 已修正命令部分成功時的秘密管理員修訂

  • 2018 年 8 月 2 日

    • [SPARK-24613][SQL]使用UDF的快取無法與後續相依快取進行比對。 使用 AnalysisBarrier 包裝邏輯計劃，以便在 CacheManager 中執行計劃編譯，以避免再次分析計劃。 這也是Spark 2.3的回歸。
    • 已修正 Synapse Analytics 連接器問題，影響寫入 DateType 資料的時區轉換。
    • 已修正影響差異檢查點的問題。
    • 已修正可能導致 mergeInto 命令產生不正確結果的問題。
    • [SPARK-24867][SQL]將 AnalysisBarrier 新增至 DataFrameWriter。 使用 DataFrameWriter 撰寫具有 UDF 的數據框架時，不會使用 SQL 快取。 這是我們在 AnalysisBarrier 中所做的變更所造成的回歸，因為並非所有分析器規則都是等冪的。
    • [SPARK-24809]在執行程式中串行化 LongHashedRelation 可能會導致數據錯誤。

  • 2018 年 7 月 11 日

    • 修正了查詢執行中的 Bug，會導致具有不同精確度的小數位數數據行匯總在某些情況下傳回不正確的結果。
    • 已修正在 NullPointerException 進階匯總作業期間擲回的 Bug，例如群組集。

  • 2018 年 6 月 28 日

    • 已修正當述詞中使用的數據分割數據行名稱與數據表架構中該數據行的案例不同時，可能會導致不正確的查詢結果的錯誤。

  • 2018 年 6 月 7 日

    • 已修正影響 Spark SQL 執行引擎的錯誤。
    • 已修正影響程式代碼產生的錯誤。
    • 已修正影響 Delta Lake 的錯誤 （java.lang.NoClassDefFoundError）。
    • 改善 Delta Lake 中的錯誤處理。

  • 2018 年 5 月 17 日

    • 已修正錯誤，導致針對字串數據行 32 個字元或更新的字串數據行收集不正確的數據略過統計數據。

Databricks Runtime 4.0 （不支援）

請參閱 Databricks Runtime 4.0 （不支援）。

  • 2018 年 11 月 6 日

    • [SPARK-25714]修正優化器規則 BooleanSimplification 中的 Null 處理。

  • 2018 年 10 月 16 日

    • 已修正影響作業的 Union Bug。

  • 2018 年 9 月 25 日

    • [SPARK-25368][SQL]不正確的條件約束推斷會傳回錯誤的結果。
    • [SPARK-25402][SQL]布爾值Simplification 中的 Null 處理。
    • 已修正 NotSerializableException Avro 數據源中的問題。

  • 2018 年 9 月 11 日

    • 篩選縮減應該正確處理 Null 值。

  • 2018 年 8 月 28 日

    • 修正 Delta Lake Delete 命令中的 Bug，該錯誤會錯誤地刪除條件評估為 Null 的數據列。

  • 2018 年 8 月 23 日

    • 已修正 Parquet 讀取器中可為 Null 的對應問題。
    • 已修正命令部分成功時的秘密管理員修訂
    • 已修正 Databricks Delta 與 Pyspark 之間的互動，這可能會導致暫時性讀取失敗。
    • [SPARK-25081]已修正當溢出無法配置記憶體時，ShuffleExternalSorter 可能會存取已釋放的記憶體頁面的錯誤。
    • [SPARK-25114]修正當減去兩個單字之間的減法時，Integer.MAX_VALUE 可修正 RecordBinaryComparator。

  • 2018 年 8 月 2 日

    • [SPARK-24452]避免 int add 或 multiple 中的可能溢位。
    • [SPARK-24588]串流聯結應該需要來自子系的HashClusteredPartitioning。
    • 已修正可能導致 mergeInto 命令產生不正確結果的問題。
    • [SPARK-24867][SQL]將 AnalysisBarrier 新增至 DataFrameWriter。 使用 DataFrameWriter 撰寫具有 UDF 的數據框架時，不會使用 SQL 快取。 這是我們在 AnalysisBarrier 中所做的變更所造成的回歸，因為並非所有分析器規則都是等冪的。
    • [SPARK-24809]在執行程式中串行化 LongHashedRelation 可能會導致數據錯誤。

  • 2018 年 6 月 28 日

    • 已修正當述詞中使用的數據分割數據行名稱與數據表架構中該數據行的案例不同時，可能會導致不正確的查詢結果的錯誤。

  • 2018 年 6 月 7 日

    • 已修正影響 Spark SQL 執行引擎的錯誤。
    • 改善 Delta Lake 中的錯誤處理。

  • 2018 年 5 月 17 日

    • Databricks 秘密管理的錯誤修正。
    • 改善讀取 Azure Data Lake Store 中所儲存數據的穩定性。
    • 已修正影響 RDD 快取的 Bug。
    • 已修正影響 Spark SQL 中 Null 安全 Equal 的 Bug。

  • 2018 年 4 月 24 日

    • 已將 Azure Data Lake Store SDK 從 2.0.11 升級至 2.2.8，以改善對 Azure Data Lake Store 的存取穩定性。
    • 修正當 為 false時，影響插入覆寫至分割區 Hive 數據表的 spark.databricks.io.hive.fastwriter.enabled Bug。
    • 已修正工作串行化失敗的問題。
    • 改善 Delta Lake 穩定性。

  • 2018 年 3 月 14 日

    • 在寫入 Delta Lake 時，防止不必要的元數據更新。
    • 已修正在少數情況下，可能會造成某些輸出檔案遺失之競爭狀況所造成的問題。

Databricks Runtime 3.5 LTS （不支援）

請參閱 Databricks Runtime 3.5 LTS （不支援）。

  • 2019年11月7日

    • [SPARK-29743][SQL] 範例如果其子系的 needCopyResult 為 true，則範例應該將 needCopyResult 設定為 true

  • 2019 年 10 月 8 日

    • 伺服器端變更以允許 Simba Apache Spark ODBC 驅動程式在擷取結果期間連線失敗後重新連線並繼續進行（需要 Simba Apache Spark ODBC 驅動程式更新至 2.6.10 版）。

  • 2019 年 9 月 10 日

    • [SPARK-28699][SQL]在重新分割案例中停用使用 ShuffleExchangeExec 的弧度排序

  • 2019 年 4 月 9 日

    • [SPARK-26665][CORE]修正可能導致 BlockTransferService.fetchBlockSync 永遠停止響應的錯誤。

  • 2019 年 2 月 12 日

    • 已修正在傳送已啟用加密的大型 RPC 錯誤訊息時，Spark 低階網路協定可能會中斷的問題（設定為 true 時 spark.network.crypto.enabled ）。

  • 2019年1月30日

    • 已修正會導致 df.rdd.count() UDT 針對特定案例傳回不正確答案的問題。

  • 2018 年 12 月 18 日

    • 只有在啟用 或 spark.sql.files.ignoreMissingFiles 旗標時，才忽略一或多個重試之後spark.sql.files.ignoreCorruptFiles損毀的檔案。
    • 已修正影響特定自我聯集查詢的問題。

  • 2018 年 11 月 20 日

  • 2018 年 11 月 6 日

    • [SPARK-25714]修正優化器規則 BooleanSimplification 中的 Null 處理。

  • 2018 年 10 月 16 日

    • 已修正影響作業的 Union Bug。

  • 2018 年 9 月 25 日

    • [SPARK-25402][SQL]布爾值Simplification 中的 Null 處理。
    • 已修正 NotSerializableException Avro 數據源中的問題。

  • 2018 年 9 月 11 日

    • 篩選縮減應該正確處理 Null 值。

  • 2018 年 8 月 28 日

    • 修正 Delta Lake Delete 命令中的 Bug，該錯誤會錯誤地刪除條件評估為 Null 的數據列。
    • [SPARK-25114]修正當減去兩個單字之間的減法時，Integer.MAX_VALUE 可修正 RecordBinaryComparator。

  • 2018 年 8 月 23 日

    • [SPARK-24809]在執行程式中串行化 LongHashedRelation 可能會導致數據錯誤。
    • 已修正 Parquet 讀取器中可為 Null 的對應問題。
    • [SPARK-25081]已修正當溢出無法配置記憶體時，ShuffleExternalSorter 可能會存取已釋放的記憶體頁面的錯誤。
    • 已修正 Databricks Delta 與 Pyspark 之間的互動，這可能會導致暫時性讀取失敗。

  • 2018 年 6 月 28 日

    • 已修正當述詞中使用的數據分割數據行名稱與數據表架構中該數據行的案例不同時，可能會導致不正確的查詢結果的錯誤。

  • 2018 年 6 月 28 日

    • 已修正當述詞中使用的數據分割數據行名稱與數據表架構中該數據行的案例不同時，可能會導致不正確的查詢結果的錯誤。

  • 2018 年 6 月 7 日

    • 已修正影響 Spark SQL 執行引擎的錯誤。
    • 改善 Delta Lake 中的錯誤處理。

  • 2018 年 5 月 17 日

    • 改善讀取 Azure Data Lake Store 中所儲存數據的穩定性。
    • 已修正影響 RDD 快取的 Bug。
    • 已修正影響 Spark SQL 中 Null 安全 Equal 的 Bug。
    • 已修正影響串流查詢中特定匯總的錯誤。

  • 2018 年 4 月 24 日

    • 已將 Azure Data Lake Store SDK 從 2.0.11 升級至 2.2.8，以改善對 Azure Data Lake Store 的存取穩定性。
    • 修正當 為 false時，影響插入覆寫至分割區 Hive 數據表的 spark.databricks.io.hive.fastwriter.enabled Bug。
    • 已修正工作串行化失敗的問題。

  • 2018 年 3 月 9 日

    • 已修正在少數情況下，可能會造成某些輸出檔案遺失之競爭狀況所造成的問題。

  • 2018 年 3 月 1 日

    • 改善處理數據流的效率，可能需要很長的時間才能停止。
    • 已修正影響 Python 自動完成的問題。
    • 已套用的Ubuntu安全性修補程式。
    • 已修正使用 Python UDF 和視窗函式影響特定查詢的問題。
    • 已修正在已啟用資料表訪問控制的叢集上使用 UDF 的問題。

  • 2018 年 1 月 29 日

    • 已修正影響 Azure Blob 記憶體中儲存之數據表操作的問題。
    • 已修正在空白 DataFrame 上卸除重複數據刪除之後的匯總。

Databricks Runtime 3.4 （不支援）

請參閱 Databricks Runtime 3.4 （不支援）。

  • 2018 年 6 月 7 日

    • 已修正影響 Spark SQL 執行引擎的錯誤。
    • 改善 Delta Lake 中的錯誤處理。

  • 2018 年 5 月 17 日

    • 改善讀取 Azure Data Lake Store 中所儲存數據的穩定性。
    • 已修正影響 RDD 快取的 Bug。
    • 已修正影響 Spark SQL 中 Null 安全 Equal 的 Bug。

  • 2018 年 4 月 24 日

    • 修正當 為 false時，影響插入覆寫至分割區 Hive 數據表的 spark.databricks.io.hive.fastwriter.enabled Bug。

  • 2018 年 3 月 9 日

    • 已修正在少數情況下，可能會造成某些輸出檔案遺失之競爭狀況所造成的問題。

  • 2017 年 12 月 13 日

    • 已修正影響 Scala 中 UDF 的問題。
    • 修正了在非 DBFS 路徑中儲存之數據源數據表上使用數據略過索引的問題。

  • 2017年12月7日

    • 已改善隨機顯示穩定性。

不支援的 Databricks 執行時間版本

針對原始版本資訊，請遵循子標題下方的連結。