Databricks Runtime メンテナンス更新

このページでは、サポートされている Databricks ランタイム バージョンのメンテナンス更新プログラムの一覧を示します。 既存のクラスターにメンテナンス更新プログラムを追加するには、クラスターを再起動します。 サポートされていない Databricks Runtime バージョンのメンテナンス更新プログラムについては、「Databricks Runtime のメンテナンス更新プログラム (アーカイブ済み)」を参照してください。

リリースは段階的に行われます。 Azure Databricks アカウントは、最初のリリース日から数日間更新されない場合があります。

Note

Databricks Runtime 19 以降では、メンテナンス更新プログラムは各バージョンの統合リリース ノート ページで直接公開されます。 このページでは、Databricks Runtime 18.2 以前のみを対象としています。 Databricks ランタイムのサポート ライフサイクルに関する説明を参照してください。

Databricks Runtime リリース

リリース別のメンテナンス更新プログラム:

Databricks Runtime 18.2

Databricks Runtime 18.2 を参照してください。

  • 2026 年 5 月 26 日
    • Java ライブラリの更新:
      • io.delta.delta-sharing-client_2.13 を 1.3.11 から 1.4.0 に更新
    • オペレーティング システムのセキュリティを更新。
  • 2026 年 5 月 13 日
    • Java ライブラリの更新:
      • io.delta.delta-sharing-client_2.13 を 1.3.10 から 1.3.11 に更新
    • [SPARK-56511][CORE] リセット失敗後に ShuffleInMemorySorter.getMemoryUsage で NPE を修正する
    • [SPARK-56554][SQL] XML をバリアントとして取り込むときに inferSchema オプションを尊重する
    • [SPARK-56302][CORE] エグゼキューター上でのシリアル化中にタスク結果のメモリを即座に解放する
    • "[SPARK-55356][SQL] PIVOT 句のエイリアスをサポートする" を元に戻す
    • [SPARK-56502][CORE] DirectByteBufferOutputStream 容量チェックの整数オーバーフローを修正する
    • [SPARK-56043][SQL] Avro 1.12.x の ParseContext.resolve() から発生する NullPointerException を SchemaParseException でラップする
    • [SPARK-56652][SQL] DESCRIBE EXTENDED の制約の出力で常に RELY/NORELY を出力する
    • [SPARK-56328][SQL] INSERTVALUES および DEFAULT COLLATION のインライン テーブル照合順序処理を修正
    • 各種のバグ修正。

Databricks Runtime 18.1

Databricks Runtime 18.1 を参照してください。

  • 2026 年 5 月 26 日
    • Java ライブラリの更新:
      • io.delta.delta-sharing-client_2.13 1.3.11 から 1.4.0 へ
    • オペレーティング システムのセキュリティを更新。
  • 2026 年 5 月 13 日
    • (Behavior change)スキーマ パターンを使用してテーブルを一覧表示すると、外部テーブル (SQL Server、PostgreSQL、AWS Glue など) の Unity カタログ メタデータが更新されなくなりました。 この変更は、スキーマ パターンが渡されたときの JDBC ドライバーのSHOW TABLES IN SCHEMA LIKE ...呼び出し、および Thrift getMetaData.getTables API のSparkGetTablesOperationに影響します。 ワークロードがスキーマ パターンを使用したメタデータの更新に依存している場合は、Databricks サポートにお問い合わせください。
    • Java ライブラリの更新:
      • io.delta.delta-sharing-client_2.13 を 1.3.10 から 1.3.11 に更新
    • [SPARK-56361][SS] ストリーム間結合での NPE 発生時に、ログ出力付きのより適切なエラーメッセージを提供する
    • オペレーティング システムのセキュリティを更新。
  • 2026 年 4 月 20 日
    • GEOMETRY(102100)型の CRS 権限を修正しました。 権限は、ESRI:102100ではなくEPSG:102100として報告されるようになりました。
    • [SPARK-55646][SQL] SQLExecution.withThreadLocalCaptured をリファクタリングして、スレッド ローカル キャプチャを実行から分離する
    • "[SPARK-55252][CORE] HttpSecurityFilter を改善して Content-Security-Policy ヘッダーを追加する" を元に戻す
    • "[SPARK-54285][PYTHON] コストのかかるタイムスタンプ変換を回避するためにタイムゾーン情報をキャッシュする" を元に戻す
    • オペレーティング システムのセキュリティを更新。
  • 2026 年 4 月 2 日
    • Java ライブラリの更新:
      • io.delta.delta-sharing-client_2.13 を 1.3.9 から 1.3.10 に
    • ユーザー定義型 (UDT) 内の VOID (NullType) 列を含む Delta テーブルにデータを書き込むクエリのエラー処理が改善されました。
    • JDBC ストリーミング シンク接続に既定の 30 秒のソケット タイムアウトを追加し、応答しないデータベースでの無期限のハングを防ぎます
    • 接続の作成とバッチ実行の両方で、一時的な JDBC エラー (接続エラー、デッドロック、レート制限) の指数バックオフを含む再試行ロジックを追加しました
    • 切断された接続でのロールバック エラーを適切に処理するための safeRollback を追加しました
    • 見出し: 自動ローダーでは、使用可能な場合、既定でファイル イベントが使用されます。 DBR 18.1 以降では、自動ローダーは、ファイル イベントが有効になっている外部の場所から読み込むときにファイル イベントを使用します。 ファイル イベントを使用すると、ディレクトリの一覧よりもパフォーマンスとコストが向上します。 ファイル イベントを含む自動ローダーの概要を参照してください。 既存のストリーム コードセット (またはuseIncrementalListing) の場合、ファイル イベントは使用useNotifications。 前の既定のディレクトリ一覧をそのまま使用するには、自動ローダー ストリーム コードで useManagedFileEvents を false に設定します。
    • [SPARK-55701]ES-1694761[SS] CompactibleFileStreamLog.allFiles 内の競合状態を修正する
    • [SPARK-55505][SQL] 同時実行シナリオでのEXECUTION_ROOT_ID_KEYの読み取りに関する NPE の修正
    • [SPARK-55372][SQL] 既定の照合順序を持つテーブル/ビューの SHOW CREATE TABLE を修正する
    • [SPARK-55510][SS] changelogWriter を呼び出す Rocksdb 状態ストアの deleteRange を修正
    • [バックポート][OSS Cherrypick] [SPARK-55945][SDP] SDP の積極分析プロトにおけるフローの構造化識別子をサポート
    • [SPARK-55111][SS] クエリの再起動時に未完了の再パーティション化の検出を再チェックする
    • [SPARK-55892][SS] 再利用された SST ファイルがメンテナンスによって削除されたため、状態ストアを読み込むことができない問題を修正しました
    • [SPARK-55811] [SQL] 呼び出し時にNonFatalの代わりにUnresolvedExceptionをキャッチするnodeWithOutputColumnsString
    • [SPARK-55991] パラメーターを使用して Unicode 関連の SQL テキストの破損を修正する
    • [SPARK-55493] [SS] StateDataSource のストリーミング チェックポイント状態ディレクトリに mkdirs を使用しない
    • [SPARK-55584] スカラー サブクエリで EXEC IMMEDIATE に対してより良いエラーを生成する
    • オペレーティング システムのセキュリティを更新。

Databricks Runtime 18.0

Databricks Runtime 18.0 を参照してください。

  • 2026 年 5 月 26 日
    • Java ライブラリの更新:
      • io.delta.delta-sharing-client_2.13 1.3.11 から 1.4.0 へ
    • オペレーティング システムのセキュリティを更新。
  • 2026 年 5 月 13 日
    • (Behavior change)スキーマ パターンを使用してテーブルを一覧表示すると、外部テーブル (SQL Server、PostgreSQL、AWS Glue など) の Unity カタログ メタデータが更新されなくなりました。 この変更は、スキーマ パターンが渡されたときの JDBC ドライバーのSHOW TABLES IN SCHEMA LIKE ...呼び出し、および Thrift getMetaData.getTables API のSparkGetTablesOperationに影響します。 ワークロードがスキーマ パターンを使用したメタデータの更新に依存している場合は、Databricks サポートにお問い合わせください。
    • Java ライブラリの更新:
      • io.delta.delta-sharing-client_2.13 を 1.3.10 から 1.3.11 に更新
    • [SPARK-56554][SQL] XML をバリアントとして取り込むときに inferSchema オプションを尊重する
    • [SPARK-56361][SS] ストリーム間結合での NPE に対して、ログ出力付きのより適切なエラーメッセージを提供する
    • オペレーティング システムのセキュリティを更新。
  • 2026 年 4 月 20 日
    • GEOMETRY(102100)型の CRS 権限を修正しました。 権限は、ESRI:102100ではなくEPSG:102100として報告されるようになりました。
    • オペレーティング システムのセキュリティを更新。

  • 2026 年 4 月 2 日

    • Java ライブラリの更新:
      • io.delta.delta-sharing-client_2.13 を 1.3.9 から 1.3.10 に
    • ユーザー定義型 (UDT) 内の VOID (NullType) 列を含む Delta テーブルにデータを書き込むクエリのエラー処理が改善されました。
    • [SPARK-55811] [SQL] 呼び出し時にNonFatalの代わりにUnresolvedExceptionをキャッチするnodeWithOutputColumnsString
    • [SPARK-55892][SS] 再利用された SST ファイルがメンテナンスによって削除されたため、状態ストアを読み込むことができない問題を修正しました
    • [SPARK-55991] パラメーターを使用して Unicode 関連の SQL テキストの破損を修正する
    • オペレーティング システムのセキュリティを更新。

  • 2026 年 3 月 10 日

    • [SPARK-55584] スカラー サブクエリで EXEC IMMEDIATE に対してより良いエラーを生成する
    • [SPARK-55111][SS] クエリの再起動時に未完了の再パーティション化の検出を再チェックする
    • [SPARK-55493] [SS] StateDataSource のストリーミング チェックポイント状態ディレクトリに mkdirs を使用しない
    • [SPARK-55701]ES-1694761[SS] CompactibleFileStreamLog.allFiles 内の競合状態を修正する
    • オペレーティング システムのセキュリティを更新。

  • 2026 年 2 月 26 日

    • Unity カタログ テーブル列のセマンティック メタデータを管理するための SQL コマンド SET METADATA ON COLUMN と UNSET METADATA ON COLUMN を追加しました。 SET METADATA ON COLUMNを使用してプロパティ (display_name、format、およびsynonyms) を列にアタッチし、Lakeview や Genie などのダウンストリーム コンシューマーに豊富なコンテキストを提供します。 UNSET METADATA ON COLUMNを使用して、以前に設定したメタデータ プロパティを削除します。
    • DESCRIBE TABLE には、列レベルのセマンティック メタデータを JSON 文字列として表示する 4 番目の metadata 列が含まれるようになり、describe 出力から直接 display_name、 format、 synonyms などのプロパティを簡単に調べることができます。
    • [SPARK-54745][PYTHON] Windowsで UnixStreamServer が見つからないための PySpark インポート エラーを修正
    • オペレーティング システムのセキュリティを更新。

  • 2026 年 2 月 19 日

    • Excel ファイルのスキーマを推論すると、文字列セルが Spark StringType として推論されるようになりました。 これにより、Excelで設定されたセルの種類が考慮されます。 以前は、数値を含む文字列は、 Long や Decimalなどのより狭い型に自動キャストされていました。
    • [SPARK-55097][SQL] キャッシュされたアーティファクトの再追加がブロックを自動的に削除する問題を修正
    • [SPARK-54887][CONNECT] 省略可能な sqlstate を sparkthrowables に追加する
    • [SPARK-55111][SS] クエリ再起動時の未完了の再パーティション検出
    • 元に戻す [SPARK-55111][SS] クエリの再起動時に未完了の再パーティション分割検出
    • [SPARK-55282][PYTHON][CONNECT] ドライバー側でworker_utilを使用しないようにする
    • [SPARK-49110][SQL] SubqueryAlias.metadataOutput を簡略化して常にメタデータ列を伝達する
    • [SPARK-54887][CONNECT] Spark Connect クライアントで常に SQL 状態を設定する
    • [SPARK-55090][PYTHON][CONNECT] Python クライアントに DataFrame.toJSON を実装する
    • [SPARK-55243][CONNECT] Scala Connect クライアントの -bin サフィックスを使用してバイナリ ヘッダーを設定できるようにする
    • [SPARK-54785][SQL] KLL でのバイナリ スケッチ集計のサポートを追加 (#188370) (#191095)
    • オペレーティング システムのセキュリティを更新。
  • 2026 年 1 月 27 日
    • Java ライブラリの更新:
      • io.delta.delta-sharing-client_2.13 のバージョンを 1.3.6 から 1.3.9 に変更
    • 自動ローダーに報告されるメトリックとして、 batchSizeNumFiles、 batchSizeNumBytes、およびファイル処理の状態 (numFilesProcessed、 numFilesSkippedCorrupted、 numFilesSkippedMissing、 numFilesUnknownState) を追加しました。
    • [SPARK-54564] [SQL] QueryPlanningTracker を HybridAnalyzer フィールドにする
    • [SPARK-54803] 名前でのサポートをINSERT ... に置き換えるWHERE
    • [SPARK-54679][SQL] spark.sqlの名前を変更します。(xml.legacyXMLParser.enabled -> legacy.useLegacyXMLParser)
    • [SDP][SPARK-54562]](https://issues.apache.org/jira/browse/SPARK-54562) サーバー側からフロー関数内の一括分析/実行をブロックする
    • [SPARK-54886] SparkConnectService で作成されたベース セッションを追加する
    • [SPARK-54815][CONNECT] セッションがまだ使用中の場合は、セッション状態のクラス ローダーを閉じないでください
    • [SPARK-41916] [ML] Torch ディストリビューター: task.gpu.amount > 1 の場合、タスクごとに複数の torchrun プロセスをサポート
    • [SPARK-54620][SQL] ObservationManager に安全性チェックを追加して監視ブロックを回避する
    • [SPARK-55015][SS][SQL] PrefixKeyScanStateEncoder で decodeRemainingKey numFields 計算を修正する
    • [SPARK-54708] 遅延ディレクトリの作成で ML キャッシュのクリーンアップを最適化する
    • [SPARK-54768][SS]Python返されたデータが構成済みのスキーマと一致しない場合、ストリーム データ ソースはエラーを分類する必要があります
    • [SPARK-54711][PYTHON] デーモン作成ワーカー接続のタイムアウトを追加する
    • [SPARK-54581][SQL] Postgres コネクタで fetchsize オプションを大文字小文字を区別せずにする
    • オペレーティング システムのセキュリティを更新。

Databricks Runtime 17.3 LTS

Databricks Runtime 17.3 LTS を参照してください。

  • 2026 年 5 月 26 日
    • [SPARK-34591][ML] デシジョン ツリーの排除をパラメーターとして追加する
    • オペレーティング システムのセキュリティを更新。
  • 2026 年 5 月 13 日
    • (Behavior change)スキーマ パターンを使用してテーブルを一覧表示すると、外部テーブル (SQL Server、PostgreSQL、AWS Glue など) の Unity カタログ メタデータが更新されなくなりました。 この変更は、スキーマ パターンが渡されたときの JDBC ドライバーのSHOW TABLES IN SCHEMA LIKE ...呼び出し、および Thrift getMetaData.getTables API のSparkGetTablesOperationに影響します。 ワークロードがスキーマ パターンを使用したメタデータの更新に依存している場合は、Databricks サポートにお問い合わせください。
    • Java ライブラリの更新:
      • io.delta.delta-sharing-client_2.13 を 1.3.10 から 1.3.11 に更新
    • [SPARK-56361][SS] ストリーム間結合での NPE に対して、ログ出力付きのより適切なエラーメッセージを提供する
    • 各種のバグ修正。

  • 2026 年 4 月 20 日

    • GEOMETRY(102100)型の CRS 権限を修正しました。 権限は、ESRI:102100ではなくEPSG:102100として報告されるようになりました。
    • ソース内の NULL 構造体がターゲット内の NULL フィールドを持つ NULL 以外の構造体に展開される、 MERGE、 UPDATE、およびストリーミング書き込みクエリのデータの正確性の問題を修正しました。 ソース内の NULL 構造体は、ターゲットで NULL として保持されるようになりました。 この修正プログラムは、次の操作に適用されます。
      • MERGE 構造体型キャストを使用する UPDATE SET t.structCol = s.structCol アクションを使用します。
      • MERGE スキーマの進化が有効で、ターゲット構造体に追加のフィールドがないか、もともと NULL であった場合には、UPDATE SET *。
      • MERGE UPDATE SET * EXCEPT構造体にEXCEPTリストにフィールドがない場合。
      • MERGE 構造体型キャストを使用する INSERT (structCol) VALUES (s.structCol) アクションを使用します。
      • MERGE 構造体型キャストを使用する INSERT * [EXCEPT] アクションを使用します。
      • UPDATE 構造体型キャストを使用するクエリ。
      • 構造体の型キャストを利用したストリーム書き込み。

  • 2026 年 4 月 2 日

    • Java ライブラリの更新:
      • io.delta.delta-sharing-client_2.13 を 1.3.9 から 1.3.10 に
    • [SPARK-55811] [SQL] nodeWithOutputColumnsString を呼び出すときに UnresolvedException の代わりに NonFatal をキャッチする
    • [SPARK-55892][SS] 再利用された SST ファイルがメンテナンスによって削除されたため、状態ストアを読み込むことができない問題を修正しました
    • [バックポート][OSS Cherrypick] [SPARK-55945][SDP] SDP の積極分析プロトにおけるフローの構造化識別子をサポート
    • オペレーティング システムのセキュリティを更新。

  • 2026 年 3 月 10 日

    • [SPARK-55493] [SS] StateDataSource のストリーミング チェックポイント状態ディレクトリに mkdirs を使用しない
    • [SPARK-55111][SS] クエリの再起動時に未完了の再パーティション化の検出を再チェックする
    • [SPARK-55701]ES-1694761[SS] CompactibleFileStreamLog.allFiles 内の競合状態を修正する
    • オペレーティング システムのセキュリティを更新。

  • 2026 年 2 月 26 日

    • Java ライブラリの更新:
      • org.mlflow.mlflow-spark_2.13 のバージョンを 2.9.1 から 2.20.4 に変更します。
    • オペレーティング システムのセキュリティを更新。

  • 2026 年 2 月 19 日

    • Excel ファイルのスキーマを推論すると、文字列セルが Spark StringType として推論されるようになりました。 これにより、Excelで設定されたセルの種類が考慮されます。 以前は、数値を含む文字列は、 Long や Decimalなどのより狭い型に自動キャストされていました。
    • [SPARK-54887][CONNECT] Spark Connect クライアントで常に SQL 状態を設定する
    • [SPARK-54887][CONNECT] 省略可能な sqlstate を sparkthrowables に追加する
    • [SPARK-55097][SQL] キャッシュされたアーティファクトの再追加がブロックを自動的に削除する問題を修正
    • [SPARK-55282][PYTHON][CONNECT] ドライバー側でworker_utilを使用しないようにする
    • [SPARK-49110][SQL] SubqueryAlias.metadataOutput を簡略化して常にメタデータ列を伝達する
    • [SPARK-55243][CONNECT] Scala Connect クライアントの -bin サフィックスを使用してバイナリ ヘッダーを設定できるようにする
    • オペレーティング システムのセキュリティを更新。

  • 2026 年 1 月 27 日

    • Java ライブラリの更新:
      • io.delta.delta-sharing-client_2.13 をバージョン1.3.8から1.3.9に
    • 上記を参照してください
    • [SPARK-54768][SS]Python返されたデータが構成済みのスキーマと一致しない場合、ストリーム データ ソースはエラーを分類する必要があります
    • [SPARK-54803] 名前でのサポートをINSERT ... に置き換えるWHERE
    • [SPARK-53564][CORE] DAGSchedulerEventProcessLoop の blockManager RPC タイムアウトが原因で DAGScheduler が終了しないようにする
    • [SPARK-55015][SS][SQL] PrefixKeyScanStateEncoder で decodeRemainingKey numFields 計算を修正する
    • オペレーティング システムのセキュリティを更新。
  • 2026 年 1 月 9 日
    • Python ライブラリの更新:
      • pmdarima バージョン 2.0.4 から 2.1.1 へのアップデート
    • Java ライブラリの更新:
      • io.delta.delta-sharing-client_2.13 を 1.3.6 から 1.3.8 に
    • メトリック ビューのディメンションとメジャー式で SQL ウィンドウ関数 をスカラー関数として利用できるようになりました。
    • [SDP][17.3 バックポート][SPARK-54562] フロー関数内の即時分析/実行をサーバー側からブロックする
    • [SPARK-54679][SQL] spark.sqlの名前を変更します。(xml.legacyXMLParser.enabled -> legacy.useLegacyXMLParser)
    • [SPARK-54711][PYTHON] デーモン作成ワーカー接続のタイムアウトを追加する
    • [SPARK-53127][SQL] ALL を修正し、CTE 正規化による無制限再帰を修正しました
    • [SPARK-54708] 遅延ディレクトリの作成で ML キャッシュのクリーンアップを最適化する
    • [SPARK-54581][SQL] Postgres コネクタで fetchsize オプションを大文字小文字を区別せずにする
    • [SPARK-41916] [ML] Torch ディストリビューター: task.gpu.amount > 1 の場合、タスクごとに複数の torchrun プロセスをサポート
    • [SPARK-54564] [SQL] QueryPlanningTracker を HybridAnalyzer フィールドにする
    • [SPARK-54620][SQL] ObservationManager に安全性チェックを追加して監視ブロックを回避する
    • オペレーティング システムのセキュリティを更新。
  • 2025 年 12 月 9 日
    • Java ライブラリの更新:
      • io.delta.delta-sharing-client_2.13 は 1.3.5 から 1.3.6 へ
    • [SPARK-50906][SQL] 並べ替え済みの構造体フィールドの Avro null 許容チェックを修正
    • [SPARK-54180][SQL] BinaryFileFormat の toString をオーバーライドする
    • [SPARK-54427][SQL] ColumnarRow がバリアント型の copy を呼び出すことを許可する
    • オペレーティング システムのセキュリティを更新。
  • 2025 年 11 月 18 日
    • [SPARK-54047][PYTHON] kill-on-idle-timeout 時に差分エラーを使用する
    • [SPARK-52762][SDP] Spark Connect クエリの実行中にパイプライン分析をサポートする PipelineAnalysisContext メッセージを追加する
    • [SPARK-54156][PROTOBUF] ProtobufOptions キャストエラーのエラーを分類する
    • [SPARK-54078][SS] StateStoreSuite SPARK-40492: maintenance before unload のための新しいテストと古いテストからインフラストラクチャを削除する
    • [SPARK-54015][PYTHON] Py4J の要件が緩くなる py4j>=0.10.9.7,<0.10.9.10
    • [SPARK-54099][SQL] XML バリアント パーサーは、10 進数の解析エラーで文字列にフォールバックする必要がある
    • [17.3 バックポート][spark-54191] (https://issues.apache.org/jira/browse/SPARK-54191)[SDP] Defineflow Proto に 1 回追加する
    • オペレーティング システムのセキュリティを更新。
  • 2025 年 11 月 4 日
    • [SPARK-53729][PYTHON][CONNECT] pyspark.sql.connect.window.WindowSpec のシリアル化を修正
    • [SPARK-46679][SQL] SparkUnsupportedOperationException の修正: Parameterized クラスを使用する場合、T 型のエンコーダーが見つかりませんでした
    • [SPARK-53973][Avro] AvroOptionsのブール型キャスト失敗におけるエラーを分類する
    • [SPARK-53794][SS] rocksdb 状態プロバイダーに関連付けられているメンテナンス操作ごとに削除を制限するオプションを追加する
    • [SPARK-53908][CONNECT] プラン キャッシュを使用した Spark Connect での監視を修正する
    • [SPARK-53972][SS] クラシック pyspark でのストリーミング クエリの recentProgress 回帰を修正する
    • オペレーティング システムのセキュリティを更新。

Databricks Runtime 16.4 LTS

Databricks Runtime 16.4 LTS を参照してください。

  • 2026 年 5 月 26 日
    • [SPARK-34591][ML] デシジョン ツリーの排除をパラメーターとして追加する
    • オペレーティング システムのセキュリティを更新。
  • 2026 年 5 月 13 日
    • (Behavior change)スキーマ パターンを使用してテーブルを一覧表示すると、外部テーブル (SQL Server、PostgreSQL、AWS Glue など) の Unity カタログ メタデータが更新されなくなりました。 この変更は、スキーマ パターンが渡されたときの JDBC ドライバーのSHOW TABLES IN SCHEMA LIKE ...呼び出し、および Thrift getMetaData.getTables API のSparkGetTablesOperationに影響します。 ワークロードがスキーマ パターンを使用したメタデータの更新に依存している場合は、Databricks サポートにお問い合わせください。
    • Java ライブラリの更新:
      • (Scala 2.12 のみ) io.delta.delta-sharing-client_2.12 を 1.2.11 から 1.2.12 に更新
      • (Scala 2.13 のみ) io.delta.delta-sharing-client_2.13 を 1.2.11 から 1.2.12 に更新
    • [SPARK-56361][SS] ストリーム間結合での NPE に対して、ログ出力付きのより適切なエラーメッセージを提供する
    • 各種のバグ修正。
  • 2026 年 4 月 29 日
    • 各種のバグ修正。
  • 2026 年 4 月 20 日
    • 各種のバグ修正。

  • 2026 年 4 月 2 日

    • Java ライブラリの更新:
      • (Scala 2.12 のみ) io.delta.delta-sharing-client_2.12 を 1.2.10 から 1.2.11 に
      • (Scala 2.13 のみ) io.delta.delta-sharing-client_2.13 が 1.2.10 から 1.2.11 に変更される。
    • [SPARK-55701]ES-1694761[SS] CompactibleFileStreamLog.allFiles 内の競合状態を修正する
    • [バックポート][OSS Cherrypick] [SPARK-55945][SDP] SDP の積極分析プロトにおけるフローの構造化識別子をサポート
    • オペレーティング システムのセキュリティを更新。

  • 2026 年 3 月 10 日

    • [SPARK-55111][SS] クエリの再起動時に未完了の再パーティション化の検出を再チェックする
    • [SPARK-55493] [SS] StateDataSource のストリーミング チェックポイント状態ディレクトリに mkdirs を使用しない
    • オペレーティング システムのセキュリティを更新。

  • 2026 年 2 月 26 日

    • オペレーティング システムのセキュリティを更新。

  • 2026 年 2 月 19 日

    • [SPARK-55282][PYTHON][CONNECT] ドライバー側でworker_utilを使用しないようにする
    • [SPARK-55243][CONNECT] Scala Connect クライアントの -bin サフィックスを使用してバイナリ ヘッダーを設定できるようにする
    • オペレーティング システムのセキュリティを更新。
  • 2026 年 1 月 27 日
    • Java ライブラリの更新:
      • (Scala 2.12 のみ) io.delta.delta-sharing-client_2.12 を 1.2.9 から 1.2.10 に更新
      • (Scala 2.12 のみ) org.mlflow.mlflow-spark_2.12 を 2.9.1 から 2.19.0 に変更します。
      • (Scala 2.13 のみ) io.delta.delta-sharing-client_2.13 は 1.2.9 から 1.2.10 に
      • (Scala 2.13 のみ) org.mlflow.mlflow-spark_2.13 を 2.9.1 から 2.19.0 に
    • [SPARK-55015][SS][SQL] PrefixKeyScanStateEncoder で decodeRemainingKey numFields 計算を修正する
    • オペレーティング システムのセキュリティを更新。
  • 2026 年 1 月 9 日
    • Java ライブラリの更新:
      • (Scala 2.12 のみ) io.delta.delta-sharing-client_2.12 を 1.2.8 から 1.2.9 に
      • (Scala 2.13 のみ) io.delta.delta-sharing-client_2.13 を 1.2.8 から 1.2.9 に更新
    • [SPARK-54620][SQL] ObservationManager に安全性チェックを追加して監視ブロックを回避する
    • [SPARK-54711][PYTHON] デーモン作成ワーカー接続のタイムアウトを追加する
    • [SPARK-41916] [ML] Torch ディストリビューター: task.gpu.amount > 1 の場合、タスクごとに複数の torchrun プロセスをサポート
    • オペレーティング システムのセキュリティを更新。
  • 2025 年 12 月 9 日
    • パーティション分割された Delta テーブルでは、今後、データ Parquet ファイルにパーティション列が格納されます。 これにより、Iceberg テーブルと UniForm テーブルの処理方法との相乗効果が向上し、外部のデルタ以外のリーダーとの互換性が向上します。
    • Snowflake コネクタと Snowflake Lakehouse フェデレーションの両方で、TIMESTAMP_NTZ (タイムゾーンなしのタイムスタンプ) リテラルは Snowflake に転送されなくなりました。 この変更により、互換性のないタイムスタンプ処理によって発生するクエリエラーが回避され、影響を受けるクエリの信頼性が向上します。
    • [SPARK-54427][SQL] ColumnarRow がバリアント型の copy を呼び出すことを許可する
    • [SPARK-54180][SQL] BinaryFileFormat の toString をオーバーライドする
    • オペレーティング システムのセキュリティを更新。
  • 2025 年 11 月 18 日
    • [SPARK-54099][SQL] XML バリアント パーサーは、10 進数の解析エラーで文字列にフォールバックする必要がある
    • [SPARK-54015][PYTHON] Py4J の要件が緩くなる py4j>=0.10.9.7,<0.10.9.10
    • [SPARK-54078][SS] StateStoreSuite SPARK-40492: maintenance before unload のための新しいテストと古いテストからインフラストラクチャを削除する
    • [SPARK-54156][PROTOBUF] ProtobufOptions キャストエラーのエラーを分類する
    • [SPARK-54047][PYTHON] kill-on-idle-timeout 時に差分エラーを使用する
    • オペレーティング システムのセキュリティを更新。
  • 2025 年 11 月 4 日
    • 更新された R ライブラリ:
      • 16.1.0 から 21.0.0 への矢印
    • [SPARK-53973][Avro] AvroOptionsのブール型キャスト失敗におけるエラーを分類する
    • オペレーティング システムのセキュリティを更新。
  • 2025 年 10 月 21 日
    • オペレーティング システムのセキュリティを更新。
  • 2025 年 10 月 7 日
    • [SPARK-53568][CONNECT][PYTHON] Spark Connect Python クライアント エラー処理ロジックのいくつかの小さなバグを修正
    • [SPARK-53574] 入れ子になったプランの解決中に AnalysisContext がワイプされる問題を修正しました
    • [SPARK-53623][SQL] 大きなテーブルのプロパティの読み取りが向上しています...
    • [SPARK-53598][SQL] 大きなテーブル プロパティを読み取る前に numParts の存在を確認する
    • [SPARK-53549][SS] リスト状態要求プロセスが完了したら、常に矢印アロケーターを閉じます
    • オペレーティング システムのセキュリティを更新。
  • 2025 年 9 月 16 日
    • Snowflake コネクタは、INFORMATION_SCHEMA コマンドの代わりにSHOW SCHEMAS テーブルを使用してスキーマを一覧表示するようになりました。 この変更により、前のアプローチの 10,000 スキーマの制限が削除され、多数のスキーマを持つデータベースのサポートが向上します。
    • オペレーティング システムのセキュリティを更新。
  • 2025 年 9 月 9 日
    • 自動ローダーが無期限にハングする可能性がある問題を修正しました。
    • 自動ローダーでジョブが失敗する可能性がある一時的なエラーを修正しました
    • [SPARK-49872][CORE] jackson JSON 文字列の長さの制限を削除する
    • [SPARK-51821][CORE] デッドロックの可能性を回避するために、無停電ロックを保持せずに interrupt() を呼び出す
    • オペレーティング システムのセキュリティを更新。
  • 2025 年 8 月 26 日
    • Java ライブラリの更新:
      • (Scala 2.12 のみ) io.delta.delta-sharing-client_2.12 をバージョン 1.2.7 から 1.2.8 にアップデートします。
      • (Scala 2.13 のみ) io.delta.delta-sharing-client_2.13 のバージョンを1.2.7から1.2.8にアップデートします。
    • [SPARK-52482][SQL][CORE] 特定の破損した zstd ファイルを読み取るための例外処理を改善する
    • [SPARK-53192][CONNECT] Spark Connect プラン キャッシュにデータソースを常にキャッシュする
    • オペレーティング システムのセキュリティを更新。
  • 2025 年 8 月 14 日
    • [SPARK-51011][CORE] 強制終了時にタスクが中断されるかどうかを示すログを追加する
    • [SPARK-52833][SQL] 修正 VariantBuilder.appendFloat
    • [SPARK-51505][SQL] AQEShuffleReadExec で常に空のパーティション番号メトリックを表示する
    • オペレーティング システムのセキュリティを更新。
  • 2025 年 7 月 29 日
    • [SPARK-52753][SQL] parseDataType バイナリと以前のバージョンとの互換性を確保する
    • オペレーティング システムのセキュリティを更新。
  • 2025 年 7 月 15 日
    • Spark Structured Streaming を使用して Pulsar からデータをストリーミングするときの非決定的なデータ損失の問題を修正しました。
    • [SPARK-52579][PYTHON] Python ワーカーの定期的なトレースバック ダンプを設定する
    • [SPARK-52553][SS] v1 変更ログを読み取るときに NumberFormatException を修正する
    • [SPARK-52450] スキーマディープコピーのパフォーマンスを向上させる
    • [SPARK-52503][SQL][CONNECT] 入力列が存在しない場合の drop を修正
    • [SPARK-52599][PYTHON] ドライバーサイドワーカーでの定期的なトレースバック ダンプのサポート
    • オペレーティング システムのセキュリティを更新。
  • 2025 年 7 月 1 日
    • ファイル データ ソース リーダー (json、csv、xml、およびテキスト) の ZStandard 解凍対応
    • [15.4-16.4][spark-52521]](https://issues.apache.org/jira/browse/SPARK-52521)[SQL] Right#replacement は SQLConf に動的にアクセスできません
    • [SPARK-52482][SQL][CORE] ZStandard によるファイル データ ソース リーダーのサポート
    • [SPARK-52312][SQL] DataFrame のキャッシュ時に V2WriteCommand を無視する
    • オペレーティング システムのセキュリティを更新。
  • 2025 年 6 月 17 日
    • cloud_files_stateテーブル値関数 (TVF) を使用して、パイプライン間でストリーミング テーブルのファイル レベルの状態を読み取ることができないという制限を修正しました。
    • 一時ビューのクエリに関する Unity カタログ承認の問題を修正しました。
    • [SPARK-52040][PYTHON][SQL][CONNECT] ResolveLateralColumnAliasReference はプラン ID を保持する必要があります
    • オペレーティング システムのセキュリティを更新。
  • 2025 年 6 月 3 日
    • [SPARK-52195][PYTHON][SS] Python TWS の初期状態の列の削除に関する問題を修正
    • [SPARK-52159][SQL] jdbc 言語のテーブル存在チェックを適切に処理する
    • 各種のバグ修正。
  • 2025 年 5 月 7 日
    • Java ライブラリの更新:
      • io.delta.delta-sharing-client_2.13 を 1.2.3 から 1.2.7 に変更
      • org.apache.avro.avro 1.11.3 から 1.11.4
      • org.apache.avro.avro-ipc (1.11.3 から 1.11.4 へ)
      • org.apache.avro.avro-mapred 1.11.3 から 1.11.4
    • ストリーミング複製セッションは、共有クラスター/サーバーレスの foreachBatch ユーザー関数内で使用されます。 これは、クラシック (割り当てられたクラスター) での動作に合わせて調整されます。
    • ストリーミング複製セッションは、共有クラスター/サーバーレスの foreachBatch ユーザー関数内で使用されます。 これは、クラシック (割り当てられたクラスター) での動作に合わせて調整されます。
    • この変更の前は、photon を無効にして、 variant_get 式のパスの先頭の空白とタブが無視されていました。 たとえば、 select variant_get(parse_json('{"key": "value"}'), '$['key']') は、 "key"の値を抽出するのに有効ではありません。 ただし、ユーザーは、このようなキーを今すぐ抽出できるようになります。
    • [SPARK-51935][SQL] 解釈された df.collect() 内の反復子の遅延動作を修正する
    • [SPARK-51921][SS][PYTHON] transformWithState で TTL 期間に長い型をミリ秒単位で使用する
    • [SPARK-51940][SS] ストリーミング チェックポイント メタデータを管理するためのインターフェイスを追加する
    • [SPARK-52049] XML 属性を Variant として解析できないバグを修正しました
    • [SPARK-51904][SS] StateSchemaV3 の非同期メタデータの削除と OperatorMetadata ファイルの一覧表示時の非バッチ ファイルの無視
    • [SPARK-51869][SS] Scala TransformWithState の UDF 内でユーザー エラーの分類を作成する
    • [SPARK-51889][PYTHON][SS] Python TWS の MapState clear() のバグを修正しました
    • [SPARK-51922] [SS] V1 の StateStoreChangelogReaderFactory からスローされる UTFDataFormatException を修正する
    • [SPARK-51848][SQL] バリアント型の配列/構造体/マップの定義済みスキーマを使用した XML レコードの解析を修正しました
    • オペレーティング システムのセキュリティを更新。

データブリックス Databricks Runtime 15.4 LTS

「Databricks Runtime 15.4 LTS」を参照してください。

  • 2026 年 5 月 26 日
    • オペレーティング システムのセキュリティを更新。
  • 2026 年 5 月 13 日
    • (Behavior change)スキーマ パターンを使用してテーブルを一覧表示すると、外部テーブル (SQL Server、PostgreSQL、AWS Glue など) の Unity カタログ メタデータが更新されなくなりました。 この変更は、スキーマ パターンが渡されたときの JDBC ドライバーのSHOW TABLES IN SCHEMA LIKE ...呼び出し、および Thrift getMetaData.getTables API のSparkGetTablesOperationに影響します。 ワークロードがスキーマ パターンを使用したメタデータの更新に依存している場合は、Databricks サポートにお問い合わせください。
    • オペレーティング システムのセキュリティを更新。
  • 2026 年 4 月 29 日
    • 各種のバグ修正。
  • 2026 年 4 月 20 日
    • 各種のバグ修正。

  • 2026 年 4 月 2 日

    • Java ライブラリの更新:
      • io.delta.delta-sharing-client_2.12 を 1.1.10 から 1.1.11 に
    • 自動ローダーには、DBR 16.3 でのソースの場所の管理と可視性に関連する 2 つの新機能が含まれています: 1。 イベントの変更を記録する: この変更により、お客様は cloud_files_state TVF を使用して、ファイルの検出と処理の詳細 (ファイルが最初に検出された時刻、コミットされた時刻、アーカイブされた時刻など) を表示できるようになります。この TVF の現在のパブリック ドキュメント については、こちらをご覧ください。 2. クリーン ソース: この機能により、お客様は自動ローダーに対して、処理されたファイルを自動的に削除するように指示できます。 お客様は、 cloudFiles.cleanSource 自動ローダー オプションを使用してこの機能をオプトインできます。 自動ローダー オプションのドキュメントの詳細については 、こちらを参照してください。
    • オペレーティング システムのセキュリティを更新。

  • 2026 年 3 月 10 日

    • [SPARK-55701]ES-1694761[SS] CompactibleFileStreamLog.allFiles 内の競合状態を修正する
    • [SPARK-55111][SS] クエリの再起動時に未完了の再パーティション化の検出を再チェックする
    • オペレーティング システムのセキュリティを更新。

  • 2026 年 2 月 26 日

    • Java ライブラリの更新:
      • org.mlflow.mlflow-spark_2.12 を 2.9.1 から 2.11.3 へ
    • オペレーティング システムのセキュリティを更新。

  • 2026 年 2 月 19 日

    • [SPARK-55243][CONNECT] Scala Connect クライアントの -bin サフィックスを使用してバイナリ ヘッダーを設定できるようにする
    • [SPARK-55282][PYTHON][CONNECT] ドライバー側でworker_utilを使用しないようにする
    • オペレーティング システムのセキュリティを更新。
  • 2026 年 1 月 27 日
    • Java ライブラリの更新:
      • io.delta.delta-sharing-client_2.12 を 1.1.9 から 1.1.10 に
    • オペレーティング システムのセキュリティを更新。
  • 2026 年 1 月 9 日
    • パーティション分割された Delta テーブルでは、今後、データ Parquet ファイルにパーティション列が格納されます。 これにより、Iceberg テーブルと UniForm テーブルの処理方法との相乗効果が向上し、外部のデルタ以外のリーダーとの互換性が向上します。
    • [SPARK-54620][SQL] ObservationManager に安全性チェックを追加して監視ブロックを回避する
    • [SPARK-54711][PYTHON] デーモン作成ワーカー接続のタイムアウトを追加する
    • オペレーティング システムのセキュリティを更新。
  • 2025 年 12 月 9 日
    • Java ライブラリの更新:
      • io.delta.delta-sharing-client_2.12 のバージョンを 1.1.7 から 1.1.9 まで
    • [SPARK-54427][SQL] ColumnarRow がバリアント型の copy を呼び出すことを許可する
    • [SPARK-52579][PYTHON] Python ワーカーの定期的なトレースバック ダンプを設定する
    • [SPARK-54180][SQL] BinaryFileFormat の toString をオーバーライドする
    • オペレーティング システムのセキュリティを更新。
  • 2025 年 11 月 18 日
    • [SPARK-54078][SS] StateStoreSuite SPARK-40492: maintenance before unload のための新しいテストと古いテストからインフラストラクチャを削除する
    • [SPARK-54047][PYTHON] kill-on-idle-timeout 時に差分エラーを使用する
    • オペレーティング システムのセキュリティを更新。
  • 2025 年 11 月 4 日
    • 更新された R ライブラリ:
      • 14.0.0.2 から 21.0.0 への矢印
    • オペレーティング システムのセキュリティを更新。
  • 2025 年 10 月 21 日
    • スキャン光子化基準が更新され、チェックサム検証が必要な場合にスキャン光子化が可能になります。
      チェックサム検証が必要かどうかを判断することは、SQLConf ではなく hadoop conf から取得されるようになりました。
    • オペレーティング システムのセキュリティを更新。
  • 2025 年 10 月 7 日
    • [SPARK-53568][CONNECT][PYTHON] Spark Connect Python クライアント エラー処理ロジックのいくつかの小さなバグを修正
    • [SPARK-53574] 入れ子になったプランの解決中に AnalysisContext がワイプされる問題を修正しました
    • 各種のバグ修正。
  • 2025 年 9 月 16 日
    • Snowflake コネクタは、INFORMATION_SCHEMA コマンドの代わりにSHOW SCHEMAS テーブルを使用してスキーマを一覧表示するようになりました。 この変更により、前のアプローチの 10,000 スキーマの制限が削除され、多数のスキーマを持つデータベースのサポートが向上します。
    • [SPARK-50870][SQL] V2ScanRelationPushDown でタイムスタンプにキャストするときにタイムゾーンを追加する
    • オペレーティング システムのセキュリティを更新。
  • 2025 年 9 月 9 日
    • 自動ローダーが無期限にハングする可能性がある問題を修正しました。
    • 自動ローダーでジョブが失敗する可能性がある一時的なエラーを修正しました
    • [SPARK-51821][CORE] デッドロックの可能性を回避するために、無停電ロックを保持せずに interrupt() を呼び出す
    • [SPARK-49872][CORE] jackson JSON 文字列の長さの制限を削除する
    • オペレーティング システムのセキュリティを更新。
  • 2025 年 8 月 26 日
    • Java ライブラリの更新:
      • io.delta.delta-sharing-client_2.12 のバージョンを 1.1.6 から 1.1.7 に更新
    • [SPARK-52482][SQL][CORE] 特定の破損した zstd ファイルを読み取るための例外処理を改善する
    • [SPARK-53192][CONNECT] Spark Connect プラン キャッシュにデータソースを常にキャッシュする
    • オペレーティング システムのセキュリティを更新。
  • 2025 年 8 月 14 日
    • [SPARK-51011][CORE] 強制終了時にタスクが中断されるかどうかを示すログを追加する
    • オペレーティング システムのセキュリティを更新。
  • 2025 年 7 月 29 日
    • オペレーティング システムのセキュリティを更新。

  • 2025 年 7 月 21 日

    • Photon に対して有効になっているコンピューティングまたは Arm64 ベースの CPU を使用するコンピューティングの場合、mlflow-skinnyは 2.19.0 にアップグレードされ、rayは 2.37.0 にアップグレードされ、databricks-feature-engineeringは 0.8.0 にアップグレードされます。

  • 2025 年 7 月 15 日

    • Spark Structured Streaming を使用して Pulsar からデータをストリーミングするときの非決定的なデータ損失の問題を修正しました。
    • [SPARK-52503][SQL][CONNECT] 入力列が存在しない場合の drop を修正
  • 2025 年 7 月 1 日
    • Java ライブラリの更新:
      • org.mlflow.mlflow-spark_2.12 を 2.9.1 から 2.11.3 へ
      • com.fasterxml.jackson.dataformat.jackson-dataformat-yaml 2.15.2 を削除しました
      • org.slf4j.slf4j-simple 1.7.25 を削除しました
    • ファイル データ ソース リーダー (json、csv、xml、およびテキスト) の ZStandard 解凍対応
    • ファイル データ ソース リーダー (json、csv、xml、およびテキスト) の ZStandard 解凍対応
    • [15.4-16.4][spark-52521]](https://issues.apache.org/jira/browse/SPARK-52521)[SQL] Right#replacement は SQLConf に動的にアクセスできません
    • [SPARK-52482][SQL][CORE] ZStandard によるファイル データ ソース リーダーのサポート
    • [SPARK-52312][SQL] DataFrame のキャッシュ時に V2WriteCommand を無視する
    • オペレーティング システムのセキュリティを更新。
  • 2025 年 6 月 17 日
    • cloud_files_stateテーブル値関数 (TVF) を使用して、パイプライン間でストリーミング テーブルのファイル レベルの状態を読み取ることができないという制限を修正しました。
    • [SPARK-49646][SQL] parentOuterReferences に collectedChildOuterReferences でカバーされていない参照がある場合のユニオン/集合操作のサブクエリの非相関化を修正する
    • [SPARK-52040][PYTHON][SQL][CONNECT] ResolveLateralColumnAliasReference はプラン ID を保持する必要があります
  • 2025 年 6 月 3 日
    • Python ライブラリの更新:
      • 3.4.8、41.0.3 から 41.0.3 への暗号化
      • filelock を 3.13.4、3.15.4 から 3.13.4 へ更新
      • importlib-metadata を 4.6.4, 6.0.0 から 6.0.0 へ更新
      • platformdirs を 3.10.0、3.11.0 から 3.10.0 へ変更
      • pyparsing を 2.4.7、3.0.9 から 3.0.9 へ更新
      • zipp を 1.0.0、3.11.0 から 3.11.0 へ
      • pip 23.2.1 を追加しました
      • setuptools 68.0.0 を追加しました
      • wcwidth 0.2.5 を追加しました
      • ホイール 0.38.4 を追加しました
      • ディストリビューション 1.7.0 を削除しました
      • distro-info 1.1+ubuntu0.2 を削除しました
      • python-apt 2.4.0+ubuntu4 を削除しました
    • Java ライブラリの更新:
      • com.github.fommil.netlib.native_ref-java を 1.1、1.1 ネイティブから 1.1、1.1 へ更新
      • com.github.fommil.netlib.native_system-java を 1.1、1.1 ネイティブから 1.1、1.1 へ更新
      • com.github.fommil.netlib.netlib-native_ref-linux-x86_64 のバージョンを 1.1-natives から 1.1 に変更
      • com.github.fommil.netlib.netlib-native_system-linux-x86_64 を 1.1 ネイティブ から 1.1 へ更新
      • io.netty.netty-tcnative-boringssl-static を 2.0.61.Final-db-r16-linux-aarch_64、2.0.61.Final-db-r16-linux-x86_64、2.0.61.Final-db-r16-osx-aarch_64、2.0.61.Final-db-r16-osx-x86_64、2.0.61.Final-db-r16-windows-x86_64 から 2.0.61.Final-db-r16, 2.0.61.Final-db-r16、2.0.61.Final-db-r16、2.0.61.Final-db-r16、2.0.61.Final-db-r16 へ更新
      • io.netty.netty-transport-native-epoll を 4.1.96.Final, 4.1.96.Final-linux-aarch_64、4.1.96.Final-linux-x86_64 から 4.1.96.Final、4.1.96.Final、4.1.96.Final へ更新
      • io.netty.netty-transport-native-kqueue を 4.1.96.Final-osx-aarch_64、4.1.96.Final-osx-x86_64 から 4.1.96.Final、4.1.96.Final へ更新
      • org.apache.orc.orc-core を 1.9.2-shaded-protobuf から 1.9.2 に変更
      • org.apache.orc.orc-mapreduce を 1.9.2-shaded-protobuf から 1.9.2 に変更
      • software.amazon.cryptools.AmazonCorrettoCryptoProvider 1.6.2-linux-x86_64 から 1.6.2 に
    • [SPARK-52159][SQL] jdbc 言語のテーブル存在チェックを適切に処理する
    • オペレーティング システムのセキュリティを更新。
  • 2025 年 5 月 20 日
    • Java ライブラリの更新:
      • io.delta.delta-sharing-client_2.12 を 1.1.5 から 1.1.6 に
    • ストリーミング複製セッションは、共有クラスター/サーバーレスの foreachBatch ユーザー関数内で使用されます。 これは、クラシック (割り当てられたクラスター) での動作に合わせて調整されます。
    • この変更の前は、photon を無効にして、 variant_get 式のパスの先頭の空白とタブが無視されていました。 たとえば、 select variant_get(parse_json('{"key": "value"}'), '$['key']') は、 "key"の値を抽出するのに有効ではありません。 ただし、ユーザーは、このようなキーを今すぐ抽出できるようになります。
    • [SPARK-51935][SQL] 解釈された df.collect() 内の反復子の遅延動作を修正する
    • オペレーティング システムのセキュリティを更新。
  • 2025 年 4 月 22 日
    • Java ライブラリの更新:
      • org.apache.avro.avro 1.11.3 から 1.11.4
      • org.apache.avro.avro-ipc (1.11.3 から 1.11.4 へ)
      • org.apache.avro.avro-mapred 1.11.3 から 1.11.4
    • "[SPARK-47895][SQL] エイリアスによるグループ化は冪等であるべき" を15.4、16.0、16.1、16.2、および16.3で元に戻す。
    • [SPARK-50682][SQL] 内部エイリアスを正規化する必要がある
    • オペレーティング システムのセキュリティを更新。
  • 2025 年 4 月 9 日
    • (変化)重要なセキュリティ パッチを適用するために、既定のPython バージョンは、Python 3.11.0rc1 から Python 3.11.11 に更新されます。 この更新プログラムは、Databricks Runtime 15.4 LTS で実行されている一部のワークロード (Python シリアル化を使用して実行間の状態を格納および復元するワークロード、または 3.11.0 Python バージョンにピン留めするワークロードなど) に影響を与える可能性があります。
    • Java ライブラリの更新:
      • io.starburst.openjson.openjson 1.8-e.12 を削除しました
      • io.starburst.openx.data.json-serde 1.3.9-e.12 を削除
      • io.starburst.openx.data.json-serde-generic-shim 1.3.9-e.12 を削除しました。
    • [SPARK-47895][SQL] エイリアスによるグループ化はべき等である必要がある
    • [SPARK-51624][SQL] GetStructField メタデータを CreateNamedStruct.dataType に伝達する
    • オペレーティング システムのセキュリティを更新。
  • 2025 年 3 月 31 日
    • Photon でコンピューティングが有効になっていない場合、 databricks-feature-engineering は 0.8.0 にアップグレードされます。 Photon 対応コンピューティングの場合、 databricks-feature-engineering は 0.6.0 のままです。

  • 2025 年 3 月 11 日

    • Databricks Runtime 14.3 LTS 以降には、 SparkListenerApplicationEnd クラスをインスタンス化し、Apache Spark に対してコンパイルされたコードとのバイナリ非互換性の原因となった問題の修正プログラムが含まれています。 この非互換性は、SPARK-46399 を Apache Spark にマージした結果です。 このマージには、SparkListenerApplicationEnd コンストラクターに既定の引数を追加する変更が含まれていました。 バイナリ互換性を復元するために、この修正により、SparkListenerApplicationEnd クラスに 1 つの引数コンストラクターが追加されます。
    • [SPARK-50985][SS] KafkaTokenProvider で不足しているサーバーのエラーをアサートとスローするのではではなく、Kafka タイムスタンプ オフセットの不一致エラーを分類する
    • [SPARK-50791][SQL] State Store エラー処理での NPE の修正
    • [SPARK-50310][PYTHON] DQC が無効になっている場合の列のパフォーマンスを向上する
    • [SPARK-51222][SQL] ReplaceCurrentLike を最適化する
    • [SPARK-49525][SS][CONNECT] サーバーサイド ストリーミング クエリの ListenerBus リスナーに対する軽微なログ改善
    • [SPARK-51084][SQL] negativeScaleNotAllowedError に適切なエラー クラスを割り当てる
    • オペレーティング システムのセキュリティを更新。

  • 2025 年 2 月 11 日

    • このリリースには、復旧された XML データ列をシリアル化するときの特定のデータ型の変換に影響する問題の修正が含まれています。 影響を受けるデータ型は、日付、NTZ 以外のタイムスタンプ、および prefersDecimal が有効な場合の 10 進数です。 救助されたデータ列の詳細については、「救助されたデータ列とは」を参照してください。.
    • [SPARK-50492][SS] dropDuplicatesWithinWatermark の後にイベント時間列が削除されたときに java.util.NoSuchElementException を修正する
    • オペレーティング システムのセキュリティを更新。
    • Photon でコンピューティングが有効になっていない場合、 mlflow-skinny は 2.19.0 にアップグレードされます。 Photon 対応コンピューティングの場合、 mlflow-skinny は 2.13.1 のままです。
  • 2024 年 12 月 10 日
    • USE CATALOG ステートメントは、IDENTIFIER 句をサポートするようになりました。 このサポートにより、文字列変数またはパラメーター マーカーに基づいて現在のカタログをパラメーター化できます。
    • このリリースには、バックグラウンドの自動圧縮に関連する特定のエッジ ケースで Delta テーブルの主キーが削除される可能性がある問題の修正プログラムが含まれています。
    • このリリースでは、Databricks コンピューティング ノードの SSD によって使用されるキャッシュ サイズは、SSD の初期サイズに動的に拡張され、必要に応じて spark.databricks.io.cache.maxDiskUsage の制限まで縮小されます。 Azure Databricksを参照してください。
    • pyodbc パッケージはバージョン 4.0.38 からバージョン 4.0.39 に更新されます。 この変更は、バージョン 4.0.38 でバグが見つかり、そのバージョンが PyPI から削除されたために必要です。
    • [SPARK-50329][SQL] InSet$toString を修正
    • [SPARK-47435][SQL] MySQL UNSIGNED TINYINT のオーバーフローの問題を修正
    • [SPARK-49757][SQL] IDENTIFIERSET ステートメントでの CATALOG 式のサポート
    • [SPARK-50426][PYTHON] 組み込みデータ ソースまたはJava データ ソースを使用する場合、静的なPython データ ソース参照を回避する
    • [SPARK-48863][SQL] "spark.sql.json.enablePartialResults" を有効にして JSON を解析するときの ClassCastException を修正する
    • [SPARK-50310][PYTHON] PySpark の DataFrameQueryContext を無効にするフラグを追加する
    • [15.3-15.4] [SPARK-50034][CORE] SparkUncaughtExceptionHandler で致命的なエラーがキャッチされない例外として誤報告される問題を修正
    • オペレーティング システムのセキュリティを更新。
  • 2024 年 11 月 26 日
    • このリリースでは、テキスト入力の vector_search を使用して query_text 関数に対してクエリを実行したり、入力を埋め込む query_vector を実行したりできるようになりました。
    • Spark 構成プロパティ spark.databricks.execution.timeoutを使用して、Spark Connect クエリのタイムアウトを設定できるようになりました。 サーバーレス コンピューティングで実行されているノートブックの場合、既定値は 9000 (秒) です。 標準アクセス モードでサーバーレス コンピューティングとコンピューティングで実行されているジョブは、この構成プロパティが設定されていない限りタイムアウトになりません。 指定したタイムアウトより長く実行すると、QUERY_EXECUTION_TIMEOUT_EXCEEDED エラーが発生します。
    • [SPARK-50322][SQL] サブクエリのパラメーター化された識別子を修正する
    • [SPARK-49615] [ML] すべての ML 機能トランスフォーマー データセット スキーマ検証を "spark.sql.caseSensitive" 構成に準拠させます。
    • [SPARK-50124][SQL] LIMIT/OFFSET はデータの順序を保持する必要があります
    • オペレーティング システムのセキュリティを更新。
  • 2024 年 11 月 5 日
    • (破壊的変更)Databricks Runtime 15.4 LTS 以降では、Photon の正規表現処理が Apache Spark 正規表現処理の動作に合わせて更新されます。 以前は、split() や regexp_extract()など、Photon によって実行される正規表現関数では、Spark パーサーによって拒否された正規表現がいくつか受け入れられていた。 Apache Spark との一貫性を維持するために、Spark が無効と見なす正規表現に対して Photon クエリが失敗するようになりました。 この変更により、Spark コードに無効な正規表現が含まれている場合、エラーが発生する可能性があります。 たとえば、一致しない中かっこを含む式 split(str_col, '{') は、以前は Photon によって受け入れられていましたが、現在は失敗します。 この式を修正するには、中かっこ文字 (split(str_col, '\\{')) をエスケープできます。 また、ASCII 以外の文字の正規表現の一致によっては、Photon と Spark の動作も異なりました。 これは、Photon が Apache Spark の動作と一致するようにも更新されます。
    • [SPARK-49782][SQL]ResolveDataFrameDropColumns ルールは、子出力で UnresolvedAttribute を解決します
    • [SPARK-49867][SQL]GetColumnByOrdinal を呼び出すときにインデックスが範囲外の場合のエラー メッセージを改善する
    • [SPARK-49863][SQL]NormalizeFloatingNumbers を修正して、入れ子になった構造体の null 値の許容を維持する
    • [SPARK-49829] ストリーム間結合で状態ストアに入力を追加する際の最適化を修正する（正確性の向上）
    • [SPARK-49905] ステートフル演算子に専用の ShuffleOrigin を使用して、AQE からシャッフルが変更されないようにする
    • [SPARK-46632][SQL]同等の三項式に異なる子がある場合の部分式の削除を修正する
    • [SPARK-49443][SQL][PYTHON] to_variant_object式を実装し、schema_of_variant式がバリアントオブジェクトに対してOBJECTを出力するようにします
    • [SPARK-49615] バグ修正: ML 列スキーマの検証が spark 構成 spark.sql.caseSensitiveに準拠するようにします。
  • 2024 年 10 月 22 日
    • [SPARK-49782][SQL]ResolveDataFrameDropColumns ルールは、子出力で UnresolvedAttribute を解決します
    • [SPARK-49867][SQL]GetColumnByOrdinal を呼び出すときにインデックスが範囲外の場合のエラー メッセージを改善する
    • [SPARK-49863][SQL]NormalizeFloatingNumbers を修正して、入れ子になった構造体の null 値の許容を維持する
    • [SPARK-49829] ストリーム間結合で状態ストアに入力を追加する際の最適化を修正する（正確性の向上）
    • [SPARK-49905] ステートフル演算子に専用の ShuffleOrigin を使用して、AQE からシャッフルが変更されないようにする
    • [SPARK-46632][SQL]同等の三項式に異なる子がある場合の部分式の削除を修正する
    • [SPARK-49443][SQL][PYTHON] to_variant_object式を実装し、schema_of_variant式がバリアントオブジェクトに対してOBJECTを出力するようにします
    • [SPARK-49615] バグ修正: ML 列スキーマの検証が spark 構成 spark.sql.caseSensitiveに準拠するようにします。
  • 2024 年 10 月 10 日
    • [SPARK-49743][SQL]GetArrayStructFields を排除するときに OptimizeCsvJsonExpr でスキーマ フィールドを変更しないでください
    • [SPARK-49688][CONNECT] 割り込みと実行プランの間のデータ競合を修正する
    • [BACKPORT] [SPARK-49474][SS] FlatMapGroupsWithState ユーザー関数のエラークラスを分類するエラー
    • [SPARK-49460][SQL]補足情報: 潜在的な NPE リスクを修正する
  • 2024 年 9 月 25 日
    • [SPARK-49628][SQL]ConstantFolding では、評価前にステートフル式をコピーする必要があります
    • [SPARK-49000][SQL]RewriteDistinctAggregates を展開して、t が空のテーブルである "select count(distinct 1) from t" を修正しました
    • [SPARK-49492][CONNECT]非アクティブな ExecutionHolder に対して再アタッチが試行されました
    • [SPARK-49458][CONNECT][PYTHON]ReattachExecute を使用してサーバー側のセッション ID を指定する
    • [SPARK-49017][SQL]複数のパラメーターが使用されている場合、Insert ステートメントが失敗する
    • [SPARK-49451] parse_jsonで重複するキーを許可します。
    • 各種のバグ修正。
  • 2024 年 9 月 17 日
    • [SPARK-48463][ML] Binarizer、Bucketizer、Vector Assembler、FeatureHasher、QuantizeDiscretizer、OnehotEncoder、StopWordsRemover、Imputer、Interactor でネストされた入力列をサポートするようにする
    • [SPARK-49409][CONNECT]CONNECT_SESSION_PLAN_CACHE_SIZEの既定値を調整する
    • [SPARK-49526][CONNECT][HOTFIX-15.4.2] ArtifactManager でのWindowsスタイルのパスのサポート
    • "[SPARK-48482][PYTHON] dropDuplicates と dropDuplicatesWIthinWatermark は可変長引数を受け入れる必要があります" を元に戻す
    • [SPARK-43242][CORE] シャッフルの破損診断中に「予期しないタイプの BlockId」をスローする問題を修正する
    • [SPARK-49366][CONNECT]データフレーム列解決で共用体ノードをリーフとして扱う
    • [SPARK-49018][SQL] 照合順序で「approx_count_distinct」関数が正しく動作しない問題を修正しました
    • [SPARK-49460][SQL]EmptyRelationExec から cleanupResource() を削除する
    • [SPARK-49056][SQL] ErrorClassesJsonReader は null を正しく処理できません
    • [SPARK-49336][CONNECT] protobuf メッセージを切り捨てる場合の入れ子レベルを制限する
  • 2024 年 8 月 29 日
    • SHOW CREATE TABLE ステートメントからの出力には、具体化されたビューまたはストリーミング テーブルで定義されている行フィルターまたは列マスクが含まれるようになりました。 SHOW CREATE TABLEを参照してください。 行フィルターと列マスクの詳細については、「 行フィルターと列マスク」を参照してください。
    • 共有アクセス モードで構成されたコンピューティングでは、Kafka バッチの読み取りと書き込みには、構造化ストリームに関して文書化されている制限事項と同じものが実施されるようになりました。 ストリーミングの制限事項を参照してください。
    • [SPARK-48941][SPARK-48970] バックポート ML ライター/リーダーの修正
    • [SPARK-49074][SQL] df.cache() でバリアントを修正する
    • [SPARK-49263][CONNECT] Spark Connect Python クライアント: ブール値データフレーム リーダーのオプションを一貫して処理する
    • [SPARK-48955][SQL] ArrayCompact の変更を 15.4 に含める
    • [SPARK-48937][SQL] StringToMap の文字列式に照合順序のサポートを追加する
    • [SPARK-48929] ビューの内部エラーを修正し、パーサー例外コンテキストをクリーンアップする
    • [SPARK-49125][SQL] CSV 書き込みで重複する列名を許可する
    • [SPARK-48934][SS] Python datetime 型が applyInPandasWithState でタイムアウトを設定するために正しく変換されませんでした
    • [SPARK-48843] BindParameters を使用して無限ループを防止する
    • [SPARK-48981] 照合順序のために pyspark で StringType の simpleString メソッドを修正する
    • [SPARK-49065][SQL] レガシ フォーマッタ/パーサーのリベースは、JVM 以外のデフォルト タイム ゾーンをサポートする必要があります
    • [SPARK-48896][SPARK-48909][SPARK-48883] バックポート Spark ML ライターの修正
    • [SPARK-48725][SQL] CollationAwareUTF8String.lowerCaseCodePoints を文字列式に統合する
    • [SPARK-48978][SQL] UTF8_LCASE の照合順序サポートに ASCII 高速パスを実装する
    • [SPARK-49047][PYTHON][CONNECT] ログ記録用にメッセージを切り詰める
    • [SPARK-49146][SS] 追加モードのストリーミング クエリでウォーターマークが見つからない問題に関連するアサーション エラーをエラー フレームワークに移動する
    • [SPARK-48977][SQL] UTF8_LCASE 照合順序で文字列検索を最適化する
    • [SPARK-48889][SS] 終了する前に testStream で状態ストアをアンロードする
    • [SPARK-48463] StringIndexer で入れ子になった入力列をサポートさせる
    • [SPARK-48954] try_mod() は try_remainder() を置き換える
    • オペレーティング システムのセキュリティを更新。

Databricks Runtime 14.3 LTS

「Databricks Runtime 14.3 LTS」をご覧ください。

  • 2026 年 5 月 26 日
    • オペレーティング システムのセキュリティを更新。
  • 2026 年 5 月 13 日
    • (Behavior change)スキーマ パターンを使用してテーブルを一覧表示すると、外部テーブル (SQL Server、PostgreSQL、AWS Glue など) の Unity カタログ メタデータが更新されなくなりました。 この変更は、スキーマ パターンが渡されたときの JDBC ドライバーのSHOW TABLES IN SCHEMA LIKE ...呼び出し、および Thrift getMetaData.getTables API のSparkGetTablesOperationに影響します。 ワークロードがスキーマ パターンを使用したメタデータの更新に依存している場合は、Databricks サポートにお問い合わせください。
    • オペレーティング システムのセキュリティを更新。
  • 2026 年 4 月 29 日
    • 各種のバグ修正。
  • 2026 年 4 月 20 日
    • 各種のバグ修正。

  • 2026 年 4 月 2 日

    • Java ライブラリの更新:
      • io.delta.delta-sharing-client_2.12 を 1.1.7 から 1.1.11 に更新
    • 自動ローダーには、DBR 16.3 でのソースの場所の管理と可視性に関連する 2 つの新機能が含まれています: 1。 イベントの変更を記録する: この変更により、お客様は cloud_files_state TVF を使用して、ファイルの検出と処理の詳細 (ファイルが最初に検出された時刻、コミットされた時刻、アーカイブされた時刻など) を表示できるようになります。この TVF の現在のパブリック ドキュメント については、こちらをご覧ください。 2. クリーン ソース: この機能により、お客様は自動ローダーに対して、処理されたファイルを自動的に削除するように指示できます。 お客様は、 cloudFiles.cleanSource 自動ローダー オプションを使用してこの機能をオプトインできます。 自動ローダー オプションのドキュメントの詳細については 、こちらを参照してください。
    • オペレーティング システムのセキュリティを更新。

  • 2026 年 3 月 10 日

    • [SPARK-55111][SS] クエリの再起動時に未完了の再パーティション化の検出を再チェックする
    • [SPARK-55701]ES-1694761[SS] CompactibleFileStreamLog.allFiles 内の競合状態を修正する
    • オペレーティング システムのセキュリティを更新。

  • 2026 年 2 月 26 日

    • オペレーティング システムのセキュリティを更新。

  • 2026 年 2 月 19 日

    • オペレーティング システムのセキュリティを更新。

  • 2026 年 1 月 27 日

    • オペレーティング システムのセキュリティを更新。

  • 2026 年 1 月 9 日

    • パーティション分割された Delta テーブルでは、今後、データ Parquet ファイルにパーティション列が格納されます。 これにより、Iceberg テーブルと UniForm テーブルの処理方法との相乗効果が向上し、外部のデルタ以外のリーダーとの互換性が向上します。
    • [SPARK-54711][PYTHON] デーモン作成ワーカー接続のタイムアウトを追加する
    • オペレーティング システムのセキュリティを更新。

  • 2025 年 12 月 9 日

    • [SPARK-52579][PYTHON] Python ワーカーの定期的なトレースバック ダンプを設定する
    • [SPARK-54180][SQL] BinaryFileFormat の toString をオーバーライドする
    • オペレーティング システムのセキュリティを更新。
  • 2025 年 11 月 18 日
    • [SPARK-54078][SS] StateStoreSuite SPARK-40492: maintenance before unload のための新しいテストと古いテストからインフラストラクチャを削除する
    • [SPARK-54047][PYTHON] kill-on-idle-timeout 時に差分エラーを使用する
    • オペレーティング システムのセキュリティを更新。
  • 2025 年 11 月 4 日
    • 更新された R ライブラリ:
      • 12.0.1 から 21.0.0 への矢印
    • オペレーティング システムのセキュリティを更新。
  • 2025 年 10 月 21 日
    • オペレーティング システムのセキュリティを更新。
  • 2025 年 10 月 7 日
    • [SPARK-53568][CONNECT][PYTHON] Spark Connect Python クライアント エラー処理ロジックのいくつかの小さなバグを修正
    • [SPARK-53574] 入れ子になったプランの解決中に AnalysisContext がワイプされる問題を修正しました
    • 各種のバグ修正。
  • 2025 年 9 月 16 日
    • オペレーティング システムのセキュリティを更新。
  • 2025 年 9 月 9 日
    • 自動ローダーが無期限にハングする可能性がある問題を修正しました。
    • [SPARK-49872][CORE] jackson JSON 文字列の長さの制限を削除する
    • オペレーティング システムのセキュリティを更新。
  • 2025 年 8 月 26 日
    • Java ライブラリの更新:
      • io.delta.delta-sharing-client_2.12 のバージョンを 1.1.6 から 1.1.7 に更新
    • [SPARK-52482][SQL][CORE] 特定の破損した zstd ファイルを読み取るための例外処理を改善する
    • オペレーティング システムのセキュリティを更新。
  • 2025 年 8 月 14 日
    • オペレーティング システムのセキュリティを更新。
  • 2025 年 7 月 29 日
    • オペレーティング システムのセキュリティを更新。
  • 2025 年 7 月 15 日
    • [SPARK-52503][SQL][CONNECT] 入力列が存在しない場合の drop を修正
    • 各種のバグ修正。
  • 2025 年 7 月 1 日
    • ファイル データ ソース リーダー (json、csv、xml、およびテキスト) の ZStandard 解凍対応
    • ファイル データ ソース リーダー (json、csv、xml、およびテキスト) の ZStandard 解凍対応
    • [SPARK-52521][SQL] Right#replacement は SQLConf に動的にアクセスしないでください
    • [SPARK-52482][SQL][CORE] ZStandard によるファイル データ ソース リーダーのサポート
    • オペレーティング システムのセキュリティを更新。
  • 2025 年 6 月 17 日
    • cloud_files_stateテーブル値関数 (TVF) を使用して、パイプライン間でストリーミング テーブルのファイル レベルの状態を読み取ることができないという制限を修正しました。
    • [SPARK-49646][SQL] parentOuterReferences に collectedChildOuterReferences でカバーされていない参照がある場合のユニオン/集合操作のサブクエリの非相関化を修正する
  • 2025 年 6 月 3 日
    • Python ライブラリの更新:
      • 3.4.8、39.0.1 から 39.0.1 への暗号化
      • platformdirs を 2.5.2、2.6.2 から 2.5.2 へ変更
      • pyparsing を 2.4.7、3.0.9 から 3.0.9 へ更新
      • pip 22.3.1 を追加しました
      • setuptools 65.6.3 を追加しました
      • tomli 2.0.1 を追加しました
      • wcwidth 0.2.5 を追加しました
      • ホイール 0.38.4 を追加しました
      • ディストリビューション 1.7.0 を削除しました
      • distro-info 1.1+ubuntu0.2 を削除しました
      • python-apt 2.4.0+ubuntu4 を削除しました
    • Java ライブラリの更新:
      • com.github.fommil.netlib.native_ref-java を 1.1、1.1 ネイティブから 1.1、1.1 へ更新
      • com.github.fommil.netlib.native_system-java を 1.1、1.1 ネイティブから 1.1、1.1 へ更新
      • com.github.fommil.netlib.netlib-native_ref-linux-x86_64 のバージョンを 1.1-natives から 1.1 に変更
      • com.github.fommil.netlib.netlib-native_system-linux-x86_64 を 1.1 ネイティブ から 1.1 へ更新
      • io.netty.netty-tcnative-boringssl-static を 2.0.61.Final-db-r16-linux-aarch_64、2.0.61.Final-db-r16-linux-x86_64、2.0.61.Final-db-r16-osx-aarch_64、2.0.61.Final-db-r16-osx-x86_64、2.0.61.Final-db-r16-windows-x86_64 から 2.0.61.Final-db-r16, 2.0.61.Final-db-r16、2.0.61.Final-db-r16、2.0.61.Final-db-r16、2.0.61.Final-db-r16 へ更新
      • io.netty.netty-transport-native-epoll を 4.1.96.Final, 4.1.96.Final-linux-aarch_64、4.1.96.Final-linux-x86_64 から 4.1.96.Final、4.1.96.Final、4.1.96.Final へ更新
      • io.netty.netty-transport-native-kqueue を 4.1.96.Final-osx-aarch_64、4.1.96.Final-osx-x86_64 から 4.1.96.Final、4.1.96.Final へ更新
      • org.apache.orc.orc-core を 1.9.2-shaded-protobuf から 1.9.2 に変更
      • org.apache.orc.orc-mapreduce を 1.9.2-shaded-protobuf から 1.9.2 に変更
      • software.amazon.cryptools.AmazonCorrettoCryptoProvider を 1.6.1-linux-x86_64 から 1.6.1 に更新
    • [SPARK-52040][PYTHON][SQL][CONNECT] ResolveLateralColumnAliasReference はプラン ID を保持する必要があります
    • [SPARK-52159][SQL] jdbc 言語のテーブル存在チェックを適切に処理する
    • オペレーティング システムのセキュリティを更新。
  • 2025 年 5 月 20 日
    • Java ライブラリの更新:
      • io.delta.delta-sharing-client_2.12 を 1.1.5 から 1.1.6 に
    • [SPARK-51935][SQL] 解釈された df.collect() 内の反復子の遅延動作を修正する
    • オペレーティング システムのセキュリティを更新。
  • 2025 年 4 月 22 日
    • オペレーティング システムのセキュリティを更新。

  • 2025 年 4 月 9 日

    • [動作の変更]バキューム操作では、他の操作と同様にライター プロトコル チェックが実行されるようになり、互換性のない古い Databricks Runtime バージョンから実行すると、新しい機能を持つテーブルで予期しないクリーンアップが防止されるようになりました。
    • [SPARK-51624][SQL] GetStructField メタデータを CreateNamedStruct.dataType に伝達する
    • オペレーティング システムのセキュリティを更新。

  • 2025 年 3 月 11 日

    • Databricks Runtime 14.3 LTS 以降には、 SparkListenerApplicationEnd クラスをインスタンス化し、Apache Spark に対してコンパイルされたコードとのバイナリ非互換性の原因となった問題の修正プログラムが含まれています。 この非互換性は、SPARK-46399 を Apache Spark にマージした結果です。 このマージには、SparkListenerApplicationEnd コンストラクターに既定の引数を追加する変更が含まれていました。 バイナリ互換性を復元するために、この修正により、SparkListenerApplicationEnd クラスに 1 つの引数コンストラクターが追加されます。
    • [SPARK-50791][SQL] State Store エラー処理での NPE の修正
    • [SPARK-50705][SQL] QueryPlan ロックフリーにする
    • [SPARK-49525][SS][CONNECT] サーバーサイド ストリーミング クエリの ListenerBus リスナーに対する軽微なログ改善
    • オペレーティング システムのセキュリティを更新。

  • 2025 年 2 月 11 日

    • このリリースには、復旧された XML データ列をシリアル化するときの特定のデータ型の変換に影響する問題の修正が含まれています。 影響を受けるデータ型は、日付、NTZ 以外のタイムスタンプ、および prefersDecimal が有効な場合の 10 進数です。 救助されたデータ列の詳細については、「救助されたデータ列とは」を参照してください。.
    • [SPARK-50492][SS] dropDuplicatesWithinWatermark の後にイベント時間列が削除されたときに java.util.NoSuchElementException を修正する
    • [SPARK-51084][SQL] negativeScaleNotAllowedError に適切なエラー クラスを割り当てる
    • オペレーティング システムのセキュリティを更新。
  • 2024 年 12 月 10 日
    • このリリースには、バックグラウンドの自動圧縮に関連する特定のエッジ ケースで Delta テーブルの主キーが削除される可能性がある問題の修正プログラムが含まれています。
    • [SPARK-50329][SQL] InSet$toString を修正
    • オペレーティング システムのセキュリティを更新。
  • 2024 年 11 月 26 日
    • [SPARK-49615] [ML] すべての ML 機能トランスフォーマー データセット スキーマ検証を "spark.sql.caseSensitive" 構成に準拠させます。
    • オペレーティング システムのセキュリティを更新。
  • 2024 年 11 月 5 日
    • [SPARK-48843] BindParameters を使用して無限ループを防止する
    • [SPARK-49829] ストリーム間結合で状態ストアに入力を追加する際の最適化を修正する（正確性の向上）
    • [SPARK-49863][SQL]NormalizeFloatingNumbers を修正して、入れ子になった構造体の null 値の許容を維持する
    • [BACKPORT] [SPARK-49326][SS] Foreach シンクユーザー関数エラーのエラークラスを分類する
    • [SPARK-49782][SQL]ResolveDataFrameDropColumns ルールは、子出力で UnresolvedAttribute を解決します
    • [SPARK-46632][SQL]同等の三項式に異なる子がある場合の部分式の削除を修正する
    • [SPARK-49905] ステートフル演算子に専用の ShuffleOrigin を使用して、AQE からシャッフルが変更されないようにする
    • オペレーティング システムのセキュリティを更新。
  • 2024 年 10 月 22 日
    • [SPARK-48843] BindParameters を使用して無限ループを防止する
    • [SPARK-49863][SQL]NormalizeFloatingNumbers を修正して、入れ子になった構造体の null 値の許容を維持する
    • [SPARK-49905] ステートフル演算子に専用の ShuffleOrigin を使用して、AQE からシャッフルが変更されないようにする
    • [SPARK-46632][SQL]同等の三項式に異なる子がある場合の部分式の削除を修正する
    • [SPARK-49782][SQL]ResolveDataFrameDropColumns ルールは、子出力で UnresolvedAttribute を解決します
    • [BACKPORT] [SPARK-49326][SS] Foreach シンクユーザー関数エラーのエラークラスを分類する
    • [SPARK-49829] ストリーム間結合で状態ストアに入力を追加する際の最適化を修正する（正確性の向上）
    • オペレーティング システムのセキュリティを更新。
  • 2024 年 10 月 10 日
    • [BACKPORT] [SPARK-49474][SS] FlatMapGroupsWithState ユーザー関数のエラークラスを分類するエラー
    • [SPARK-49743][SQL]GetArrayStructFields を排除するときに OptimizeCsvJsonExpr でスキーマ フィールドを変更しないでください
    • [SPARK-49688][CONNECT] 割り込みと実行プランの間のデータ競合を修正する
  • 2024 年 9 月 25 日
    • [SPARK-48810][CONNECT] Session stop() API はべき等である必要があり、セッションがすでにサーバーによって閉じられている場合でもエラーを発生させてはならない。
    • [SPARK-48719][SQL]'RegrS... の計算バグを修正しました。
    • [SPARK-49000][SQL]RewriteDistinctAggregates を展開して、t が空のテーブルである "select count(distinct 1) from t" を修正しました
    • [SPARK-49628][SQL]ConstantFolding では、評価前にステートフル式をコピーする必要があります
    • [SPARK-49492][CONNECT]非アクティブな ExecutionHolder に対して再アタッチが試行されました
    • オペレーティング システムのセキュリティを更新。
  • 2024 年 9 月 17 日
    • [SPARK-49336][CONNECT] protobuf メッセージを切り捨てる場合の入れ子レベルを制限する
    • [SPARK-43242][CORE] シャッフルの破損診断中に「予期しないタイプの BlockId」をスローする問題を修正する
    • [SPARK-48463][ML] Binarizer、Bucketizer、Vector Assembler、FeatureHasher、QuantizeDiscretizer、OnehotEncoder、StopWordsRemover、Imputer、Interactor でネストされた入力列をサポートするようにする
    • [SPARK-49526][CONNECT] ArtifactManager でのWindowsスタイルのパスのサポート
    • [SPARK-49409][CONNECT]CONNECT_SESSION_PLAN_CACHE_SIZEの既定値を調整する
    • [SPARK-49366][CONNECT]データフレーム列解決で共用体ノードをリーフとして扱う
  • 2024 年 8 月 29 日
    • [SPARK-49146][SS] 追加モードのストリーミング クエリでウォーターマークが見つからない問題に関連するアサーション エラーをエラー フレームワークに移動する
    • [SPARK-48862][PYTHON][CONNECT] INFO レベルが有効化されていないときに _proto_to_string の呼び出しは避けてください
    • [SPARK-49263][CONNECT] Spark Connect Python クライアント: ブール値データフレーム リーダーのオプションを一貫して処理する
  • 2024 年 8 月 14 日
    • [SPARK-48941][SPARK-48970] バックポート ML ライター/リーダーの修正
    • [SPARK-48706][PYTHON] Python UDF が高階関数で内部エラーをスローしないようにする
    • [SPARK-49056][SQL] ErrorClassesJsonReader は null を正しく処理できません
    • [SPARK-48597][SQL] 論理プランのテキスト表現に isStreaming プロパティのマーカーを導入する
    • [SPARK-49065][SQL] レガシ フォーマッタ/パーサーのリベースは、JVM 以外のデフォルト タイム ゾーンをサポートする必要があります
    • [SPARK-48934][SS] Python datetime 型が applyInPandasWithState でタイムアウトを設定するために正しく変換されませんでした
  • 2024 年 8 月 1 日
    • このリリースには、Spark Java インターフェイスの ColumnVector クラスと ColumnarArray クラスのバグ修正が含まれています。 この修正プログラムの前には、これらのクラスのいずれかのインスタンスに ArrayIndexOutOfBoundsException 値が含まれていると、null がスローされるか、正しくないデータが返される可能性がありました。
    • ノートブックとジョブのサーバーレス コンピューティングでは、ANSI SQL モードが既定で有効になっています。 「サポートされている Spark 構成パラメーター」を参照してください。
    • 共有アクセス モードで構成されたコンピューティングでは、Kafka バッチの読み取りと書き込みには、構造化ストリームに関して文書化されている制限事項と同じものが実施されるようになりました。 ストリーミングの制限事項を参照してください。
    • SHOW CREATE TABLE ステートメントからの出力には、具体化されたビューまたはストリーミング テーブルで定義されている行フィルターまたは列マスクが含まれるようになりました。 SHOW CREATE TABLEを参照してください。 行フィルターと列マスクの詳細については、「 行フィルターと列マスク」を参照してください。
    • 共有アクセス モードで構成されたコンピューティングでは、Kafka バッチの読み取りと書き込みには、構造化ストリームに関して文書化されている制限事項と同じものが実施されるようになりました。 ストリーミングの制限事項を参照してください。
    • SHOW CREATE TABLE ステートメントからの出力には、具体化されたビューまたはストリーミング テーブルで定義されている行フィルターまたは列マスクが含まれるようになりました。 SHOW CREATE TABLEを参照してください。 行フィルターと列マスクの詳細については、「 行フィルターと列マスク」を参照してください。
    • [SPARK-48896][SPARK-48909][SPARK-48883] バックポート Spark ML ライターの修正
    • [SPARK-48889][SS] 終了する前に testStream で状態ストアをアンロードする
    • [SPARK-48705][PYTHON] pyspark を使用して起動されるときに worker_main を明示的に使用する
    • [SPARK-48047][SQL] 空の TreeNode タグのメモリ負荷を軽減する
    • [SPARK-48544][SQL] 空の TreeNode BitSets のメモリ負荷を軽減する
    • [SPARK-46957][CORE] デコミッション移行済みシャッフル ファイルはエグゼキューターからクリーンアップできる必要がある
    • [SPARK-48463] StringIndexer で入れ子になった入力列をサポートさせる
    • [SPARK-47202] [PYTHON] tzinfo で datetimes を壊す入力ミスを修正する
    • [SPARK-47713][SQL][CONNECT] 自己結合エラーを修正する
    • オペレーティング システムのセキュリティを更新。
  • 2024 年 7 月 11 日
    • (動作変更) Delta テーブル ソースに対してキャッシュされた DataFrame は、ソース テーブルが上書きされたら無効化されるようになりました。 この変更は、Delta テーブルに対するすべての状態変更により、キャッシュされた結果が無効になったことを指します。 .checkpoint() を使用して DataFrame の有効期間全体にわたってテーブルの状態を永続化します。
    • Snowflake JDBC ドライバーでは、バージョン 3.16.1 に更新されました。
    • このリリースには、Databricks コンテナー サービスで実行中に [Spark UI] の [環境] タブが正しく表示されない問題の修正が含まれています。
    • ノートブックとジョブのサーバーレス コンピューティングでは、ANSI SQL モードが既定で有効になっています。 「サポートされている Spark 構成パラメーター」を参照してください。
    • データの読み取り時に無効なパーティションを無視するには、Parquet、ORC、CSV、JSON などのファイル ベースのデータ ソースで ignoreInvalidPartitionPaths データ ソース オプションを true に設定できます。 例: spark.read.format(“parquet”).option(“ignoreInvalidPartitionPaths”, “true”).load(…)。 SQL 構成 spark.sql.files.ignoreInvalidPartitionPaths を使用することもできます。 ただし、データ ソース オプションは SQL 構成よりも優先されます。 この設定の既定は false です。
    • [SPARK-48648][PYTHON][CONNECT] SparkConnectClient.tags を適切に threadlocal にする
    • [SPARK-48445][SQL] コストが高い子要素を含む UDF をインライン化しない
    • [SPARK-48481][SQL][SS] OptimizeOneRowPlan をストリーミング Dataset に適用しない
    • [SPARK-48383][SS] Kafka の startOffset オプションでパーティションのミスマッチに対してより良いエラーをスローする
    • [SPARK-48503][SQL] 等価でない列に対して group-by がある場合に誤って許可されていた無効なスカラーサブクエリを修正する
    • [SPARK-48100][SQL] スキーマで選択されていない入れ子構造フィールドのスキップに関する問題を修正する
    • [SPARK-48273][SQL] PlanWithUnresolvedIdentifier の遅延書き換えを修正する
    • [SPARK-48252][SQL] 必要なときに CommonExpressionRef を更新する
    • [SPARK-48475][PYTHON] PySpark で _get_jvm_function in を最適化する
    • [SPARK-48292][CORE] 取り消し: [SPARK-39195][SQL] Spark OutputCommitCoordinator はコミットされたファイルとタスクの状態が整合していない場合にステージを中止する必要がある
    • オペレーティング システムのセキュリティを更新。
  • 2024 年 6 月 17 日
    • applyInPandasWithState() は、標準アクセス モードのコンピューティングで使用できます。
    • Photon TopK を使用したランクウィンドウの最適化で、構造体を含むパーティションが正しく処理されないバグを修正しました。
    • [SPARK-48310][PYTHON][CONNECT] キャッシュされたプロパティはコピーを返す必要がある
    • [SPARK-48276][PYTHON][CONNECT] __repr__ の足りない SQLExpression メソッドを追加する
    • [SPARK-48294][SQL] nestedTypeMissingElementTypeError で小文字を処理する
    • オペレーティング システムのセキュリティを更新。
  • 2024 年 5 月 21 日
    • (動作変更) dbutils.widgets.getAll()ために がサポートされるようになりました。
    • 10 進数を含む入力で予期しない例外が発生する try_divide() 関数のバグを修正しました。
    • [SPARK-48056][CONNECT][PYTHON] SESSION_NOT_FOUND エラーが発生しても部分的な応答が受信されなかった場合にプランを再実行する
    • [SPARK-48146][SQL] With 式子アサーションの集計関数を修正する
    • [SPARK-47986][CONNECT][PYTHON] 既定のセッションがサーバーによって閉じられたときに新しいセッションを作成できない
    • [SPARK-48180][SQL] TABLE 引数を使用した UDTF 呼び出しで、複数の PARTITION/ORDER BY 式で周りのかっこが消えるエラーを改善する
    • [SPARK-48016][SQL] 10 進数を使用する場合 try_divide 関数のバグを修正する
    • [SPARK-48197][SQL] 無効なラムダ関数のアサート エラーを回避する
    • [SPARK-47994][SQL] SQLServer で CASE WHEN 列フィルターがプッシュダウンされるバグを修正する
    • [SPARK-48173][SQL] CheckAnalysis にクエリ プラン全体が表示される
    • [SPARK-48105][SS] 状態ストアのアンロードとスナップショット処理の間の競合状態を修正する
    • オペレーティング システムのセキュリティを更新。
  • 2024 年 5 月 9 日
    • (動作の変更) applyInPandas Databricks Runtime 14.3 LTS 以降を実行する共有アクセス モード コンピューティングで、 mapInPandas UDF の種類がサポートされるようになりました。
    • [SPARK-47739][SQL] 論理 avro 型を登録する
    • [SPARK-47941] [SS] [Connect] PySpark の ForeachBatch worker 初期化エラーについてユーザーに伝える
    • [SPARK-48010][SQL] resolveExpression で conf.resolver を繰り返し呼び出さないようにする
    • [SPARK-48044][PYTHON][CONNECT] DataFrame.isStreaming をキャッシュする
    • [SPARK-47956][SQL] 未解決の LCA リファレンスのサニティ チェックを実行する
    • [SPARK-47543][CONNECT][PYTHON] Pandas DataFrame から dict を MapType として推論して DataFrame を作成できるようにする
    • [SPARK-47819][CONNECT][Cherry-pick-14.3] 実行のクリーンアップに非同期コールバックを使用する
    • [SPARK-47764][CORE][SQL] ShuffleCleanupMode に基づくシャッフル依存関係をクリーンアップする
    • [SPARK-48018][SS] KafkaException.couldNotReadOffsetRange をスローするときにパラメーター不足のエラーを引き起こす、null groupId を修正する
    • [SPARK-47839][SQL] RewriteWithExpression における集計のバグを修正する
    • [SPARK-47371][SQL] XML: CDATA で見つかった行タグを無視する
    • [SPARK-47895][SQL] グループ分け、をすべてべき等にする
    • [SPARK-47973][CORE] SparkContext.stop() と SparkContext.assertNotStopped() 内で呼び出し元をログに記録する
    • オペレーティング システムのセキュリティを更新。
  • 2024 年 4 月 25 日
    • [SPARK-47543][CONNECT][PYTHON] Pandas DataFrame から dict を MapType として推論して DataFrame を作成できるようにする
    • [SPARK-47694][CONNECT] クライアント側で最大メッセージ サイズを構成できるようにする
    • [SPARK-47664][PYTHON][CONNECT][Cherry-pick-14.3] キャッシュされたスキーマで列名を検証する
    • [SPARK-47862][PYTHON][CONNECT] proto ファイルの生成を修正する
    • "[SPARK-47543][CONNECT][PYTHON] Pandas DataFrame から dict を MapType として推論して DataFrame を作成できるようにする" を取り消す
    • [SPARK-47704][SQL] spark.sql.json.enablePartialResults が有効になっている場合に、JSON の解析が "java.lang.ClassCastException" で失敗する
    • [SPARK-47812][CONNECT] ForEachBatch ワーカーの SparkSession のシリアル化をサポートする
    • [SPARK-47818][CONNECT][Cherry-pick-14.3] SparkConnectPlanner にプラン キャッシュを導入して、分析要求のパフォーマンスを向上させる
    • [SPARK-47828][CONNECT][PYTHON] 無効なプランで DataFrameWriterV2.overwrite が失敗する
    • オペレーティング システムのセキュリティを更新。
  • 2024 年 4 月 11 日
    • (動作変更)コンピューティングの種類間で一貫した動作を保証するために、標準アクセス モードのコンピューティング上の PySpark UDF は、分離なしクラスターと割り当てられたクラスターでの UDF の動作と一致するようになりました。 この更新プログラムには、既存のコードを中断する可能性がある次の変更が含まれています。
      • 戻り値の型が string である UDF は、非 string 値を string 値に暗黙的には変換しなくなりました。 以前は、戻り値の型が str である UDF は、戻り値の実際のデータ型に関係なく、戻り値を str() 関数でラップしていました。
      • 戻り値の型が timestamp である UDF は、timestamp を持つ timezone への変換を暗黙的には適用しなくなりました。
      • Spark クラスター構成 spark.databricks.sql.externalUDF.*、標準アクセス モードのコンピューティング上の PySpark UDF には適用されなくなりました。
      • Spark クラスター構成 spark.databricks.safespark.externalUDF.plan.limit は、PySpark UDF には影響を与えなくなり、クエリあたり 5 個の UDF という PySpark UDF でのパブリック プレビュー制限が削除されました。
      • Spark クラスター構成 spark.databricks.safespark.sandbox.size.default.mib、標準アクセス モードのコンピューティング上の PySpark UDF には適用されなくなりました。 代わりに、システム上の使用可能なメモリが使用されます。 PySpark UDF のメモリを制限するには、最小値を spark.databricks.pyspark.udf.isolation.memoryLimit にして 100m を使用します。
    • TimestampNTZ データ型は、リキッド クラスタリングを使用するクラスタリング列としてサポートされるようになりました。 表に液体クラスタリングを使用するを参照してください。
    • [SPARK-47511][SQL] ID を再割り当てすることで式で正規化します
    • [SPARK-47509][SQL] ラムダ関数と上位関数のサブクエリ式をブロックします
    • [SPARK-46990][SQL] イベントハブによって出力される空の Avro ファイルが読み込まれる問題を修正します
    • [SPARK-47638][PS][CONNECT] PS での列名の検証をスキップします
    • オペレーティング システムのセキュリティを更新。
  • 2024 年 3 月 14 日
    • [SPARK-47135][SS] Kafka データ損失例外のエラー クラスを実装します
    • [SPARK-47176][SQL] ResolveAllExpressionsUpWithPruning ヘルパー関数がある
    • [SPARK-47145][SQL] V2 戦略の行データ ソース スキャン exec にテーブル識別子を渡します。
    • [SPARK-47044][SQL] JDBC 外部データソースに対して実行されたクエリを追加して出力を説明する
    • [SPARK-47167][SQL] JDBC 匿名関係の具象クラスを追加する
    • [SPARK-47070] サブクエリの書き換え後の無効な集計を修正する
    • [SPARK-47121][CORE] StandaloneSchedulerBackend のシャットダウン時に RejectedExecutionExceptions を回避する
    • "[SPARK-46861][CORE] DAGScheduler でのデッドロックを回避する" を取り消す
    • [SPARK-47125][SQL] Univocity が解析をトリガーしない場合は null を返す
    • [SPARK-46999][SQL] ExpressionWithUnresolvedIdentifier は式ツリーに他の式を含める必要がある
    • [SPARK-47129][CONNECT][SQL] ResolveRelations キャッシュ接続プランを適切に作成する
    • [SPARK-47241][SQL] ExtractGenerator のルールの順序の問題を修正します
    • [SPARK-47035][SS][CONNECT] クライアント側リスナーのプロトコル
    • オペレーティング システムのセキュリティを更新。
  • 2024 年 2 月 29 日
    • MERGE コマンドでローカル コレクションをソースとして使用すると、操作メトリック numSourceRows が正しい行数の 2 倍になる問題を修正しました。
    • 定義された場所でスキーマを作成するには、ユーザーが ANY FILE に対する SELECT および MODIFY 権限を持っている必要があります。
    • [SPARK-47071][SQL] 特殊な式が含まれている場合に With 式をインライン化する
    • [SPARK-47059][SQL] ALTER COLUMN v1 コマンドのエラー コンテキストをアタッチする
    • [SPARK-46993][SQL] セッション変数の定数の畳み込みを修正する
    • オペレーティング システムのセキュリティを更新。
  • 2024 年 1 月 3 日
    • [SPARK-46933] JDBCRDD を使用するコネクタにクエリ実行時間メトリックを追加します。
    • [SPARK-46763] 重複する属性での ReplaceDeduplicateWithAggregate のアサーション エラーを修正します。
    • [SPARK-46954] XML: InputStreamReader を BufferedReader でラップします。
    • [SPARK-46655]DataFrame メソッドでのクエリ コンテキストのキャッチをスキップします。
    • [SPARK-44815] 余分な RPC を回避するために df.schema をキャッシュします。
    • [SPARK-46952] XML: 破損したレコードのサイズを制限します。
    • [SPARK-46794] LogicalRDD 制約からサブクエリを削除します。
    • [SPARK-46736] protobuf コネクタに空のメッセージ フィールドを保持します。
    • [SPARK-45182] チェックサムで確定された親の不確定ステージを再試行した後で、古いステージからのタスクの完了を無視します。
    • [SPARK-46414] prependBaseUri を使用して javascript インポートをレンダリングします。
    • [SPARK-46383]TaskInfo.accumulables() の有効期間を短縮してドライバー ヒープの使用量を削減します。
    • [SPARK-46861] DAGScheduler でのデッドロックを回避します。
    • [SPARK-46954] XML: スキーマ インデックスの検索を最適化します。
    • [SPARK-46676] dropDuplicatesWithinWatermark はプランの正規化でエラーになってはなりません。
    • [SPARK-46644] isZero を使用するように SQLMetric の add と merge を変更します。
    • [SPARK-46731] 状態データ ソース - リーダーによって状態ストア プロバイダー インスタンスを管理します。
    • [SPARK-46677]dataframe["*"] の解像度を修正します。
    • [SPARK-46610] テーブル作成時、オプションでキーに対する値がない場合に例外をスローするようにします。
    • [SPARK-46941] SizeBasedWindowFunction が含まれている場合、top-k 計算用のウィンドウ グループ制限ノードを挿入できません。
    • [SPARK-45433] timestamp が、指定された timestampFormat と一致しない場合の CSV/JSON スキーマ推論を修正します。
    • [SPARK-46930] Avro で Union 型フィールドのカスタムプレフィックスをサポートする機能を追加します。
    • [SPARK-46227] 14.3 へのバックポート。
    • [SPARK-46822] jdbc で jdbc 型を Catalyst 型にキャストする場合は、spark.sql.legacy.charVarcharAsString に従います。
    • オペレーティング システムのセキュリティを更新。

Databricks Runtime 13.3 LTS

「Databricks Runtime 13.3 LTS」をご覧ください。

  • 2026 年 5 月 26 日
    • オペレーティング システムのセキュリティを更新。
  • 2026 年 5 月 13 日
    • (Behavior change)スキーマ パターンを使用してテーブルを一覧表示すると、外部テーブル (SQL Server、PostgreSQL、AWS Glue など) の Unity カタログ メタデータが更新されなくなりました。 この変更は、スキーマ パターンが渡されたときの JDBC ドライバーのSHOW TABLES IN SCHEMA LIKE ...呼び出し、および Thrift getMetaData.getTables API のSparkGetTablesOperationに影響します。 ワークロードがスキーマ パターンを使用したメタデータの更新に依存している場合は、Databricks サポートにお問い合わせください。
    • オペレーティング システムのセキュリティを更新。
  • 2026 年 4 月 29 日
    • オペレーティング システムのセキュリティを更新。
  • 2026 年 4 月 20 日
    • オペレーティング システムのセキュリティを更新。

  • 2026 年 4 月 2 日

    • オペレーティング システムのセキュリティを更新。

  • 2026 年 3 月 10 日

    • [SPARK-55701]ES-1694761[SS] CompactibleFileStreamLog.allFiles 内の競合状態を修正する
    • [SPARK-55111][SS] クエリの再起動時に未完了の再パーティション化の検出を再チェックする
    • オペレーティング システムのセキュリティを更新。

  • 2026 年 2 月 26 日

    • オペレーティング システムのセキュリティを更新。

  • 2026 年 2 月 19 日

    • 元に戻す [SPARK-55111][SS] クエリの再起動時に未完了の再パーティション分割検出
    • [SPARK-55111][SS] クエリ再起動時の未完了の再パーティション検出
    • オペレーティング システムのセキュリティを更新。
  • 2026 年 1 月 27 日
    • オペレーティング システムのセキュリティを更新。
  • 2026 年 1 月 9 日
    • パーティション分割された Delta テーブルでは、今後、データ Parquet ファイルにパーティション列が格納されます。 これにより、Iceberg テーブルと UniForm テーブルの処理方法との相乗効果が向上し、外部のデルタ以外のリーダーとの互換性が向上します。
    • オペレーティング システムのセキュリティを更新。
  • 2025 年 12 月 9 日
    • [SPARK-54180][SQL] BinaryFileFormat の toString をオーバーライドする
    • [SPARK-52579][PYTHON] Python ワーカーの定期的なトレースバック ダンプを設定する
    • オペレーティング システムのセキュリティを更新。
  • 2025 年 11 月 18 日
    • [SPARK-54047][PYTHON] kill-on-idle-timeout 時に差分エラーを使用する
    • オペレーティング システムのセキュリティを更新。
  • 2025 年 11 月 4 日
    • 更新された R ライブラリ:
      • 10.0.1 から 21.0.0 への矢印
    • オペレーティング システムのセキュリティを更新。
  • 2025 年 10 月 21 日
    • オペレーティング システムのセキュリティを更新。
  • 2025 年 10 月 7 日
    • オペレーティング システムのセキュリティを更新。
  • 2025 年 9 月 24 日
    • オペレーティング システムのセキュリティを更新。
  • 2025 年 9 月 9 日
    • オペレーティング システムのセキュリティを更新。
  • 2025 年 8 月 26 日
    • Java ライブラリの更新:
      • io.delta.delta-sharing-spark_2.12 0.7.12 から 0.7.13 へ
    • オペレーティング システムのセキュリティを更新。
  • 2025 年 8 月 14 日
    • オペレーティング システムのセキュリティを更新。
  • 2025 年 7 月 29 日
    • オペレーティング システムのセキュリティを更新。

  • 2025 年 7 月 15 日

    • オペレーティング システムのセキュリティを更新。

  • 2025 年 7 月 1 日

    • オペレーティング システムのセキュリティを更新。
  • 2025 年 6 月 17 日
    • cloud_files_stateテーブル値関数 (TVF) を使用して、パイプライン間でストリーミング テーブルのファイル レベルの状態を読み取ることができないという制限を修正しました。
    • オペレーティング システムのセキュリティを更新。
  • 2025 年 6 月 3 日
    • Python ライブラリの更新:
      • 3.4.8、37.0.1 から 37.0.1 への暗号化
      • platformdirs を 2.5.2、2.6.2 から 2.5.2 へ変更
      • pyparsing を 2.4.7、3.0.9 から 3.0.9 へ更新
      • pip 22.2.2 を追加しました
      • setuptools 63.4.1 を追加しました
      • tomli 2.0.1 を追加しました
      • wcwidth 0.2.5 を追加しました
      • ホイール 0.37.1 を追加しました
      • ディストリビューション 1.7.0 を削除しました
      • distro-info 1.1+ubuntu0.2 を削除しました
      • python-apt 2.4.0+ubuntu4 を削除しました
    • Java ライブラリの更新:
      • com.github.fommil.netlib.native_ref-java を 1.1、1.1 ネイティブから 1.1、1.1 へ更新
      • com.github.fommil.netlib.native_system-java を 1.1、1.1 ネイティブから 1.1、1.1 へ更新
      • com.github.fommil.netlib.netlib-native_ref-linux-x86_64 のバージョンを 1.1-natives から 1.1 に変更
      • com.github.fommil.netlib.netlib-native_system-linux-x86_64 を 1.1 ネイティブ から 1.1 へ更新
      • io.netty.netty-transport-native-epoll を 4.1.87.Final、4.1.87.Final-linux-aarch_64、4.1.87.Final-linux-x86_64 から 4.1.87.Final、4.1.87.Final、4.1.87.Final へ更新
      • io.netty.netty-transport-native-kqueue を 4.1.87.Final-osx-aarch_64、4.1.87.Final-osx-x86_64 から 4.1.87.Final、4.1.87.Final へ更新
      • org.apache.orc.orc-core を 1.8.4-shaded-protobuf から 1.8.4 に変更
      • org.apache.orc.orc-mapreduce を 1.8.4-shaded-protobuf から 1.8.4 に変更
      • software.amazon.cryptools.AmazonCorrettoCryptoProvider を 1.6.1-linux-x86_64 から 1.6.1 に更新
    • [SPARK-52159][SQL] jdbc 言語のテーブル存在チェックを適切に処理する
    • オペレーティング システムのセキュリティを更新。
  • 2025 年 5 月 20 日
    • Java ライブラリの更新:
      • io.delta.delta-sharing-spark_2.12 を 0.7.11 から 0.7.12 に更新
    • オペレーティング システムのセキュリティを更新。
  • 2025 年 4 月 22 日
    • [動作の変更]バキューム操作では、他の操作と同様にライター プロトコル チェックが実行されるようになり、互換性のない古い Databricks Runtime バージョンから実行すると、新しい機能を持つテーブルで予期しないクリーンアップが防止されるようになりました。
    • オペレーティング システムのセキュリティを更新。
  • 2025 年 4 月 9 日
    • [SPARK-51624][SQL] GetStructField メタデータを CreateNamedStruct.dataType に伝達する
    • オペレーティング システムのセキュリティを更新。
  • 2025 年 3 月 11 日
    • オペレーティング システムのセキュリティを更新。
  • 2025 年 2 月 11 日
    • [SPARK-50492][SS] dropDuplicatesWithinWatermark の後にイベント時間列が削除されたときに java.util.NoSuchElementException を修正する
    • [SPARK-45915][SQL] PromoteStrings の Decimal(x, 0) を IntegralType と同じように扱う
    • オペレーティング システムのセキュリティを更新。
  • 2024 年 12 月 10 日
    • オペレーティング システムのセキュリティを更新。
  • 2024 年 11 月 26 日
    • [SPARK-49615] [ML] すべての ML 機能トランスフォーマー データセット スキーマ検証を "spark.sql.caseSensitive" 構成に準拠させます。
    • オペレーティング システムのセキュリティを更新。
  • 2024 年 11 月 5 日
    • [SPARK-48843] BindParameters を使用して無限ループを防止する
    • [BACKPORT] [SPARK-49326][SS] Foreach シンクユーザー関数エラーのエラークラスを分類する
    • [SPARK-49905] ステートフル演算子に専用の ShuffleOrigin を使用して、AQE からシャッフルが変更されないようにする
    • オペレーティング システムのセキュリティを更新。
  • 2024 年 10 月 22 日
    • [SPARK-48843] BindParameters を使用して無限ループを防止する
    • [BACKPORT] [SPARK-49326][SS] Foreach シンクユーザー関数エラーのエラークラスを分類する
    • [SPARK-49905] ステートフル演算子に専用の ShuffleOrigin を使用して、AQE からシャッフルが変更されないようにする
    • オペレーティング システムのセキュリティを更新。
  • 2024 年 10 月 10 日
    • [SPARK-49743][SQL]GetArrayStructFields を排除するときに OptimizeCsvJsonExpr でスキーマ フィールドを変更しないでください
  • 2024 年 9 月 25 日
    • [SPARK-46601] [CORE]handleStatusMessage のログ エラーを修正する
    • [SPARK-48719][SQL]最初のパラメーターが null の場合の RegrSlope と RegrIntercept の計算バグを修正しました
    • [SPARK-43242][CORE] シャッフルの破損診断中に「予期しないタイプの BlockId」をスローする問題を修正する
    • [SPARK-49000][SQL]RewriteDistinctAggregates を展開して、t が空のテーブルである "select count(distinct 1) from t" を修正しました
    • オペレーティング システムのセキュリティを更新。
  • 2024 年 9 月 17 日
    • [SPARK-49526][CONNECT] ArtifactManager でのWindowsスタイルのパスのサポート
    • [SPARK-48463][ML] Binarizer、Bucketizer、Vector Assembler、FeatureHasher、QuantizeDiscretizer、OnehotEncoder、StopWordsRemover、Imputer、Interactor でネストされた入力列をサポートするようにする
    • オペレーティング システムのセキュリティを更新。
  • 2024 年 8 月 29 日
  • 2024 年 8 月 14 日
    • [SPARK-49056][SQL] ErrorClassesJsonReader は null を正しく処理できません
    • [SPARK-49065][SQL] レガシ フォーマッタ/パーサーのリベースは、JVM 以外のデフォルト タイム ゾーンをサポートする必要があります
    • [SPARK-48597][SQL] 論理プランのテキスト表現に isStreaming プロパティのマーカーを導入する
  • 2024 年 8 月 1 日
    • このリリースには、Spark Java インターフェイスの ColumnVector クラスと ColumnarArray クラスのバグ修正が含まれています。 この修正プログラムの前には、これらのクラスのいずれかのインスタンスに ArrayIndexOutOfBoundsException 値が含まれていると、null がスローされるか、正しくないデータが返される可能性がありました。
    • [SPARK-47202] [PYTHON] tzinfo で datetimes を壊す入力ミスを修正する
    • [SPARK-48896][SPARK-48909][SPARK-48883] バックポート Spark ML ライターの修正
    • [SPARK-48463] StringIndexer で入れ子になった入力列をサポートさせる
    • オペレーティング システムのセキュリティを更新。
  • 2024 年 7 月 11 日
    • (動作変更) Delta テーブル ソースに対してキャッシュされた DataFrame は、ソース テーブルが上書きされたら無効化されるようになりました。 この変更は、Delta テーブルに対するすべての状態変更により、キャッシュされた結果が無効になったことを指します。 .checkpoint() を使用して DataFrame の有効期間全体にわたってテーブルの状態を永続化します。
    • このリリースには、Databricks コンテナー サービスで実行中に [Spark UI] の [環境] タブが正しく表示されない問題の修正が含まれています。
    • [SPARK-48383][SS] Kafka の startOffset オプションでパーティションのミスマッチに対してより良いエラーをスローする
    • [SPARK-48292][CORE] 取り消し: [SPARK-39195][SQL] Spark OutputCommitCoordinator はコミットされたファイルとタスクの状態が整合していない場合にステージを中止する必要がある
    • [SPARK-48503][SQL] 等価でない列に対して group-by がある場合に誤って許可されていた無効なスカラーサブクエリを修正する
    • [SPARK-48481][SQL][SS] OptimizeOneRowPlan をストリーミング Dataset に適用しない
    • [SPARK-48475][PYTHON] PySpark で _get_jvm_function in を最適化する
    • [SPARK-48273][SQL] PlanWithUnresolvedIdentifier の遅延書き換えを修正する
    • [SPARK-48445][SQL] コストが高い子要素を含む UDF をインライン化しない
    • オペレーティング システムのセキュリティを更新。
  • 2024 年 6 月 17 日
    • [SPARK-48277] ErrorClassesJsonReader.getErrorMessage のエラー メッセージを改善する
    • オペレーティング システムのセキュリティを更新。
  • 2024 年 5 月 21 日
    • (動作変更) dbutils.widgets.getAll()ために がサポートされるようになりました。
    • [SPARK-48105][SS] 状態ストアのアンロードとスナップショット処理の間の競合状態を修正する
    • [SPARK-47994][SQL] SQLServer で CASE WHEN 列フィルターがプッシュダウンされるバグを修正する
    • オペレーティング システムのセキュリティを更新。
  • 2024 年 5 月 9 日
    • [SPARK-47956][SQL] 未解決の LCA リファレンスのサニティ チェックを実行する
    • [SPARK-46822][SQL] jdbc で jdbc 型を Catalyst 型にキャストする場合は、spark.sql.legacy.charVarcharAsString に従う
    • [SPARK-47895][SQL] グループ分け、をすべてべき等にする
    • [SPARK-48018][SS] KafkaException.couldNotReadOffsetRange をスローするときにパラメーター不足のエラーを引き起こす、null groupId を修正する
    • [SPARK-47973][CORE] SparkContext.stop() と SparkContext.assertNotStopped() 内で呼び出し元をログに記録する
    • オペレーティング システムのセキュリティを更新。
  • 2024 年 4 月 25 日
    • [SPARK-44653][SQL] 単純でない DataFrame 共用体でキャッシュを破損させてはならない
    • 各種のバグ修正。
  • 2024 年 4 月 11 日
    • [SPARK-47509][SQL] ラムダ関数と上位関数のサブクエリ式をブロックします
    • オペレーティング システムのセキュリティを更新。
  • 2024 年 4 月 1 日
    • [SPARK-47385] オプション入力を使用してタプル エンコーダーを修正します
    • [SPARK-38708][SQL] Hive メタストア クライアントを Hive 3.1 用の 3.1.3 にアップグレードします
    • [SPARK-47200][SS] Foreach バッチシンクのユーザー関数エラーに対するエラークラス
    • [SPARK-47368][SQL] ParquetRowConverter の inferTimestampNTZ 構成チェックを削除します
    • [SPARK-44252][SS] 新しいエラー クラスを定義し、DFS からの状態の読み込みが失敗した場合に適用する
    • [SPARK-47135][SS] Kafka データ損失例外のエラー クラスを実装します
    • [SPARK-47300][SQL] quoteIfNeeded は数字で始まる識別子を引用符で囲む必要があります
    • [SPARK-47305][SQL] プランにバッチとストリーミングの両方がある場合に LocalRelation の isStreaming フラグに正しくタグを付けるために PruneFilters を修正します
    • [SPARK-47070] サブクエリの書き換え後の無効な集計を修正する
    • オペレーティング システムのセキュリティを更新。
  • 2024 年 3 月 14 日
    • [SPARK-47145][SQL] V2 戦略の行データ ソース スキャン exec にテーブル識別子を渡します。
    • [SPARK-47167][SQL] JDBC 匿名関係の具象クラスを追加する
    • [SPARK-47176][SQL] ResolveAllExpressionsUpWithPruning ヘルパー関数がある
    • [SPARK-47044][SQL] JDBC 外部データソースに対して実行されたクエリを追加して出力を説明する
    • [SPARK-47125][SQL] Univocity が解析をトリガーしない場合は null を返す
    • オペレーティング システムのセキュリティを更新。
  • 2024 年 2 月 29 日
    • MERGE コマンドでローカル コレクションをソースとして使用すると、操作メトリック numSourceRows が正しい行数の 2 倍になる問題を修正しました。
    • 定義された場所でスキーマを作成するには、ユーザーが ANY FILE に対する SELECT および MODIFY 権限を持っている必要があります。
    • オペレーティング システムのセキュリティを更新。
  • 2024 年 2 月 8 日
    • Unity カタログの具体化されたビューに対する変更データ フィード (CDF) クエリはサポートされていません。また、Unity カタログの具体化されたビューで CDF クエリを実行しようとするとエラーが返されます。 Unity カタログ ストリーミング テーブルは、Databricks Runtime 14.1 以降の AUTO 以外の CDC テーブルに対する CDF クエリをサポートします。 Databricks Runtime 14.0 以前の Unity カタログのストリーミング テーブルでは、CDF クエリはサポートされていません。
    • [SPARK-46794] LogicalRDD 制約からサブクエリを削除します。
    • [SPARK-46933] JDBCRDD を使用するコネクタにクエリ実行時間メトリックを追加します。
    • [SPARK-45582] 出力モード ストリーミング集計内でコミットを呼び出した後にストア インスタンスが使用されないようにします。
    • [SPARK-46396] タイムスタンプ推論では例外を発生させてはならない。
    • [SPARK-46861] DAGScheduler でのデッドロックを回避します。
    • [SPARK-46941] SizeBasedWindowFunction が含まれている場合、top-k 計算用のウィンドウ グループ制限ノードを挿入できません。
    • オペレーティング システムのセキュリティを更新。
  • 2024 年 1 月 31 日
    • [SPARK-46610] テーブル作成時、オプションでキーに対する値がない場合に例外をスローするようにします。
    • [SPARK-46383] TaskInfo.accumulables() の有効期間を短縮してドライバー ヒープの使用量を削減します。
    • [SPARK-46600] SqlConf と SqlApiConf の間の共有コードを SqlApiConfHelper に移動します。
    • [SPARK-46676] dropDuplicatesWithinWatermark はプランの正規化でエラーになってはなりません。
    • [SPARK-46763] 重複する属性での ReplaceDeduplicateWithAggregate のアサーション エラーを修正します。
    • オペレーティング システムのセキュリティを更新。
  • 2024 年 1 月 17 日
    • ブロードキャスト結合の一部であるシャッフル中にメモリ不足エラーが発生した場合に、shuffle フラグを追加するように、Photon クエリによって返される Explain プランの causedBroadcastJoinBuildOOM=true ノードが更新されます。
    • TLSv1.3 経由で通信するときの待機時間の増加を回避するために、このメンテナンス リリースには JDK バグ JDK-8293562 を修正するための JDK 8 インストールへのパッチが含まれています。
    • [SPARK-46058] privateKeyPassword に別のフラグを追加します。
    • [SPARK-46173] 日付解析中の trimAll 呼び出しをスキップします。
    • [SPARK-46370] 列の既定値を変更した後にテーブルからクエリを実行するときのバグを修正します。
    • [SPARK-46370] 列の既定値を変更した後にテーブルからクエリを実行するときのバグを修正します。
    • [SPARK-46370] 列の既定値を変更した後にテーブルからクエリを実行するときのバグを修正します。
    • [SPARK-46609] PartitioningPreservingUnaryExecNode での指数関数的な爆発を回避します。
    • [SPARK-46132] RPC SSL の JKS キーのキー パスワードをサポートします。
    • [SPARK-46602] ビュー/テーブルが存在しない場合に、ビューの作成時に allowExisting を伝達します。
    • [SPARK-46249] バックグラウンド操作との競合を防ぐために、RocksDB メトリックを取得するためのインスタンス ロックが必要です。
    • [SPARK-46417] hive.getTable を呼び出し、throwException が false の場合は失敗しません。
    • [SPARK-46538]ALSModel.transform におけるあいまいな列参照の問題を修正します。
    • [SPARK-46478] SPARK-43049 を元に戻して、文字列に oracle varchar(255) を使用します。
    • [SPARK-46250] test_parity_listener をフレーク解除します。
    • [SPARK-46394]spark.sql.legacy.keepCommandOutputSchema が true に設定されている場合に、特殊文字を持つスキーマでの spark.catalog.listDatabases() の問題を修正します。
    • [SPARK-46056] Parquet のベクトル化された読み取り NPE を byteArrayDecimalType の既定値で修正します。
    • [SPARK-46145] spark.catalog.listTables は、テーブルまたはビューが見つからないときに例外をスローしません。
    • [SPARK-46466] ベクトル化された Parquet リーダーは、timestamp ntz のリベースを行わない。
  • 2023 年 12 月 14 日
    • JDBC または ODBC クライアントからの getColumns 操作でエスケープされたアンダースコアが誤って処理され、ワイルドカードとして解釈される問題を修正しました。
    • [SPARK-45920] 序数によるグループはべき等である必要があります。
    • [SPARK-44582] SMJ がクリーンアップされた場合に、SMJ の反復子をスキップします。
    • [SPARK-45433] timestamp が、指定された timestampFormat と一致しない場合の CSV/JSON スキーマ推論を修正します。
    • [SPARK-45655] CollectMetrics の AggregateFunctions 内で非決定論的な式を許可します。
    • オペレーティング システムのセキュリティを更新。
  • 2023 年 11 月 29 日
    • PyArrow RCE の脆弱性を修復するために、新しいパッケージ pyarrow-hotfix をインストールしました。
    • spark-snowflake コネクタは 2.12.0 にアップグレードされます。
    • [SPARK-44846]RemoveRedundantAggregates の後の複雑なグループ化式を削除しました。
    • [SPARK-45544] SSL サポートを TransportContext に統合しました。
    • [SPARK-45892] オプティマイザー プランの検証をリファクタリングして、validateSchemaOutput と validateExprIdUniqueness を分離します。
    • [SPARK-45730]ReloadingX509TrustManagerSuite の時間制約を改善しました。
    • [SPARK-45859]ml.functions の UDF オブジェクトを遅延させました。
    • オペレーティング システムのセキュリティを更新。
  • 2023 年 11 月 10 日
    • Delta Lake ストリーミング クエリのパーティション フィルターは、使用率を向上させるためにレート制限の前にプッシュダウンされます。
    • Unity カタログ ストリーミング テーブルと具体化されたビューに対するデータ フィード クエリを変更し、エラー メッセージを表示しました。
    • [SPARK-45545]SparkTransportConf は作成時に SSLOptions を継承します。
    • [SPARK-45584]TakeOrderedAndProjectExec のサブクエリの実行エラーを修正しました。
    • [SPARK-45427] RPC SSL 設定を SSLOptions と SparkTransportConf に追加しました。
    • [SPARK-45541]SSLFactory を追加しました。
    • [SPARK-45430]FramelessOffsetWindowFunction は、IGNORE NULLS と offset > rowCount の場合に失敗しなくなりました。
    • [SPARK-45429] SSL RPC 通信用のヘルパー クラスを追加しました。
    • [SPARK-44219] 最適化の書き換えに関する規則ごとの検証を追加しました。
    • [SPARK-45543] 他のウィンドウ関数にランクに似た関数と同じウィンドウ フレームがない場合に、 InferWindowGroupLimit によって問題が発生する問題を修正しました。
    • オペレーティング システムのセキュリティを更新。
  • 2023 年 10 月 23 日
    • [SPARK-45256] 初期容量よりも多い値を書き込むと DurationWriter が失敗する問題を修正しました。
    • [SPARK-45419] より新しいバージョンのファイル バージョン マップ エントリを削除して、異なる rocksdb sst インスタンスで rocksdb ファイルが再利用されないようにします。
    • [SPARK-45426]ReloadingX509TrustManager のサポートを追加しました。
    • その他の修正。
  • 2023 年 10 月 13 日
    • Snowflake-jdbc 依存関係が 3.13.29 から 3.13.33 にアップグレードされました。
    • array_insert 関数では、負のインデックスは以前は 0 ベースでしたが、現在は、正と負のインデックスは 1 ベースです。 インデックス 1 の入力配列の最後に新しい要素を挿入するようになりました。 以前の動作を復元するには、spark.sql.legacy.negativeIndexInArrayInsert を true に設定します。
    • 自動ローダーを使用した CSV スキーマ推論中に ignoreCorruptFiles が有効になっている場合、破損したファイルが無視されない問題を修正しました。
    • "[SPARK-42946]" を元に戻します。
    • [SPARK-42205] タスクまたはステージ開始イベントの Accumulables ログを削除するように、JSON プロトコルを更新しました。
    • [SPARK-45178] ラッパーを使用するのではなく、サポートされていないソースを使って Trigger.AvailableNow の単一バッチを実行するようにフォールバックします。
    • [SPARK-45316] 新しいパラメーター ignoreCorruptFiles と ignoreMissingFiles を HadoopRDD と NewHadoopRDD に追加します。
    • [SPARK-44740] Artifacts のメタデータ値を修正しました。
    • [SPARK-45360] Spark セッション ビルダーの構成を SPARK_REMOTE から初期化しました。
    • [SPARK-44551] OSS と同期するようにコメントを編集しました。
    • [SPARK-45346] Parquet スキーマ推論では、スキーマをマージする際に、大文字と小文字が区別されるフラグが考慮されるようになりました。
    • [SPARK-44658]ShuffleStatus.getMapStatus は、None ではなく Some(null) を返すようになりました。
    • [SPARK-44840]array_insert() で負のインデックスを 1 ベースにしました。
  • 2023 年 9 月 14 日
    • [SPARK-44873] Hive クライアントで入れ子になった列を含む alter view のサポートを追加しました。
    • [SPARK-44878] キャッシュ完了時に挿入例外が発生しないように、RocksDB 書き込みマネージャーの厳密な制限を無効にしました。
  • 2023 年 8 月 30 日
    • dbutils cp コマンド (dbutils.fs.cp) は、より高速なコピー用に最適化されています。 この改善により、ファイル サイズに応じて、コピー操作の時間を最大 100 分の 1 に短縮することができます。 この機能は、Unity Catalog Volumes と DBFS マウントを含め、Databricks でアクセスできるすべてのクラウドとファイル システムで使用できます。
    • [SPARK-44455]SHOW CREATE TABLE 結果のバッククォートを含む識別子を引用符で囲みます。
    • [SPARK-44763] 間隔付きの二項演算で文字列が double として表示される問題を修正しました。
    • [SPARK-44871]percentile_disc の動作を修正しました。
    • [SPARK-44714] クエリに関する LCA 解決の制限を緩和します。
    • [SPARK-44818]taskThread の初期化前に発行された保留中のタスク割り込みの競合を修正しました。
    • [SPARK-44505] DSv2 のスキャンにおけるカラムサポートのためのオーバーライドを追加しました。
    • [SPARK-44479] 空の構造体型からの protobuf 変換を修正しました。
    • [SPARK-44718]ColumnVector メモリモード構成の既定値を OffHeapMemoryMode 構成値に一致させます。
    • [SPARK-42941] Python で StreamingQueryListener のサポートを追加しました。
    • [SPARK-44558] PySpark の Spark Connect ログ レベルをエクスポートします。
    • [SPARK-44464] 最初の列値として Null を持つ出力行に対する applyInPandasWithStatePythonRunner を修正しました。
    • [SPARK-44643] フィールドが空の行の場合の Row.__repr__ を修正しました。
    • オペレーティング システムのセキュリティを更新。

Databricks Runtime 9.1 LTS

  • 2025 年 4 月 9 日
    • オペレーティング システムのセキュリティを更新。
  • 2025 年 3 月 11 日
    • オペレーティング システムのセキュリティを更新。
  • 2025 年 2 月 11 日
    • オペレーティング システムのセキュリティを更新。
  • 2024 年 12 月 10 日
    • オペレーティング システムのセキュリティを更新。
  • 2024 年 11 月 26 日
    • オペレーティング システムのセキュリティを更新。
  • 2024 年 11 月 5 日
    • オペレーティング システムのセキュリティを更新。
  • 2024 年 10 月 22 日
    • オペレーティング システムのセキュリティを更新。
  • 2024 年 10 月 10 日
    • オペレーティング システムのセキュリティを更新。
  • 2024 年 9 月 25 日
    • [SPARK-49000][SQL]RewriteDistinctAggregates を展開して、t が空のテーブルである "select count(distinct 1) from t" を修正しました
    • オペレーティング システムのセキュリティを更新。
  • 2024 年 9 月 6 日
    • オペレーティング システムのセキュリティを更新。
  • 2024 年 8 月 29 日
    • [SPARK-49065][SQL] レガシ フォーマッタ/パーサーのリベースは、JVM 以外のデフォルト タイム ゾーンをサポートする必要があります
  • 2024 年 8 月 14 日
  • 2024 年 8 月 1 日
    • オペレーティング システムのセキュリティを更新。
  • 2024 年 7 月 11 日
    • オペレーティング システムのセキュリティを更新。
  • 2024 年 6 月 17 日
    • オペレーティング システムのセキュリティを更新。
  • 2024 年 5 月 21 日
    • [SPARK-48105][SS] 状態ストアのアンロードとスナップショット処理の間の競合状態を修正する
    • オペレーティング システムのセキュリティを更新。
  • 2024 年 5 月 9 日
    • [SPARK-47973][CORE] SparkContext.stop() と SparkContext.assertNotStopped() 内で呼び出し元をログに記録する
    • [SPARK-44251][SQL] 完全外部 USING 結合の結合キーに null 許容を正しく設定する
    • オペレーティング システムのセキュリティを更新。
  • 2024 年 4 月 25 日
    • 各種のバグ修正。
  • 2024 年 4 月 11 日
    • オペレーティング システムのセキュリティを更新。
  • 2024 年 4 月 1 日
    • "[SPARK-46861][CORE] DAGScheduler でのデッドロックを回避する" を取り消す
    • オペレーティング システムのセキュリティを更新。
  • 2024 年 3 月 14 日
    • オペレーティング システムのセキュリティを更新。
  • 2024 年 2 月 29 日
    • MERGE コマンドでローカル コレクションをソースとして使用すると、操作メトリック numSourceRows が正しい行数の 2 倍になる問題を修正しました。
    • オペレーティング システムのセキュリティを更新。
  • 2024 年 2 月 13 日
    • [SPARK-46861] DAGScheduler でのデッドロックを回避します。
    • オペレーティング システムのセキュリティを更新。
  • 2024 年 1 月 31 日
    • オペレーティング システムのセキュリティを更新。
  • 2023 年 12 月 25 日
    • TLSv1.3 経由で通信するときの待機時間の増加を回避するために、このメンテナンス リリースには JDK バグ JDK-8293562 を修正するための JDK 8 インストールへのパッチが含まれています。
    • [SPARK-46058] privateKeyPassword に別のフラグを追加します。
    • [SPARK-39440] イベント タイムラインを無効にする構成を追加します。
    • [SPARK-46132] RPC SSL の JKS キーのキー パスワードをサポートします。
  • 2023 年 12 月 14 日
    • オペレーティング システムのセキュリティを更新。
  • 2023 年 11 月 29 日
    • PyArrow RCE の脆弱性を修復するために、新しいパッケージ pyarrow-hotfix をインストールしました。
    • [SPARK-45859]ml.functions の UDF オブジェクトを遅延させました。
    • [SPARK-45544] SSL サポートを TransportContext に統合しました。
    • [SPARK-45730]ReloadingX509TrustManagerSuite の時間制約を改善しました。
    • オペレーティング システムのセキュリティを更新。
  • 2023 年 11 月 14 日
    • [SPARK-45545]SparkTransportConf は作成時に SSLOptions を継承します。
    • [SPARK-45429] SSL RPC 通信用のヘルパー クラスを追加しました。
    • [SPARK-45427] RPC SSL 設定を SSLOptions と SparkTransportConf に追加しました。
    • [SPARK-45584]TakeOrderedAndProjectExec のサブクエリの実行エラーを修正しました。
    • [SPARK-45541]SSLFactory を追加しました。
    • [SPARK-42205] ステージおよびタスクの開始イベントの蓄積されたログ記録を削除しました。
    • オペレーティング システムのセキュリティを更新。
  • 2023 年 10 月 24 日
    • [SPARK-45426]ReloadingX509TrustManager のサポートを追加しました。
    • オペレーティング システムのセキュリティを更新。
  • 2023 年 10 月 13 日
    • オペレーティング システムのセキュリティを更新。
  • 2023 年 9 月 10 日
    • その他の修正。
  • 2023 年 8 月 30 日
    • オペレーティング システムのセキュリティを更新。
  • 2023 年 8 月 15 日
    • オペレーティング システムのセキュリティを更新。
  • 2023 年 6 月 23 日
    • snowflake-jdbc ライブラリはセキュリティの問題に対処するために 3.13.29 にアップグレードされます。
    • オペレーティング システムのセキュリティを更新。
  • 2023 年 6 月 15 日
    • [SPARK-43098] スカラー サブクエリに group by 句がある場合の COUNT の正確性のバグを修正します。
    • [SPARK-43156][SPARK-43098]decorrelateInnerQuery を無効にしてスカラー サブクエリ数のバグ テストを拡張します。
    • [SPARK-40862] RewriteCorrelatedScalarSubquery で集計されていないサブクエリをサポートします。
    • オペレーティング システムのセキュリティを更新。
  • 2023 年 6 月 2 日
    • failOnUnknownFields モードの JSON パーサーは、DROPMALFORMED モードでレコードを削除し、FAILFAST モードで直接失敗します。
    • UnknownFieldException を防ぐために JSON で復旧されたデータ解析の問題を修正しました。
    • 指定されたスキーマに推論されたパーティションが含まれていなかったため、異なるソース ファイル形式に一貫性がなかった自動ローダーの問題を修正しました。 この問題により、推論されたパーティション スキーマに列がないファイルの読み取り時に予期しない失敗が発生していた可能性があります。
    • [SPARK-37520]startswith() および endswith() 文字列関数を追加する
    • [SPARK-43413]IN サブクエリの ListQuery NULL 値の許容を修正しました。
    • オペレーティング システムのセキュリティを更新。
  • 2023 年 5 月 17 日
    • オペレーティング システムのセキュリティを更新。
  • 2023 年 4 月 25 日
    • オペレーティング システムのセキュリティを更新。
  • 2023 年 4 月 11 日
    • 入れ子になった JSON オブジェクトのスキーマで新しい列が検出されると、自動ローダー スキーマの展開が無限の失敗ループに入る可能性がある問題を修正しました。
    • [SPARK-42967] ステージが取り消された後にタスクが開始されたときの SparkListenerTaskStart.stageAttemptId を修正します。
  • 2023 年 3 月 29 日
    • オペレーティング システムのセキュリティを更新。
  • 2023 年 3 月 14 日
    • [SPARK-42484]UnsafeRowUtils のエラー メッセージを改善しました。
    • その他の修正。
  • 2023 年 2 月 28 日
    • ユーザーは Databricks Runtime 9.1 LTS 以降を使用して、Reader バージョン 3 と Writer バージョン 7 を必要とする特定の Delta テーブルの読み取りと書き込みができるようになりました。 成功するには、テーブルのプロトコルに記載されているテーブル機能が、Databricks Runtime の現在のバージョンでサポートされている必要があります。
    • オペレーティング システムのセキュリティを更新。
  • 2023 年 2 月 16 日
    • オペレーティング システムのセキュリティを更新。
  • 2023 年 1 月 31 日
    • JDBC テーブルのテーブルの種類が既定では EXTERNAL になりました。
  • 2023 年 1 月 18 日
    • オペレーティング システムのセキュリティを更新。
  • 2022 年 11 月 29 日
    • すべての列が文字列として残され (cloudFiles.inferColumnTypes が設定されていないか、false に設定されている)、JSON に入れ子になったオブジェクトが含まれている場合の、自動ローダーでの JSON 解析の問題を修正しました。
    • オペレーティング システムのセキュリティを更新。
  • 2022 年 11 月 15 日
    • Apache commons-text を 1.10.0 にアップグレードしました。
    • オペレーティング システムのセキュリティを更新。
    • その他の修正。
  • 2022 年 11 月 1 日
    • Delta テーブルに _change_type という名前のユーザー定義列があるが、そのテーブルで変更データ フィードが無効になっている場合、その列のデータが MERGE の実行時に NULL 値で誤って入力される問題を修正しました。
    • allowOverwrites が有効になっている場合に、同じマイクロバッチでファイルを複製できる自動ローダーの問題を修正しました
    • [SPARK-40596] ExecutorDecommission に ExecutorDecommissionInfo のメッセージを設定する
    • オペレーティング システムのセキュリティを更新。
  • 2022 年 10 月 18 日
    • オペレーティング システムのセキュリティを更新。
  • 2022 年 10 月 5 日
    • その他の修正。
    • オペレーティング システムのセキュリティを更新。
  • 2022 年 9 月 22 日
    • ユーザーは spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") を設定して、ADLS 上の自動ローダーの組み込みリストを再度有効にすることができます。 組み込みリストは、以前はパフォーマンスの問題のために無効にされていましたが、顧客のストレージ コストの増加につながっている可能性があります。
    • [SPARK-40315] ArrayBasedMapData のリテラルに hashCode() を追加する
    • [SPARK-40089] 一部の Decimal 型の並べ替えを修正する
    • [SPARK-39887] RemoveRedundantAliases は、プロジェクション ノードの出力を一意にするエイリアスを保持する必要がある
  • 2022 年 9 月 6 日
    • [SPARK-40235] Executor.updateDependencies() で同期ではなく割り込み可能なロックを使用する
    • [SPARK-35542] 修正: パラメーター splitsArray、inputCols、outputCols を指定して複数の列に対して作成された Bucketizer を保存後に読み込めない
    • [SPARK-40079] 空の入力ケースに対する Imputer inputCols 検証を追加
  • 2022 年 8 月 24 日
    • [SPARK-39666] UnsafeProjection.create を使用して ExpressionEncoder で spark.sql.codegen.factoryMode を考慮する
    • [SPARK-39962] グループ属性が空の場合にプロジェクションを適用する
    • オペレーティング システムのセキュリティを更新。
  • 2022 年 8 月 9 日
    • オペレーティング システムのセキュリティを更新。
  • 2022 年 7 月 27 日
    • ソースが決定論的でない場合は、Delta MERGE 操作の結果を一貫性のあるものにします。
    • [SPARK-39689] CSV データ ソースでの 2 文字の lineSep のサポート
    • [SPARK-39575]ByteBuffer#rewind で ByteBuffer#get の後に AvroDeserializer を追加しました。
    • [SPARK-37392] カタリスト オプティマイザーのパフォーマンス エラーを修正しました。
    • オペレーティング システムのセキュリティを更新。
  • 2022 年 7 月 13 日
    • [SPARK-39419]ArraySort で、比較子が null を返すときに例外がスローされます。
    • Azureのディレクトリ一覧に対する自動ローダーによる組み込みのクラウド API の使用を無効にしました。
    • オペレーティング システムのセキュリティを更新。
  • 2022 年 7 月 5 日
    • オペレーティング システムのセキュリティを更新。
    • その他の修正。
  • 2022 年 6 月 15 日
    • [SPARK-39283]TaskMemoryManager と UnsafeExternalSorter.SpillableIterator の間のデッドロックを修正します。
  • 2022 年 6 月 2 日
    • [SPARK-34554]copy() で ColumnarMap メソッドを実装します。
    • オペレーティング システムのセキュリティを更新。
  • 2022 年 5 月 18 日
    • 自動ローダーで組み込みメモリ リークが発生する可能性がある問題を修正しました。
    • AWS SDK のバージョンを 1.11.655 から 1.11.678 にアップグレードします。
    • [SPARK-38918] 入れ子になった列の排除で、現在のリレーションシップに属していない属性を除外する必要がある
    • [SPARK-39084]df.rdd.isEmpty() を使用してタスクの完了時に反復子を停止して TaskContext を修正する
    • オペレーティング システムのセキュリティを更新。
  • 2022 年 4 月 19 日
    • オペレーティング システムのセキュリティを更新。
    • その他の修正。
  • 2022 年 4 月 6 日
    • [SPARK-38631] Utils.unpack でのターリング解除にJavaベースの実装を使用します。
    • オペレーティング システムのセキュリティを更新。
  • 2022 年 3 月 22 日
    • テーブル アクセス制御または資格情報パススルーをユーザーのホーム ディレクトリに対して有効にして、高コンカレンシー クラスター上のノートブックの現在の作業ディレクトリを変更しました。 以前は、アクティブ ディレクトリは /databricks/driver でした。
    • [SPARK-38437] データソースからの datetime の厳密ではないシリアル化
    • [SPARK-38180] 相関等価述語で安全なアップキャスト式を許可する
    • [SPARK-38155] サポートされていない述語を持つ lateral サブクエリの個別の集計を禁止する
    • [SPARK-27442] Parquet でのデータの読み取りまたは書き込み時のチェック フィールドを削除しました。
  • 2022 年 3 月 14 日
    • [SPARK-38236] テーブルの作成/変更時に指定される絶対ファイル パスが相対パスとして扱われる
    • [SPARK-34069] ローカル プロパティ SPARK_JOB_INTERRUPT_ON_CANCEL が true に設定されている場合、タスク スレッドを中断します。
  • 2022 年 2 月 23 日
    • [SPARK-37859] Spark 3.1 を使用して JDBC で作成された SQL テーブルを Spark 3.2 で読み取れません。
  • 2022 年 2 月 8 日
    • [SPARK-27442] Parquet でのデータの読み取りまたは書き込み時のチェック フィールドを削除しました。
    • オペレーティング システムのセキュリティを更新。
  • 2022 年 2 月 1 日
    • オペレーティング システムのセキュリティを更新。
  • 2022 年 1 月 26 日
    • 特定のまれな条件下で、Delta テーブルの同時実行トランザクションがシリアル化できない順序でコミットされる可能性がある問題を修正しました。
    • ANSI SQL 言語が有効になっていると OPTIMIZE コマンドが失敗する可能性がある問題を修正しました。
  • 2022 年 1 月 19 日
    • 軽微な修正とセキュリティの強化。
    • オペレーティング システムのセキュリティを更新。
  • 2021 年 11 月 4 日
    • ArrayIndexOutOfBoundsException で構造化ストリーミング ストリームが失敗する可能性がある問題を修正しました。
    • java.io.IOException: No FileSystem for scheme のような IOException を伴うクエリエラーが発生する可能性のある競合状態や、sparkContext.hadoopConfiguration に対する変更がクエリに反映されなくなる可能性のある競合状態を修正。
    • Delta Sharing 用の Apache Spark コネクタを 0.2.0 にアップグレード。
  • 2021 年 10 月 20 日
    • BigQuery コネクタを 0.18.1 から 0.22.2 にアップグレード。 これにより、BigNumeric 型のサポートが追加されます。
  • Last updated on