Databricks Runtime メンテナンス更新プログラム

  • [アーティクル]

この記事では、サポートされている Databricks Runtime バージョンのメンテナンス更新プログラムの一覧を示します。 既存のクラスターにメンテナンス更新プログラムを追加するには、クラスターを再起動します。 サポートされている Databricks Runtime バージョンのメンテナンス更新プログラムについては、「Databricks Runtime のメンテナンス更新プログラム (アーカイブ済み)」を参照してください。

Note

リリースは段階的に行われます。 Azure Databricks アカウントは、最初のリリース日から数日間更新されない場合があります。

Databricks Runtime リリース

リリース別のメンテナンス更新プログラム:

Databricks Runtime 15.0

「Databricks Runtime 15.0」を参照してください。

  • 2024 年 4 月 3 日
    • (動作変更) さまざまなコンピューティングの種類で一貫した動作を確保するために、共有クラスター上の PySpark UDF は、非分離クラスターと割り当てられたクラスター上の UDF の動作と一致するようになりました。 この更新プログラムには、既存のコードを中断する可能性がある次の変更が含まれています。
      • 戻り値の型が string である UDF は、非 string 値を string 値に暗黙的には変換しなくなりました。 以前は、戻り値の型が str である UDF は、戻り値の実際のデータ型に関係なく、戻り値を str() 関数でラップしていました。
      • 戻り値の型が timestamp である UDF は、timezone を持つ timestamp への変換を暗黙的には適用しなくなりました。
      • Spark クラスター構成 spark.databricks.sql.externalUDF.* は、共有クラスター上の PySpark UDF には適用されなくなりました。
      • Spark クラスター構成 spark.databricks.safespark.externalUDF.plan.limit は、PySpark UDF には影響を与えなくなり、クエリあたり 5 個の UDF という PySpark UDF でのパブリック プレビュー制限が削除されました。
      • Spark クラスター構成 spark.databricks.safespark.sandbox.size.default.mib は、共有クラスター上の PySpark UDF には適用されなくなりました。 代わりに、システム上の使用可能なメモリが使用されます。 PySpark UDF のメモリを制限するには、最小値を 100m にして spark.databricks.pyspark.udf.isolation.memoryLimit を使用します。
    • TimestampNTZ データ型は、リキッド クラスタリングを使用するクラスタリング列としてサポートされるようになりました。 詳しくは、「Delta テーブルにリキッド クラスタリングを使用する」をご覧ください。
    • [SPARK-47218][SQL] XML: XML トークナイザーのコメントされた行タグを無視します
    • [SPARK-46990][SQL] イベントハブによって出力される空の Avro ファイルが読み込まれる問題を修正します
    • [SPARK-47033][SQL] EXECUTE IMMEDIATE USING でセッション変数名が認識されない問題を修正します
    • [SPARK-47368][SQL] ParquetRowConverter の inferTimestampNTZ 構成チェックを削除します
    • [SPARK-47561][SQL] エイリアスに関するアナライザー ルールの順序の問題を修正します
    • [SPARK-47638][PS][CONNECT] PS での列名の検証をスキップします
    • [BACKPORT][[SPARK-46906]]https://issues.apache.org/jira/browse/SPARK-46906)[SS] ストリーミングのステートフル演算子の変更のチェックを追加します
    • [SPARK-47569][SQL] バリアントの比較が禁止します
    • [SPARK-47241][SQL] ExtractGenerator のルールの順序の問題を修正します
    • [SPARK-47218] [SQL] XML: DROPMALFORMED モードで SchemaOfXml が失敗するように変更されました
    • [SPARK-47300][SQL] quoteIfNeeded は数字で始まる識別子を引用符で囲む必要があります
    • [SPARK-47009][SQL][Collation] 照合順序のテーブル作成のサポートを有効にします
    • [SPARK-47322][PYTHON][CONNECT] withColumnsRenamed 列名の重複処理を withColumnRenamed と整合させます
    • [SPARK-47544][PYTHON] SparkSession ビルダー メソッドが Visual Studio Code の Intellisense と互換性がありません
    • [SPARK-47511][SQL] ID を再割り当てすることで式で正規化します
    • [SPARK-47385] オプション入力を使用してタプル エンコーダーを修正します
    • [SPARK-47200][SS] Foreach バッチ シンクユーザー関数エラーのエラー クラス
    • [SPARK-47135][SS] Kafka データ損失例外のエラー クラスを実装します
    • [SPARK-38708][SQL] Hive メタストア クライアントを Hive 3.1 用の 3.1.3 にアップグレードします
    • [SPARK-47305][SQL] プランにバッチとストリーミングの両方がある場合に LocalRelation の isStreaming フラグに正しくタグを付けるために PruneFilters を修正します
    • [SPARK-47380][CONNECT] SparkSession が同じであることをサーバー側で確認します
    • オペレーティング システムのセキュリティを更新。

Databricks Runtime 14.3

「Databricks Runtime 14.3 LTS」をご覧ください。

  • 2024 年 4 月 6 日
    • (動作変更) さまざまなコンピューティングの種類で一貫した動作を確保するために、共有クラスター上の PySpark UDF は、非分離クラスターと割り当てられたクラスター上の UDF の動作と一致するようになりました。 この更新プログラムには、既存のコードを中断する可能性がある次の変更が含まれています。
      • 戻り値の型が string である UDF は、非 string 値を string 値に暗黙的には変換しなくなりました。 以前は、戻り値の型が str である UDF は、戻り値の実際のデータ型に関係なく、戻り値を str() 関数でラップしていました。
      • 戻り値の型が timestamp である UDF は、timezone を持つ timestamp への変換を暗黙的には適用しなくなりました。
      • Spark クラスター構成 spark.databricks.sql.externalUDF.* は、共有クラスター上の PySpark UDF には適用されなくなりました。
      • Spark クラスター構成 spark.databricks.safespark.externalUDF.plan.limit は、PySpark UDF には影響を与えなくなり、クエリあたり 5 個の UDF という PySpark UDF でのパブリック プレビュー制限が削除されました。
      • Spark クラスター構成 spark.databricks.safespark.sandbox.size.default.mib は、共有クラスター上の PySpark UDF には適用されなくなりました。 代わりに、システム上の使用可能なメモリが使用されます。 PySpark UDF のメモリを制限するには、最小値を 100m にして spark.databricks.pyspark.udf.isolation.memoryLimit を使用します。
    • TimestampNTZ データ型は、リキッド クラスタリングを使用するクラスタリング列としてサポートされるようになりました。 詳しくは、「Delta テーブルにリキッド クラスタリングを使用する」をご覧ください。
    • [SPARK-47511][SQL] ID を再割り当てすることで式で正規化します
    • [SPARK-47509][SQL] ラムダ関数と上位関数のサブクエリ式をブロックします
    • [SPARK-46990][SQL] イベントハブによって出力される空の Avro ファイルが読み込まれる問題を修正します
    • [SPARK-47638][PS][CONNECT] PS での列名の検証をスキップします
    • オペレーティング システムのセキュリティを更新。
  • 2024 年 1 月 3 日
    • [SPARK-46933] JDBCRDD を使用するコネクタにクエリ実行時間メトリックを追加します。
    • [SPARK-46763] 重複する属性での ReplaceDeduplicateWithAggregate のアサーション エラーを修正します。
    • [SPARK-46954] XML: InputStreamReader を BufferedReader でラップします。
    • [SPARK-46655]DataFrame メソッドでのクエリ コンテキストのキャッチをスキップします。
    • [SPARK-44815] 余分な RPC を回避するために df.schema をキャッシュします。
    • [SPARK-46952] XML: 破損したレコードのサイズを制限します。
    • [SPARK-46794] LogicalRDD 制約からサブクエリを削除します。
    • [SPARK-46736] protobuf コネクタに空のメッセージ フィールドを保持します。
    • [SPARK-45182] チェックサムで確定された親の不確定ステージを再試行した後で、古いステージからのタスクの完了を無視します。
    • [SPARK-46414] prependBaseUri を使用して javascript インポートをレンダリングします。
    • [SPARK-46383]TaskInfo.accumulables() の有効期間を短縮してドライバー ヒープの使用量を削減します。
    • [SPARK-46861] DAGScheduler でのデッドロックを回避します。
    • [SPARK-46954] XML: スキーマ インデックスの検索を最適化します。
    • [SPARK-46676] dropDuplicatesWithinWatermark はプランの正規化でエラーになってはなりません。
    • [SPARK-46644] isZero を使用するように SQLMetric の add と merge を変更します。
    • [SPARK-46731] 状態データ ソース - リーダーによって状態ストア プロバイダー インスタンスを管理します。
    • [SPARK-46677]dataframe["*"] の解像度を修正します。
    • [SPARK-46610] テーブルを作成すると、オプション内のキーの値がない場合に例外がスローされます。
    • [SPARK-46941] SizeBasedWindowFunction が含まれている場合、上位 k の計算にウィンドウ グループ制限ノードを挿入できません。
    • [SPARK-45433] timestamp が、指定された timestampFormat と一致しない場合の CSV/JSON スキーマ推論を修正します。
    • [SPARK-46930] Avro で共用体型フィールドのカスタム プレフィックスのサポートを追加します。
    • [SPARK-46227] 14.3 へのバックポート。
    • [SPARK-46822] jdbc で jdbc 型を Catalyst 型にキャストする場合は、spark.sql.legacy.charVarcharAsString に従います。
    • オペレーティング システムのセキュリティを更新。

Databricks Runtime 14.2

「Databricks Runtime 14.2」を参照してください。

  • 2024 年 4 月 9 日
    • なし
    • [SPARK-47309][SQL][XML] スキーマ推論の単体テストを追加します
    • [SPARK-46990][SQL] イベントハブによって出力される空の Avro ファイルが読み込まれる問題を修正します
    • [SPARK-47638][PS][CONNECT] PS での列名の検証をスキップします
    • [SPARK-47509][SQL] ラムダ関数と上位関数のサブクエリ式をブロックします
    • [SPARK-38708][SQL] Hive メタストア クライアントを Hive 3.1 用の 3.1.3 にアップグレードします
    • オペレーティング システムのセキュリティを更新。
  • 2024 年 2 月 8 日
    • Unity カタログの具体化されたビューに対する変更データ フィード (CDF) クエリはサポートされていません。また、Unity カタログの具体化されたビューで CDF クエリを実行しようとするとエラーが返されます。 Unity カタログのストリーミング テーブルは、Databricks Runtime 14.1 以降の 非 APPLY CHANGES テーブルに対する CDF クエリをサポートします。 Databricks Runtime 14.0 以前の Unity カタログのストリーミング テーブルでは、CDF クエリはサポートされていません。
    • [SPARK-46930] Avro で共用体型フィールドのカスタム プレフィックスのサポートを追加します。
    • [SPARK-46822] jdbc で jdbc 型を Catalyst 型にキャストする場合は、spark.sql.legacy.charVarcharAsString に従います。
    • [SPARK-46952] XML: 破損したレコードのサイズを制限します。
    • [SPARK-46644] isZero を使用するように SQLMetric の add と merge を変更します。
    • [SPARK-46861] DAGScheduler でのデッドロックを回避します。
    • [SPARK-46794] LogicalRDD 制約からサブクエリを削除します。
    • [SPARK-46941] SizeBasedWindowFunction が含まれている場合、上位 k の計算にウィンドウ グループ制限ノードを挿入できません。
    • [SPARK-46933] JDBCRDD を使用するコネクタにクエリ実行時間メトリックを追加します。
    • オペレーティング システムのセキュリティを更新。
  • 2024 年 1 月 31 日
    • [SPARK-46382] XML: ignoreSurroundingSpacesのドキュメントを更新します。
    • [SPARK-46382] XML: 要素間に点在する値をキャプチャします。
    • [SPARK-46763] 重複する属性での ReplaceDeduplicateWithAggregate のアサーション エラーを修正します。
    • 「[SPARK-46769] タイムスタンプ関連のスキーマ推論を調整します」を元に戻します。
    • [SPARK-46677]dataframe["*"] の解像度を修正します。
    • [SPARK-46382] XML: ignoreSurroundingSpaces の既定値を true にします。
    • [SPARK-46633] 長さゼロのブロックを処理するように Avro リーダーを修正します。
    • [SPARK-45964] Catalyst パッケージの下の XML および JSON パッケージのプライベート SQL アクセサーを削除します。
    • [SPARK-46581] AccumulatorV2 の isZero に関するコメントを更新します。
    • [SPARK-45912] XSDToSchema API の機能強化: クラウド ストレージ アクセシビリティの HDFS API に変更します。
    • [SPARK-45182] チェックサムで確定された親の不確定ステージを再試行した後で、古いステージからのタスクの完了を無視します。
    • [SPARK-46660] ReattachExecute 要求によって SessionHolder の有効性が更新されます。
    • [SPARK-46610] テーブルを作成すると、オプション内のキーの値がない場合に例外がスローされます。
    • [SPARK-46383]TaskInfo.accumulables() の有効期間を短縮してドライバー ヒープの使用量を削減します。
    • [SPARK-46769] タイムスタンプ関連のスキーマ推論を調整します。
    • [SPARK-46684] 引数を正しく渡すように CoGroup.applyInPandas/Arrow を修正します。
    • [SPARK-46676] dropDuplicatesWithinWatermark はプランの正規化でエラーになってはなりません。
    • [SPARK-45962]treatEmptyValuesAsNulls を削除し、XML で代わりに nullValue オプションを使用します。
    • [SPARK-46541] 自己結合におけるあいまいな列参照を修正します。
    • [SPARK-46599] XML: 互換性チェックに TypeCoercion.findTightestCommonType を使用します。
    • オペレーティング システムのセキュリティを更新。
  • 2024 年 1 月 17 日
    • Photon クエリによって返される Explain プランの shuffle ノードは、ブロードキャスト結合の一部であるシャッフル中にメモリ不足エラーが発生した場合に、causedBroadcastJoinBuildOOM=true フラグを追加するように更新されます。
    • TLSv1.3 経由で通信するときの待機時間の増加を回避するために、このメンテナンス リリースには JDK バグ JDK-8293562 を修正するための JDK 8 インストールへのパッチが含まれています。
    • [SPARK-46261]DataFrame.withColumnsRenamed では、dict/map の順序を維持する必要があります。
    • [SPARK-46538]ALSModel.transform におけるあいまいな列参照の問題を修正します。
    • [SPARK-46145] spark.catalog.listTables は、テーブルまたはビューが見つからないときに例外をスローしません。
    • [SPARK-46484]resolveOperators ヘルパー関数でプラン ID が保持されるようにします。
    • [SPARK-46394]spark.sql.legacy.keepCommandOutputSchema が true に設定されている場合に、特殊文字を持つスキーマでの spark.catalog.listDatabases() の問題を修正します。
    • [SPARK-46609] PartitioningPreservingUnaryExecNode での指数関数的な爆発を回避します。
    • [SPARK-46446] 正確性のバグを修正するため、相関 OFFSET を持つサブクエリを無効にします。
    • [SPARK-46152] XML: XML スキーマ推論で DecimalType のサポートを追加します。
    • [SPARK-46602] ビュー/テーブルが存在しない場合に、ビューの作成時に allowExisting を伝達します。
    • [SPARK-45814] メモリ リークを回避するため、ArrowConverters.createEmptyArrowBatch で close() を呼び出すようにします。
    • [SPARK-46058] privateKeyPassword に別のフラグを追加します。
    • [SPARK-46132] RPC SSL の JKS キーのキー パスワードをサポートします。
    • [SPARK-46600] SqlConf と SqlApiConf の間の共有コードを SqlApiConfHelper に移動します。
    • [SPARK-46478] SPARK-43049 を元に戻して、文字列に oracle varchar(255) を使用します。
    • [SPARK-46417] hive.getTable を呼び出し、throwException が false の場合は失敗しません。
    • [SPARK-46153] XML: TimestampNTZType のサポートを追加します。
    • [BACKPORT][[SPARK-46056]]https://issues.apache.org/jira/browse/SPARK-46056) Parquet のベクトル化された読み取り NPE を byteArrayDecimalType の既定値で修正します。
    • [SPARK-46466] ベクトル化された Parquet 閲覧者は、timestamp ntz のリベースを実行しないでください。
    • [SPARK-46260]DataFrame.withColumnsRenamed は dict の順序を尊重する必要があります。
    • [SPARK-46036] raise_error 関数から error-class を削除します。
    • [SPARK-46294] init とゼロ値のセマンティクスをクリーンアップします。
    • [SPARK-46173] 日付解析中の trimAll 呼び出しをスキップします。
    • [SPARK-46250] test_parity_listener をフレーク解除します。
    • [SPARK-46587] XML: XSD の大きな整数変換を修正します。
    • [SPARK-46396] timestamp 推論では例外をスローしてはいけません。
    • [SPARK-46241] 無限再帰に陥らないようにエラー処理ルーチンを修正します。
    • [SPARK-46355] XML: 読み取り完了時に InputStreamReader を閉じます。
    • [SPARK-46370] 列の既定値を変更した後にテーブルからクエリを実行するときのバグを修正します。
    • [SPARK-46265] AddArtifact RPC のアサーションにより、接続クライアントは以前のクラスターと互換性がなくなります。
    • [SPARK-46308 再帰エラー処理を禁止します。
    • [SPARK-46337]CTESubstitution で PLAN_ID_TAG を保持するようにします。
  • 2023 年 12 月 14 日
    • [SPARK-46141] spark.sql.legacy.ctePrecedencePolicy の既定値を CORRECTED に変更します。
    • [SPARK-45730] ReloadingX509TrustManagerSuite の不安定さを軽減します。
    • [SPARK-45852] ログ記録中の再帰エラーを適切に処理します。
    • [SPARK-45808] SQL 例外のエラー処理が改善されました。
    • [SPARK-45920] 序数によるグループはべき等である必要があります。
    • "[SPARK-45649]OffsetWindowFunctionFrame の準備フレームワークを統合します" を元に戻します。
    • [SPARK-45733] 複数の再試行ポリシーをサポートします。
    • [SPARK-45509] Spark Connect の df 列参照動作を修正します。
    • [SPARK-45655] CollectMetrics の AggregateFunctions 内で非決定論的な式を許可します。
    • [SPARK-45905] 10 進型の間で最も一般的でない型では、整数桁が最初に保持される必要があります。
    • [SPARK-45136] Ammonite のサポートで ClosureCleaner を強化します。
    • [SPARK-46255] 複合型 -> 文字列変換をサポートします。
    • [SPARK-45859] ml.functions で UDF オブジェクトを遅延させます。
    • [SPARK-46028]Column.__getitem__ が入力列を受け入れるようにします。
    • [SPARK-45798] サーバー側のセッション ID をアサートします。
    • [SPARK-45892] オプティマイザー プランの検証をリファクタリングして、validateSchemaOutput と validateExprIdUniqueness を分離します。
    • [SPARK-45844] XML の大文字と小文字の区別を実装します。
    • [SPARK-45770]Dataframe.drop のプラン DataFrameDropColumns を導入します。
    • [SPARK-44790] XML: Python、connect、SQL の to_xml 実装とバインディング。
    • [SPARK-45851] scala クライアントで複数のポリシーをサポートします。
    • オペレーティング システムのセキュリティを更新。
  • 2023 年 11 月 29 日
    • PyArrow RCE の脆弱性を修復するために、新しいパッケージ pyarrow-hotfix をインストールしました。
    • JDBC または ODBC クライアントからの getColumns 操作でエスケープされたアンダースコアがワイルドカードとして誤って解釈される問題を修正しました。
    • [SPARK-45730]ReloadingX509TrustManagerSuite の時間制約を改善しました。
    • [SPARK-45852] Spark Connect 用 Python クライアントで、テキスト変換中に再帰エラーがキャッチされるようになりました。
    • [SPARK-45808] SQL 例外のエラー処理を改善しました。
    • [SPARK-45920]GROUP BY 序数で序数を置き換えられません。
    • [SPARK-45649] を元に戻します。
    • [SPARK-45733] 複数の再試行ポリシーのサポートを追加しました。
    • [SPARK-45509] Spark Connect の df 列参照動作を修正しました。
    • [SPARK-45655]CollectMetrics の AggregateFunctions 内で非決定論的な式を許可します。
    • [SPARK-45905] 10 進型間で最も一般的な型では、最初に整数桁が保持されるようになりました。
    • [SPARK-45136] Ammonite のサポートで ClosureCleaner を強化します。
    • [SPARK-45859]ml.functions の UDF オブジェクトを遅延させました。
    • [SPARK-46028]Column.__getitem__ で入力列が受け入れられます。
    • [SPARK-45798] サーバー側のセッション ID をアサートします。
    • [SPARK-45892] オプティマイザー プランの検証をリファクタリングして、validateSchemaOutput と validateExprIdUniqueness を分離します。
    • [SPARK-45844] XML の大文字と小文字の区別を実装します。
    • [SPARK-45770]Dataframe.drop の DataFrameDropColumns を使用して列解決を修正しました。
    • [SPARK-44790] Python、Spark Connect、SQL の to_xml 実装とバインドを追加しました。
    • [SPARK-45851] Scala クライアントで複数のポリシーのサポートを追加しました。
    • オペレーティング システムのセキュリティを更新。

Databricks Runtime 14.1

「Databricks Runtime 14.1」を参照してください。

  • 2024 年 4 月 9 日
    • なし
    • [SPARK-47638][PS][CONNECT] PS での列名の検証をスキップします
    • [SPARK-38708][SQL] Hive メタストア クライアントを Hive 3.1 用の 3.1.3 にアップグレードします
    • [SPARK-47309][SQL][XML] スキーマ推論の単体テストを追加します
    • [SPARK-47509][SQL] ラムダ関数と上位関数のサブクエリ式をブロックします
    • [SPARK-46990][SQL] イベントハブによって出力される空の Avro ファイルが読み込まれる問題を修正します
    • オペレーティング システムのセキュリティを更新。
  • 2024 年 2 月 8 日
    • Unity カタログの具体化されたビューに対する変更データ フィード (CDF) クエリはサポートされていません。また、Unity カタログの具体化されたビューで CDF クエリを実行しようとするとエラーが返されます。 Unity カタログのストリーミング テーブルは、Databricks Runtime 14.1 以降の 非 APPLY CHANGES テーブルに対する CDF クエリをサポートします。 Databricks Runtime 14.0 以前の Unity カタログのストリーミング テーブルでは、CDF クエリはサポートされていません。
    • [SPARK-46952] XML: 破損したレコードのサイズを制限します。
    • [SPARK-45182] チェックサムで確定された親の不確定ステージを再試行した後で、古いステージからのタスクの完了を無視します。
    • [SPARK-46794] LogicalRDD 制約からサブクエリを削除します。
    • [SPARK-46933] JDBCRDD を使用するコネクタにクエリ実行時間メトリックを追加します。
    • [SPARK-46861] DAGScheduler でのデッドロックを回避します。
    • [SPARK-45582] 出力モード ストリーミング集計内でコミットを呼び出した後にストア インスタンスが使用されないようにします。
    • [SPARK-46930] Avro で共用体型フィールドのカスタム プレフィックスのサポートを追加します。
    • [SPARK-46941] SizeBasedWindowFunction が含まれている場合、上位 k の計算にウィンドウ グループ制限ノードを挿入できません。
    • [SPARK-46396] timestamp 推論では例外をスローしてはいけません。
    • [SPARK-46822] jdbc で jdbc 型を Catalyst 型にキャストする場合は、spark.sql.legacy.charVarcharAsString に従います。
    • [SPARK-45957] 非実行可能コマンドで実行プランが生成されないようにします。
    • オペレーティング システムのセキュリティを更新。
  • 2024 年 1 月 31 日
    • [SPARK-46684] 引数を正しく渡すように CoGroup.applyInPandas/Arrow を修正します。
    • [SPARK-46763] 重複する属性での ReplaceDeduplicateWithAggregate のアサーション エラーを修正します。
    • [SPARK-45498] フォローアップ: 古いステージ試行からのタスクの完了を無視します。
    • [SPARK-46382] XML: ignoreSurroundingSpacesのドキュメントを更新します。
    • [SPARK-46383]TaskInfo.accumulables() の有効期間を短縮してドライバー ヒープの使用量を削減します。
    • [SPARK-46382] XML: ignoreSurroundingSpaces の既定値を true にします。
    • [SPARK-46677]dataframe["*"] の解像度を修正します。
    • [SPARK-46676] dropDuplicatesWithinWatermark はプランの正規化でエラーになってはなりません。
    • [SPARK-46633] 長さゼロのブロックを処理するように Avro リーダーを修正します。
    • [SPARK-45912] XSDToSchema API の機能強化: クラウド ストレージ アクセシビリティの HDFS API に変更します。
    • [SPARK-46599] XML: 互換性チェックに TypeCoercion.findTightestCommonType を使用します。
    • [SPARK-46382] XML: 要素間に点在する値をキャプチャします。
    • [SPARK-46769] タイムスタンプ関連のスキーマ推論を調整します。
    • [SPARK-46610] テーブルを作成すると、オプション内のキーの値がない場合に例外がスローされます。
    • [SPARK-45964] Catalyst パッケージの下の XML および JSON パッケージのプライベート SQL アクセサーを削除します。
    • 「[SPARK-46769] タイムスタンプ関連のスキーマ推論を調整します」を元に戻します。
    • [SPARK-45962]treatEmptyValuesAsNulls を削除し、XML で代わりに nullValue オプションを使用します。
    • [SPARK-46541] 自己結合におけるあいまいな列参照を修正します。
    • オペレーティング システムのセキュリティを更新。
  • 2024 年 1 月 17 日
    • Photon クエリによって返される Explain プランの shuffle ノードは、ブロードキャスト結合の一部であるシャッフル中にメモリ不足エラーが発生した場合に、causedBroadcastJoinBuildOOM=true フラグを追加するように更新されます。
    • TLSv1.3 経由で通信するときの待機時間の増加を回避するために、このメンテナンス リリースには JDK バグ JDK-8293562 を修正するための JDK 8 インストールへのパッチが含まれています。
    • [SPARK-46538]ALSModel.transform におけるあいまいな列参照の問題を修正します。
    • [SPARK-46417] hive.getTable を呼び出し、throwException が false の場合は失敗しません。
    • [SPARK-46484]resolveOperators ヘルパー関数でプラン ID が保持されるようにします。
    • [SPARK-46153] XML: TimestampNTZType のサポートを追加します。
    • [SPARK-46152] XML: XML スキーマ推論で DecimalType のサポートを追加します。
    • [SPARK-46145] spark.catalog.listTables は、テーブルまたはビューが見つからないときに例外をスローしません。
    • [SPARK-46478] SPARK-43049 を元に戻して、文字列に oracle varchar(255) を使用します。
    • [SPARK-46394]spark.sql.legacy.keepCommandOutputSchema が true に設定されている場合に、特殊文字を持つスキーマでの spark.catalog.listDatabases() の問題を修正します。
    • [SPARK-46337]CTESubstitution で PLAN_ID_TAG を保持するようにします。
    • [SPARK-46466] ベクトル化された Parquet 閲覧者は、timestamp ntz のリベースを実行しないでください。
    • [SPARK-46587] XML: XSD の大きな整数変換を修正します。
    • [SPARK-45814] メモリ リークを回避するため、ArrowConverters.createEmptyArrowBatch で close() を呼び出すようにします。
    • [SPARK-46132] RPC SSL の JKS キーのキー パスワードをサポートします。
    • [SPARK-46602] ビュー/テーブルが存在しない場合に、ビューの作成時に allowExisting を伝達します。
    • [SPARK-46173] 日付解析中の trimAll 呼び出しをスキップします。
    • [SPARK-46355] XML: 読み取り完了時に InputStreamReader を閉じます。
    • [SPARK-46600] SqlConf と SqlApiConf の間の共有コードを SqlApiConfHelper に移動します。
    • [SPARK-46261]DataFrame.withColumnsRenamed では、dict/map の順序を維持する必要があります。
    • [SPARK-46056] Parquet のベクトル化された読み取り NPE を byteArrayDecimalType の既定値で修正します。
    • [SPARK-46260]DataFrame.withColumnsRenamed は dict の順序を尊重する必要があります。
    • [SPARK-46250] test_parity_listener をフレーク解除します。
    • [SPARK-46370] 列の既定値を変更した後にテーブルからクエリを実行するときのバグを修正します。
    • [SPARK-46609] PartitioningPreservingUnaryExecNode での指数関数的な爆発を回避します。
    • [SPARK-46058] privateKeyPassword に別のフラグを追加します。
  • 2023 年 12 月 14 日
    • JDBC または ODBC クライアントからの getColumns 操作でエスケープされたアンダースコアが誤って処理され、ワイルドカードとして解釈される問題を修正しました。
    • [SPARK-45509] Spark Connect の df 列参照動作を修正します。
    • [SPARK-45844] XML の大文字と小文字の区別を実装します。
    • [SPARK-46141] spark.sql.legacy.ctePrecedencePolicy の既定値を CORRECTED に変更します。
    • [SPARK-46028]Column.__getitem__ が入力列を受け入れるようにします。
    • [SPARK-46255] 複合型 -> 文字列変換をサポートします。
    • [SPARK-45655] CollectMetrics の AggregateFunctions 内で非決定論的な式を許可します。
    • [SPARK-45433] timestamp が、指定された timestampFormat と一致しない場合の CSV/JSON スキーマ推論を修正します。
    • [SPARK-45316] 新しいパラメーター ignoreCorruptFiles/ignoreMissingFiles を HadoopRDD と NewHadoopRDD に追加します。
    • [SPARK-45852] ログ記録中の再帰エラーを適切に処理します。
    • [SPARK-45920] 序数によるグループはべき等である必要があります。
    • オペレーティング システムのセキュリティを更新。
  • 2023 年 11 月 29 日
    • PyArrow RCE の脆弱性を修復するために、新しいパッケージ pyarrow-hotfix をインストールしました。
    • JDBC または ODBC クライアントからの getColumns 操作でエスケープされたアンダースコアがワイルドカードとして誤って解釈される問題を修正しました。
    • 自動ローダーまたはストリーミング テーブルを使用して CSV データを取り込む場合、大きな CSV ファイルは分割可能になり、スキーマ推論とデータ処理の両方で並列に処理できます。
    • [SPARK-45892] オプティマイザー プランの検証をリファクタリングして、validateSchemaOutput と validateExprIdUniqueness を分離します。
    • [SPARK-45620] Python UDF に関連する API で camelCase が使用されるようになりました。
    • [SPARK-44790] Python、Spark Connect、SQL の to_xml 実装とバインドを追加しました。
    • [SPARK-45770]Dataframe.drop の DataFrameDropColumns を使用して列解決を修正しました。
    • [SPARK-45859]ml.functions の UDF オブジェクトを遅延させました。
    • [SPARK-45730]ReloadingX509TrustManagerSuite の時間制約を改善しました。
    • [SPARK-44784] SBT テストを密閉にしました。
    • オペレーティング システムのセキュリティを更新。
  • 2023 年 11 月 10 日
    • [SPARK-45545]SparkTransportConf は作成時に SSLOptions を継承します。
    • [SPARK-45250] 動的割り当てが無効になっている場合の、Yarn クラスターのステージ レベルのタスク リソース プロファイルのサポートを追加しました。
    • [SPARK-44753] PySpark SQL の XML DataFrame リーダーとライターを追加しました。
    • [SPARK-45396]PySpark.ml.connect モジュールのドキュメント エントリを追加しました。
    • [SPARK-45584]TakeOrderedAndProjectExec のサブクエリの実行エラーを修正しました。
    • [SPARK-45541] SSLFactory を追加しました。
    • [SPARK-45577]UserDefinedPythonTableFunctionAnalyzeRunner が名前付き引数からフォールド値を渡すように修正しました。
    • [SPARK-45562] 'rowTag' を必須オプションにしました。
    • [SPARK-45427] RPC SSL 設定を SSLOptions と SparkTransportConf に追加しました。
    • [SPARK-43380] Avro 読み取りの速度低下を修正しました。
    • [SPARK-45430]FramelessOffsetWindowFunction は、IGNORE NULLS と offset > rowCount の場合に失敗しなくなりました。
    • [SPARK-45429] SSL RPC 通信用のヘルパー クラスを追加しました。
    • [SPARK-45386] 誤って StorageLevel.NONE から 0 が返される問題を修正しました。
    • [SPARK-44219] 最適化書き換えに関する規則ごとの検証チェックを追加しました。
    • [SPARK-45543] 他の window 関数に rank-like 関数と同じウィンドウ フレームがない場合に InferWindowGroupLimit で問題が発生する問題を修正しました。
    • オペレーティング システムのセキュリティを更新。
  • 2023 年 9 月 27 日
    • [SPARK-44823]black を 23.9.1 に更新し、誤ったチェックを修正しました。
    • [SPARK-45339] PySpark では、再試行したエラーがログに記録されるようになりました。
    • 「[SPARK-42946] 変数置換で入れ子になった機密データを編集しました」を元に戻します。
    • [SPARK-44551] OSS と同期するようにコメントを編集しました。
    • [SPARK-45360] Spark セッション ビルダーでは、SPARK_REMOTE からの初期化がサポートされています。
    • [SPARK-45279]plan_id をすべての論理プランにアタッチしました。
    • [SPARK-45425]TINYINT を MsSqlServerDialect で ShortType にマップしました。
    • [SPARK-45419]rocksdb sst ファイル ID の再利用を回避するために、より大きなバージョンのファイル バージョン マップ エントリを削除しました。
    • [SPARK-45488]rowTag 要素の値に対するサポートを追加しました。
    • [SPARK-42205]JsonProtocol イベント ログの Task/Stage 開始イベントの Accumulables のログを削除しました。
    • [SPARK-45426]ReloadingX509TrustManager のサポートを追加しました。
    • [SPARK-45256] 初期容量より多い値を書き込むと DurationWriter が失敗します。
    • [SPARK-43380] パフォーマンス低下を引き起こすことなく、Avro データ型変換の問題を修正しました。
    • [SPARK-45182] ステージ出力が不確定のときにすべてのステージ タスクを再試行できるように、シャッフル マップ ステージのロールバックのサポートを追加しました。
    • [SPARK-45399]newOption を使う XML オプションを追加しました。
    • オペレーティング システムのセキュリティを更新。

Databricks Runtime 13.3 LTS

「Databricks Runtime 13.3 LTS」をご覧ください。

  • 2024 年 4 月 9 日
    • [SPARK-47509][SQL] ラムダ関数と上位関数のサブクエリ式をブロックします
    • オペレーティング システムのセキュリティを更新。
  • 2024 年 2 月 8 日
    • Unity カタログの具体化されたビューに対する変更データ フィード (CDF) クエリはサポートされていません。また、Unity カタログの具体化されたビューで CDF クエリを実行しようとするとエラーが返されます。 Unity カタログのストリーミング テーブルは、Databricks Runtime 14.1 以降の 非 APPLY CHANGES テーブルに対する CDF クエリをサポートします。 Databricks Runtime 14.0 以前の Unity カタログのストリーミング テーブルでは、CDF クエリはサポートされていません。
    • [SPARK-46794] LogicalRDD 制約からサブクエリを削除します。
    • [SPARK-46933] JDBCRDD を使用するコネクタにクエリ実行時間メトリックを追加します。
    • [SPARK-45582] 出力モード ストリーミング集計内でコミットを呼び出した後にストア インスタンスが使用されないようにします。
    • [SPARK-46396] timestamp 推論では例外をスローしてはいけません。
    • [SPARK-46861] DAGScheduler でのデッドロックを回避します。
    • [SPARK-46941] SizeBasedWindowFunction が含まれている場合、上位 k の計算にウィンドウ グループ制限ノードを挿入できません。
    • オペレーティング システムのセキュリティを更新。
  • 2024 年 1 月 31 日
    • [SPARK-46610] テーブルを作成すると、オプション内のキーの値がない場合に例外がスローされます。
    • [SPARK-46383] TaskInfo.accumulables() の有効期間を短縮してドライバー ヒープの使用量を削減します。
    • [SPARK-46600] SqlConf と SqlApiConf の間の共有コードを SqlApiConfHelper に移動します。
    • [SPARK-46676] dropDuplicatesWithinWatermark はプランの正規化でエラーになってはなりません。
    • [SPARK-46763] 重複する属性での ReplaceDeduplicateWithAggregate のアサーション エラーを修正します。
    • オペレーティング システムのセキュリティを更新。
  • 2024 年 1 月 17 日
    • Photon クエリによって返される Explain プランの shuffle ノードは、ブロードキャスト結合の一部であるシャッフル中にメモリ不足エラーが発生した場合に、causedBroadcastJoinBuildOOM=true フラグを追加するように更新されます。
    • TLSv1.3 経由で通信するときの待機時間の増加を回避するために、このメンテナンス リリースには JDK バグ JDK-8293562 を修正するための JDK 8 インストールへのパッチが含まれています。
    • [SPARK-46058] privateKeyPassword に別のフラグを追加します。
    • [SPARK-46173] 日付解析中の trimAll 呼び出しをスキップします。
    • [SPARK-46370] 列の既定値を変更した後にテーブルからクエリを実行するときのバグを修正します。
    • [SPARK-46370] 列の既定値を変更した後にテーブルからクエリを実行するときのバグを修正します。
    • [SPARK-46370] 列の既定値を変更した後にテーブルからクエリを実行するときのバグを修正します。
    • [SPARK-46609] PartitioningPreservingUnaryExecNode での指数関数的な爆発を回避します。
    • [SPARK-46132] RPC SSL の JKS キーのキー パスワードをサポートします。
    • [SPARK-46602] ビュー/テーブルが存在しない場合に、ビューの作成時に allowExisting を伝達します。
    • [SPARK-46249] バックグラウンド操作との競合を防ぐために、RocksDB メトリックを取得するためのインスタンス ロックが必要です。
    • [SPARK-46417] hive.getTable を呼び出し、throwException が false の場合は失敗しません。
    • [SPARK-46538]ALSModel.transform におけるあいまいな列参照の問題を修正します。
    • [SPARK-46478] SPARK-43049 を元に戻して、文字列に oracle varchar(255) を使用します。
    • [SPARK-46250] test_parity_listener をフレーク解除します。
    • [SPARK-46394]spark.sql.legacy.keepCommandOutputSchema が true に設定されている場合に、特殊文字を持つスキーマでの spark.catalog.listDatabases() の問題を修正します。
    • [SPARK-46056] Parquet のベクトル化された読み取り NPE を byteArrayDecimalType の既定値で修正します。
    • [SPARK-46145] spark.catalog.listTables は、テーブルまたはビューが見つからないときに例外をスローしません。
    • [SPARK-46466] ベクトル化された Parquet 閲覧者は、timestamp ntz のリベースを実行しないでください。
  • 2023 年 12 月 14 日
    • JDBC または ODBC クライアントからの getColumns 操作でエスケープされたアンダースコアが誤って処理され、ワイルドカードとして解釈される問題を修正しました。
    • [SPARK-45920] 序数によるグループはべき等である必要があります。
    • [SPARK-44582] SMJ がクリーンアップされた場合に、SMJ の反復子をスキップします。
    • [SPARK-45433] timestamp が、指定された timestampFormat と一致しない場合の CSV/JSON スキーマ推論を修正します。
    • [SPARK-45655] CollectMetrics の AggregateFunctions 内で非決定論的な式を許可します。
    • オペレーティング システムのセキュリティを更新。
  • 2023 年 11 月 29 日
    • PyArrow RCE の脆弱性を修復するために、新しいパッケージ pyarrow-hotfix をインストールしました。
    • spark-snowflake コネクタは 2.12.0 にアップグレードされます。
    • [SPARK-44846]RemoveRedundantAggregates の後の複雑なグループ化式を削除しました。
    • [SPARK-45544] SSL サポートを TransportContext に統合しました。
    • [SPARK-45892] オプティマイザー プランの検証をリファクタリングして、validateSchemaOutput と validateExprIdUniqueness を分離します。
    • [SPARK-45730]ReloadingX509TrustManagerSuite の時間制約を改善しました。
    • [SPARK-45859]ml.functions の UDF オブジェクトを遅延させました。
    • オペレーティング システムのセキュリティを更新。
  • 2023 年 11 月 10 日
    • Delta Lake ストリーミング クエリのパーティション フィルターは、使用率を向上させるためにレート制限の前にプッシュダウンされます。
    • Unity Catalog ストリーミング テーブルと具体化されたビューのデータ フィード クエリを変更し、エラー メッセージを表示するようにました。
    • [SPARK-45545]SparkTransportConf は作成時に SSLOptions を継承します。
    • [SPARK-45584]TakeOrderedAndProjectExec のサブクエリの実行エラーを修正しました。
    • [SPARK-45427] RPC SSL 設定を SSLOptions と SparkTransportConf に追加しました。
    • [SPARK-45541]SSLFactory を追加しました。
    • [SPARK-45430]FramelessOffsetWindowFunction は、IGNORE NULLS と offset > rowCount の場合に失敗しなくなりました。
    • [SPARK-45429] SSL RPC 通信用のヘルパー クラスを追加しました。
    • [SPARK-44219] 最適化の書き換えに関する規則ごとの検証を追加しました。
    • [SPARK-45543] 他の window 関数に rank-like 関数と同じウィンドウ フレームがない場合に InferWindowGroupLimit で問題が発生する問題を修正しました。
    • オペレーティング システムのセキュリティを更新。
  • 2023 年 10 月 23 日
    • [SPARK-45256] 初期容量よりも多い値を書き込むと DurationWriter が失敗する問題を修正しました。
    • [SPARK-45419] より新しいバージョンのファイル バージョン マップ エントリを削除して、異なる rocksdb インスタンスで rocksdb sst ファイルが再利用されないようにします。
    • [SPARK-45426]ReloadingX509TrustManager のサポートを追加しました。
    • その他の修正。
  • 2023 年 10 月 13 日
    • Snowflake-jdbc 依存関係が 3.13.29 から 3.13.33 にアップグレードされました。
    • array_insert 関数では、負のインデックスは以前は 0 ベースでしたが、現在は、正と負のインデックスは 1 ベースです。 インデックス 1 の入力配列の最後に新しい要素を挿入するようになりました。 以前の動作を復元するには、spark.sql.legacy.negativeIndexInArrayInsert を true に設定します。
    • 自動ローダーを使用した CSV スキーマ推論中に ignoreCorruptFiles が有効になっている場合、破損したファイルが無視されない問題を修正しました。
    • [SPARK-42946] を元に戻します。
    • [SPARK-42205] タスクまたはステージ開始イベントの Accumulables ログを削除するように、JSON プロトコルを更新しました。
    • [SPARK-45178] ラッパーを使用するのではなく、サポートされていないソースを使って Trigger.AvailableNow の単一バッチを実行するようにフォールバックします。
    • [SPARK-45316] 新しいパラメーター ignoreCorruptFiles と ignoreMissingFiles を HadoopRDD と NewHadoopRDD に追加します。
    • [SPARK-44740] Artifacts のメタデータ値を修正しました。
    • [SPARK-45360] Spark セッション ビルダーの構成を SPARK_REMOTE から初期化しました。
    • [SPARK-44551] OSS と同期するようにコメントを編集しました。
    • [SPARK-45346] Parquet スキーマ推論では、スキーマをマージする際に、大文字と小文字が区別されるフラグが考慮されるようになりました。
    • [SPARK-44658]ShuffleStatus.getMapStatus は、Some(null) ではなく None を返すようになりました。
    • [SPARK-44840]array_insert() で負のインデックスを 1 ベースにしました。
  • 2023 年 9 月 14 日
    • [SPARK-44873] Hive クライアントで入れ子になった列を含む alter view のサポートを追加しました。
    • [SPARK-44878] キャッシュ完了時に挿入例外が発生しないように、RocksDB 書き込みマネージャーの厳密な制限を無効にしました。
  • 2023 年 8 月 30 日
    • dbutils cp コマンド (dbutils.fs.cp) は、より高速なコピー用に最適化されています。 この改善により、ファイル サイズに応じて、コピー操作の時間を最大 100 分の 1 に短縮することができます。 この機能は、Unity Catalog Volumes と DBFS マウントを含め、Databricks でアクセスできるすべてのクラウドとファイル システムで使用できます。
    • [SPARK-44455]SHOW CREATE TABLE 結果のバッククォートを含む識別子を引用符で囲みます。
    • [SPARK-44763] 間隔付きの二項演算で文字列が double として表示される問題を修正しました。
    • [SPARK-44871]percentile_disc の動作を修正しました。
    • [SPARK-44714] クエリに関する LCA 解決の制限を緩和します。
    • [SPARK-44818]taskThread の初期化前に発行された保留中のタスク割り込みの競合を修正しました。
    • [SPARK-44505] DSv2 のスキャンで列サポートのオーバーライドを追加しました。
    • [SPARK-44479] 空の構造体型からの protobuf 変換を修正しました。
    • [SPARK-44718]ColumnVector メモリモード構成の既定値を OffHeapMemoryMode 構成値に一致させます。
    • [SPARK-42941] Python で StreamingQueryListener のサポートを追加しました。
    • [SPARK-44558] PySpark の Spark Connect ログ レベルをエクスポートします。
    • [SPARK-44464] 最初の列値として Null を持つ出力行に対する applyInPandasWithStatePythonRunner を修正しました。
    • [SPARK-44643] フィールドが空の行の場合の Row.__repr__ を修正しました。
    • オペレーティング システムのセキュリティを更新。

Databricks Runtime 12.2 LTS

「Databricks Runtime 12.2 LTS」を参照してください。

  • 2024 年 4 月 9 日
    • オペレーティング システムのセキュリティを更新。
  • 2024 年 2 月 13 日
    • [SPARK-46861] DAGScheduler でのデッドロックを回避します。
    • [SPARK-46794] LogicalRDD 制約からサブクエリを削除します。
    • オペレーティング システムのセキュリティを更新。
  • 2024 年 1 月 31 日
    • [SPARK-46763] 重複する属性での ReplaceDeduplicateWithAggregate のアサーション エラーを修正します。
    • オペレーティング システムのセキュリティを更新。
  • 2023 年 12 月 25 日
    • TLSv1.3 経由で通信するときの待機時間の増加を回避するために、このメンテナンス リリースには JDK バグ JDK-8293562 を修正するための JDK 8 インストールへのパッチが含まれています。
    • [SPARK-39440] イベント タイムラインを無効にする構成を追加します。
    • [SPARK-46132] RPC SSL の JKS キーのキー パスワードをサポートします。
    • [SPARK-46394]spark.sql.legacy.keepCommandOutputSchema が true に設定されている場合に、特殊文字を持つスキーマでの spark.catalog.listDatabases() の問題を修正します。
    • [SPARK-46417] hive.getTable を呼び出し、throwException が false の場合は失敗しません。
    • [SPARK-43067] Kafka コネクタのエラー クラス リソース ファイルの場所を修正します。
    • [SPARK-46249] バックグラウンド操作との競合を防ぐために、RocksDB メトリックを取得するためのインスタンス ロックが必要です。
    • [SPARK-46602] ビュー/テーブルが存在しない場合に、ビューの作成時に allowExisting を伝達します。
    • [SPARK-46058] privateKeyPassword に別のフラグを追加します。
    • [SPARK-46145] spark.catalog.listTables は、テーブルまたはビューが見つからないときに例外をスローしません。
    • [SPARK-46538]ALSModel.transform におけるあいまいな列参照の問題を修正します。
    • [SPARK-42852] EquivalentExpressions からの NamedLambdaVariable 関連の変更を元に戻します。
  • 2023 年 12 月 14 日
    • JDBC または ODBC クライアントからの getColumns 操作でエスケープされたアンダースコアが誤って処理され、ワイルドカードとして解釈される問題を修正しました。
    • [SPARK-44582] SMJ がクリーンアップされた場合に、SMJ の反復子をスキップします。
    • [SPARK-45920] 序数によるグループはべき等である必要があります。
    • [SPARK-45655] CollectMetrics の AggregateFunctions 内で非決定論的な式を許可します。
    • オペレーティング システムのセキュリティを更新。
  • 2023 年 11 月 29 日
    • PyArrow RCE の脆弱性を修復するために、新しいパッケージ pyarrow-hotfix をインストールしました。
    • JDBC または ODBC クライアントからの getColumns 操作でエスケープされたアンダースコアがワイルドカードとして誤って解釈される問題を修正しました。
    • [SPARK-42205]Stage と Task の開始イベントの蓄積されたログ記録を削除しました。
    • [SPARK-44846]RemoveRedundantAggregates の後の複雑なグループ化式を削除しました。
    • [SPARK-43718]USING 結合でのキーの NULL 値の許容を修正しました。
    • [SPARK-45544] SSL サポートを TransportContext に統合しました。
    • [SPARK-43973] 構造化ストリーミング UI で、失敗したクエリが正しく表示されるようになりました。
    • [SPARK-45730]ReloadingX509TrustManagerSuite の時間制約を改善しました。
    • [SPARK-45859]ml.functions の UDF オブジェクトを遅延させました。
    • オペレーティング システムのセキュリティを更新。
  • 2023 年 11 月 14 日
    • Delta Lake ストリーミング クエリのパーティション フィルターは、使用率を向上させるためにレート制限の前にプッシュダウンされます。
    • [SPARK-45545]SparkTransportConf は作成時に SSLOptions を継承します。
    • [SPARK-45427] RPC SSL 設定を SSLOptions と SparkTransportConf に追加しました。
    • [SPARK-45584]TakeOrderedAndProjectExec のサブクエリの実行エラーを修正しました。
    • [SPARK-45541]SSLFactory を追加しました。
    • [SPARK-45430]FramelessOffsetWindowFunction は、IGNORE NULLS と offset > rowCount の場合に失敗しなくなりました。
    • [SPARK-45429] SSL RPC 通信用のヘルパー クラスを追加しました。
    • オペレーティング システムのセキュリティを更新。
  • 2023 年 10 月 24 日
    • [SPARK-45426]ReloadingX509TrustManager のサポートを追加しました。
    • その他の修正。
  • 2023 年 10 月 13 日
    • Snowflake-jdbc 依存関係が 3.13.29 から 3.13.33 にアップグレードされました。
    • [SPARK-42553] interval の後に少なくとも 1 つの時間単位を確保します。
    • [SPARK-45346] Parquet スキーマ推論では、スキーマをマージする際に、大文字と小文字が区別されるフラグが考慮されます。
    • [SPARK-45178] ラッパーを使用するのではなく、サポートされていないソースを使って Trigger.AvailableNow の単一バッチを実行するようにフォールバックします。
    • [SPARK-45084] 正確で適切なシャッフル パーティション番号を使用するための StateOperatorProgress。
  • 2023 年 9 月 12 日
    • [SPARK-44873] Hive クライアントで入れ子になった列を含む alter view のサポートを追加しました。
    • [SPARK-44718]ColumnVector メモリモード構成の既定値を OffHeapMemoryMode 構成値に一致させます。
    • [SPARK-43799] Pyspark Protobuf API に記述子バイナリ オプションを追加しました。
    • その他の修正。
  • 2023 年 8 月 30 日
    • [SPARK-44485]TreeNode.generateTreeString を最適化しました。
    • [SPARK-44818]taskThread の初期化前に発行された保留中のタスク割り込みの競合を修正しました。
    • [11.3-13.0][[SPARK-44871]]https://issues.apache.org/jira/browse/SPARK-44871) percentile_disc の動作を修正しました。
    • [SPARK-44714] クエリに関する LCA 解決の制限を緩和しました。
    • オペレーティング システムのセキュリティを更新。
  • 2023 年 8 月 15 日
    • [SPARK-44504] メンテナンス タスクで、停止エラー時に読み込まれたプロバイダーがクリーンアップされます。
    • [SPARK-44464] 最初の列値として Null を持つ出力行に対する applyInPandasWithStatePythonRunner を修正しました。
    • オペレーティング システムのセキュリティを更新。
  • 2023 年 7 月 29 日
    • 他の外部またはマネージド ストレージの場所と競合するストレージの場所のパスを呼び出すと、dbutils.fs.ls() が INVALID_PARAMETER_VALUE.LOCATION_OVERLAP を返す問題を修正しました。
    • [SPARK-44199]CacheManagerfileIndex を不必要に更新しなくなりました。
    • オペレーティング システムのセキュリティを更新。
  • 2023 年 7 月 24 日
    • [SPARK-44337]Any.getDefaultInstance に設定されたフィールドで解析エラーが発生する問題を修正しました。
    • [SPARK-44136]FlatMapGroupsWithStateExec のドライバーではなく Executor で StateManager が具体化される問題を修正しました。
    • オペレーティング システムのセキュリティを更新。
  • 2023 年 6 月 23 日
    • オペレーティング システムのセキュリティを更新。
  • 2023 年 6 月 15 日
    • approx_count_distinct が Photon に対応しました。
    • snowflake-jdbc ライブラリはセキュリティの問題に対処するために 3.13.29 にアップグレードされます。
    • [SPARK-43779]ParseToDate により、メイン スレッドに EvalMode が読み込まれるようになりました。
    • [SPARK-43156][SPARK-43098]decorrelateInnerQuery を無効にしてスカラー サブクエリ数のエラー テストを拡張しました。
    • オペレーティング システムのセキュリティを更新。
  • 2023 年 6 月 2 日
    • failOnUnknownFields モードの JSON パーサーは、DROPMALFORMED モードでレコードを削除し、FAILFAST モードで直接失敗します。
    • SHALLOW CLONE の Iceberg と Parquet を使用して増分更新のパフォーマンスを向上させます。
    • 指定されたスキーマに推論されたパーティションが含まれていなかったため、異なるソース ファイル形式に一貫性がなかった自動ローダーの問題を修正しました。 この問題により、推論されたパーティション スキーマに列がないファイルの読み取り時に予期しない失敗が発生していた可能性があります。
    • [SPARK-43404] ID の不一致エラーを回避するために、同じバージョンの RocksDB 状態ストアの sst ファイルの再利用をスキップします。
    • [SPARK-43413][11.3-13.0] IN サブクエリの ListQuery NULL 値の許容を修正しました。
    • [SPARK-43522] 配列のインデックスを含む構造体列名の作成の問題を修正しました。
    • [SPARK-43541] 式と不足している列の解決において、すべての Project タグを伝達します。
    • [SPARK-43527] PySpark の catalog.listCatalogs を修正しました。
    • [SPARK-43123] 内部フィールド メタデータがカタログにリークしなくなりました。
    • [SPARK-43340] イベント ログにスタック トレース フィールドが見つからない問題を修正しました。
    • [SPARK-42444]DataFrame.drop で、重複する列が正しく処理されるようになりました。
    • [SPARK-42937]PlanSubqueries で InSubqueryExec#shouldBroadcast が true に設定されるようになりました。
    • [SPARK-43286] ランダムな IV を生成するように aes_encrypt の CBC モードを更新しました。
    • [SPARK-43378]deserializeFromChunkedBuffer 内のストリーム オブジェクトを適切に閉じます。
  • 2023 年 5 月 17 日
    • バッチ サイズを動的に調整することで、非常に構造化されたファイルをスキャンするときに、Parquet スキャンが OOM に対して堅牢になりました。 バッチ サイズを大幅に小さくするためにファイル メタデータが分析され、最終的なセーフティ ネットとしてタスクの再試行時に再度低下します。
    • Avro ファイルが、failOnUnknownFields\ オプションだけを使用するか、failOnNewColumns\ スキーマ進化モードで自動ローダーを使用して読み取られた場合、異なるデータ型の列は、ファイルを読み取ることができないというエラーがスローされる代わりに、null\ として読み取られます。 これらの読み取りは失敗し、ユーザーは rescuedDataColumn\ オプションを使用することが推奨されます。
    • 自動ローダーで次の処理を行うようになりました。
      • Integer、Short、Byte のデータ型のいずれかが指定されている場合は、型が正しく読み取られ、復旧されなくなりましたが、Avro ファイルでは他の 2 つの型のいずれかが提案されます。
      • 日付型またはタイムスタンプ型として interval 型を読み取らないようにし、破損した日付を取得しないようにします。
      • 精度が低い Decimal 型を読み取らないようにします。
    • [SPARK-43172] Spark Connect クライアントからホストとトークンを公開します。
    • [SPARK-43293]__qualified_access_only は通常の列では無視されます。
    • [SPARK-43098] スカラー サブクエリが句でグループ化されている場合の正確性の COUNT バグを修正しました。
    • [SPARK-43085] マルチパート テーブル名の列 DEFAULT 割り当てのサポート。
    • [SPARK-43190]ListQuery.childOutput がセカンダリ出力と一致するようになりました。
    • [SPARK-43192] ユーザー エージェントの文字セット検証を削除しました。
    • オペレーティング システムのセキュリティを更新。
  • 2023 年 4 月 25 日
    • Parquet ファイルが、failOnUnknownFields オプションだけを使用するか、failOnNewColumns スキーマ進化モードで自動ローダーを使用して読み取られた場合、異なるデータ型の列は、ファイルを読み取ることができないというエラーがスローされる代わりに、null として読み取られます。 これらの読み取りは失敗し、ユーザーは rescuedDataColumn オプションを使用することが推奨されます。
    • Integer、Short、Byte のデータ型のいずれかが指定されている場合、自動ローダーで型が正しく読み取られるようになり、復旧されなくなりました。 Parquet ファイルでは、他の 2 つの型のいずれかが提案されます。 復旧されたデータ列が以前に有効になっていた場合、データ型の不一致により、列は読み取り可能であっても保存されます。
    • [SPARK-43009]Any 定数でパラメーター化された sql()
    • [SPARK-42406] フィールドを削除して Protobuf 再帰フィールドを終了する。
    • [SPARK-43038]aes_encrypt()/aes_decrypt() によって CBC モードをサポートする
    • [SPARK-42971] ワーカーで WorkDirCleanup イベントが処理されるときに appDirs が null の場合、workdir の出力に変更する
    • [SPARK-43018] タイムスタンプ リテラルを含む INSERT コマンドのバグを修正する
    • オペレーティング システムのセキュリティを更新。
  • 2023 年 4 月 11 日
    • SYNC コマンドの従来のデータ ソース形式をサポートします。
    • リポジトリの外部にあるノートブックの %autoreload 動作の問題を修正しました。
    • 入れ子になった JSON オブジェクトのスキーマで新しい列が検出されると、自動ローダー スキーマの展開が無限の失敗ループに入る可能性がある問題を修正しました。
    • [SPARK-42928]resolvePersistentFunction を同期させました。
    • [SPARK-42936] 句をその子集計で直接解決できる場合の LCA 問題を修正しました。.
    • [SPARK-42967] ステージが取り消された後にタスクが開始されたときの SparkListenerTaskStart.stageAttemptId を修正しました。
    • オペレーティング システムのセキュリティを更新。
  • 2023 年 3 月 29 日

    • Databricks SQL では、テーブルの作成時またはその後のいずれかで、Delta Lake テーブルの列の既定値を指定することがサポートされるようになりました。 以降の INSERT、UPDATE、DELETE、MERGE コマンドでは、明示的な DEFAULT キーワードを使用して、列の既定値を参照できます。 さらに、INSERT 割り当てに、ターゲット テーブルよりも少ない列のリストがある場合、残りの列について、対応する列の既定値が置き換えられます (または、既定値が指定されていない場合は NULL)。

      次に例を示します。

      CREATE TABLE t (first INT, second DATE DEFAULT CURRENT_DATE()) USING delta;
INSERT INTO t VALUES (0, DEFAULT);
INSERT INTO t VALUES (1, DEFAULT);
SELECT first, second FROM t;
\> 0, 2023-03-28
1, 2023-03-28z

    • 自動ローダーでは、高速で実行される自動ローダー ストリームに対してチェックポイントを定期的にクリーンアップできることを確認するために、Trigger.AvailableNow ストリーム用に少なくとも 1 つの同期 RocksDB ログクリーンを開始するようになりました。 これにより、一部のストリームがシャットダウンされるまでに時間がかかる場合がありますが、ストレージ コストが節約され、今後の実行で自動ローダーのエクスペリエンスが向上します。

    • Delta テーブルを変更して、DeltaTable.addFeatureSupport(feature_name) を使用してテーブル機能のサポートを追加できるようになりました。

    • [SPARK-42794] 構造化ストリーミングの RocksDB 状態ストアを取得するための lockAcquireTimeoutMs を 2 分に増やす

    • [SPARK-42521] ターゲット テーブルよりも少ない列のユーザー指定リストを使用して、INSERT に NULL 値を追加する

    • [SPARK-42702][SPARK-42623] サブクエリと CTE でパラメーター化されたクエリをサポート

    • [SPARK-42668] HDFSStateStoreProvider 停止で圧縮ストリームを閉じようとしているときに例外をキャッチする

    • [SPARK-42403] JsonProtocol で null JSON 文字列を処理する必要がある

  • 2023 年 3 月 8 日
    • "構成の初期化エラー" というエラー メッセージが改善され、顧客に多くのコンテキストが提供されます。
    • table プロパティを使用して Delta テーブルに機能を追加するための用語の変更があります。 推奨される構文は、'delta.feature.featureName'='enabled' ではなく 'delta.feature.featureName'='supported' になりました。 下位互換性のために、'delta.feature.featureName'='enabled' を使用しても引き続き動作し、今後も引き続き動作します。
    • このリリース以降では、既定のリーダーとライターのバージョンおよび既定でサポートされているテーブル機能を含む、プロトコル関連の Spark 構成を無視するために、追加のテーブル プロパティ delta.ignoreProtocolDefaults でテーブルを作成または置換できます。
    • [SPARK-42070] Mask 関数の引数の既定値を -1 から NULL に変更する
    • [SPARK-41793] 大きい 10 進数の範囲句で定義されたウィンドウ フレームの結果が正しくない
    • [SPARK-42484] UnsafeRowUtils のエラー メッセージを改善
    • [SPARK-42516] ビューの作成時にセッション タイム ゾーン構成を常にキャプチャする
    • [SPARK-42635] TimestampAdd 式を修正します。
    • [SPARK-42622] 値の置換を無効にしました
    • [SPARK-42534] DB2Dialect Limit 句を修正する
    • [SPARK-42121] 組み込みのテーブル値関数 posexplode、posexplode_outer、json_tuple、stack を追加する
    • [SPARK-42045] ANSI SQL モード: Round/Bround は、tiny/small/significant の整数オーバーフローでエラーを返す必要がある
    • オペレーティング システムのセキュリティを更新。

Databricks Runtime 11.3 LTS

Databricks Runtime 11.3 LTSを参照してください。

  • 2024 年 4 月 9 日
    • オペレーティング システムのセキュリティを更新。
  • 2024 年 2 月 13 日
    • [SPARK-46794] LogicalRDD 制約からサブクエリを削除します。
    • [SPARK-46861] DAGScheduler でのデッドロックを回避します。
    • オペレーティング システムのセキュリティを更新。
  • 2024 年 1 月 31 日
    • オペレーティング システムのセキュリティを更新。
  • 2023 年 12 月 25 日
    • TLSv1.3 経由で通信するときの待機時間の増加を回避するために、このメンテナンス リリースには JDK バグ JDK-8293562 を修正するための JDK 8 インストールへのパッチが含まれています。
    • [SPARK-46058] privateKeyPassword に別のフラグを追加します。
    • [SPARK-46602] ビュー/テーブルが存在しない場合に、ビューの作成時に allowExisting を伝達します。
    • [SPARK-46394]spark.sql.legacy.keepCommandOutputSchema が true に設定されている場合に、特殊文字を持つスキーマでの spark.catalog.listDatabases() の問題を修正します。
    • [SPARK-46538]ALSModel.transform におけるあいまいな列参照の問題を修正します。
    • [SPARK-39440] イベント タイムラインを無効にする構成を追加します。
    • [SPARK-46249] バックグラウンド操作との競合を防ぐために、RocksDB メトリックを取得するためのインスタンス ロックが必要です。
    • [SPARK-46132] RPC SSL の JKS キーのキー パスワードをサポートします。
  • 2023 年 12 月 14 日
    • JDBC または ODBC クライアントからの getColumns 操作でエスケープされたアンダースコアが誤って処理され、ワイルドカードとして解釈される問題を修正しました。
    • オペレーティング システムのセキュリティを更新。
  • 2023 年 11 月 29 日
    • PyArrow RCE の脆弱性を修復するために、新しいパッケージ pyarrow-hotfix をインストールしました。
    • JDBC または ODBC クライアントからの getColumns 操作でエスケープされたアンダースコアがワイルドカードとして誤って解釈される問題を修正しました。
    • [SPARK-43973] 構造化ストリーミング UI で、失敗したクエリが正しく表示されるようになりました。
    • [SPARK-45730]ReloadingX509TrustManagerSuite の時間制約を改善しました。
    • [SPARK-45544] SSL サポートを TransportContext に統合しました。
    • [SPARK-45859]ml.functions の UDF オブジェクトを遅延させました。
    • [SPARK-43718]USING 結合でのキーの NULL 値の許容を修正しました。
    • [SPARK-44846]RemoveRedundantAggregates の後の複雑なグループ化式を削除しました。
    • オペレーティング システムのセキュリティを更新。
  • 2023 年 11 月 14 日
    • Delta Lake ストリーミング クエリのパーティション フィルターは、使用率を向上させるためにレート制限の前にプッシュダウンされます。
    • [SPARK-42205] ステージおよびタスクの開始イベントの蓄積されたログ記録を削除しました。
    • [SPARK-45545]SparkTransportConf は作成時に SSLOptions を継承します。
    • [SPARK-33861] を元に戻します。
    • [SPARK-45541]SSLFactory を追加しました。
    • [SPARK-45429] SSL RPC 通信用のヘルパー クラスを追加しました。
    • [SPARK-45584]TakeOrderedAndProjectExec のサブクエリの実行エラーを修正しました。
    • [SPARK-45430]FramelessOffsetWindowFunction は、IGNORE NULLS と offset > rowCount の場合に失敗しなくなりました。
    • [SPARK-45427] RPC SSL 設定を SSLOptions と SparkTransportConf に追加しました。
    • オペレーティング システムのセキュリティを更新。
  • 2023 年 10 月 24 日
    • [SPARK-45426]ReloadingX509TrustManager のサポートを追加しました。
    • その他の修正。
  • 2023 年 10 月 13 日
    • Snowflake-jdbc 依存関係が 3.13.29 から 3.13.33 にアップグレードされました。
    • [SPARK-45178] ラッパーを使用するのではなく、サポートされていないソースを使って Trigger.AvailableNow の単一バッチを実行するようにフォールバックします。
    • [SPARK-45084] 正確で適切なシャッフル パーティション番号を使用するための StateOperatorProgress。
    • [SPARK-45346] Parquet スキーマ推論では、スキーマをマージする際に、大文字と小文字を区別するフラグが考慮されるようになりました。
    • オペレーティング システムのセキュリティを更新。
  • 2023 年 9 月 10 日
    • その他の修正。
  • 2023 年 8 月 30 日
    • [SPARK-44818]taskThread の初期化前に発行された保留中のタスク割り込みの競合を修正しました。
    • [SPARK-44871][11.3-13.0] percentile_disc の動作を修正しました。
    • オペレーティング システムのセキュリティを更新。
  • 2023 年 8 月 15 日
    • [SPARK-44485]TreeNode.generateTreeString を最適化しました。
    • [SPARK-44504] メンテナンス タスクで、停止エラー時に読み込まれたプロバイダーがクリーンアップされます。
    • [SPARK-44464] 最初の列値として Null を持つ出力行に対する applyInPandasWithStatePythonRunner を修正しました。
    • オペレーティング システムのセキュリティを更新。
  • 2023 年 7 月 27 日
    • 他の外部またはマネージド ストレージの場所と競合するストレージの場所のパスを呼び出すと、dbutils.fs.ls() が INVALID_PARAMETER_VALUE.LOCATION_OVERLAP を返す問題を修正しました。
    • [SPARK-44199]CacheManagerfileIndex を不必要に更新しなくなりました。
    • オペレーティング システムのセキュリティを更新。
  • 2023 年 7 月 24 日
    • [SPARK-44136] FlatMapGroupsWithStateExec のドライバーではなく Executor で StateManager が具体化される可能性がある問題を修正しました。
    • オペレーティング システムのセキュリティを更新。
  • 2023 年 6 月 23 日
    • オペレーティング システムのセキュリティを更新。
  • 2023 年 6 月 15 日
    • approx_count_distinct が Photon に対応しました。
    • snowflake-jdbc ライブラリはセキュリティの問題に対処するために 3.13.29 にアップグレードされます。
    • [SPARK-43779]ParseToDate により、メイン スレッドに EvalMode が読み込まれるようになりました。
    • [SPARK-40862] RewriteCorrelatedScalarSubquery で集計されていないサブクエリをサポートする
    • [SPARK-43156][SPARK-43098]decorrelateInnerQuery を無効にしてスカラー サブクエリ数のバグ テストを拡張しました。
    • [SPARK-43098] スカラー サブクエリに group by 句がある場合の COUNT の正確性のバグを修正する
    • オペレーティング システムのセキュリティを更新。
  • 2023 年 6 月 2 日
    • failOnUnknownFields モードの JSON パーサーは、DROPMALFORMED モードでレコードを削除し、FAILFAST モードで直接失敗します。
    • SHALLOW CLONE の Iceberg と Parquet を使用して増分更新のパフォーマンスを向上させます。
    • 指定されたスキーマに推論されたパーティションが含まれていなかったため、異なるソース ファイル形式に一貫性がなかった自動ローダーの問題を修正しました。 この問題により、推論されたパーティション スキーマに列がないファイルの読み取り時に予期しない失敗が発生していた可能性があります。
    • [SPARK-43404] ID の不一致エラーを回避するために、同じバージョンの RocksDB 状態ストアの sst ファイルの再利用をスキップします。
    • [SPARK-43527] PySpark の catalog.listCatalogs を修正しました。
    • [SPARK-43413][11.3-13.0] IN サブクエリの ListQuery NULL 値の許容を修正しました。
    • [SPARK-43340] イベント ログにスタック トレース フィールドが見つからない問題を修正しました。

Databricks Runtime 10.4 LTS

「Databricks Runtime 10.4 LTS」を参照してください。

  • 2024 年 4 月 6 日
    • オペレーティング システムのセキュリティを更新。
  • 2024 年 2 月 13 日
    • [SPARK-46861] DAGScheduler でのデッドロックを回避します。
    • オペレーティング システムのセキュリティを更新。
  • 2024 年 1 月 31 日
    • オペレーティング システムのセキュリティを更新。
  • 2023 年 12 月 25 日
    • TLSv1.3 経由で通信するときの待機時間の増加を回避するために、このメンテナンス リリースには JDK バグ JDK-8293562 を修正するための JDK 8 インストールへのパッチが含まれています。
    • [SPARK-46058] privateKeyPassword に別のフラグを追加します。
    • [SPARK-46538]ALSModel.transform におけるあいまいな列参照の問題を修正します。
    • [SPARK-39440] イベント タイムラインを無効にする構成を追加します。
    • [SPARK-46132] RPC SSL の JKS キーのキー パスワードをサポートします。
  • 2023 年 12 月 14 日
    • オペレーティング システムのセキュリティを更新。
  • 2023 年 11 月 29 日
    • PyArrow RCE の脆弱性を修復するために、新しいパッケージ pyarrow-hotfix をインストールしました。
    • [SPARK-45544] SSL サポートを TransportContext に統合しました。
    • [SPARK-45859]ml.functions の UDF オブジェクトを遅延させました。
    • [SPARK-43718]USING 結合でのキーの NULL 値の許容を修正しました。
    • [SPARK-45730]ReloadingX509TrustManagerSuite の時間制約を改善しました。
    • [SPARK-42205] ステージおよびタスクの開始イベントの蓄積されたログ記録を削除しました。
    • [SPARK-44846]RemoveRedundantAggregates の後の複雑なグループ化式を削除しました。
    • オペレーティング システムのセキュリティを更新。
  • 2023 年 11 月 14 日
    • [SPARK-45541]SSLFactory を追加しました。
    • [SPARK-45545]SparkTransportConf は作成時に SSLOptions を継承します。
    • [SPARK-45427] RPC SSL 設定を SSLOptions と SparkTransportConf に追加しました。
    • [SPARK-45429] SSL RPC 通信用のヘルパー クラスを追加しました。
    • [SPARK-45584]TakeOrderedAndProjectExec のサブクエリの実行エラーを修正しました。
    • [SPARK-33861] を元に戻します。
    • オペレーティング システムのセキュリティを更新。
  • 2023 年 10 月 24 日
    • [SPARK-45426]ReloadingX509TrustManager のサポートを追加しました。
    • オペレーティング システムのセキュリティを更新。
  • 2023 年 10 月 13 日
    • [SPARK-45084] 正確で適切なシャッフル パーティション番号を使用するための StateOperatorProgress。
    • [SPARK-45178] ラッパーを使用するのではなく、サポートされていないソースを使って Trigger.AvailableNow の単一バッチを実行するようにフォールバックします。
    • オペレーティング システムのセキュリティを更新。
  • 2023 年 9 月 10 日
    • その他の修正。
  • 2023 年 8 月 30 日
    • [SPARK-44818]taskThread の初期化前に発行された保留中のタスク割り込みの競合を修正しました。
    • オペレーティング システムのセキュリティを更新。
  • 2023 年 8 月 15 日
    • [SPARK-44504] メンテナンス タスクで、停止エラー時に読み込まれたプロバイダーがクリーンアップされます。
    • [SPARK-43973] 構造化ストリーミング UI で、失敗したクエリが正しく表示されるようになりました。
    • オペレーティング システムのセキュリティを更新。
  • 2023 年 6 月 23 日
    • オペレーティング システムのセキュリティを更新。
  • 2023 年 6 月 15 日
    • snowflake-jdbc ライブラリはセキュリティの問題に対処するために 3.13.29 にアップグレードされます。
    • [SPARK-43098] スカラー サブクエリに group by 句がある場合の COUNT の正確性のバグを修正する
    • [SPARK-40862] RewriteCorrelatedScalarSubquery で集計されていないサブクエリをサポートする
    • [SPARK-43156][SPARK-43098]decorrelateInnerQuery を無効にしてスカラー サブクエリ数のテストを拡張しました。
    • オペレーティング システムのセキュリティを更新。
  • 2023 年 6 月 2 日
    • failOnUnknownFields モードの JSON パーサーは、DROPMALFORMED モードでレコードを削除し、FAILFAST モードで直接失敗します。
    • UnknownFieldException を防ぐために JSON で復旧されたデータ解析の問題を修正しました。
    • 指定されたスキーマに推論されたパーティションが含まれていなかったため、異なるソース ファイル形式に一貫性がなかった自動ローダーの問題を修正しました。 この問題により、推論されたパーティション スキーマに列がないファイルの読み取り時に予期しない失敗が発生していた可能性があります。
    • [SPARK-43404] ID の不一致エラーを回避するために、同じバージョンの RocksDB 状態ストアの sst ファイルの再利用をスキップします。
    • [SPARK-43413]IN サブクエリの ListQuery NULL 値の許容を修正しました。
    • オペレーティング システムのセキュリティを更新。
  • 2023 年 5 月 17 日
    • バッチ サイズを動的に調整することで、非常に構造化されたファイルをスキャンするときに、Parquet スキャンが OOM に対して堅牢になりました。 バッチ サイズを大幅に小さくするためにファイル メタデータが分析され、最終的なセーフティ ネットとしてタスクの再試行時に再度低下します。
    • [SPARK-41520]AND_OR ツリー パターンを分割して、AND と OR に分離します。
    • [SPARK-43190]ListQuery.childOutput がセカンダリ出力と一致するようになりました。
    • オペレーティング システムのセキュリティを更新。
  • 2023 年 4 月 25 日
    • [SPARK-42928]resolvePersistentFunction を同期させます。
    • オペレーティング システムのセキュリティを更新。
  • 2023 年 4 月 11 日
    • 入れ子になった JSON オブジェクトのスキーマで新しい列が検出されると、自動ローダー スキーマの展開が無限の失敗ループに入る可能性がある問題を修正しました。
    • [SPARK-42937]PlanSubqueries で InSubqueryExec#shouldBroadcast が true に設定されるようになりました。
    • [SPARK-42967] ステージが取り消された後にタスクが開始されたときの SparkListenerTaskStart.stageAttemptId を修正します。
  • 2023 年 3 月 29 日
    • [SPARK-42668] HDFSStateStoreProvider 停止で圧縮ストリームを閉じようとしているときに例外をキャッチする
    • [SPARK-42635] ... を修正する
    • オペレーティング システムのセキュリティを更新。
  • 2023 年 3 月 14 日
    • [SPARK-41162] 集計を使用した自己結合の反結合および半結合を修正する
    • [SPARK-33206] 小さいインデックス ファイルのシャッフル インデックス キャッシュの重みの計算を修正する
    • [SPARK-42484]UnsafeRowUtils エラー メッセージを改善しました
    • その他の修正。
  • 2023 年 2 月 28 日
    • yyyy-MM-dd date_format の生成列をサポート。 この変更により、生成された列の date_format としての yyyy-MM-dd のパーティション排除がサポートされます。
    • ユーザーは Databricks Runtime 9.1 LTS 以降を使用して、Reader バージョン 3 と Writer バージョン 7 を必要とする特定の Delta テーブルの読み取りと書き込みができるようになりました。 成功するには、テーブルのプロトコルに記載されているテーブル機能が、現在のバージョンの Databricks Runtime でサポートされている必要があります。
    • yyyy-MM-dd date_format の生成列をサポート。 この変更により、生成された列の date_format としての yyyy-MM-dd のパーティション排除がサポートされます。
    • オペレーティング システムのセキュリティを更新。
  • 2023 年 2 月 16 日
    • [SPARK-30220] フィルター ノードの外部にある Exists/In サブクエリの使用を有効にする
    • オペレーティング システムのセキュリティを更新。
  • 2023 年 1 月 31 日
    • JDBC テーブルのテーブルの種類が既定では EXTERNAL になりました。
  • 2023 年 1 月 18 日
    • Azure Synapse コネクタからは、列名に空白やセミコロンなどの無効な文字が含まれているときに、よりわかりやすいエラー メッセージが返されます。 このような場合は、次のメッセージが返されます。Azure Synapse Analytics failed to run the JDBC query produced by the connector. Check column names do not include not valid characters such as ';' or white space
    • [SPARK-38277] RocksDB 状態ストアのコミット後に書き込みバッチをクリアする
    • [SPARK-41199] DSv1 ストリーミング ソースと DSv2 ストリーミング ソースが共同使用されている場合のメトリックの問題を修正する
    • [SPARK-41198] CTE と DSv1 ストリーミング ソースを持つストリーミング クエリのメトリックを修正します。
    • [SPARK-41339] 単にクリアするのではなく、RocksDB 書き込みバッチを閉じて再作成します。
    • [SPARK-41732] SessionWindowing のルールにツリー パターン ベースの排除を適用します。
    • オペレーティング システムのセキュリティを更新。
  • 2022 年 11 月 29 日
    • ユーザーは、Redshift コネクタを使用してデータを書き込むときに、先頭と末尾の空白文字のビヘイビアーを構成できます。 空白の処理を制御するために、次のオプションが追加されました。
      • csvignoreleadingwhitespace: true に設定すると、tempformat が CSV または CSV GZIP に設定されている場合、書き込み中に先頭の空白が値から削除されます。 空白は、構成がfalse に設定されている場合に保持されます。 既定値は true です。
      • csvignoretrailingwhitespace: true に設定すると、tempformat が CSV または CSV GZIP に設定されている場合、書き込み中に末尾の空白が値から削除されます。 空白は、構成がfalse に設定されている場合に保持されます。 既定値は true です。
    • すべての列が文字列として残され (cloudFiles.inferColumnTypes が設定されていないか、false に設定されている)、JSON に入れ子になったオブジェクトが含まれている場合の、自動ローダーでの JSON 解析の問題を修正しました。
    • オペレーティング システムのセキュリティを更新。
  • 2022 年 11 月 15 日
    • Apache commons-text を 1.10.0 にアップグレードしました。
    • [SPARK-40646] 構造体、マップ、配列の JSON 解析は修正されているため、レコードの一部がスキーマと一致しない場合でも、残りのレコードは null 値 を返す代わりに正しく解析できます。 改善された動作をオプトインするには、spark.sql.json.enablePartialResults を true に設定します。 フラグは、元の動作を保持するために既定で無効になっています。
    • [SPARK-40292] 入れ子になった構造体から配列が参照されている場合の arrays_zip 関数の列名を修正する
    • オペレーティング システムのセキュリティを更新。
  • 2022 年 11 月 1 日
    • Delta テーブルに _change_type という名前のユーザー定義列があるが、そのテーブルで変更データ フィードが無効になっている場合、その列のデータが MERGE の実行時に NULL 値で誤って入力される問題を修正しました。
    • allowOverwrites が有効になっている場合に、同じマイクロバッチでファイルを複製できる自動ローダーの問題を修正しました
    • [SPARK-40697] 外部データ ファイルをカバーする読み取り側の char パディングを追加する
    • [SPARK-40596] ExecutorDecommission に ExecutorDecommissionInfo のメッセージを設定する
    • オペレーティング システムのセキュリティを更新。
  • 2022 年 10 月 18 日
    • オペレーティング システムのセキュリティを更新。
  • 2022 年 10 月 5 日
    • [SPARK-40468]_corrupt_record が選択されている場合の CSV での列の排除を修正します。
    • オペレーティング システムのセキュリティを更新。
  • 2022 年 9 月 22 日
    • ユーザーは spark.conf.set(spark.databricks.io.listKeysWithPrefix.azure.enabled, true) を設定して、ADLS Gen2 の自動ローダーの組み込みリストを再度有効にすることができます。 組み込みリストは、以前はパフォーマンスの問題のために無効にされていましたが、顧客のストレージ コストの増加につながっている可能性があります。
    • [SPARK-40315] ArrayBasedMapData のリテラルに hashCode() を追加する
    • [SPARK-40213] ラテン 1 文字の ASCII 値変換をサポート
    • [SPARK-40380] プランにシリアル化不可能なリテラルが埋め込まれるのを避けるために InvokeLike の定数フォールディングを修正する
    • [SPARK-38404] 入れ子になった CTE が外部 CTE を参照する場合の CTE 解決を向上させる
    • [SPARK-40089] 一部の Decimal 型の並べ替えを修正する
    • [SPARK-39887] RemoveRedundantAliases は、プロジェクション ノードの出力を一意にするエイリアスを保持する必要がある
  • 2022 年 9 月 6 日
    • [SPARK-40235] Executor.updateDependencies() で同期する代わりに、割り込み可能なロックを使用します。
    • [SPARK-40218] GROUPING SETS では列のグループ化を保持する必要があります。
    • [SPARK-39976] ArrayIntersect で左側の式に含まれる null が正しく処理される必要があります。
    • [SPARK-40053] Python ランタイム環境を必要とする動的キャンセル ケースに assume を追加します。
    • [SPARK-35542] 修正: パラメータ splitsArray、inputCols、outputCols を指定して複数の列に対して作成された Bucketizer を保存後に読み込めません。
    • [SPARK-40079] 空の入力ケースに対する Imputer inputCols 検証を追加します。
  • 2022 年 8 月 24 日
    • [SPARK-39983] ドライバーに非直列化ブロードキャスト関係をキャッシュしないでください。
    • [SPARK-39775] Avro スキーマの解析時に既定値の検証を無効にします。
    • [SPARK-39962] グループ属性が空の場合にプロジェクションを適用する
    • [SPARK-37643] charVarcharAsString が true の場合、char データ型述語クエリでは rpadding ルールをスキップする必要があります。
    • オペレーティング システムのセキュリティを更新。
  • 2022 年 8 月 9 日
    • [SPARK-39847] 呼び出し元スレッドが中断された場合の RocksDBLoader.loadLibrary() の競合状態を修正する
    • [SPARK-39731] 修正されたタイム パーサー ポリシーを使用して "yyyyMMdd" 形式で日付を解析するときの CSV および JSON データ ソースの問題を修正する
    • オペレーティング システムのセキュリティを更新。
  • 2022 年 7 月 27 日
    • [SPARK-39625] Dataset.as(StructType) を追加します。
    • [SPARK-39689]CSV データ ソースで 2 文字の lineSep をサポートします。
    • [SPARK-39104] InMemoryRelation#isCachedColumnBuffersLoaded はスレッド セーフである必要があります。
    • [SPARK-39570] インライン テーブルで、別名を持つ式を許可する必要があります。
    • [SPARK-39702] 共有 byteRawChannel を使用して、TransportCipher$EncryptedMessage のメモリ オーバーヘッドを削減します。
    • [SPARK-39575] AvroDeserializer で ByteBuffer#get の後に ByteBuffer#rewind を追加します。
    • [SPARK-39476] Long から Float か Double、または Integer から Float へのキャスト時に、アンラップ キャストの最適化を無効にします。
    • [SPARK-38868] 外部結合を最適化するときにフィルター述語から例外を伝達しません。
    • オペレーティング システムのセキュリティを更新。
  • 2022 年 7 月 20 日
    • ソースが決定論的でない場合は、Delta MERGE 操作の結果を一貫性のあるものにします。
    • [SPARK-39355] 単一列で引用符を使用して UnresolvedAttribute を構築します。
    • [SPARK-39548] ウィンドウ句クエリで CreateView コマンドを実行したら間違ったウィンドウ定義に達して、問題が見つかりません。
    • [SPARK-39419] 比較器が null を返したときに例外をスローするように ArraySort を修正します。
    • Azure でのディレクトリ一覧に対する自動ローダーによる組み込みのクラウド API の使用を無効にしました。
    • オペレーティング システムのセキュリティを更新。
  • 2022 年 7 月 5 日
    • [SPARK-39376] NATURAL/USING JOIN からのサブクエリ エイリアスのスター展開で重複する列を表示しない
    • オペレーティング システムのセキュリティを更新。
  • 2022 年 6 月 15 日
    • [SPARK-39283] TaskMemoryManager と UnsafeExternalSorter.SpillableIterator の間のデッドロックを修正します。
    • [SPARK-39285] ファイルの読み取り時に Spark でフィールド名を確認しないでください。
    • [SPARK-34096] オフセット ウィンドウでの nth_value ignore nulls のパフォーマンスが向上します。
    • [SPARK-36718] CollapseProject の isExtractOnly チェックを修正します。
  • 2022 年 6 月 2 日
    • [SPARK-39093] 年月の間隔または日時の間隔を整数で除算するときの codegen コンパイル エラーを回避します。
    • [SPARK-38990] バインドされた参照として date_trunc/trunc 形式を評価するときの NullPointerException を回避します。
    • オペレーティング システムのセキュリティを更新。
  • 2022 年 5 月 18 日
    • 自動ローダーで組み込みメモリ リークが発生する可能性がある問題を修正しました。
    • [SPARK-38918] 入れ子になった列の排除で、現在のリレーションシップに属していない属性を除外する必要があります。
    • [SPARK-37593] G1GC と ON_HEAP が使用されている場合、LONG_ARRAY_OFFSET だけ既定のページ サイズを縮小します。
    • [SPARK-39084] TaskContext を使用してタスクの完了時に反復子を停止して df.rdd.isEmpty() を修正します。
    • [SPARK-32268] injectBloomFilter に ColumnPruning を追加します。
    • [SPARK-38974] リスト関数で指定されたデータベース名を使用して、登録されている関数をフィルター処理します。
    • [SPARK-38931] 第 1 チェックポイントのキー数が不明な RocksDBFileManager のルート dfs ディレクトリを作成します。
    • オペレーティング システムのセキュリティを更新。
  • 2022 年 4 月 19 日
    • Java AWS SDK をバージョン 1.11.655 から 1.12.1899 にアップグレードしました。
    • ノートブック スコープのライブラリがバッチ ストリーミング ジョブで動作しない問題を修正しました。
    • [SPARK-38616] Catalyst TreeNode で SQL クエリ テキストを追跡する
    • オペレーティング システムのセキュリティを更新。
  • 2022 年 4 月 6 日
    • このリリースでは、次の Spark SQL 関数を使用できるようになりました。
      • timestampadd() および dateadd(): タイムスタンプ式に、指定した単位の期間を追加します。
      • timestampdiff() および datediff(): 指定した単位の 2 つのタイム スタンプ式の時間差を計算します。
    • Parquet-MR が 1.12.2 にアップグレードされました
    • Parquet ファイルの包括的なスキーマのサポートを改善しました
    • [SPARK-38631] Java ベースの実装を使用して、Utils.unpack での tar の展開を行います。
    • [SPARK-38509][SPARK-38481] 3 つの timestmapadd/diff 変更のチェリーピックを行います。
    • [SPARK-38523] CSV の破損したレコード列を参照する修正を行います。
    • [SPARK-38237] 完全なクラスタリング キーを要求できるように ClusteredDistribution を許可します。
    • [SPARK-38437] データソースからの datetime の厳密ではないシリアル化。
    • [SPARK-38180] 相関等価述語で安全なアップキャスト式を許可します。
    • [SPARK-38155] サポートされていない述語を持つ lateral サブクエリの個別の集計を禁止します。
    • オペレーティング システムのセキュリティを更新。

Databricks Runtime 9.1 LTS

「Databricks Runtime 9.1 LTS」を参照してください。

  • 2024 年 4 月 9 日
    • オペレーティング システムのセキュリティを更新。
  • 2024 年 2 月 13 日
    • [SPARK-46861] DAGScheduler でのデッドロックを回避します。
    • オペレーティング システムのセキュリティを更新。
  • 2024 年 1 月 31 日
    • オペレーティング システムのセキュリティを更新。
  • 2023 年 12 月 25 日
    • TLSv1.3 経由で通信するときの待機時間の増加を回避するために、このメンテナンス リリースには JDK バグ JDK-8293562 を修正するための JDK 8 インストールへのパッチが含まれています。
    • [SPARK-46058] privateKeyPassword に別のフラグを追加します。
    • [SPARK-39440] イベント タイムラインを無効にする構成を追加します。
    • [SPARK-46132] RPC SSL の JKS キーのキー パスワードをサポートします。
  • 2023 年 12 月 14 日
    • オペレーティング システムのセキュリティを更新。
  • 2023 年 11 月 29 日
    • PyArrow RCE の脆弱性を修復するために、新しいパッケージ pyarrow-hotfix をインストールしました。
    • [SPARK-45859]ml.functions の UDF オブジェクトを遅延させました。
    • [SPARK-45544] SSL サポートを TransportContext に統合しました。
    • [SPARK-45730]ReloadingX509TrustManagerSuite の時間制約を改善しました。
    • オペレーティング システムのセキュリティを更新。
  • 2023 年 11 月 14 日
    • [SPARK-45545]SparkTransportConf は作成時に SSLOptions を継承します。
    • [SPARK-45429] SSL RPC 通信用のヘルパー クラスを追加しました。
    • [SPARK-45427] RPC SSL 設定を SSLOptions と SparkTransportConf に追加しました。
    • [SPARK-45584]TakeOrderedAndProjectExec のサブクエリの実行エラーを修正しました。
    • [SPARK-45541]SSLFactory を追加しました。
    • [SPARK-42205] ステージおよびタスクの開始イベントの蓄積されたログ記録を削除しました。
    • オペレーティング システムのセキュリティを更新。
  • 2023 年 10 月 24 日
    • [SPARK-45426]ReloadingX509TrustManager のサポートを追加しました。
    • オペレーティング システムのセキュリティを更新。
  • 2023 年 10 月 13 日
    • オペレーティング システムのセキュリティを更新。
  • 2023 年 9 月 10 日
    • その他の修正。
  • 2023 年 8 月 30 日
    • オペレーティング システムのセキュリティを更新。
  • 2023 年 8 月 15 日
    • オペレーティング システムのセキュリティを更新。
  • 2023 年 6 月 23 日
    • snowflake-jdbc ライブラリはセキュリティの問題に対処するために 3.13.29 にアップグレードされます。
    • オペレーティング システムのセキュリティを更新。
  • 2023 年 6 月 15 日
    • [SPARK-43098] スカラー サブクエリに group by 句がある場合の COUNT の正確性のバグを修正します。
    • [SPARK-43156][SPARK-43098]decorrelateInnerQuery を無効にしてスカラー サブクエリ数のバグ テストを拡張します。
    • [SPARK-40862] RewriteCorrelatedScalarSubquery で集計されていないサブクエリをサポートします。
    • オペレーティング システムのセキュリティを更新。
  • 2023 年 6 月 2 日
    • failOnUnknownFields モードの JSON パーサーは、DROPMALFORMED モードでレコードを削除し、FAILFAST モードで直接失敗します。
    • UnknownFieldException を防ぐために JSON で復旧されたデータ解析の問題を修正しました。
    • 指定されたスキーマに推論されたパーティションが含まれていなかったため、異なるソース ファイル形式に一貫性がなかった自動ローダーの問題を修正しました。 この問題により、推論されたパーティション スキーマに列がないファイルの読み取り時に予期しない失敗が発生していた可能性があります。
    • [SPARK-37520]startswith() および endswith() 文字列関数を追加する
    • [SPARK-43413]IN サブクエリの ListQuery NULL 値の許容を修正しました。
    • オペレーティング システムのセキュリティを更新。
  • 2023 年 5 月 17 日
    • オペレーティング システムのセキュリティを更新。
  • 2023 年 4 月 25 日
    • オペレーティング システムのセキュリティを更新。
  • 2023 年 4 月 11 日
    • 入れ子になった JSON オブジェクトのスキーマで新しい列が検出されると、自動ローダー スキーマの展開が無限の失敗ループに入る可能性がある問題を修正しました。
    • [SPARK-42967] ステージが取り消された後にタスクが開始されたときの SparkListenerTaskStart.stageAttemptId を修正します。
  • 2023 年 3 月 29 日
    • オペレーティング システムのセキュリティを更新。
  • 2023 年 3 月 14 日
    • [SPARK-42484]UnsafeRowUtils のエラー メッセージを改善しました。
    • その他の修正。
  • 2023 年 2 月 28 日
    • ユーザーは Databricks Runtime 9.1 LTS 以降を使用して、Reader バージョン 3 と Writer バージョン 7 を必要とする特定の Delta テーブルの読み取りと書き込みができるようになりました。 成功するには、テーブルのプロトコルに記載されているテーブル機能が、現在のバージョンの Databricks Runtime でサポートされている必要があります。
    • オペレーティング システムのセキュリティを更新。
  • 2023 年 2 月 16 日
    • オペレーティング システムのセキュリティを更新。
  • 2023 年 1 月 31 日
    • JDBC テーブルのテーブルの種類が既定では EXTERNAL になりました。
  • 2023 年 1 月 18 日
    • オペレーティング システムのセキュリティを更新。
  • 2022 年 11 月 29 日
    • すべての列が文字列として残され (cloudFiles.inferColumnTypes が設定されていないか、false に設定されている)、JSON に入れ子になったオブジェクトが含まれている場合の、自動ローダーでの JSON 解析の問題を修正しました。
    • オペレーティング システムのセキュリティを更新。
  • 2022 年 11 月 15 日
    • Apache commons-text を 1.10.0 にアップグレードしました。
    • オペレーティング システムのセキュリティを更新。
    • その他の修正。
  • 2022 年 11 月 1 日
    • Delta テーブルに _change_type という名前のユーザー定義列があるが、そのテーブルで変更データ フィードが無効になっている場合、その列のデータが MERGE の実行時に NULL 値で誤って入力される問題を修正しました。
    • allowOverwrites が有効になっている場合に、同じマイクロバッチでファイルを複製できる自動ローダーの問題を修正しました
    • [SPARK-40596] ExecutorDecommission に ExecutorDecommissionInfo のメッセージを設定する
    • オペレーティング システムのセキュリティを更新。
  • 2022 年 10 月 18 日
    • オペレーティング システムのセキュリティを更新。
  • 2022 年 10 月 5 日
    • その他の修正。
    • オペレーティング システムのセキュリティを更新。
  • 2022 年 9 月 22 日
    • ユーザーは spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") を設定して、ADLS Gen2 の自動ローダーの組み込みリストを再度有効にすることができます。 組み込みリストは、以前はパフォーマンスの問題のために無効にされていましたが、顧客のストレージ コストの増加につながっている可能性があります。
    • [SPARK-40315] ArrayBasedMapData のリテラルに hashCode() を追加する
    • [SPARK-40089] 一部の Decimal 型の並べ替えを修正する
    • [SPARK-39887] RemoveRedundantAliases は、プロジェクション ノードの出力を一意にするエイリアスを保持する必要がある
  • 2022 年 9 月 6 日
    • [SPARK-40235] Executor.updateDependencies() で同期ではなく割り込み可能なロックを使用する
    • [SPARK-35542] 修正: パラメーター splitsArray、inputCols、outputCols を指定して複数の列に対して作成された Bucketizer を保存後に読み込めない
    • [SPARK-40079] 空の入力ケースに対する Imputer inputCols 検証を追加
  • 2022 年 8 月 24 日
    • [SPARK-39666] UnsafeProjection.create を使用して ExpressionEncoder で spark.sql.codegen.factoryMode を考慮する
    • [SPARK-39962] グループ属性が空の場合にプロジェクションを適用する
    • オペレーティング システムのセキュリティを更新。
  • 2022 年 8 月 9 日
    • オペレーティング システムのセキュリティを更新。
  • 2022 年 7 月 27 日
    • ソースが決定論的でない場合は、Delta MERGE 操作の結果を一貫性のあるものにします。
    • [SPARK-39689] CSV データ ソースでの 2 文字の lineSep のサポート
    • [SPARK-39575]AvroDeserializer で ByteBuffer#get の後に ByteBuffer#rewind を追加しました。
    • [SPARK-37392] カタリスト オプティマイザーのパフォーマンス エラーを修正しました。
    • オペレーティング システムのセキュリティを更新。
  • 2022 年 7 月 13 日
    • [SPARK-39419]ArraySort で、比較子が null を返すときに例外がスローされます。
    • Azure でのディレクトリ一覧に対する自動ローダーによる組み込みのクラウド API の使用を無効にしました。
    • オペレーティング システムのセキュリティを更新。
  • 2022 年 7 月 5 日
    • オペレーティング システムのセキュリティを更新。
    • その他の修正。
  • 2022 年 6 月 15 日
    • [SPARK-39283]TaskMemoryManager と UnsafeExternalSorter.SpillableIterator の間のデッドロックを修正します。
  • 2022 年 6 月 2 日
    • [SPARK-34554]ColumnarMap で copy() メソッドを実装します。
    • オペレーティング システムのセキュリティを更新。
  • 2022 年 5 月 18 日
    • 自動ローダーで組み込みメモリ リークが発生する可能性がある問題を修正しました。
    • AWS SDK のバージョンを 1.11.655 から 1.11.678 にアップグレードします。
    • [SPARK-38918] 入れ子になった列の排除で、現在のリレーションシップに属していない属性を除外する必要がある
    • [SPARK-39084]TaskContext を使用してタスクの完了時に反復子を停止して df.rdd.isEmpty() を修正する
    • オペレーティング システムのセキュリティを更新。
  • 2022 年 4 月 19 日
    • オペレーティング システムのセキュリティを更新。
    • その他の修正。
  • 2022 年 4 月 6 日
    • [SPARK-38631] Java ベースの実装を使用して、Utils.unpack での tar の展開を行います。
    • オペレーティング システムのセキュリティを更新。
  • 2022 年 3 月 22 日
    • テーブル アクセス制御または資格情報パススルーが有効になっている高コンカレンシー クラスターでは、ノートブックの現在の作業ディレクトリがユーザーのホーム ディレクトリに変更されました。 以前は、アクティブ ディレクトリは /databricks/driver でした。
    • [SPARK-38437] データソースからの datetime の厳密ではないシリアル化
    • [SPARK-38180] 相関等価述語で安全なアップキャスト式を許可する
    • [SPARK-38155] サポートされていない述語を持つ lateral サブクエリの個別の集計を禁止する
    • [SPARK-27442] Parquet でのデータの読み取りまたは書き込み時のチェック フィールドを削除しました。
  • 2022 年 3 月 14 日
    • [SPARK-38236] テーブルの作成/変更時に指定される絶対ファイル パスが相対パスとして扱われる
    • [SPARK-34069] ローカル プロパティ SPARK_JOB_INTERRUPT_ON_CANCEL が true に設定されている場合、タスク スレッドを中断します。
  • 2022 年 2 月 23 日
    • [SPARK-37859] Spark 3.1 を使用して JDBC で作成された SQL テーブルを Spark 3.2 で読み取れません。
  • 2022 年 2 月 8 日
    • [SPARK-27442] Parquet でのデータの読み取りまたは書き込み時のチェック フィールドを削除しました。
    • オペレーティング システムのセキュリティを更新。
  • 2022 年 2 月 1 日
    • オペレーティング システムのセキュリティを更新。
  • 2022 年 1 月 26 日
    • 特定のまれな条件下で、Delta テーブルの同時実行トランザクションがシリアル化できない順序でコミットされる可能性がある問題を修正しました。
    • ANSI SQL 言語が有効になっていると OPTIMIZE コマンドが失敗する可能性がある問題を修正しました。
  • 2022 年 1 月 19 日
    • 軽微な修正とセキュリティの強化。
    • オペレーティング システムのセキュリティを更新。
  • 2021 年 11 月 4 日
    • ArrayIndexOutOfBoundsException で構造化ストリーミング ストリームが失敗する可能性がある問題を修正しました。
    • java.io.IOException: No FileSystem for scheme のような IOException を伴うクエリエラーが発生する可能性のある競合状態や、sparkContext.hadoopConfiguration に対する変更がクエリに反映されなくなる可能性のある競合状態を修正。
    • Delta Sharing 用の Apache Spark コネクタを 0.2.0 にアップグレード。
  • 2021 年 10 月 20 日
    • BigQuery コネクタを 0.18.1 から 0.22.2 にアップグレード。 これにより、BigNumeric 型のサポートが追加されます。