Databricks Runtime 18.0 (ベータ)

次のリリース ノートでは、Databricks Runtime 18.0 (ベータ) に関する情報を提供します。

Azure Databricks は、2025 年 12 月にこのバージョンをリリースしました。

Important

Databricks Runtime 18.0 は ベータ版です。 サポートされている環境の内容は、ベータ期間中に変更される可能性があります。 変更には、パッケージの一覧やインストールされているパッケージのバージョンを含めることができます。

新機能と機能強化

• SQL スクリプトが一般公開されました
• Redshift JDBC ドライバーが 2.1.0.28 にアップグレードされました
• Unity カタログ Python UDF の共有分離実行環境
• メトリック ビューの SQL ウィンドウ関数
• Spark アプリケーションの正常なシャットダウン
• ステートレス ストリーミング クエリでの動的シャッフル パーティション調整
• ステートレス ストリーミング クエリでのアダプティブ クエリ実行と自動最適化シャッフル
• FILTER メトリック ビューの集計関数に対するメジャー句
• リテラル文字列がどこでも合体する
• あらゆる場所のパラメーター マーカー
• IDENTIFIER あらゆる場所で句
• 新しいBITMAP_AND_AGG関数
• 新しいKLL_Sketch関数ライブラリ
• Apache Parquet ライブラリが 1.16.0 にアップグレードされました

SQL スクリプトが一般公開されました

SQL スクリプト機能が一般公開されました。

Redshift JDBC ドライバーが 2.1.0.28 にアップグレードされました

Redshift JDBC ドライバーがバージョン 2.1.0.28 にアップグレードされました。

Unity カタログ Python UDF の共有分離実行環境

同じ所有者を持つ Unity Catalog Python UDF で、既定で分離環境を共有できるようになりました。 これにより、起動する必要がある個別の環境の数を減らすことで、パフォーマンスを向上させ、メモリ使用量を減らすことができます。

UDF が常に完全に分離された環境で実行されるようにするには、 STRICT ISOLATION 特性句を追加します。 「環境の分離」を参照してください。

メトリック ビューの SQL ウィンドウ関数

メトリック ビューで SQL ウィンドウ関数 を使用して、実行中の合計、ランク付け、およびその他のウィンドウ ベースの計算を計算できるようになりました。

Spark アプリケーションの正常なシャットダウン

Spark アプリケーションでグレースフル シャットダウンがサポートされるようになりました。これにより、アプリケーションが終了する前に進行中のタスクを完了できるようになりました。

ステートレス ストリーミング クエリでの動的シャッフル パーティション調整

クエリを再起動せずに ステートレス ストリーミング クエリ のシャッフル パーティションの数を変更できるようになりました。

ステートレス ストリーミング クエリでのアダプティブ クエリ実行と自動最適化シャッフル

アダプティブ クエリ実行 (AQE) と自動最適化シャッフル (AOS) が ステートレス ストリーミング クエリでサポートされるようになりました。

FILTER メトリック ビューにおけるメジャー集計関数の句

メトリック ビューのメジャー集計関数と共に FILTER 句を使用して、 メトリック ビューのメジャー を参照するときに集計ごとのフィルターを定義できるようになりました。

リテラル文字列の結合がどこでも行われる

'Hello' ' World'などの連続する文字列リテラルを'Hello World'に結合する機能は、式から任意の場所の文字列リテラルに拡張されています。 たとえば、「 COMMENT 'This' ' is a ' 'comment' 」のように入力します。 詳細については、STRINGの種類を参照してください。

あらゆる場所にパラメーターマーカー

適切な型のリテラル値を使用できる任意の場所で、名前付き (:param) および名前のない (?) パラメーター マーカーを使用できるようになりました。 これには、 CREATE VIEW v AS SELECT ? AS c1、列型 DECIMAL(:p, :s)、 COMMENT ON t IS :commentなどの DDL ステートメントのパラメーター マーカーが含まれます。 この機能を使用すると、コードを SQL インジェクション攻撃に公開することなく、さまざまな SQL ステートメントをパラメーター化できます。 詳細については、 パラメーター マーカー を参照してください。

IDENTIFIER あらゆる場所での条件文

文字列を SQL オブジェクト名にキャストする IDENTIFIER 句の範囲は、識別子が許可されているほぼすべての場所に拡張されています。 パラメーター マーカーを結合するリテラル文字列の機能強化に加えて、列のエイリアス (AS IDENTIFIER(:name)) から列定義 (IDENTIFIER(:pk) BIGINT NOT NULL) まで、あらゆるものをパラメーター化できるようになりました。 詳細についてはIDENTIFIER句を参照してください。

新しいBITMAP_AND_AGG関数

BITMAP関数の既存のライブラリは、新しいBITMAP_AND_AGG関数で丸められました。

新しいKLL_Sketch関数ライブラリ

これで、KLL スケッチを構築する関数の新しいライブラリを使用して、分位点の近似計算を行えるようになりました。

• kll_sketch_agg_bigint 集計関数
• kll_sketch_get_quantile_bigint 関数
• kll_sketch_merge_bigint 関数
• kll_sketch_agg_double 集計関数
• kll_sketch_get_quantile_double 関数
• kll_sketch_merge_double 関数
• kll_sketch_agg_float 集計関数
• kll_sketch_get_quantile_float 関数
• kll_sketch_merge_float 関数
• kll_sketch_get_n_bigint 関数
• kll_sketch_get_rank_bigint 関数
• kll_sketch_to_string_bigint 関数
• kll_sketch_get_n_double 関数
• kll_sketch_get_rank_double 関数
• kll_sketch_to_string_double 関数
• kll_sketch_get_n_float 関数
• kll_sketch_get_rank_float 関数
• kll_sketch_to_string_float 関数

Apache Parquet ライブラリが 1.16.0 にアップグレードされました

Apache Parquet ライブラリがバージョン 1.16.0 にアップグレードされました。

動作の変更

• JDK 21 が既定の Java 開発キットになりました
• FSCK REPAIR TABLE 既定でメタデータの修復が含まれています
• Spark Connect Scala クライアントで配列とマップの型に対して null 値の許容が保持される
• FSCK REPAIR TABLE DRY RUN 出力スキーマの更新
• SHOW TABLES DROPPEDはLIMIT条項を尊重します
• 読み取りと自動最適化書き込みの間で調整された分量係数
• PySpark と Unity カタログ全体で統合された Python UDF の実行
• Kafka コネクタ ログイン モジュールの問題に関するエラー メッセージの改善
• 時間移動の制限と VACUUM 保持動作
• BinaryType PySpark で既定で bytes にマップされます
• Delta MERGE、 UPDATE、およびストリーミング書き込み操作で保持される NULL 構造体
• Parquet ファイルで具体化されたパーティション列

JDK 21 が既定の Java 開発キットになりました

Databricks Runtime 18.0 では、既定の Java 開発キットとして JDK 21 が使用されます。 JDK 21 は、長期サポート (LTS) リリースです。 以前は、JDK 17 が既定値でした。JDK 17 はフォールバック オプションとして使用できるようになりました。

クラスターの JDK バージョンの構成については、「 特定の JDK バージョンを使用したクラスターの作成」を参照してください。

FSCK REPAIR TABLE 既定でメタデータの修復が含まれています

FSCK REPAIR TABLE コマンドに、不足しているデータ ファイルをチェックする前の最初のメタデータ修復手順が含まれるようになりました。 このコマンドは、破損したチェックポイントまたは無効なパーティション値を持つテーブルで動作する可能性があります。

Spark Connect Scala クライアントで配列とマップの型に対して null 値の許容が保持される

Spark Connect Scala クライアントでは、型指定されたリテラルに対する配列型とマップ型の null 性が保持されるようになりました。 以前は、配列の要素とマップの値は常に null 許容でした。

FSCK REPAIR TABLE DRY RUN 出力スキーマの更新

dataFilePath 出力スキーマの FSCK REPAIR TABLE DRY RUN 列は、データファイルパスが適用されないことがある新しい問題の種類を報告するために、null 許容になりました。

SHOW TABLES DROPPED はLIMIT 条項を尊重します

SHOW TABLES DROPPED コマンドは、LIMIT句を正しく考慮するようになりました。

読み取りプロセスと自動最適化された書き込みプロセスの間で調整された比例係数

パーティションサイズ設定のプロレーションファクターで、読み取り操作と自動最適化書き込み全体で小数部の値が一貫して使用されるようになりました。 この変更により、読み取り操作のタスクの数が異なる場合があります。

PySpark と Unity カタログ全体で統合された Python UDF の実行

Unity カタログ Python UDF では、Apache Arrow が既定のインターチェンジ形式として使用されるようになりました。これにより、全体的なパフォーマンスが向上し、Apache Spark での方向最適化 Python UDF の動作に合わせて調整されます。 この変更の一環として、Python UDF に渡されるTIMESTAMP値には、datetimeオブジェクトのtzinfo属性にタイムゾーン情報が含まれなくなりました。 タイムスタンプ値自体は UTC のままですが、タイムゾーンメタデータは削除されるようになりました。

UDF がタイムゾーン情報に依存している場合は、 date = date.replace(tzinfo=timezone.utc)を使用して復元する必要があります。 詳細については、「入力の タイムスタンプタイムゾーンの動作」を参照してください。

Kafka コネクタ ログイン モジュールの問題に関するエラー メッセージの改善

Kafka コネクタを非シェーディング ログイン モジュール クラスと共に使用する場合、Azure Databricks では、正しいシェーディング されたクラス プレフィックス (kafkashaded.org.apache.kafka または kafkashaded.software.amazon.msk.auth.iam) の使用を提案するエラー メッセージが表示されるようになりました。

時間移動の制限と VACUUM 保持動作

Azure Databricks では、すべてのテーブルの deletedFileRetentionDuration しきい値を超えるタイム トラベル クエリがブロックされるようになりました。 VACUUM コマンドは、値が 0 時間の場合を除き、保持期間の引数を無視します。 deletedFileRetentionDurationより大きいlogRetentionDurationまたはその逆を設定することはできません。

BinaryType PySpark で既定で bytes にマップされます

BinaryType PySpark の Python bytes に一貫してマップされるようになりました。 以前は、PySpark はコンテキストに応じて BinaryType を bytes または bytearray にマップしました。 古い動作を復元するには、 spark.sql.execution.pyspark.binaryAsBytes を false に設定します。

Delta MERGE、 UPDATE、およびストリーミング書き込み操作で保持される NULL 構造体

NULL 構造体は、デルタ MERGE、 UPDATE、および構造体型キャストを含むストリーミング書き込み操作で NULL として保持されるようになりました。 以前は、NULL 構造体は NULL フィールドを持つ構造体に拡張されていました。 たとえば、NULL 構造体は、すべての NULL フィールド値を持つ構造体に展開されるのではなく、NULL のままになりました。

Parquet ファイルで具体化されたパーティション列

パーティション分割された Delta テーブルで、新しく書き込まれた Parquet データ ファイル内のパーティション列が具体化されるようになりました。 以前は、パーティション値は Delta トランザクション ログ メタデータに格納され、ディレクトリ パスに反映されていましたが、Parquet ファイル自体には列として書き込まれていませんでした。 この変更は Apache Iceberg と UniForm の動作に合わせて調整され、新しく書き込まれたファイルには追加のパーティション列が含まれるので、Delta Lake によって書き込まれた Parquet ファイルを直接読み取るワークロードに影響する可能性があります。

ライブラリのアップグレード

アップグレードされた Python ライブラリ:

• 4.6.2 から 4.7.0 までの anyio
• asttokensバージョンが2.0.5から3.0.0に更新されました。
• 1.34.0 から 1.36.0 までの azure-core
• azure-mgmt-core を 1.5.0 から 1.6.0 に更新
• 12.23.0 から 12.27.1 までの azure-storage-blob
• azure-storage-file-datalake のバージョン 12.17.0 から 12.22.0 への更新
• boto3 の 1.36.2 から 1.40.45 への変更
• botocore バージョン 1.36.3 から 1.40.45 へ
• certifi は 2025.1.31 から 2025.4.26 へと変更されます。
• バージョン 8.1.7 から 8.1.8 にクリックして移行
• 43.0.3 から 44.0.1 への暗号化
• 3.0.12 から 3.1.5 までの Cython
• databricks-sdk 0.49.0 から 0.67.0
• 1.2.13 から 1.2.18 に非推奨
• 0.8.3 から 1.2.0 へ実行中
• fastapi を 0.115.12 から 0.121.0 に
• google-api-core を 2.20.0 から 2.28.1 に
• google-auth 2.40.0 から 2.43.0 への更新
• google-cloud-core を 2.4.3 から 2.5.0 に
• 3.1.0 から 3.5.0 までの google-cloud-storage
• h11 0.14.0 から 0.16.0
• 1.0.2 から 1.0.9 までの httpcore
• httpx バージョン 0.27.0 から 0.28.1 へ
• isodate を 0.6.1 から 0.7.2 に
• Jinja2 バージョンを 3.1.5 から 3.1.6 にアップデート
• jupyter-events のバージョン 0.10.0 から 0.12.0 へ
• 2.2.0 から 2.2.5 までの jupyter-lsp
• jupyter_server 2.14.1 から 2.15.0
• jupyter_server_terminals 0.4.4 から 0.5.3 まで
• mistune のバージョン 2.0.4 から 3.1.2 へのアップデート
• 3.0.1 から 3.5.1 までの mlflow-skinny
• mmh3 を5.1.0から5.2.0にアップグレード
• msal 1.32.3 から 1.34.0
• nbclient 0.8.0から0.10.2への更新
• nbconvert を 7.16.4 から 7.16.6 へアップデート
• 0.2.3 から 0.2.4 への notebook_shim
• opentelemetry-api 1.32.1 から 1.38.0 にアップデート
• opentelemetry-sdk 1.32.1 から 1.38.0 まで
• opentelemetry-semantic-conventions の 0.53b1 から 0.59b0 まで
• platformdirs バージョン3.10.0から4.3.7への更新
• prometheus_client を 0.21.0 から 0.21.1 へ
• psycopg2 を 2.9.3 から 2.9.11 に
• pyarrowをバージョン19.0.1から21.0.0に更新
• 2.15.1 から 2.19.1 までの Pygments
• pyicebergバージョン0.9.0から0.10.0へ
• 1.12.0 から 1.12.2 までの python-lsp-server
• 1.12.0 から 1.13.0 までのロープ
• s3 0.11.3 から 0.14.0 への転送
• scipy 1.15.1 から 1.15.3 まで
• setuptools 74.0.0から78.1.1へ
• 1.16.0 から 1.17.0 への six のバージョンアップデート
• 0.2.0 から 0.6.3 までのスタック データ
• 0.46.2 から 0.49.3 までのスタレット
• 6.4.2 から 6.5.1 までの竜巻
• types-python-dateutil がバージョン 2.9.0.20241206 から 2.9.0.20251008 に更新されます。
• uvicorn をバージョン 0.34.2 から 0.38.0 にアップデート
• webcolors バージョン 24.11.1 から 25.10.0 へ

アップグレードされた R ライブラリ:

• 19.0.1 から 22.0.0 への矢印
• base を4.4.2から4.5.1に更新
• bigD 0.3.0 から 0.3.1 まで
• broom 1.0.7 から 1.0.10 への移行
• 0.7.2 から 0.7.3 までのクロック
• commonmark バージョン 1.9.5 から 2.0.0 への更新
• コンパイラ (4.4.2 から 4.5.1)
• 2.0.2 から 2.0.3 までの資格情報
• curl バージョン 6.4.0 から 7.0.0 へ
• data.table のバージョンを1.17.0から1.17.8に更新
• 4.4.2 から 4.5.1 までのデータセット
• 2.5.0 から 2.5.1 までの dbplyr
• devtools (2.4.5 から 2.4.6)
• diffobj バージョン 0.3.5 から 0.3.6 へのアップデート
• digest 0.6.37 から 0.6.39 へのバージョン更新
• downlit をバージョン 0.4.4 から 0.4.5 に更新
• 1.3.1 から 1.3.2 までの dtplyr
• バージョン1.0.3から1.0.5への移行を評価する
• ファンシのバージョン1.0.6から1.0.7へのアップデート
• forcats 1.0.0 から 1.0.1 へ
• fs 1.6.5 から 1.6.6
• 1.34.0 から 1.68.0 までの将来
• future.apply バージョン1.11.3から1.20.0へのアップデート
• gargleのバージョンを1.5.2から1.6.0に更新
• gert 2.1.4 から 2.2.0
• ggplot2 を 3.5.1 から 4.0.1 に変更
• gh 1.4.1 から 1.5.0
• git2r (0.35.0 から 0.36.2)
• glmnet 4.1-8 から 4.1-10 に
• Google Drive 2.1.1 から 2.1.2
• googlesheets4 1.1.1 から 1.1.2 に
• 4.4.2 から 4.5.1 までのグラフィックス
• grDevices (4.4.2 から 4.5.1)
• グリッドを4.4.2から4.5.1にアップグレードする
• gt をバージョン 0.11.1 から 1.1.0 にアップグレード
• hardhat を 1.4.1 から 1.4.2 へアップグレード
• 「haven」のバージョンを2.5.4から2.5.5にアップデート
• hms 1.1.3 から 1.1.4 まで
• httpuv (1.6.15 から 1.6.16)
• httr2 を 1.1.1 から 1.2.1 にアップグレード
• 1.9.1 から 2.0.0 までの jsonlite
• 1.4.1 から 1.4.4 まで
• 1.8.1 から 1.8.2 までの溶岩
• listenv (0.9.1 から 0.10.0)
• magrittr 2.0.3 から 2.0.4
• 1.13 から 2.0 へのマークダウン
• 4.4.2 から 4.5.1 までのメソッド
• miniUI を 0.1.1.1 から 0.1.2 に
• 2.20.4 から 3.6.0 までの mlflow
• openssl (2.3.3 から 2.3.4)
• 4.4.2 から 4.5.1 への並列
• 1.42.0 から 1.45.1 まで並列に
• 1.11.0 から 1.11.1 までの柱
• pkgbuild を 1.4.6 から 1.4.8 に
• pkgdown を 2.1.1 から 2.2.0 に
• pkgload を 1.4.0 から 1.4.1 に
• pROC (1.18.5 から 1.19.0.1)
• prodlimの期間は2024年06月25日から2025年04月28日まで
• progressrのバージョンを0.15.1から0.18.0に更新
• プロミス 1.3.2 から 1.5.0 まで
• ps バージョン1.9.0から1.9.1
• purrr バージョン 1.0.4 から 1.2.0 へのアップグレード
• ragg 1.3.3 から 1.5.0 へのアップデート
• 1.0.14 から 1.1.0 までの Rcpp
• readrのバージョンを2.1.5から2.1.6へ更新
• 1.2.0 から 1.3.1 までのレシピ
• reshape2 を 1.4.4 から 1.4.5 に変更する
• rmarkdown をバージョン2.29から2.30にアップグレードする
• roxygen2 のバージョンを 7.3.2 から 7.3.3 にアップデート
• 2.0.4 から 2.1.1 までの rprojroot
• 2.3.9 から 2.4.4 までの RSQLite
• バージョン2.1.2から3.0.0まで
• rvest を 1.0.4 から 1.0.5 に更新
• sass バージョン 0.4.9 から 0.4.10 への更新
• 1.3.0 から 1.4.0 にスケーリング
• 光沢のある 1.10.0 から 1.11.1
• sparklyr を 1.9.1 から 1.9.3 にアップグレードする
• 4.0.0 から 4.1.0 までの SparkR
• sparsevctrs 0.3.1 から 0.3.4 への更新
• 4.4.2 から 4.5.1 までのスプライン
• 4.4.2 から 4.5.1 までの統計
• stats4を4.4.2から4.5.1に
• stringr をバージョン 1.5.1 から 1.6.0 にアップデート
• systemfonts バージョン 1.2.1 から 1.3.1 へ
• tcltk がバージョン 4.4.2 から 4.5.1 に変更されます。
• testthat バージョン3.2.3から3.3.0への更新
• textshaping のバージョンを 1.0.0 から 1.0.4 に更新します
• timeDate 4041.110 から 4051.111 まで
• tinytex 0.56 から 0.58
• 4.4.2 から 4.5.1 までのツール
• usethis を 3.1.0 から 3.2.1 へ
• 4.4.2 から 4.5.1 までのユーティリティ
• V8 (6.0.2 から 8.0.1)
• vroom 1.6.5 から 1.6.6
• waldo バージョン 0.6.1 から 0.6.2 への更新
• xfun 0.51 から 0.54
• xml2 のバージョン 1.3.8 から 1.5.0 への変更
• zeallot 0.1.0 から 0.2.0 へ
• zip バージョン 2.3.2 から 2.3.3 へ

アップグレードされた Java ライブラリ:

• com.amazonaws.amazon-kinesis-client バージョン 1.12.0 から 1.15.3 へ移行
• com.amazonaws.aws-java-sdk-autoscaling バージョンを 1.12.638 から 1.12.681 に更新します。
• com.amazonaws.aws-java-sdk-cloudformation バージョン 1.12.638 から 1.12.681 へアップグレード
• com.amazonaws.aws-java-sdk-cloudfront のバージョンを1.12.638から1.12.681に変更
• com.amazonaws.aws-java-sdk-cloudhsm を 1.12.638 から 1.12.681 に変更
• com.amazonaws.aws-java-sdk-cloudsearch を 1.12.638 から 1.12.681 へ
• com.amazonaws.aws-java-sdk-cloudtrail を 1.12.638 から 1.12.681 へ変更
• com.amazonaws.aws-java-sdk-cloudwatch バージョン 1.12.638 から 1.12.681 へ
• com.amazonaws.aws-java-sdk-cloudwatchmetrics 1.12.638 から 1.12.681 まで
• com.amazonaws.aws-java-sdk-codedeploy は 1.12.638 から 1.12.681 へ変更されました
• com.amazonaws.aws-java-sdk-cognitoidentity を 1.12.638 から 1.12.681 に変更
• com.amazonaws.aws-java-sdk-cognitosync のバージョンを 1.12.638 から 1.12.681 に更新
• com.amazonaws.aws-java-sdk-config を 1.12.638 から 1.12.681 に更新
• com.amazonaws.aws-java-sdk-core バージョン 1.12.638 から バージョン 1.12.681
• com.amazonaws.aws-java-sdk-sql-scriptdatapipeline のバージョンを 1.12.638 から 1.12.681へ更新
• com.amazonaws.aws-java-sdk-directconnect のバージョンが 1.12.638 から 1.12.681 に更新されました。
• com.amazonaws.aws-java-sdk-directory を 1.12.638 から 1.12.681 に変更
• com.amazonaws.aws-java-sdk-dynamodb を 1.12.638 から 1.12.681 に更新
• com.amazonaws.aws-java-sdk-ec2 1.12.638 から 1.12.681 に
• com.amazonaws.aws-java-sdk-ecs のバージョンを 1.12.638 から 1.12.681 へ変更
• com.amazonaws.aws-java-sdk-efs を 1.12.638 から 1.12.681 へ
• com.amazonaws.aws-java-sdk-elasticache 1.12.638 から 1.12.681
• com.amazonaws.aws-java-sdk-elasticbeanstalk 1.12.638 から 1.12.681 まで更新
• com.amazonaws.aws-java-sdk-elasticloadbalancing バージョン 1.12.638 から 1.12.681 への変更
• com.amazonaws.aws-java-sdk-elastictranscoder 1.12.638 から 1.12.681 への変更
• com.amazonaws.aws-java-sdk-emr を 1.12.638 から 1.12.681 まで
• com.amazonaws.aws-java-sdk-glacier を 1.12.638 から 1.12.681 へ
• com.amazonaws.aws-java-sdk-glue を 1.12.638 から 1.12.681 へ
• com.amazonaws.aws-java-sdk-iam を 1.12.638 から 1.12.681 に変更
• com.amazonaws.aws-java-sdk-importexport バージョン 1.12.638 から 1.12.681
• com.amazonaws.aws-java-sdk-kinesis を 1.12.638 から 1.12.681 に変更
• com.amazonaws.aws-java-sdk-kms を 1.12.638 から 1.12.681 に
• com.amazonaws.aws-java-sdk-lambda 1.12.638 から 1.12.681
• com.amazonaws.aws-java-sdk-logs を 1.12.638 から 1.12.681 に
• com.amazonaws.aws-java-sdk-machinelearning 1.12.638 から 1.12.681
• com.amazonaws.aws-java-sdk-opsworks バージョン 1.12.638 から 1.12.681 へ
• com.amazonaws.aws-java-sdk-rds を 1.12.638 から 1.12.681 に
• com.amazonaws.aws-java-sdk-redshift バージョン 1.12.638 から 1.12.681
• com.amazonaws.aws-java-sdk-route53 から 1.12.638 に 1.12.681
• com.amazonaws.aws-java-sdk-s3 1.12.638 から 1.12.681 に変更
• com.amazonaws.aws-java-sdk-ses 1.12.638 から 1.12.681 まで
• com.amazonaws.aws-java-sdk-simpledb 1.12.638 から 1.12.681
• com.amazonaws.aws-java-sdk-simpleworkflow バージョン 1.12.638 から 1.12.681 に更新
• com.amazonaws.aws-java-sdk-sns を 1.12.638 から 1.12.681 に
• com.amazonaws.aws-java-sdk-sqs を 1.12.638 から 1.12.681 へ
• com.amazonaws.aws-java-sdk-ssm 1.12.638 から 1.12.681
• com.amazonaws.aws-java-sdk-storagegateway 1.12.638 から 1.12.681
• com.amazonaws.aws-java-sdk-sts を 1.12.638 から 1.12.681 へ
• com.amazonaws.aws-java-sdk-support バージョンを1.12.638から1.12.681に更新
• com.amazonaws.aws-java-sdk-workspaces 1.12.638 から 1.12.681 まで
• com.amazonaws.jmespath-java を 1.12.638 から 1.12.681 に更新
• com.databricks.databricks-sdk-java 0.27.0 から 0.53.0
• com.fasterxml.jackson.datatype.jackson-datatype-jsr310 を 2.18.2 から 2.18.3 に
• com.github.luben.zstd-jni の 1.5.6-10 から 1.5.7-6 への更新
• com.google.flatbuffers.flatbuffers-java 24.3.25 から 25.2.10 へ
• com.google.guava.failureaccess 1.0.2 から 1.0.3
• com.google.guava.guava が 33.4.0-jre から 33.4.8-jre に変更されました
• com.microsoft.sqlserver.mssql-jdbc を 11.2.3.jre8 から 12.8.0.jre8 に
• commons-cli.commons-cli 1.9.0 から 1.10.0
• commons-codec.commons-codec をバージョン 1.17.2 から 1.19.0 に更新する
• commons-fileupload.commons-fileupload を 1.5 から 1.6.0 に
• commons-io.commons-io 2.18.0 から 2.21.0
• dev.ludovic.netlib.arpack 3.0.3 から 3.0.4
• dev.ludovic.netlib.blas を 3.0.3 から 3.0.4 へ
• dev.ludovic.netlib.lapack 3.0.3 から 3.0.4
• io.delta.delta-sharing-client_2.13 は 1.3.5 から 1.3.6 へ
• io.dropwizard.metrics.metrics-annotation のバージョンを4.2.30から4.2.37に更新
• io.dropwizard.metrics.metrics-core のバージョンが 4.2.30 から 4.2.37 に変更されました
• io.dropwizard.metrics.metrics-graphite (4.2.30 から 4.2.37)
• io.dropwizard.metrics.metrics-healthchecks バージョン 4.2.30 から 4.2.37 まで
• io.dropwizard.metrics.metrics-jmx のバージョンを4.2.30から4.2.37にアップデート
• io.dropwizard.metrics.metrics-json を 4.2.30 から 4.2.37
• io.dropwizard.metrics.metrics-jvm (4.2.30 から 4.2.37)
• io.dropwizard.metrics.metrics-サーブレット (4.2.30 から 4.2.37)
• io.netty.netty-all 4.1.118.Final から 4.2.7.Final へ
• io.netty.netty-buffer を 4.1.118.Final から 4.2.7.Final に変更
• io.netty.netty-codecのバージョンを4.1.118.Finalから4.2.7.Finalに変更
• io.netty.netty-codec-http 4.1.118.Final から 4.2.7.Final への更新
• io.netty.netty-codec-http2を4.1.118.Finalから4.2.7.Finalに変更
• io.netty.netty-codec-socks 4.1.118.Finalから4.2.7.Finalへ
• io.netty.netty-common を 4.1.118.Final から 4.2.7.Final に変更
• io.netty.netty-handler バージョン 4.1.118.Final から 4.2.7.Final へ
• io.netty.netty-handler-proxyを4.1.118.Finalから4.2.7.Finalに変更する
• io.netty.netty-resolver バージョン 4.1.118.Final から 4.2.7.Final への更新
• io.netty.netty-tcnative-boringssl-static から 2.0.70.Final-db-r0-windows-x86_64 から 2.0.74.Final-db-r0-windows-x86_64
• io.netty.netty-tcnative-classes のバージョンを 2.0.70.Final から 2.0.74.Final に更新
• io.netty.netty-transport を 4.1.118.Final から 4.2.7.Final に変更
• io.netty.netty-transport-classes-epoll from 4.1.118.Final から 4.2.7.Final
• io.netty.netty-transport-classes-kqueue 4.1.118.Final から 4.2.7.Final に
• io.netty.netty-transport-native-epoll バージョン 4.1.118.Final-linux-x86_64 から 4.2.7.Final-linux-x86_64 へ
• io.netty.netty-transport-native-kqueue 4.1.118.Final-osx-x86_64 から 4.2.7.Final-osx-x86_64 へのアップデート
• io.netty.netty-transport-native-unix-common を 4.1.118.Final から 4.2.7.Final に
• joda-time.joda-time を 2.13.0 から 2.14.0 に
• org.apache.arrow.arrow-format (18.2.0 から 18.3.0)
• org.apache.arrow.arrow-memory-core バージョン 18.2.0 から 18.3.0
• org.apache.arrow.arrow-memory-netty バージョン 18.2.0 から 18.3.0 に更新
• org.apache.arrow.arrow-memory-netty-buffer-patch 18.2.0 から 18.3.0 に
• org.apache.arrow.arrow-vector バージョン 18.2.0 から 18.3.0 へ
• org.apache.avro.avro 1.12.0 から 1.12.1
• org.apache.avro.avro-ipc 1.12.0 から 1.12.1
• org.apache.avro.avro-mapred 1.12.0 から 1.12.1
• org.apache.commons.commons-collections4 を 4.4 から 4.5.0 へ
• org.apache.commons.commons-compress のバージョンを1.27.1から1.28.0に更新
• org.apache.commons.commons-lang3 を 3.17.0 から 3.19.0 に
• org.apache.commons.commons-text をバージョン 1.13.0 から 1.14.0 に更新
• org.apache.curator.curator-client バージョン 5.7.1 から 5.9.0
• org.apache.curator.curator-framework のバージョンが 5.7.1 から 5.9.0 に更新されました。
• org.apache.curator.curator-recipesのバージョン5.7.1から5.9.0へ
• org.apache.datasketches.datasketches-java 6.1.1 から 6.2.0
• org.apache.hadoop.hadoop-client-runtime のバージョン 3.4.1 から 3.4.2 へ
• org.apache.orc.orc-core を 2.1.1-shaded-protobuf から 2.2.0-shaded-protobuf にアップデート
• org.apache.orc.orc-formatを1.1.0-shaded-protobufから1.1.1-shaded-protobufに更新
• org.apache.orc.orc-mapreduce のバージョンを 2.1.1-shaded-protobuf から 2.2.0-shaded-protobuf へ変更
• org.apache.orc.orc-shims 2.1.1 から 2.2.0 にアップグレードします
• org.apache.xbean.xbean-asm9-shaded 4.26から4.28に変更
• org.apache.zookeeper.zookeeper 3.9.3 から 3.9.4 へのアップグレード
• org.apache.zookeeper.zookeeper-jute 3.9.3 から 3.9.4
• org.eclipse.jetty.jetty-client を 9.4.53.v20231009 から 10.0.26 に変更
• org.eclipse.jetty.jetty-http を 9.4.53.v20231009 から 10.0.26 へ
• org.eclipse.jetty.jetty-io を 9.4.53.v20231009 から 10.0.26 に
• org.eclipse.jetty.jetty-jndi を 9.4.53.v20231009 から 10.0.26 へ
• org.eclipse.jetty.jetty-plus を 9.4.53.v20231009 から 10.0.26 に
• org.eclipse.jetty.jetty-proxy を 9.4.53.v20231009 から 10.0.26 に更新する
• org.eclipse.jetty.jetty-security のバージョンを 9.4.53.v20231009 から 10.0.26 に更新する
• org.eclipse.jetty.jetty-server 9.4.53.v20231009 から 10.0.26 へ
• org.eclipse.jetty.jetty-サーブレット (9.4.53.v20231009 から 10.0.26)
• org.eclipse.jetty.jetty-servlets (9.4.53.v20231009 から 10.0.26)
• org.eclipse.jetty.jetty-util を 9.4.53.v20231009 から 10.0.26 に変更します。
• org.eclipse.jetty.jetty-webappのバージョンを9.4.53.v20231009から10.0.26に変更しました。
• org.eclipse.jetty.jetty-xml のバージョンを 9.4.53.v20231009 から 10.0.26 に更新します。
• org.mlflow.mlflow-spark_2.13 を 2.9.1 から 2.22.1 へ
• org.objenesis.objenesis 3.3 から 3.4
• org.scala-lang.modules.scala-xml_2.13 を 2.3.0 から 2.4.0 に更新

Apache Spark

Databricks Runtime 18.0 (ベータ) には、Apache Spark 4.0.0 が含まれています。 このリリースには、以前のバージョンに含まれていたすべての Spark の修正と機能強化、および Spark に対して行われた次の追加のバグ修正と機能強化が含まれています。

• SPARK-54536 Shuffle FetchWaitTime の欠落に関する情報を収集してクライアント/待機コストを作成する
• SPARK-54534 Hive 関連のレガシ エラー コードを適切なエラー状態に移行する
• SPARK-54565 SparkBuildInfo は、独自のクラスローダーから spark-version-info.properties を読み込む必要があります
• SPARK-54533 正しい値でメトリック ExecutorSource.METRIC_RESULT_SIZEを設定する
• SPARK-54478 接続互換性テスト CI のストリーミング テストを再度有効にする
• SPARK-54552 で BINARY データ型を処理する SparkConnectResultSet.getString を修正しました UTF_8
• SPARK-54501 Hive メタストア パーティション フィルターエラーのエラー処理を改善する
• SPARK-54550をConnectExceptionでSparkConnectStatement.close()適切に処理する
• SPARK-54020 Spark 宣言パイプライン spark.sql(...) クエリ関数内での Python API のサポート
• SPARK-53127 CTE 正規化を用いて無制限再帰のすべてを修正する
• SPARK-50072 大きな値を使用した間隔解析で ArithmeticException を処理する
• SPARK-54299 で間違ったクエリ例を修正する WindowGroupLimit
• SPARK-54505 makeNegative で createMetrics 呼び出しの引数の順序を修正する
• SPARK-54462SupportsV1OverwriteWithSaveAsTable mixin を追加するTableProvider
• SPARK-54540 Connect JDBC ドライバーのいくつかのマイナー修正
• SPARK-54508spark-pipelinesを修正して、specファイル パスをより堅牢に解決する
• SPARK-54087 Spark Executor の起動タスクが失敗すると、タスクの強制終了メッセージが返されます
• SPARK-53797FileStreamSource.takeFilesUntilMaxをzipWithIndexを使用してindicesの使用を回避するように修正しました
• SPARK-54418 エラー メッセージとコードの書式設定を修正する
• SPARK-54114 SparkConnectDatabaseMetaData の getColumns のサポート
• SPARK-54209 SparkConnectResultSet での TIMESTAMP 型のサポート
• SPARK-54208 SparkConnectResultSet での TIME 型のサポート
• SPARK-54528 URLClassLoader を早めに閉じて OOM を回避する
• SPARK-54464 で重複する output.reserve 呼び出しを削除する assembleVariantBatch
• SPARK-53635 Seq[Row] 型の入力引数を使用して Scala UDF をサポートする
• SPARK-54493 MapType の assertSchemaEqual を修正する
• SPARK-52515 フラグをオンまたはオフにしてapprox_top_kをテストする
• SPARK-54413 Bootstrap v4.4.1 を v4.6.2 にアップグレードする
• SPARK-54497 コンバーター のキャッシュに functools.lru_cache を適用する
• SPARK-54306 バリアント型の論理型注釈を使用してバリアント型の列に注釈を付ける
• SPARK-54350 SparkGetColumnsOperation ORDINAL_POSITIONは 1 ベースである必要があります
• SPARK-54130 カタログ主張エラーの詳細なエラーメッセージを追加する
• SPARK-54220 Parquet での NullType/VOID/UNKNOWN 型のサポート
• SPARK-54163 スキャン正規化によるパーティション分割と順序付け情報
• SPARK-54377 IS NULL COMMENT ONTABLE 修正してテーブル コメントを適切に削除する
• SPARK-52767 結合とユニオンの maxRows と maxRowsPerPartition の最適化
• SPARK-54063 アップロードラグ時に次のバッチのスナップショットをトリガーする
• SPARK-54384 BatchedSerializer の_batched メソッドを最新化する
• SPARK-54378モジュールからCreateXmlParser.scalacatalyst削除する
• SPARK-53103 「[SC-204946][ss] クエリの開始時に状態ディレクトリが空でない場合にエラーをスローする」を取り消す
• SPARK-53103 クエリの開始時に状態ディレクトリが空でない場合にエラーをスローする
• SPARK-54397UserDefinedTypeハッシュ可能にする
• SPARK-54440 既定のパイプライン スペック ファイルに慣用的な名前を付けます。 spark-pipeline.yml
• SPARK-54324 client-user-context-extensions のテストを追加する
• SPARK-54456 フォーク後にワーカー モジュールをインポートしてデッドロックを回避する
• SPARK-54427 ColumnarRow がバリアント型の copy を呼び出せるようにする
• SPARK-54136MergeScalarSubqueriesからPlanMergerへのプランマージロジックを抽出する
• SPARK-54389 初期化中にタスクが失敗としてマークされている場合の RocksDB State Store の無効なスタンプ エラーを修正しました
• SPARK-54346 状態の再パーティション化 API と再パーティション ランナーの導入
• SPARK-53809 DataSourceV2ScanRelation の正規化を追加する
• SPARK-54280 パイプライン チェックポイントストレージディレクトリを絶対パスにする必要がある
• SPARK-54206 SparkConnectResultSet での BINARY 型データのサポート
• SPARK-54319 コード生成が無効の場合、BHJ LeftAnti の更新において出力行数 (numOutputRows) が間違っています
• SPARK-54355spark.connect.session.planCompression.defaultAlgorithm をサポートするために NONE を作成する
• SPARK-54341 TableProvider を使用して読み込まれたテーブルの TimeTravelSpec を記憶する
• SPARK-54280 "[SC-212148][sdp] パイプライン チェックポイント ストレージ ディレクトリを絶対パスにする必要がある" を元に戻す
• SPARK-54354 ブロードキャスト ハッシュ関係に十分な JVM ヒープ メモリがない場合に Spark がハングする問題を修正しました
• SPARK-54439 KeyGroupedPartitioning と結合キー サイズの不一致
• SPARK-54280 パイプライン チェックポイントストレージディレクトリを絶対パスにする必要がある
• SPARK-54395 RemoteBlockPushResolver クラスが ObjectMapper を繰り返し初期化する
• SPARK-54207 SparkConnectResultSet で日付型データをサポートします
• SPARK-54182 の非矢印変換を最適化する df.toPandas
• SPARK-54312 スタンドアロン worker で SendHeartbeat/WorkDirClean のタスクを繰り返しスケジュールしないようにする
• SPARK-54394isJavaVersionAtMost17とisJavaVersionAtLeast21をcoreからcommon/utilsへ移動します
• SPARK-53927 kinesis クライアントをアップグレードする
• SPARK-54358 異なるスキーマのストリーミング テーブルの名前が同じ場合、チェックポイント ディレクトリが競合する
• SPARK-54310"[SC-212003][sql] numSourceRowsのメトリックMergeIntoExec追加" を元に戻す
• SPARK-54310numSourceRowsメトリックを追加するMergeIntoExec
• SPARK-53322 結合キーの位置を完全にプッシュダウンできる場合にのみ、KeyGroupedShuffleSpec を選択します
• SPARK-54270 SparkConnectResultSet get* メソッドは checkOpen を呼び出し、インデックス境界を確認する必要があります
• SPARK-53849 netty と netty tc をネイティブに更新する
• SPARK-54205 SparkConnectResultSet で Decimal 型データをサポートします
• SPARK-54417IDENTIFIER 句のスカラー サブクエリのエラー メッセージを修正しました
• SPARK-54113 SparkConnectDatabaseMetaData の getTable のサポート
• SPARK-54303 エラー条件「MISSING_CATALOG_ABILITY」の正規化
• SPARK-54153 プロファイリング反復子ベースの Python UDF のサポート
• SPARK-54349 faulthandler 統合拡張機能を簡略化するためにコードを少しリファクタリングする
• SPARK-54317 クラシックと Connect toPandas の方向変換ロジックを統合する
• SPARK-54339 AttributeMap の非決定性を修正する
• SPARK-54112 SparkConnectDatabaseMetaData の getSchemas のサポート
• SPARK-54180 BinaryFileFormat の toString をオーバーライドする
• SPARK-54213 Spark Connect から Python 3.9 を削除する
• SPARK-54215 FilePartition に SessionStateHelper 特性を追加する
• SPARK-54115 スレッド ダンプ ページでの接続サーバー操作スレッドの表示順序の優先順位をエスカレートする
• SPARK-54193 非推奨の spark.shuffle.server.finalizeShuffleMergeThreadsPercent
• SPARK-54149 可能な限り末尾再帰を有効にする
• SPARK-54185 非推奨の spark.shuffle.server.chunkFetchHandlerThreadsPercent
• SPARK-54056 カタログの SQLConf 設定の置換を解決する
• SPARK-54147 BaseScriptTransformationExec で既定でOMP_NUM_THREADSを spark.task.cpus に設定する
• SPARK-54229 UDF で PySparkLogger にログ関数呼び出しごとに 1 つのログ エントリを格納させる
• SPARK-53337 XSS: Historyページ内のアプリケーション名がエスケープされていることを確保すること
• SPARK-54229 "[SC-211321][python] UDF で PySparkLogger にログ関数呼び出しごとに 1 つのログ エントリを格納させる" を元に戻す
• SPARK-54373 ジョブ DAG 初期化の SVG viewBox 属性を拡大する
• SPARK-54323 システム ビューではなく、TVF にログにアクセスする方法を変更する
• SPARK-54229 UDF で PySparkLogger にログ関数呼び出しごとに 1 つのログ エントリを格納させる
• SPARK-53978 ドライバー側ワーカーのログ記録をサポートする
• SPARK-54146 非推奨の Jackson API の使用をクリーンアップする
• SPARK-54383 InternalRowComparableWrapper util の事前計算済みスキーマバリアントを追加する
• SPARK-54030 ビュー メタデータの破損にわかりやすいアサーション メッセージを追加する
• SPARK-54144 短絡評価型推論
• SPARK-54030 "[SC-210301][sql] ビュー メタデータの破損にわかりやすいアサーション メッセージを追加する" を元に戻す
• SPARK-54028 Hive と互換性のないビューを変更するときに空のスキーマを使用する
• SPARK-54030 ビュー メタデータの破損にわかりやすいアサーション メッセージを追加する
• SPARK-54085でinitializeの問題を修正し、CREATEオプションを追加しましたDriverRunner
• SPARK-53482MERGE INTO ソースにターゲットよりも入れ子になったフィールドが少ない場合のサポート
• SPARK-53905 RelationResolution をリファクタリングしてコードの再利用を有効にする
• SPARK-53732 DataSourceV2Relation で TimeTravelSpec を記憶する
• SPARK-54014 SparkConnectStatement の最大行数をサポートする
• SPARK-50906 並べ替え済みの構造体フィールドに対する Avro の null 許容性チェックを修正する
• SPARK-54396 Dataframe.toArrow で Py4J 呼び出しを最適化する
• SPARK-54344 daemon.py でフラッシュが失敗した場合にワーカーを強制終了する
• SPARK-53977 UDF でのログ記録のサポート
• SPARK-52515 「[SC-199815][sql] approx_top_k 関数を追加」 を再適用する
• SPARK-54340 pyspark デーモン／ワーカーで viztracer を使用できる機能を追加する
• SPARK-54379 ラムダ バインドを別の LambdaBinder オブジェクトに移動する
• SPARK-54029 デバッグを容易にするために、テーブル メタデータの破損に関する詳細なエラー メッセージを追加する
• SPARK-54002 BeeLine と Connect JDBC ドライバーの統合のサポート
• SPARK-54336BloomFilterMightContain入力の種類のチェックを修正するScalarSubqueryReference
• SPARK-53406 ダイレクト透過シャッフルIDで不要なシャッフル結合を回避する
• SPARK-54347 クラシック データフレームで Py4J 呼び出しを最適化する
• SPARK-54062 MergeScalarSubqueries コードのクリーンアップ
• SPARK-54054 SparkConnectResultSet の行位置をサポートする
• SPARK-54330 で Py4J 呼び出しを最適化する spark.createDataFrame
• SPARK-54332 ロールアップ/キューブ/groupingSets のグループ化列名に PlanId をアタッチする必要はありません
• SPARK-53976 Pandas/Arrow UDF でのログ記録のサポート
• SPARK-54123 タイムスタンプを絶対時刻にするタイムゾーンを追加する
• SPARK-54356 ストレージ ルート スキーマが不足しているために発生する EndToEndAPISuite の修正
• SPARK-54292|GROUP BY> パイプ演算子での集計関数とSELECTのサポート (#180106) (#180368)
• SPARK-54376 ほとんどのパイプライン構成オプションを内部としてマークする
• SPARK-53975 基本的な Python worker ログのサポートを追加
• SPARK-54361 spark バージョンを、spark.sql.parser.singleCharacterPipeOperator.enabled の目的の値 4.2.0 に修正しました
• SPARK-51518 サポート ||> の代わりにSQL パイプ演算子トークンの場合
• SPARK-53535 不足している構造体が常に null と見なされる問題を修正する
• SPARK-54294 Connect サーバーの印刷 IP アドレスを正規化する
• SPARK-52439 null 値を持つ check 制約をサポートする
• SPARK-54352 文字列の正規化を一元化する SQLConf.canonicalize を導入する
• SPARK-54183 元に戻す "[SC-211824][python][CONNECT] spark connect toPandas()" の間に中間の一時データ フレームを 1 つ避ける
• SPARK-53573IDENTIFIER 至る所
• SPARK-53573 どこでも文字列リテラルの結合を許可する
• SPARK-54240 配列項目の取得触媒式をコネクタ式に変換する
• SPARK-54334 ラムダ関数および高階関数のサブクエリ式の検証を移行しますSubqueryExpressionInLambdaOrHigherOrderFunctionValidator
• SPARK-54183 "[SC-211824][python][CONNECT] Spark ConnectでtoPandas()への接続中に中間の一時データフレームを1つ避ける" という変更を元に戻す。
• SPARK-54183 spark connect toPandas() の間に中間の一時データ フレームを 1 つ避ける
• SPARK-54264 DeDup 演算子は、RocksDB の keyExists() を使用できます
• SPARK-54269 Python 3.14 の cloudpickle を 3.1.2 にアップグレードする
• SPARK-54300 で Py4J 呼び出しを最適化する df.toPandas
• SPARK-54307 ストリーミングクエリがステートフル操作で再起動された際に、状態ディレクトリが空の場合はエラーを発生させる
• SPARK-54117 より適切なエラーを発生させて、TWS が RocksDB ステートストアプロバイダーでのみサポートされていることを示す
• SPARK-53917 大規模なローカルリレーションのサポート - フォローアップ
• SPARK-54275pipeline モジュールから未使用のコードをクリーンアップする
• SPARK-54287pyspark-client と で Python 3.14 のサポートを追加するpyspark-connect
• SPARK-53614Iterator[pandas.DataFrame]サポートを追加するapplyInPandas
• SPARK-54191 Defineflow Proto に 1 回追加する
• SPARK-54234 df.groupBy のグループ化列名に PlanId をアタッチする必要はありません
• SPARK-54231 SDP ドキュメントのギャップを埋める
• SPARK-54199 新しい KLL 分位点スケッチ関数の DataFrame API サポートを追加 (#178526)
• SPARK-52463 "[SC-211221][sdp] Python Pipelines API でのcluster_byのサポートの追加" を再適用する
• SPARK-52463 "[SC-211221][sdp] Python Pipelines API でのcluster_byのサポートの追加" を元に戻す
• SPARK-53786 特別な列名を持つ既定値が実際の列と競合しないようにする
• SPARK-54200 同時実行の安全性に groupIdPrefix を使用するように KafkaConsumerPoolRealTimeModeSuite を更新する
• SPARK-52463 Python Pipelines API でcluster_byのサポートを追加する
• SPARK-52509RemoveShuffle イベントでフォールバック ストレージから個々のシャッフルをクリーンアップする
• SPARK-54187 "[SC-211150][python][CONNECT] toPandas でバッチ内のすべての構成を取得する" を再適用する
• SPARK-53942 ストリーミング クエリの再起動時のステートレス シャッフル パーティションの変更をサポートする
• SPARK-52515 "[SC-199815][sql] Add approx_top_k function" を元に戻す
• SPARK-52515 approx_top_k関数を追加する
• SPARK-54078StateStoreSuite SPARK-40492: maintenance before unloadの新しいテストと古いテストからインフラストラクチャを削除する
• SPARK-54178 ResolveSQLOnFile のエラーを改善する
• SPARK-53455 RPC の追加
• SPARK-54178 "[SC-211111][sql] ResolveSQLOnFile のエラーの改善" を元に戻す
• SPARK-53489 で v2ColumnsToStructType を使用して削除する ApplyDefaultCollationToStringType
• SPARK-54178 ResolveSQLOnFile のエラーを改善する
• SPARK-54187 "[SC-211150][python][CONNECT] toPandas でバッチ内のすべての構成を取得する" を元に戻す
• SPARK-53942 "[SC-209873][ss] ストリーミング クエリの再起動時のステートレス シャッフル パーティションの変更をサポートする" を元に戻す
• SPARK-54187 toPandas でバッチ内のすべての構成を取得する
• SPARK-54145 数値集計用に入れ子型の列チェックを修正
• SPARK-53942 ストリーミング クエリの再起動時のステートレス シャッフル パーティションの変更をサポートする
• SPARK-53991 DataSketches に基づく KLL 分位点関数の SQL サポートを追加する (#178089) (#178234)
• SPARK-53128 実行メモリ OOM の前に、使用ログにアンマネージ メモリ バイトを含める
• SPARK-53731 反復子 API の型ヒントを更新する
• SPARK-53967 の途中で pandas のデータフレーム作成を回避する df.toPandas
• SPARK-53455 「[SC-208758][connect] Add CloneSession RPC」を取り消す
• SPARK-54108 SparkConnectStatement の execute* メソッドを修正する
• SPARK-54052 Py4J の制限を回避するためにブリッジ オブジェクトを追加する
• SPARK-54128 Spark Connect サーバーで適切なエラー クラスを使用して IllegalArgumentException を SparkException に変換する
• SPARK-53880 SupportsPushDownVariants を追加して PushVariantIntoScan の DSv2 を修正する
• SPARK-54111 SparkConnectDatabaseMetaData の getCatalogs のサポート
• SPARK-53455 RPC の追加
• SPARK-54118 複数の値がある場合に ListState の put/merge 操作を改善する
• SPARK-54038 SparkConnectDatabaseMetaData の getSQLKeywords のサポート
• SPARK-54013 SparkConnectDatabaseMetaData 単純メソッドを実装する
• SPARK-53934 Connect JDBC ドライバーの初期実装
• SPARK-53959 データがないインデックス付きの pandas データフレームからデータフレームを作成する際に、クライアント側でエラーをスローする
• SPARK-53573 "[SC-210255][sql] どこでも結合文字列リテラルを許可する" を元に戻す
• SPARK-54094 KafkaOffsetReaderBase に一般的なメソッドを抽出する
• SPARK-53573 どこでも文字列リテラルの結合を許可する
• SPARK-54039 デバッグを改善するために、KafkaDataConsumer release() ログに TaskContext 情報を追加する
• SPARK-54031 エッジ ケース分析用の新しいゴールデン ファイル テストを追加する
• SPARK-54067 根本原因でSparkSubmitをexitFnで呼び出すように改善しSparkUserAppExceptionの代わりに使用する
• SPARK-54047 kill-on-idle-timeout 時に差異エラーを使用する
• SPARK-54078 StateStoreSuiteを安定化SPARK-40492: maintenance before unload
• SPARK-54061 無効な datetime パターンの適切なエラー コードで IllegalArgumentException をラップする
• SPARK-54031 "[SC-210084][sql] 分析エッジ ケース用の新しいゴールデン ファイル テストを追加する" を元に戻す
• SPARK-54075ResolvedCollation評価可能にする
• SPARK-54001 ref カウントされたキャッシュされたローカルリレーションを使用してセッション複製でのメモリ使用量を最適化する
• SPARK-54031 エッジ ケース分析用の新しいゴールデン ファイル テストを追加する
• SPARK-53923 改名する spark.executor.(log -> logs).redirectConsoleOutputs
• SPARK-54007Set.of の代わりに Java Collections.emptySet を使用する
• SPARK-53755 BlockManager でログ サポートを追加する
• SPARK-54041 ParameterizedQuery 引数の検証をリファクタリングする
• SPARK-53696 PySpark の BinaryType の既定のバイト数
• SPARK-53921 PySpark API に GeometryType と GeographyType を導入する
• SPARK-53788 VersionUtils を common モジュールに移動する
• SPARK-53999 BSD/MacOS でのネイティブ KQueue トランスポートのサポート
• SPARK-54021 Catalyst 全体への地理情報と几何学情報のアクセサリを実装する
• SPARK-53921 "[SC-209482][geo][PYTHON] GeometryType と GeographyType を PySpark API に導入する" を元に戻す
• SPARK-53920 Java API に GeometryType と GeographyType を導入する
• SPARK-53610 CoGrouped applyInPandas と applyInArrow の矢印バッチ サイズを制限する
• SPARK-53659 Parquet に書き込むときにバリアントのシュレッディング スキーマを推論する
• SPARK-53922 物理ジオメトリと地理の種類を導入する
• SPARK-54059 ZGC または ShenandoahGC とON_HEAPが使用されている場合は、既定のページ サイズをLONG_ARRAY_OFFSETして縮小します
• SPARK-53921 PySpark API に GeometryType と GeographyType を導入する
• SPARK-54048dev/requirements.txtを更新して Python 3.14 にtorch(vision)をインストールする
• SPARK-53917 大規模な地域関係をサポートする
• SPARK-53760 GeometryType と GeographyType の導入
• SPARK-53530 に関連する役に立たないコードをクリーンアップする TransformWithStateInPySparkStateServer
• SPARK-53636 SortShuffleManager.unregisterShuffle のスレッド セーフの問題を修正する
• SPARK-52762 Spark Connect クエリの実行中にパイプライン分析をサポートするために PipelineAnalysisContext メッセージを追加する
• SPARK-53631 SHS ブートストラップでメモリとパフォーマンスを最適化する
• SPARK-53857 SparkThrowable への messageTemplate 伝達を有効にする
• SPARK-53891 モデル DSV2 コミット書き込み概要 API
• SPARK-53966 JVM VC を検出するためのユーティリティ関数を追加する
• SPARK-53149 BeeLine プロセスがバックグラウンドで実行されるかどうかのテストを修正する
• SPARK-53738 クエリ出力に折りたたみ可能な順序が含まれている場合の計画的な書き込みを修正する
• SPARK-53949 代わりに Utils.getRootCause を使用する Throwables.getRootCause
• SPARK-53696 "[SC-209330][python][CONNECT][sql] PySparkのBinaryTypeの既定をbytesに戻す"
• SPARK-53804 TIME 基数ソートをサポートする
• SPARK-54004 カスケードせずに名前によるテーブルのアンキャッチを修正する
• SPARK-53261 Guava の代わりに Java String.join|StringJoiner を使用する Joiner
• SPARK-53319 try_make_timestamp_ltz() で時刻の種類をサポートする
• SPARK-53280instanceofメソッドの代わりに Java Throwables.throwIf*を使用する
• SPARK-53696 PySpark の BinaryType の既定のバイト数
• SPARK-53258JavaUtilsのcheck(Argument|State) 사용
• SPARK-53773 でルールのアルファベット順を回復する RuleIdCollection
• SPARK-53256check(Argument|State)をJavaUtilsに昇格させる
• SPARK-54008 QO をスキップする DESCRIBE QUERY
• SPARK-53573 一般化されたパラメーター マーカー処理にプリプロセッサを使用する
• SPARK-53980SparkConf.getAllWithPrefix(String, String => K) API の追加
• SPARK-54009 サポート spark.io.mode.default
• SPARK-51903 CHECK 制約の追加に関するデータの検証
• SPARK-53573 "[SC-209126][sql] 一般化されたパラメーター マーカー処理にプリプロセッサを使用する" を元に戻す
• SPARK-53573 一般化されたパラメーター マーカー処理にプリプロセッサを使用する
• SPARK-53573 "[SC-209126][sql] 一般化されたパラメーター マーカー処理にプリプロセッサを使用する" を元に戻す
• SPARK-53956 PySpark の try_make_timestamp 関数における TIME のサポート
• SPARK-53930 PySpark の make_timestamp 関数での TIME のサポート
• SPARK-53573 一般化されたパラメーター マーカー処理にプリプロセッサを使用する
• SPARK-53564 DAGSchedulerEventProcessLoop の blockManager RPC タイムアウトが原因で DAGScheduler が終了しないようにする
• SPARK-53879Ammoniteを 3.0.3 にアップグレードする
• SPARK-53938 LocalDataToArrowConversion での 10 進数の再スケーリングを修正しました
• SPARK-53845 SDP シンク
• SPARK-53908 プラン キャッシュを使用した Spark Connect の監視を修正する
• SPARK-53841 Column API で transform() を実装する
• SPARK-53929 Scala のmake_timestamp関数とtry_make_timestamp関数で TIME をサポートする
• SPARK-53902サポートされている式のツリー ノード パターン ビットを引数リストに追加ParameterizedQuery
• SPARK-53064 Java での MDC LogKey の書き換え
• SPARK-53762 日付と時刻の変換を簡略化するルールをオプティマイザーに追加する
• SPARK-53916 PythonArrowInput で変数を重複除去する
• SPARK-53690 Kafka ソースオブジェクト内の avgOffsetsBehindLatest と estimatedTotalBytesBehindLatest の指数書式の修正プロセスを進行中の json にて修正します。
• SPARK-53789 エラー条件CANNOT_MODIFY_STATIC_CONFIGを正規化する
• SPARK-53720 DataSourceV2Relation からのテーブルの抽出を簡略化する (#52460)
• SPARK-45530では、java.lang.ref.Cleanerの代わりにfinalizeをNioBufferedFileInputStreamで使用する
• SPARK-53789 "[SC-208902][sql][CONNECT] エラー条件を正規化CANNOT_MODIFY_STATIC_CONFIG" を元に戻す
• SPARK-53789 エラー条件CANNOT_MODIFY_STATIC_CONFIGを正規化する
• SPARK-53111 PySpark で time_diff 関数を実装する
• SPARK-53896 既定で spark.io.compression.lzf.parallel.enabled を有効にする
• SPARK-53856 代替構成名 denylist 削除する
• SPARK-53611 ウィンドウ agg UDF の矢印バッチ サイズを制限する
• SPARK-53575 再試行されたシャッフル マップ タスクでチェックサムの不一致が検出されたときにコンシューマー ステージ全体を再試行する
• SPARK-53867 SQL_GROUPED_AGG_ARROW_UDFでの矢印バッチ サイズの制限
• SPARK-53877 BITMAP_AND_AGG関数の導入
• SPARK-51426 「メタデータを空のディクテーションに設定すると機能しない」を修正しました
• SPARK-53868 V2ExpressionBuilder で直接参照チェックの代わりに配列長チェックを使用する
• SPARK-53609 SQL_GROUPED_AGG_PANDAS_UDFでの矢印バッチ サイズの制限
• SPARK-53892非推奨のDescribeTopicsResult.allTopicNames API の代わりにallを使用する
• SPARK-53878 ObservedMetrics に関連するレースコンディションの問題を修正する
• SPARK-53796 前方互換性をサポートするために、いくつかのパイプライン protos に extension フィールドを追加する
• SPARK-53850 シンクの proto を定義し、DefineDataset の名前を DefineOutput に変更する
• SPARK-53812 DefineDataset と DefineFlow のプロトをリファクタリングして、関連するプロパティをグループ化し、将来の可能性を高める
• SPARK-53870 TransformWithStateInPySparkStateServer の大きな proto メッセージの部分的な読み取りバグを修正しました
• SPARK-53751 明示的なバージョン管理されたチェックポイントの場所
• SPARK-52407 Theta Sketch のサポートを追加する (#171135)
• SPARK-53779 Column API で transform() を実装する
• SPARK-49547RecordBatch API の反復子を追加するapplyInArrow
• SPARK-53802 SDP テーブルでのユーザー指定スキーマの文字列値のサポート
• SPARK-53865 ResolveGenerate ルールから一般的なロジックを抽出する
• SPARK-53113 try_make_timestamp() による時間の種類のサポート
• SPARK-53868 V2ExpressionSQBuilder で visitAggregateFunction の Expression[] でのみシグネチャを使用する
• SPARK-53792 有界メモリ時の rocksdbPinnedBlocksMemoryUsage を修正しました...
• SPARK-53248 で checkedCast をサポートする JavaUtils
• SPARK-52640 Python ソース コードの場所を伝達する
• SPARK-52924 圧縮のためのZSTD_strategyのサポート
• SPARK-53562 "[SC-207233][python] applyInArrow と applyInPandas の矢印バッチ サイズを制限する" を再適用する
• SPARK-51272 ResubmitFailedStages で不確定な結果ステージが部分的に完了した場合、それを続行するのではなく、中止する。
• SPARK-53795 LiteralValueProtoConverter で未使用のパラメーターを削除する
• SPARK-53808 オプションの JVM 引数の受け渡しを許可することをspark-connect-scala-client
• SPARK-52614 Product Encoder 内での RowEncoder のサポート
• SPARK-53833Python 3.14 でdev/requirements.txtをスキップするようにtorch/torchvisionを更新する
• SPARK-53715 MergeIntoTable の getWritePrivileges をリファクターする
• SPARK-53516 SparkPipelines spark.api.mode arg プロセスを修正する
• SPARK-53507 BreakingChangeInfo のケース クラスを使用しない
• SPARK-53645 ps skipna パラメーターを実装します。DataFrame any()
• SPARK-53717 パラメーター コメント MapType.valueContainsNull 正しく修正する
• SPARK-53700 で冗長性を削除する DataSourceV2RelationBase.simpleString
• SPARK-53667 で CALL の EXPLAIN を修正する IDENTIFIER
• SPARK-53562 "[SC-207233][python] Arrow バッチサイズをapplyInArrowとapplyInPandasで制限する"を元に戻す
• SPARK-51169 Spark クラシックで Python 3.14 サポートを追加する
• SPARK-53562 Arrow のバッチ サイズを制限する applyInArrow と applyInPandas
• SPARK-53806 AES 復号化で空の入力にエラー クラスを許可する
• SPARK-51756 ShuffleWriters で RowBasedChecksum を計算します
• SPARK-52807 宣言型パイプラインクエリ関数内の分析をサポートするための Proto の変更
• SPARK-53728 テスト中にエラーが発生した PipelineEvent メッセージを出力する
• SPARK-53207 パイプライン イベントをクライアントに非同期的に送信する
• SPARK-53829 列演算子での datetime.time のサポート
• SPARK-53638 OOM を回避するために TWS の矢印バッチのバイト サイズを制限する
• SPARK-53593 修正: 応答フィールドに引用符なしの値を使用する
• SPARK-53734 配列インデックスを解決するときに、LCA よりもテーブル列を優先する
• SPARK-53593 DefineDataset および DefineFlow RPC の応答フィールドを追加する
• SPARK-53734 "[SC-207697][sql] 配列インデックスを解決するときに LCA よりもテーブル列を優先する" を元に戻す
• SPARK-53621 CONTINUE ハンドラーを実行するためのサポートの追加
• SPARK-53734 配列インデックスを解決するときに、LCA よりもテーブル列を優先する
• SPARK-53507 重大な変更情報をエラーに追加する
• SPARK-53707 属性メタデータの処理を改善します。
• SPARK-53629MERGE INTO EVOLUTION を使用してSCHEMAの型拡大を実装する
• SPARK-53719_to_col関数の型チェックを強化する
• SPARK-53735 spark-pipelines 出力でサーバー側の JVM スタック トレースを既定で非表示にする
• SPARK-53651 パイプラインで永続的なビューのサポートを追加する
• SPARK-53678 ColumnVector のサブクラスが null DataType で作成されたときに NPE を修正する
• SPARK-46679 SparkUnsupportedOperationException の修正: Parameterized クラスを使用するときに、型 T のエンコーダーが見つかりませんでした
• SPARK-53444 再作業実行即時再作業の即時実行
• SPARK-53578 LiteralValueProtoConverter でデータ型の処理を簡略化する
• SPARK-53438 LiteralExpressionProtoConverter で CatalystConverter を使用する
• SPARK-53444 元に戻す "[SC-206535][sql][CORE] 手直しの即時再作業の実行を即時に実行する"
• SPARK-53444 再作業実行即時再作業の即時実行
• SPARK-53112 PySpark のmake_timestamp_ntz関数とtry_make_timestamp_ntz関数での TIME のサポート
• SPARK-53492 既に完了している操作 ID で 2 番目の ExecutePlan を拒否する
• SPARK-52772 ゴールドファイルの事前修正
• SPARK-53591 パイプライン仕様のパターングロブマッチングを簡略化する
• SPARK-53553 LiteralValueProtoConverter での null 値の処理を修正しました
• SPARK-52772 更新中のテーブル属性の処理に一貫性がない
• SPARK-53544 観測の複合型をサポートする
• SPARK-53357pandasを 2.3.2 に更新する
• SPARK-53402 Scala での Spark Connect での直接パススルー パーティション分割データセット API のサポート
• SPARK-53372 SDP エンド ツー エンド テスト スイート
• SPARK-53402 "[SC-206163][connect] Scala の Spark Connect で直接パススルー パーティション分割データセット API をサポートする" を元に戻す
• SPARK-53402 Scala での Spark Connect での直接パススルー パーティション分割データセット API のサポート
• SPARK-53233streamingに関連するコードで正しいパッケージ名を使用するようにする
• SPARK-53233 "[SC-203716][sql][SS][mllib][CONNECT] streaming に関連するコードに正しいパッケージ名を使用させる" を元に戻す
• SPARK-53233streamingに関連するコードで正しいパッケージ名を使用するようにする
• SPARK-53561 ワーカーのクラッシュを回避するために outputStream.flush 中に TransformWithStateInPySparkStateServer で中断例外をキャッチする
• SPARK-53486 torch モデルのロード時に weights_only=False を設定しないようにする
• SPARK-53391 未使用の PrimitiveKeyOpenHashMap を削除する
• SPARK-52431 宣言型パイプライン ランナーの仕上げ
• SPARK-52980 Arrow Python UDF のサポート
• SPARK-53453 'torch<2.6.0' のブロックを解除する
• SPARK-52582 Remerge "[SC-199314][sc-204581][SQL] XML パーサーのメモリ使用量の向上"
• SPARK-52582 "[SC-199314][sc-204581][SQL] XML パーサーのメモリ使用量を向上させる" を元に戻す
• SPARK-52582 XML パーサーのメモリ使用量を改善する
• SPARK-51906 alter table add columns の Dsv2 式
• SPARK-53150 存在しない、ディレクトリ以外のシンボリック リンク入力を処理するように list(File|Path)s を改善する
• SPARK-53091 禁止 org.apache.commons.lang3.Strings
• SPARK-52844 numpy を 1.22 に更新する
• SPARK-52912 サポートする SparkStringUtils を改善する is(Not)?(Blank|Empty)
• SPARK-52877 Python UDF Arrow シリアライザーのパフォーマンスの向上
• SPARK-52877 "[SC-201914][python] Python UDF Arrow Serializer のパフォーマンスの向上" を元に戻す
• SPARK-52238 宣言型パイプライン用の Python クライアント
• SPARK-52877 Python UDF Arrow シリアライザーのパフォーマンスの向上
• SPARK-53287 ANSI 移行ガイドの追加
• SPARK-52110 パイプラインの SQL 構文サポートを実装する
• SPARK-52897pandasを 2.3.1 に更新する
• SPARK-52451 "[SC-202894][connect][SQL] SparkConnectPlanner での WriteOperation の副作用を無料にする" を元に戻す
• SPARK-52976 入力パラメーター/戻り値の型として照合された文字列が Python UDF で受け入れられない問題を修正しました
• SPARK-52904 convertToArrowArraySafely を既定で有効にする
• SPARK-52821 では、int から >DecimalType への pyspark UDF 戻り値型の強制型変換が追加されます。
• SPARK-52971 アイドル状態の Python worker キュー のサイズを制限する
• SPARK-53013 方向最適化 Python UDTF が横結合で行を返さない問題を修正しました
• SPARK-51834 OSS の同期: エンドツーエンドのテーブル制約の変更の追加/削除制約のサポート
• SPARK-52675 テストで ML ハンドラーを中断する
• SPARK-52959 方向最適化 Python UDTF での UDT のサポート
• SPARK-52961 横結合で 0 引数 eval を使用して Arrow 最適化 Python UDTF を修正しました
• SPARK-52949 Arrowで最適化されたPython UDTFにおいてRecordBatchとTable間の往復を回避する
• SPARK-52946 Arrow に最適化された Python UDTF を修正して、大きな変数型をサポートする
• SPARK-52934 矢印最適化 Python UDTF を使用してスカラー値を生成できるようにする
• SPARK-52861 Arrowで最適化されたUDTF実行における行オブジェクトの作成をスキップする
• SPARK-51834 OSS の同期 - エンド ツー エンドの作成/置換テーブルを制約に置き換える
• SPARK-44856 Python UDTF 矢印シリアライザーのパフォーマンスを向上させる
• SPARK-51834 "[SQL] コンストラクターを追加して TableSpec を修正する" を元に戻す
• SPARK-51834 コンストラクターを追加して TableSpec を修正する
• SPARK-51834 "[SQL] Sync OSS (一部): 作成/置換テーブルでのエンドツーエンドのテーブル制約をサポート" を元に戻す
• SPARK-51834 OSS の同期 (部分): create/replace テーブルでのエンド ツー エンド テーブル制約のサポート
• SPARK-52885 TIME 型の Scala で時間、分、および 2 番目の関数を実装する
• SPARK-51834 OSS 更新プログラム ResolvedIdentifier を適用しない呼び出しを同期する
• SPARK-44856 "[SC-195808][python] Python UDTF 方向シリアライザーのパフォーマンスを向上させる" を元に戻す
• SPARK-51834 "[SQL] Sync OSS update ResolvedIdentifier unapply calls" の変更を元に戻す
• SPARK-44856 Python UDTF 矢印シリアライザーのパフォーマンスを向上させる
• SPARK-51834 OSS 更新プログラム ResolvedIdentifier を適用しない呼び出しを同期する
• SPARK-52787 ランタイム領域とチェックポイント領域を中心にストリーミング実行ディレクトリを再構成する
• SPARK-51695 DSv2 を使用して一意の制約のために OSS の作成/置換/変更テーブルを同期する
• SPARK-51695 DSv2 を使用して OSS ドロップ制約を同期する
• SPARK-51695 テーブル制約にパーサーの変更を導入する (CHECK、PK、FK)
• SPARK-51695 "[SQL] テーブル制約のパーサー変更の導入 (CHECK、PK、FK)" を元に戻す
• SPARK-51695 テーブル制約にパーサーの変更を導入する (CHECK、PK、FK)
• SPARK-49428 Connect Scala クライアントをコネクタから SQL に移動する
• SPARK-52422pandasを 2.3.0 に更新する
• SPARK-52228 状態相互作用 microbenchmark を Quicksilver (TCP) に統合する
• SPARK-52300 SQL UDTVF 解決でビュー解決と同じ構成を使用する
• SPARK-52228 インメモリ状態のimplsとPythonのベンチマークコードを使用してベンチマーク目的の TWS 状態サーバーを構築する
• SPARK-52174 既定で spark.checkpoint.compress を有効にする
• SPARK-52224 Python クライアントの依存関係として pyyaml を導入する
• SPARK-52122 DefaultParamsReader RCE の脆弱性を修正する
• SPARK-51147 ストリーミング関連のクラスを専用のストリーミング ディレクトリにリファクターする
• SPARK-51789 Spark Submission で引数を解析するときに spark.api.mode と spark.remote を適切に尊重する
• SPARK-51212 Spark Connect 用に個別の PySpark パッケージを既定で追加する
• SPARK-50762 SQL スカラー UDF を解決するためのアナライザー ルールを追加する
• SPARK-49748getConditionを追加し、getErrorClassを非推奨にするSparkThrowable
• SPARK-50605 Spark Connect への移行を容易にする SQL API モードをサポートする
• SPARK-50458 ファイルの読み取り時にサポートされていないファイル システムに対する適切なエラー処理
• SPARK-49700 Connect とクラシック用の統一された Scala インターフェイス
• SPARK-51779 ストリーム間結合に仮想列ファミリを使用
• SPARK-51820 序数でのグループ化の問題を回避するため、分析前に構築を移動する
• SPARK-51814 PySpark で新しい API transformWithState を導入する
• SPARK-51635 PushProjectionThroughLimit と PushProjectionThroughOffset のマージ
• SPARK-51165 既定で spark.master.rest.enabled を有効にする
• SPARK-51688 Python と JVM 通信の間で Unix ドメイン ソケットを使用する
• SPARK-51503 XML スキャンでのバリアント型のサポート
• SPARK-50564 Python パッケージ protobuf 5.29.1 にアップグレードする
• SPARK-50359 PyArrow を 18.0 にアップグレードする
• SPARK-51340 モデル サイズの見積もり
• SPARK-50657pyarrowの最小バージョンを 11.0.0 にアップグレードする
• SPARK-49282 共有 SparkSessionBuilder インターフェイスを作成します。
• SPARK-51371 ResolveAggregateFunctions でエイリアスをビルドするときに、toString を toPrettySQL に変更する
• SPARK-50694 サブクエリでの名前変更のサポート
• SPARK-50601 "[SC-186342][sql] サブクエリ内での withColumns / withColumnsRenamed のサポートを元に戻す"
• SPARK-50601 サブクエリでの WithColumns / withColumnsRenamed のサポート

Azure Databricks ODBC/JDBC ドライバーのサポート

Azure Databricks では、過去 2 年間にリリースされた ODBC/JDBC ドライバーがサポートされています。 最近リリースされたドライバーをダウンロードしてアップグレードしてください (ODBC のダウンロード、JDBC のダウンロード)。

メンテナンスアップデート

Databricks ランタイムのメンテナンス更新プログラムを参照してください。

システム環境

• オペレーティング システム: Ubuntu 24.04.3 LTS
• Java: Zulu21.42+19-CA
• Scala: 2.13.16
• Python: 3.12.3
• R: 4.5.1
• Delta Lake: 4.0.0

インストールされている Python ライブラリ

図書館	バージョン	図書館	バージョン	図書館	バージョン
注釈付き文書	0.0.3	注釈付き型	0.7.0	anyio	4.7.0
argon2-cffi	21.3.0	argon2-cffi-bindings	21.2.0	arro3-core	0.6.5
矢印	1.3.0	アストトークン	3.0.0	astunparse	1.6.3
async-lru	2.0.4	属性	24.3.0	自動コマンド	2.2.2
azure-common	1.1.28	azure-core (アジュール コア)	1.36.0	azure-identity (アズール・アイデンティティ)	1.20.0
azure-mgmt-core	1.6.0	azure-mgmt-web	8.0.0	アジュール・ストレージ・ブロブ	12.27.1
azure-storage-file-datalake（アジュールストレージファイルデータレイク）	12.22.0	バベル	2.16.0	backports.tarfile	1.2.0
beautifulsoup4	4.12.3	黒い	24.10.0	漂白剤	6.2.0
ウインカー	1.7.0	boto3	1.40.45	botocore	1.40.45
キャッシュツールズ (cachetools)	5.5.1	サーティフィ	2025.4.26	cffi	1.17.1
チャーデット	4.0.0	charset-normalizer (文字コード正規化ツール)	3.3.2	click	8.1.8
クラウドピックル	3.0.0	comm	0.2.1	コンツアーピー	1.3.1
暗号	44.0.1	サイクリスト	0.11.0	Cython	3.1.5
Databricksエージェント	1.4.0	databricks-connect (データブリックス・コネクト)	17.3.1	databricks-sdk（データブリックスSDK）	0.67.0
dataclasses-json	0.6.7	dbus-python	1.3.2	debugpy	1.8.11
デコレータ	5.1.1	デフューズドXML (defusedxml)	0.7.1	deltalake	1.1.4
Deprecated	1.2.18	distlib	0.3.9	ドックストリングをMarkdownに変換	0.11
実行中	1.2.0	facets-overview	1.1.1	fastapi	0.121.0
fastjsonschema	2.21.1	ファイルロック	3.18.0	fonttools（フォントツールズ）	4.55.3
FQDN	1.5.1	fsspec	2023.5.0	ギットディービー	4.0.11
GitPython	3.1.43	google-api-core	2.28.1	google-auth（Google認証）	2.43.0
グーグルクラウドコア	2.5.0	Googleクラウドストレージ	3.5.0	google-crc32c（GoogleのCRC32Cライブラリ）	1.7.1
google-resumable-media（Googleの継続可能なメディアライブラリ）	2.7.2	Google API 共通プロトコル (googleapis-common-protos)	1.65.0	grpcio	1.67.0
grpcio-status	1.67.0	h11	0.16.0	httpcore	1.0.9
httplib2	0.20.4	httpx	0.28.1	idna	3.7
importlib-metadata	6.6.0	inflect	7.3.1	iniconfig	1.1.1
ipyflow-core	0.0.209	ipykernel	6.29.5	ipython	8.30.0
ipython-genutils (IPython用のユーティリティ)	0.2.0	ipywidgets	7.8.1	アイソデート	0.7.2
イソデュレーション	20.11.0	jaraco.collections	5.1.0	jaraco.context	5.3.0
jaraco.functools	4.0.1	jaraco.text	3.12.1	ジェダイ	0.19.2
ジンジャ2	3.1.6	jiter	0.11.1	jmespath	1.0.1
「joblib」	1.4.2	json5	0.9.25	jsonpatch	1.33
jsonpointer	3.0.0	JSONスキーマ	4.23.0	jsonschema-specifications (JSONスキーマ仕様)	2023年7月1日
Jupyterイベント	0.12.0	jupyter-lsp	2.2.5	jupyter_client	8.6.3
jupyter_core（ジュピター・コア）	5.7.2	ジュピターサーバー	2.15.0	jupyter_server_terminals (ジュピター サーバー ターミナルズ)	0.5.3
jupyterlab	4.3.4	jupyterlab_pygments	0.3.0	ジュピターラボサーバー	2.27.3
jupyterlab_widgets	1.1.11	キウィソルバー	1.4.8	langchain-core	1.0.3
langchain-openai	1.0.2	langsmith	0.4.41	launchpadlib	1.11.0
lazr.restfulclient	0.14.6	lazr.uri	1.0.6	markdown-it-py	2.2.0
MarkupSafe	3.0.2	マシュマロ	3.26.1	matplotlib	3.10.0
matplotlib-インライン	0.1.7	マッケイブ	0.7.0	mdurl	0.1.0
mistune	3.1.2	mlflow-skinny	3.5.1	mmh3	5.2.0
more-itertools	10.3.0	msal	1.34.0	msal-extensions	1.3.1
mypy-extensions (マイパイ拡張機能)	1.0.0	nbclient（エヌビー・クライアント）	0.10.2	NBコンバート	7.16.6
nbフォーマット	5.10.4	nest-asyncio（ネスト・アサインキオ）	1.6.0	nodeenv	1.9.1
ノートブック	7.3.2	notebook_shim	0.2.4	NumPy (数値計算ライブラリ)	2.1.3
oauthlib	3.2.2	オープンAI	2.7.1	opentelemetry-api	1.38.0
opentelemetry-proto	1.38.0	opentelemetry-sdk (OpenTelemetry ソフトウェア開発キット)	1.38.0	OpenTelemetryセマンティック規約	0.59b0
orjson	3.11.4	によって がオーバーライドされます	7.4.0	包装	24.2
パンダ	2.2.3	パンドックフィルターズ	1.5.0	パルソ	0.8.4
pathspec	0.10.3	パッツィ	1.0.1	ペキスペクト	4.8.0
pillow	11.1.0	pip	25.0.1	プラットフォームディレクトリ	4.3.7
plotly	5.24.1	pluggy	1.5.0	prometheus_client	0.21.1
prompt-toolkit（プロンプトツールキット）	3.0.43	proto-plus	1.26.1	プロトバフ	5.29.4
psutil	5.9.0	psycopg2	2.9.11	ptyprocess	0.7.0
pure-eval (ピュア・イヴァル)	0.2.2	py4j	0.10.9.9	pyarrow (パイアロー)	21.0.0
pyasn1	0.4.8	pyasn1-modules	0.2.8	ピッコロ	0.0.71
pycparser（パイシーパーサー）	2.21	Pythonのデータバリデーションライブラリ「pydantic」	2.10.6	pydantic_core	2.27.2
パイフレークス	3.2.0	パイグメンツ	2.19.1	PyGObject	3.48.2
pyiceberg	0.10.0	PyJWT	2.10.1	pyodbc	5.2.0
パイパーシング (Pyparsing)	3.2.0	pyright	1.1.394	パイロアリング	1.0.3
pytest	8.3.5	python-dateutil (Python用の日付処理ライブラリ)	2.9.0.post0	python-dotenv	1.2.1
python-json-logger	3.2.1	python-lsp-jsonrpc	1.1.2	Python LSP サーバー	1.12.2
Pytoolconfig	1.2.6	pytz	2024.1	PyYAML	6.0.2
pyzmq	26.2.0	参照	0.30.2	RegEx	2024.11.6
リクエスト	2.32.3	requests-toolbelt	1.0.0	rfc3339-validator	0.1.4
RFC3986-バリデーター	0.1.1	リッチ	13.9.4	ロープ	1.13.0
rpds-py	0.22.3	RSA（アールエスエー）	4.9.1	s3transfer	0.14.0
scikit-learn（サイキット・ラーン）	1.6.1	scipy	1.15.3	seaborn（シーボーン）	0.13.2
Send2Trash(センド2トラッシュ)	1.8.2	setuptools（セットアップツール）	78.1.1	6	1.17.0
smmap	5.0.0	スニフィオ	1.3.0	sortedcontainers	2.4.0
soupsieve	2.5	sqlparse	0.5.3	ssh-import-id	5.11
スタックデータ	0.6.3	スターレット	0.49.3	strictyaml	1.7.3
粘り強さ	9.0.0	終了しました	0.17.1	Threadpoolctl	3.5.0
tiktoken	0.12.0	tinycss2	1.4.0	tokenize-rt	6.1.0
tomli	2.0.1	竜巻	6.5.1	tqdm	4.67.1
traitlets（トレイトレット）	5.14.3	typeguard	4.3.0	types-python-dateutil	2.9.0.20251008
タイピング検査	0.9.0	タイピングエクステンションズ (typing_extensions)	4.12.2	tzdata	2024.1
ujson	5.10.0	unattended-upgrades	0.1	uri-template	1.3.0
urllib3	2.3.0	uvicorn	0.38.0	virtualenv	20.29.3
wadllib	1.3.6	wcwidth（文字の幅を測定するプログラム関数）	0.2.5	webcolors	25.10.0
ウェブエンコーディングス	0.5.1	websocket-client (ウェブソケット・クライアント)	1.8.0	whatthepatch（ホワットザパッチ）	1.0.2
ホイール	0.45.1	いつでも	0.7.3	ウィジェットNBエクステンション	3.6.6
wrapt	1.17.0	yapf (ヤップフ)	0.40.2	ジップ	3.21.0
zstandard	0.23.0

インストールされている R ライブラリ

R ライブラリは、 2025-03-20 の Posit パッケージ マネージャー CRAN スナップショットからインストールされます。

図書館	バージョン	図書館	バージョン	図書館	バージョン
矢印	22.0.0	アスクパス	1.2.1	assertthat（アサートザット関数）	0.2.1
バックポート（旧バージョンへの機能移植）	1.5.0	ベース	4.5.1	base64enc	0.1-3
bigD	0.3.1	bit	4.6.0	ビット64	4.6.0-1
ビットプス	1.0-9	BLOB	1.2.4	起動	1.3-30
brew	1.0-10	活気	1.1.5	broom	1.0.10
bslib	0.9.0	キャシェム	1.1.0	コールアール	3.7.6
キャレット	7.0-1	セルレンジャー (cellranger)	1.1.0	chron	2.3-62
クラス	7.3-22	CLI	3.6.5	clipr	0.8.0
clock	0.7.3	クラスタ	2.1.6	codetools	0.2-20
コモンマーク	2.0.0	コンパイラ	4.5.1	config	0.3.2
葛藤している	1.2.0	cpp11	0.5.2	クレヨン	1.5.3
認証情報	2.0.3	curl	7.0.0	データテーブル (data.table)	1.17.8
データセット	4.5.1	DBI	1.2.3	dbplyr	2.5.1
説明	1.4.3	devtools	2.4.6	ダイアグラム	1.6.5
diffobj	0.3.6	ダイジェスト	0.6.39	ダウンライト	0.4.5
dplyr	1.1.4	dtplyr	1.3.2	e1071	1.7-16
省略記号	0.3.2	評価する	1.0.5	ファンシ	1.0.7
farver	2.1.2	fastmap (ファストマップ)	1.2.0	fontawesome (フォントオーサム)	0.5.3
フォーキャッツ	1.0.1	foreach	1.5.2	foreign	0.8-86
fs	1.6.6	未来	1.68.0	future.apply（将来の機能を適用するためのプログラミング関数）	1.20.0
うがい	1.6.0	ジェネリック	0.1.4	ゲルト	2.2.0
ggplot2	4.0.1	gh	1.5.0	git2r	0.36.2
gitcreds	0.1.2	glmnet(英語)	4.1-10	グローバル変数	0.18.0
接着剤	1.8.0	googledrive	2.1.2	googlesheets4	1.1.2
ガウアー	1.0.2	グラフィックス	4.5.1	grDevices	4.5.1
グリッド	4.5.1	gridExtra	2.3	gsubfn	0.7
gt	1.1.0	gtable	0.3.6	hardhat	1.4.2
安らぎの場	2.5.5	ハイヤー	0.11	エイチ・エム・エス	1.1.4
HTMLツール	0.5.8.1	HTMLウィジェット	1.6.4	httpuv	1.6.16
「httr」パッケージ（HTTPリクエストを簡単に送信するためのライブラリ）	1.4.7	httr2	1.2.1	識別子	1.0.1
ini	0.3.1	アイプレッド	0.9-15	アイソバンド	0.2.7
iterators	1.0.14	jquerylib	0.1.4	jsonlite	2.0.0
ジュージージュース	0.1.0	カーンスムース	2.23-22	knitr	1.50
ラベリング	0.4.3	あとで	1.4.4	格子構造	0.22-5
溶岩	1.8.2	ライフサイクル	1.0.4	listenv	0.10.0
litedown	0.8	ルブリデート	1.9.4	Magrittr	2.0.4
markdown	2.0	MASS	7.3-60.0.1	マトリックス	1.6-5
記憶する	2.0.1	メソッド	4.5.1	mgcv	1.9-1
mime	0.13	ミニUI	0.1.2	mlflow	3.6.0
モデルメトリクス	1.2.2.2	モデルル	0.1.11	nlme	3.1-164
ニューラルネットワーク (nnet)	7.3-19	numDeriv（ヌムデリヴ）	2016年8月～2016年1月1日	openssl (オープンソースの暗号化ツール)	2.3.4
otel	0.2.0	並行	4.5.1	平行に	1.45.1
支柱	1.11.1	pkgbuild（パッケージビルド）	1.4.8	pkgconfig	2.0.3
pkgdown	2.2.0	pkgload(パッケージロード)	1.4.1	plogr	0.2.0
プライル	1.8.9	賞賛	1.0.0	プリティーユニッツ	1.2.0
プロック (pROC)	1.19.0.1	プロセスエックス	3.8.6	プロッドリム	2025.04.28
プロフビス	0.4.0	進捗	1.2.3	progressr	0.18.0
約束	1.5.0	プロト	1.0.0	プロキシ	0.4-27
ps	1.9.1	purrr	1.2.0	R6	2.6.1
ragg	1.5.0	randomForest（ランダムフォレスト）	4.7-1.2	rappdirs	0.3.3
rcmdcheck	1.4.0	RColorブリューワー	1.1-3	Rcpp	1.1.0
RcppEigen	0.3.4.0.2	反応可能	0.4.4	reactR	0.6.1
readr	2.1.6	readxl (エクセルファイルの読み取り用パッケージ/関数)	1.4.5	レシピ	1.3.1
再戦	2.0.0	リマッチ2	2.1.2	remotes	2.5.0
reprex	2.1.1	リシェイプ2	1.4.5	rlang	1.1.6
rmarkdown	2.30	RODBC	1.3-26	リオキシジェン2	7.3.3
rpart（Rプログラミング言語における再帰的分割のためのパッケージ）	4.1.23	rprojroot さん	2.1.1	Rサーブ	1.8-15
RSQLite (英語)	2.4.4	rstudioapi	0.17.1	アールバージョンズ	3.0.0
rvest	1.0.5	S7	0.2.1	サス	0.4.10
scales	1.4.0	セレクター	0.4-2	セッション情報	1.2.3
シェイプ	1.4.6.1	光沢がある	1.11.1	ソースツール	0.1.7-1
sparklyr	1.9.3	SparkR	4.1.0	sparsevctrs	0.3.4
空間の	7.3-17	splines	4.5.1	sqldf	0.4-11
スクウェアム	2021年1月	統計	4.5.1	統計プログラミングパッケージ「stats4」	4.5.1
ストリンギ	1.8.7	stringr	1.6.0	サバイバル	3.5-8
Swagger	5.17.14.1	システム	3.4.3	systemfonts	1.3.1
tcltk（ティーシーエルティーケー）	4.5.1	テストザット	3.3.0	テキスト整形	1.0.4
tibble（ティブル）	3.3.0	ティディル	1.3.1	tidyselect関数	1.2.1
tidyverse（タイディバース）	2.0.0	時刻変更	0.3.0	時刻と日付	4051.111
tinytex	0.58	ツール	4.5.1	tzdb	0.5.0
URLチェッカー	1.0.1	この機能を使う	3.2.1	utf8	1.2.6
ユーティリティ	4.5.1	UUID（ユニバーサルユニーク識別子）	1.2-1	V8	8.0.1
vctrs	0.6.5	ヴィリディスライト	0.4.2	vroom	1.6.6
ワルド	0.6.2	ウイスカー	0.4.1	withr	3.0.2
xfun	0.54	xml2	1.5.0	xopen (エックスオープン)	1.0.1
xtable (エクステーブル)	1.8-4	YAML	2.3.10	ジーロット	0.2.0
ジップ	2.3.3

インストールされている Java および Scala ライブラリ (Scala 2.13 クラスター バージョン)

グループ識別子	アーティファクト ID	バージョン
アンラル（ANTLR）	アンラル（ANTLR）	2.7.7
com.amazonaws	amazon-kinesis-client（アマゾン・キネシス・クライアント）	1.15.3
com.amazonaws	aws-java-sdk-autoscaling (オートスケーリング用Java SDK)	1.12.681
com.amazonaws	aws-java-sdk-cloudformation	1.12.681
com.amazonaws	AWSのJava SDKパッケージであるCloudFront	1.12.681
com.amazonaws	aws-java-sdk-cloudhsm（AWSのクラウドHSM用Javaソフトウェア開発キット）	1.12.681
com.amazonaws	AWSのJava SDK - cloudsearch	1.12.681
com.amazonaws	aws-java-sdk-cloudtrail	1.12.681
com.amazonaws	aws-java-sdk-cloudwatch	1.12.681
com.amazonaws	aws-java-sdk-cloudwatchmetrics	1.12.681
com.amazonaws	aws-java-sdk-codedeploy（AWSのJava SDK用CodeDeployサービス）	1.12.681
com.amazonaws	aws-java-sdk-cognitoidentity (AWS Java SDK コグニトアイデンティティ)	1.12.681
com.amazonaws	aws-java-sdk-cognitosync	1.12.681
com.amazonaws	aws-java-sdk-config（AWS Java SDK 設定）	1.12.681
com.amazonaws	aws-java-sdk-core（AWS Java SDKのコア）	1.12.681
com.amazonaws	aws-java-sdk-datapipeline (AWS Java SDKのデータパイプラインモジュール)	1.12.681
com.amazonaws	aws-java-sdk-directconnect (AWSのJava SDKのDirect Connect機能)	1.12.681
com.amazonaws	aws-java-sdk-directory	1.12.681
com.amazonaws	aws-java-sdk-dynamodb	1.12.681
com.amazonaws	aws-java-sdk-ec2	1.12.681
com.amazonaws	aws-java-sdk-ecs	1.12.681
com.amazonaws	aws-java-sdk-efs	1.12.681
com.amazonaws	AWS Java SDK エラスティキャッシュ	1.12.681
com.amazonaws	AWS Java SDK エラスティックビーンストーク	1.12.681
com.amazonaws	aws-java-sdk-elasticloadbalancing	1.12.681
com.amazonaws	aws-java-sdk-elastictranscoder (AWS用のJava開発ツールキット - Elastic Transcoder)	1.12.681
com.amazonaws	aws-java-sdk-emr	1.12.681
com.amazonaws	aws-java-sdk-glacier（AWSのJava SDKのGlacierツール）	1.12.681
com.amazonaws	aws-java-sdk-glue (AWSのJava用SDKであるGlue)	1.12.681
com.amazonaws	AWSのJava SDK（IAM用）	1.12.681
com.amazonaws	AWS Java SDK インポートエクスポート	1.12.681
com.amazonaws	aws-java-sdk-kinesis (AWS用Java SDKのKinesis)	1.12.681
com.amazonaws	aws-java-sdk-kms	1.12.681
com.amazonaws	aws-java-sdk-lambda	1.12.681
com.amazonaws	aws-java-sdk-logs	1.12.681
com.amazonaws	aws-java-sdk-機械学習	1.12.681
com.amazonaws	aws-java-sdk-opsworks	1.12.681
com.amazonaws	aws-java-sdk-rds（AWSのJava用RDSソフトウェア開発キット）	1.12.681
com.amazonaws	AWS Java SDK Redshift	1.12.681
com.amazonaws	aws-java-sdk-route53	1.12.681
com.amazonaws	aws-java-sdk-s3	1.12.681
com.amazonaws	aws-java-sdk-ses	1.12.681
com.amazonaws	aws-java-sdk-simpledb	1.12.681
com.amazonaws	aws-java-sdk-simpleworkflow	1.12.681
com.amazonaws	aws-java-sdk-sns	1.12.681
com.amazonaws	aws-java-sdk-sqs	1.12.681
com.amazonaws	aws-java-sdk-ssm	1.12.681
com.amazonaws	AWS Java SDK ストレージゲートウェイ	1.12.681
com.amazonaws	aws-java-sdk-sts	1.12.681
com.amazonaws	AWS Java SDK サポート	1.12.681
com.amazonaws	aws-java-sdk-workspacesとはAWSのワークスペースを管理するためのJava用SDKです。	1.12.681
com.amazonaws	jmespath-java	1.12.681
com.clearspring.analytics	ストリーミング	2.9.8
com.databricks	Rサーブ	1.8-3
com.databricks	Databricks SDK (Java)	0.53.0
com.databricks	jets3t (ジェットスリート)	0.7.1-0
com.databricks.scalapb	scalapb-runtime_2.13	0.4.15-11
com.esotericsoftware	kryo-shaded	4.0.3
com.esotericsoftware	minlog (ミンログ)	1.3.0
com.fasterxml	クラスメイト	1.5.1
com.fasterxml.jackson.core	jackson-annotations (ジャクソン・アノテーション)	2.18.2
com.fasterxml.jackson.core	ジャクソン・コア (jackson-core)	2.18.2
com.fasterxml.jackson.core	ジャクソン・データバインド (jackson-databind)	2.18.2
com.fasterxml.jackson.dataformat	jackson-dataformat-cbor（ジャクソンデータフォーマットCBOR）	2.18.2
com.fasterxml.jackson.dataformat	jackson-dataformat-yaml（ジャクソン・データフォーマット・YAML）	2.15.2
com.fasterxml.jackson.datatype	jackson-datatype-joda	2.18.2
com.fasterxml.jackson.datatype	jackson-datatype-jsr310	2.18.3
com.fasterxml.jackson.module	jackson-module-paranamer	2.18.2
com.fasterxml.jackson.module	jackson-module-scala_2.13	2.18.2
com.github.ben-manes.caffeine	カフェイン	2.9.3
com.github.blemale	scaffeine_2.13	4.1.0
com.github.fommil	jniloader	1.1
com.github.fommil.netlib	native_ref-java	1.1
com.github.fommil.netlib	native_ref-java	1.1-ネイティブス
com.github.fommil.netlib	ネイティブシステム-Java	1.1
com.github.fommil.netlib	ネイティブシステム-Java	1.1-ネイティブス
com.github.fommil.netlib	netlib-native_ref-linux-x86_64	1.1-ネイティブス
com.github.fommil.netlib	netlib-ネイティブシステム-linux-x86_64	1.1-ネイティブス
com.github.luben	zstd-jni (ゼットスタッドジェイエヌアイ)	1.5.7-6
com.github.virtuald	curvesapi	1.08
com.github.wendykierp	JTransforms	3.1
com.google.api.grpc	proto-google-common-protos	2.5.1
com.google.auth	google-auth-library-credentials	1.20.0
com.google.auth	google-auth-library-oauth2-http	1.20.0
com.google.auto.value	auto-value-アノテーションズ	1.10.4
com.google.code.findbugs	jsr305	3.0.0
com.google.code.gson	gson	2.11.0
com.google.crypto.tink	ティンク	1.16.0
com.google.errorprone	エラーが発生しやすいアノテーション	2.36.0
com.google.flatbuffers	flatbuffers-java	25.2.10
com.google.guava	failureaccess	1.0.3
com.google.guava	グアバ	33.4.8-jre
com.google.http-client	google-http-client	1.43.3
com.google.http-client	google-http-client-gson	1.43.3
com.google.j2objc	j2objc-annotations（ジェイツーオブジェクシー・アノテーションズ）	3.0.0
com.google.protobuf	protobuf-java	3.25.5
com.google.protobuf	protobuf-java-util	3.25.5
com.helger	プロファイラ	1.1.1
com.ibm.icu	icu4j	75.1
com.jcraft	jsch	0.1.55
com.lihaoyi	ソースコード_2.13	0.1.9
com.microsoft.azure	azure-data-lake-store-sdk（アジュール・データ・レイク・ストア・SDK）	2.3.10
com.microsoft.sqlserver	mssql-jdbc	12.8.0.jre11
com.microsoft.sqlserver	mssql-jdbc	12.8.0.jre8
com.ning	Compress-LZF (コンプレス-LZF)	1.1.2
com.sun.mail	javax.mail	1.5.2
com.sun.xml.bind	jaxb-core	2.2.11
com.sun.xml.bind	jaxb-impl	2.2.11
com.tdunning	JSON	1.8
com.thoughtworks.paranamer	パラナマー	2.8
com.trueaccord.lenses	lenses_2.13	0.4.13
com.twitter	チル-ジャヴァ	0.10.0
com.twitter	chill_2.13	0.10.0
com.twitter	util-app_2.13	19.8.1
com.twitter	util-core_2.13	19.8.1
com.twitter	util-function_2.13	19.8.1
com.twitter	util-jvm_2.13	19.8.1
com.twitter	util-lint_2.13	19.8.1
com.twitter	util-registry_2.13	19.8.1
com.twitter	util-stats_2.13	19.8.1
com.typesafe	config	1.4.3
com.typesafe.scala-logging	scala-logging_2.13	3.9.2
com.uber	h3	3.7.3
com.univocity	univocity-parsers（ユニボシティ・パーサーズ）	2.9.1
com.zaxxer	HikariCP	4.0.3
com.zaxxer	SparseBitSet	1.3
commons-cli	commons-cli	1.10.0
コモンズ・コーデック	コモンズ・コーデック	1.19.0
コモンズ・コレクションズ	コモンズ・コレクションズ	3.2.2
commons-dbcp（コモンズ-DBCP）	commons-dbcp（コモンズ-DBCP）	1.4
コモンズ-ファイルアップロード	コモンズ-ファイルアップロード	1.6.0
commons-httpclient（コモンズHTTPクライアント）	commons-httpclient（コモンズHTTPクライアント）	3.1
commons-io	commons-io	2.21.0
commons-lang (コモンズ・ラン、Javaの汎用ユーティリティライブラリ)	commons-lang (コモンズ・ラン、Javaの汎用ユーティリティライブラリ)	2.6
commons-logging	commons-logging	1.1.3
commons-pool（コモンズプール）	commons-pool（コモンズプール）	1.5.4
dev.ludovic.netlib	アーパック	3.0.4
dev.ludovic.netlib	blas	3.0.4
dev.ludovic.netlib	ラパック	3.0.4
info.ganglia.gmetric4j	gmetric4j	1.0.10
io.airlift	エアコンプレッサー	2.0.2
io.delta	delta-sharing-client_2.13	1.3.6
io.dropwizard.metrics	メトリクスアノテーション	4.2.37
io.dropwizard.metrics	メトリクス・コア	4.2.37
io.dropwizard.metrics	メトリクス・グラファイト	4.2.37
io.dropwizard.metrics	メトリクス-ヘルスチェック	4.2.37
io.dropwizard.metrics	metrics-jetty10	4.2.37
io.dropwizard.metrics	メトリクス-JMX	4.2.37
io.dropwizard.metrics	metrics-json	4.2.37
io.dropwizard.metrics	メトリックス-JVM	4.2.37
io.dropwizard.metrics	メトリクス-サーブレット	4.2.37
io.github.java-diff-utils	Java-diff-utils (ジャバ・ディフ・ユーティルズ)	4.15
io.netty	netty-all (ライブラリ名)	4.2.7.Final
io.netty	ネットィバッファー	4.2.7.Final
io.netty	netty-codec	4.2.7.Final
io.netty	netty-codec-base	4.2.7.Final
io.netty	netty-codec-classes-quic	4.2.7.Final
io.netty	netty-codec-compression	4.2.7.Final
io.netty	netty-codec-http	4.2.7.Final
io.netty	netty-codec-http2（ネットティー・コーデック・HTTP2）	4.2.7.Final
io.netty	netty-codec-http3	4.2.7.Final
io.netty	netty-codec-マーシャリング	4.2.7.Final
io.netty	netty-codec-native-quic	4.2.7.Final-linux-aarch_64
io.netty	netty-codec-native-quic	4.2.7.Final-linux-x86_64
io.netty	netty-codec-native-quic	4.2.7.Final-osx-aarch_64
io.netty	netty-codec-native-quic	4.2.7.Final-osx-x86_64
io.netty	netty-codec-native-quic	4.2.7.Final-windows-x86_64
io.netty	netty-codec-protobuf	4.2.7.Final
io.netty	netty-codec-socks	4.2.7.Final
io.netty	netty-common	4.2.7.Final
io.netty	ネットティ・ハンドラー	4.2.7.Final
io.netty	ネッティ・ハンドラー・プロキシ	4.2.7.Final
io.netty	ネッティ・リゾルバー	4.2.7.Final
io.netty	netty-tcnative-boringssl-static	2.0.74.Final-db-r0-linux-aarch_64
io.netty	netty-tcnative-boringssl-static	2.0.74.Final-db-r0-linux-x86_64
io.netty	netty-tcnative-boringssl-static	2.0.74.Final-db-r0-osx-aarch_64
io.netty	netty-tcnative-boringssl-static	2.0.74.Final-db-r0-osx-x86_64
io.netty	netty-tcnative-boringssl-static	2.0.74.Final-db-r0-windows-x86_64
io.netty	netty-tcnative-classes	2.0.74.Final
io.netty	netty-transport（ネットティ・トランスポート）	4.2.7.Final
io.netty	netty-transport-classes-epoll	4.2.7.Final
io.netty	netty-transport-classes-io_uring	4.2.7.Final
io.netty	netty-トランスポートクラス-kqueue	4.2.7.Final
io.netty	netty-transport-native-epoll	4.2.7.Final
io.netty	netty-transport-native-epoll	4.2.7.Final-linux-aarch_64
io.netty	netty-transport-native-epoll	4.2.7.Final-linux-riscv64
io.netty	netty-transport-native-epoll	4.2.7.Final-linux-x86_64
io.netty	netty-transport-native-io_uring	4.2.7.Final-linux-aarch_64
io.netty	netty-transport-native-io_uring	4.2.7.Final-linux-riscv64
io.netty	netty-transport-native-io_uring	4.2.7.Final-linux-x86_64
io.netty	netty-transport-native-kqueue	4.2.7.Final-osx-aarch_64
io.netty	netty-transport-native-kqueue	4.2.7.Final-osx-x86_64
io.netty	netty-transport-native-unix-common (ネットワーク通信を行うためのユニックス向け共通ライブラリ)	4.2.7.Final
io.opencensus	opencensus-api	0.31.1
io.opencensus	opencensus-contrib-http-util	0.31.1
io.prometheus	simpleclient	0.16.1-databricks
io.prometheus	シンプルクライアント_コモン	0.16.1-databricks
io.prometheus	simpleclient_dropwizard	0.16.1-databricks
io.prometheus	シンプルクライアント_プッシュゲートウェイ	0.16.1-databricks
io.prometheus	simpleclient_servlet	0.16.1-databricks
io.prometheus	simpleclient_servlet_common	0.16.1-databricks
io.prometheus	simpleclient_tracer_common（シンプルクライアント・トレーサー・コモン）	0.16.1-databricks
io.prometheus	simpleclient_tracer_otel	0.16.1-databricks
io.prometheus	simpleclient_tracer_otel_agent	0.16.1-databricks
io.prometheus.jmx	コレクター	0.18.0
jakarta.annotation	ジャカルタ・アノテーションAPI	1.3.5
ジャカルタ.サーブレット	jakarta.servlet-api	4.0.3
jakarta.validation	jakarta.validation-api	2.0.2
jakarta.ws.rs	jakarta.ws.rs-api	2.1.6
javax.activation	アクティブ化	1.1.1
javax.annotation	javax.annotation-api	1.3.2
javax.el	javax.el-api	2.2.4
javax.jdo	jdo-api	3.0.1
javax.media	jai_core	jai_core_dummy
javax.transaction	jta	1.1
javax.transaction	トランザクションAPI	1.1
javax.xml.bind	jaxb-api	2.2.11
「ジャボリューション（Javolution）」	「ジャボリューション（Javolution）」	5.5.1
ジェイライン	ジェイライン	2.14.6
joda-time	joda-time	2.14.0
net.java.dev.jna	jna	5.8.0
net.razorvine	漬物	1.5
net.sf.jpam	ジェーパム	1.1
net.sf.opencsv	opencsv (CSVファイル操作のためのライブラリ)	2.3
net.sf.supercsv	スーパCSV (スーパーシーエスブイ)	2.2.0
ネット・スノーフレーク	snowflake-ingest-sdk（スノーフレーク・インジェスト・SDK）	0.9.6
net.sourceforge.f2j	arpack_combined_all	0.1
org.acplt.remotetea	remotetea-oncrpc	1.1.2
org.antlr	ST4	4.0.4
org.antlr	antlr-runtime	3.5.2
org.antlr	antlr4-runtime	4.13.1
org.antlr	ストリングテンプレート	3.2.1
org.apache.ant	蟻	1.10.11
org.apache.ant	ant-jsch	1.10.11
org.apache.ant	ant-launcher	1.10.11
org.apache.arrow	矢印フォーマット	18.3.0
org.apache.arrow	アロー・メモリー・コア	18.3.0
org.apache.arrow	アロー・メモリー・ネッティ	18.3.0
org.apache.arrow	アロー・メモリー・ネットティ・バッファ・パッチ	18.3.0
org.apache.arrow	矢印ベクトル	18.3.0
org.apache.avro	アブロ	1.12.1
org.apache.avro	avro-ipc	1.12.1
org.apache.avro	avro-mapred	1.12.1
org.apache.commons	commons-collections4	4.5.0
org.apache.commons	コモンズ・コンプレス	1.28.0
org.apache.commons	commons-configuration2	2.11.0
org.apache.commons	commons-crypto	1.1.0
org.apache.commons	commons-lang3	3.19.0
org.apache.commons	commons-math3	3.6.1
org.apache.commons	コモンズテキスト	1.14.0
org.apache.curator	curator-client	5.9.0
org.apache.curator	Curator Framework（キュレーター・フレームワーク）	5.9.0
org.apache.curator	キュレーターのレシピ	5.9.0
org.apache.datasketches	datasketches-java	6.2.0
org.apache.datasketches	datasketches-memory (データスケッチズ・メモリー)	3.0.2
org.apache.derby	ダービー	10.14.2.0
org.apache.hadoop	hadoop-client-runtime (ハドゥープ・クライアント・ランタイム)	3.4.2
org.apache.hive	hive-beeline	2.3.10
org.apache.hive	hive-cli	2.3.10
org.apache.hive	hive-jdbc	2.3.10
org.apache.hive	hive-llap-client	2.3.10
org.apache.hive	hive-llap-common	2.3.10
org.apache.hive	hive-serde	2.3.10
org.apache.hive	ハイブシムス	2.3.10
org.apache.hive	hive-storage-api (ハイブストレージAPI)	2.8.1
org.apache.hive.shims	hive-shims-0.23	2.3.10
org.apache.hive.shims	hive-shims-common	2.3.10
org.apache.hive.shims	hive-shims-scheduler (ハイブシムススケジューラー)	2.3.10
org.apache.httpcomponents	httpclient	4.5.14
org.apache.httpcomponents	httpcore	4.4.16
org.apache.ivy	アイビー	2.5.3
org.apache.logging.log4j	log4j-1.2-api	2.24.3
org.apache.logging.log4j	log4j-api	2.24.3
org.apache.logging.log4j	log4j-core	2.24.3
org.apache.logging.log4j	log4j-layout-template-json (ログ4jのレイアウト・テンプレート・JSON)	2.24.3
org.apache.logging.log4j	log4j-slf4j2-impl	2.24.3
org.apache.orc	オーク・コア	2.2.0-shaded-protobuf
org.apache.orc	orc-format	1.1.1-shaded-protobuf
org.apache.orc	orc-mapreduce	2.2.0-shaded-protobuf
org.apache.orc	orc-shims（オーク・シムズ）	2.2.0
org.apache.poi	poi	5.4.1
org.apache.poi	poi-ooxml	5.4.1
org.apache.poi	poi-ooxml-full	5.4.1
org.apache.poi	poi-ooxml-lite	5.4.1
org.apache.thrift	libfb303	0.9.3
org.apache.thrift	libthrift (リブスリフト)	0.16.0
org.apache.ws.xmlschema	xmlschema-core	2.3.1
org.apache.xbean	xbean-asm9-shaded	4.28
org.apache.xmlbeans	xmlbeans	5.3.0
org.apache.yetus	オーディエンス注釈	0.13.0
org.apache.zookeeper	動物園の飼育員	3.9.4
org.apache.zookeeper	zookeeper-jute（ズーキーパー・ジュート）	3.9.4
org.checkerframework	チェッカー・クオール	3.43.0
org.codehaus.janino	コモンズコンパイラー	3.0.16
org.codehaus.janino	ジャニーノ (janino)	3.0.16
org.datanucleus	datanucleus-api-jdo	4.2.4
org.datanucleus	datanucleus-core	4.1.17
org.datanucleus	データニュクレウス-RDBMS	4.1.19
org.datanucleus	javax.jdo	3.2.0-m3
org.eclipse.jetty	jetty-alpn-client	10.0.26
org.eclipse.jetty	jetty-client	10.0.26
org.eclipse.jetty	ジェッティ-HTTP	10.0.26
org.eclipse.jetty	jetty-io	10.0.26
org.eclipse.jetty	jetty-jndi（ジェッティ-JNDI）	10.0.26
org.eclipse.jetty	ジェッティプラス	10.0.26
org.eclipse.jetty	jetty-proxy (ジェッティプロキシ)	10.0.26
org.eclipse.jetty	ジェッティ・セキュリティ	10.0.26
org.eclipse.jetty	ジェッティ・サーバー	10.0.26
org.eclipse.jetty	ジェッティ-サーブレット	10.0.26
org.eclipse.jetty	ジェッティ・サーブレット (jetty-servlets)	10.0.26
org.eclipse.jetty	jetty-util (ジェッティユーティル)	10.0.26
org.eclipse.jetty	jetty-webapp（ジェッティ・ウェブアプリ）	10.0.26
org.eclipse.jetty	jetty-xml	10.0.26
org.fusesource.leveldbjni	leveldbjni-all	1.8
org.glassfish.hk2	hk2-api	2.6.1
org.glassfish.hk2	hk2-locator	2.6.1
org.glassfish.hk2	hk2ユーティリティー	2.6.1
org.glassfish.hk2	OSGiリソースロケーター	1.0.3
org.glassfish.hk2.external	aopalliance-repackaged	2.6.1
org.glassfish.hk2.external	jakarta.inject	2.6.1
org.glassfish.jersey.containers	jersey-container-servlet	2.41
org.glassfish.jersey.containers	jersey-container-servlet-core	2.41
org.glassfish.jersey.core	jersey-client	2.41
org.glassfish.jersey.core	ジャージーコモン	2.41
org.glassfish.jersey.core	ジャージーサーバー	2.41
org.glassfish.jersey.inject	jersey-hk2	2.41
org.hibernate.validator	hibernate-validator (ハイバーネイト検証ツール)	6.2.5.Final
org.ini4j	ini4j	0.5.4
org.javassist	javassist（ジャバアシスト）	3.29.2-GA
org.jboss.logging	jboss-logging	3.4.1.Final
org.jdbi	jdbi	2.63.1
org.jline	ジェイライン	3.27.1-jdk8
org.joda	joda-convert	1.7
org.json4s	json4s-ast_2.13	4.0.7
org.json4s	json4s-core_2.13	4.0.7
org.json4s	json4s-jackson-core_2.13	4.0.7
org.json4s	json4s-jackson_2.13	4.0.7
org.json4s	json4s-scalap_2.13	4.0.7
org.locationtech.jts	jts-core	1.20.0
org.lz4	lz4-java	1.8.0-databricks-1
org.mlflow	mlflow-spark_2.13	2.22.1
org.objenesis	objenesis	3.4
org.postgresql	postgresql	42.6.1
org.roaringbitmap	RoaringBitmap	1.2.1
org.rocksdb	rocksdbjni	9.8.4
org.rosuda.REngine	REngine（アールエンジン）	2.1.0
org.scala-lang	scala-compiler_2.13	2.13.16
org.scala-lang	scala-library_2.13	2.13.16
org.scala-lang	scala-reflect_2.13	2.13.16
org.scala-lang.modules	scala-collection-compat_2.13	2.11.0
org.scala-lang.modules	scala-java8-compat_2.13	0.9.1
org.scala-lang.modules	scala-parallel-collections_2.13	1.2.0
org.scala-lang.modules	scala-parser-combinators_2.13	2.4.0
org.scala-lang.modules	scala-xml_2.13	2.4.0
org.scala-sbt	テストインターフェイス	1.0
org.scalacheck	scalacheck_2.13	1.18.0
org.scalactic	scalactic_2.13	3.2.19
org.scalanlp	breeze-macros_2.13	2.1.0
org.scalanlp	breeze_2.13	2.1.0
org.scalatest	スカラテスト互換	3.2.19
org.scalatest	scalatest-core_2.13	3.2.19
org.scalatest	scalatest-diagrams_2.13	3.2.19
org.scalatest	scalatest-featurespec_2.13	3.2.19
org.scalatest	scalatest-flatspec_2.13	3.2.19
org.scalatest	scalatest-freespec_2.13	3.2.19
org.scalatest	scalatest-funspec_2.13	3.2.19
org.scalatest	scalatest-funsuite_2.13	3.2.19
org.scalatest	scalatest-matchers-core_2.13	3.2.19
org.scalatest	scalatest-mustmatchers_2.13	3.2.19
org.scalatest	scalatest-propspec_2.13	3.2.19
org.scalatest	scalatest-refspec_2.13	3.2.19
org.scalatest	scalatest-shouldmatchers_2.13	3.2.19
org.scalatest	scalatest-wordspec_2.13	3.2.19
org.scalatest	scalatest_2.13	3.2.19
org.slf4j	jcl-over-slf4j	2.0.16
org.slf4j	jul-to-slf4j	2.0.16
org.slf4j	slf4j-api	2.0.16
org.slf4j	slf4j-simple	1.7.25
org.threeten	threeten-extra（スリー・テン・エクストラ）	1.8.0
org.tukaani	xz	1.10
org.typelevel	algebra_2.13	2.8.0
org.typelevel	cats-kernel_2.13	2.8.0
org.typelevel	spire-macros_2.13	0.18.0
org.typelevel	spire-platform_2.13	0.18.0
org.typelevel	spire-util_2.13	0.18.0
org.typelevel	spire_2.13	0.18.0
org.wildfly.openssl	ワイルドフライ-オープンSSL	1.1.3.Final
org.xerial	sqlite-jdbc	3.42.0.0
org.xerial.snappy	snappy-java	1.1.10.3
org.yaml	snakeyaml（スネークヤムル）	2.0
oro	oro	2.0.8
pl.edu.icm	JLargeArrays (ジェイラージアレイ)	1.5
software.amazon.cryptools	AmazonCorrettoCryptoProvider	2.5.0-linux-x86_64
スタックス	stax-api	1.0.1

ヒント

サポート終了 (EoS) を迎えた Databricks Runtime のバージョンのリリース ノートについては、「サポート終了 Databricks Runtime のリリース ノート」を参照してください。 EoS Databricks Runtime のバージョンは廃止されており、更新されない可能性があります。