Databricks Runtime 11.3 LTS
次のリリース ノートには、Apache Spark 3.3.0 で稼働する Databricks Runtime 11.3 LTS に関する情報が記載されています。 Databricks は、2022 年 10 月にこれらのイメージをリリースしました。
注意
LTS は、このバージョンが長期的にサポートされていることを意味します。 「Databricks Runtime LTS バージョンのライフサイクル」を参照してください。
新機能と機能強化
- 構造化ストリーミングの 1 回だけのトリガーは非推奨
- 自動ローダーのソース パスを変更する
- Databricks Kinesis コネクタで、EFO モードでの Kinesis データ ストリームからの読み取りがサポートされるようになりました
- 新しい H3 地理空間関数と、すべての H3 関数に Photon のサポートが追加されました。
- 予測 I/O の新機能
- 選択的クエリをスキャンするために初期パーティションを増やす
- 新しい AQE プランバージョンの視覚化
- 新しい非同期進行状況の追跡モードとログ消去モード
- Unity Catalog での構造化ストリーミングがサポートされるようになりました
display() - パイプライン イベントが JSON 形式でログに記録されるようになりました
- Python を使用した構造化ストリーミングでの任意のステートフル処理
- CSV ファイルの日付推論
- Apache Parquet テーブルと Apache Iceberg テーブルのサポートを複製する (パブリック プレビュー)
- SQL を使用して、Unity Catalog マネージド テーブルのスキーマ レベルとカタログ レベルのストレージの場所を指定する
構造化ストリーミングの 1 回だけのトリガーは非推奨
この Trigger.Once 設定は非推奨になりました。 Databricks では Trigger.AvailableNow を使用することをお勧めします。 「構造化ストリーミングのトリガー間隔を構成する」を参照してください。
自動ローダーのソース パスを変更する
新しいチェックポイント ディレクトリを選択しなくても、ディレクトリ一覧モードで構成された自動ローダーのディレクトリ入力パスを変更できるようになりました。 「自動ローダーのソース パスを変更する」を参照してください。
Databricks Kinesis コネクタで、EFO モードでの Kinesis データ ストリームからの読み取りがサポートされるようになりました。
Databricks Runtime 11.3 LTS の Databricks Kinesis Structured Streaming ソースを使用して、拡張ファンアウト モードで Kinesis データ ストリームから読み取るクエリを実行できるようになりました。 これにより、シャードごとおよびコンシューマーごとの専用スループット、およびプッシュ モードでのレコード配信が可能になります。
新しい H3 地理空間関数と、すべての H3 関数に Photon のサポートが追加されました。
4 つの新しい H3 関数 h3_maxchild、h3_minchild、h3_pointash3、および h3_pointash3string について説明します。 これらの関数は、SQL、Scala、Python で使用できます。 すべての H3 式が Photon でサポートされるようになりました。 「H3 地理空間の関数」を参照してください。
予測 I/O の新機能
Photon では、RANGE BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW を使用してフレームを実行するための範囲モードがサポートされています。 さらに Photon では、RANGE BETWEEN UNBOUNDED PRECEDING AND offset_stop { PRECEDING | FOLLOWING } を使用してフレームを拡大するための範囲モードもサポートされています。
選択的クエリをスキャンするために初期パーティションを増やす
Photon 対応クラスターの take/tail/limit と Databricks SQL のLIMIT で選択的クエリで、スキャンする初期パーティションの値が 10 に増加しました。 10 個のパーティションを使用すると、複数の小さなジョブを起動し、スケールアップが遅くなるオーバーヘッドを回避できます。 spark.sql.limit.selectiveInitialNumPartitions を介してこれを構成することもできます。
新しい AQE プランバージョンの視覚化
アダプティブ クエリ実行 (AQE) からランタイム プランの更新を視覚化できる AQE プランのバージョンを紹介します。
新しい非同期進行状況の追跡モードとログ消去モード
非同期進行状況追跡と非同期ログ消去と呼ばれる構造化ストリーミング モードの導入。 非同期ログ消去モードでは、バックグラウンドで進行状況の追跡に使用されるログを削除することで、ストリーミング クエリの待機時間が短縮されます。
Unity Catalog での構造化ストリーミングが display() をサポートするようになりました
構造化ストリーミングを使用して Unity カタログに登録されたテーブルを操作するときに、display() を使用できるようになりました。
パイプライン イベントが JSON 形式でログに記録されるようになりました
Azure Databricks は、JSON 形式でドライバー ログにパイプライン イベントを書き込むようになりました。 各イベントは JSON で解析できますが、大きなイベントにすべてのフィールドが含まれていないか、フィールドが切り捨てられる可能性があります。 各イベントは、プレフィックス Event received: が付いた単一の行に記録されます。 イベントの例を次に示します。
Event received: {"id":"some-event-id","origin":{"pipeline_id":"some-pipeline-id","cluster_id":"some-cluster id"},"message":"simple [truncated] message","level":"WARN"}
Python の構造化ストリーミングでの自由裁量によるステートフル処理
PySpark で任意のステートフル処理を実行するために使用できる applyInPandasWithState 関数を紹介します。 これは、Java API の flatMapGroupsWithState 関数と同じです。
CSV ファイルの日付推論
CSV ファイルの日付型列の推論の改善について紹介します。 列のレコード間で日付形式が一貫している場合、それらの列は DateType のように推論できます。 異なる列に日付形式を組み合わせることもできます。 Azure Databricks では、各列の日付形式を自動的に推論できます。 Databricks Runtime 11.3 LTS より前の CSV ファイルの日付列は、StringType のように残されています。
Apache Parquet テーブルと Apache Iceberg テーブルのサポートを複製する (パブリック プレビュー)
複製を使用して、Apache Parquet テーブルと Apache Iceberg テーブルをミラー化する Delta テーブルを作成および増分更新できるようになりました。 clone コマンドを使用して、ソース Parquet テーブルを更新し、その変更を複製された Delta テーブルに増分適用できます。 「Parquet テーブルと Iceberg テーブルを Delta Lake に増分複製する」を参照してください。
SQL を使用して、Unity Catalog マネージド テーブルのスキーマ レベルとカタログ レベルのストレージの場所を指定する
MANAGED LOCATION SQL コマンドを使用して、カタログ レベルとスキーマ レベルでマネージド テーブルのクラウド ストレージの場所を指定できるようになりました。 「CREATE CATALOG」と「CREATE SCHEMA」を参照してください。
動作の変更
Databricks Connect 11.3.2
Databricks Connect クライアント更新プログラム 11.3.2 がサポートされるようになりました。 「Databricks Connect」および「Databricks Connect リリース ノート」を参照してください。
更新された Azure Databricks Snowflake コネクタ
Azure Databricks Snowflake コネクタは、オープンソース リポジトリ Snowflake Data Source for Apache Spark から最新バージョンのコードに更新されました。 オープンソース バージョンのすべての機能を維持しながら、述語プッシュダウンや内部クエリ プランのプッシュダウンなど、Databricks Runtime 11.3 LTS との完全な互換性を実現しました。
S3A の Hadoop キャッシュが無効になりました
S3A の Hadoop キャッシュ (FileSystem Apache Hadoop Main 3.3.4 API) が無効になりました。 これは、他のクラウド ストレージ コネクタと揃えるためです。 ファイル システムのキャッシュに依存するワークロードの場合は、新しく作成されたファイル システムに、資格情報プロバイダーを含む適切な Hadoop 構成が提供されていることを確認します。
Delta Lake 統計コレクション スキーマがテーブル スキーマ定義の列の順序と一致するようになりました
この変更は、DataFrame とテーブル列の順序が一致していないために列の統計が収集されなかった Delta Lake プロトコルのバグに対処します。 場合によっては、以前に追跡されていないフィールドの統計収集が原因で、書き込みパフォーマンスが低下することがあります。 「Delta Lake に対するデータのスキップ」を参照してください。
applyInPandasWithState は、演算子の後にクエリにシャッフルがある場合にエラーをスローする
演算子の後にクエリに shuffle がある場合、演算子 applyInPandasWithState はエラーをスローします。 これは、ユーザーが操作の後に shuffle を追加するか、オプティマイザーまたはシンクが暗黙的に shuffle を追加した場合に発生します。
ライブラリのアップグレード
- アップグレードされた Python ライブラリ:
- distlib (0.3.5 から 0.3.6 へ)
- アップグレードされた R ライブラリ:
- broom (1.0.0 から 1.0.1 へ)
- callr (3.7.1 から 3.7.2 へ)
- dplyr (1.0.9 から 1.0.10 へ)
- dtplyr (1.2.1 から 1.2.2 へ)
- forcats (0.5.1 から 0.5.2 へ)
- future (1.27.0 から 1.28.0 へ)
- future.apply (1.9.0 から 1.9.1 へ)
- gert (1.7.0 から 1.8.0 へ)
- globals (0.16.0 から 0.16.1 へ)
- globals (0.3.0 から 0.3.1 へ)
- haven (2.5.0 から 2.5.1 へ)
- hms (1.1.1 から 1.1.2 へ)
- httr (1.4.3 から 1.4.4 へ)
- knitr (1.39 から 1.40 へ)
- modelr (0.1.8 から 0.1.9 へ)
- pillar (1.8.0 から 1.8.1 へ)
- progressr (0.10.1 から 0.11.0 へ)
- readxl (1.4.0 から 1.4.1 へ)
- reprex (2.0.1 から 2.0.2 へ)
- rlang (1.0.4 から 1.0.5 へ)
- rmarkdown (2.14 から 2.16 へ)
- RSQLite (2.2.15 から 2.2.16 へ)
- rstudioapi (0.13 から 0.14 へ)
- rversions (2.1.1 から 2.1.2 へ)
- rvest (1.0.2 から 1.0.3 へ)
- scales (1.2.0 から 1.2.1 へ)
- sparklyr (1.7.7 から 1.7.8 へ)
- stringr (1.4.0 から 1.4.1 へ)
- survival (3.2-13 から 3.4-0 へ)
- tinytex (0.40 から 0.41 へ)
- viridisLite (0.4.0 から 0.4.1 へ)
- アップグレードされた Java ライブラリ:
- com.fasterxml.jackson.core.jackson-annotations (2.13.3 から 2.13.4 へ)
- com.fasterxml.jackson.core.jackson-core (2.13.3 から 2.13.4 へ)
- com.fasterxml.jackson.core.jackson-databind (2.13.3 から 2.13.4 へ)
- com.fasterxml.jackson.dataformat.jackson-dataformat-cbor (2.13.3 から 2.13.4 へ)
- com.fasterxml.jackson.datatype.jackson-datatype-joda (2.13.3 から 2.13.4 へ)
- com.fasterxml.jackson.datatype.jackson-datatype-jsr310 (2.13.3 から 2.13.4 へ)
- com.fasterxml.jackson.module.jackson-module-paranamer (2.13.3 から 2.13.4 へ)
- com.fasterxml.jackson.module.jackson-module-scala_2.12 (2.13.3 から 2.13.4 へ)
- org.apache.hadoop.hadoop-client-api (3.3.2-databricks から 3.3.4-databricks へ)
- org.apache.hadoop.hadoop-client-runtime (3.3.2 から 3.3.4 へ)
- org.apache.orc.orc-core (1.7.5 から 1.7.6 へ)
- org.apache.orc.orc-mapreduce (1.7.5 から 1.7.6 へ)
- org.apache.orc.orc-shims (1.7.5 から 1.7.6 へ)
- org.apache.parquet.parquet-column (1.12.0-databricks-0004 から 1.12.0-databricks-0007 へ)
- org.apache.parquet.parquet-common (1.12.0-databricks-0004 から 1.12.0-databricks-0007 へ)
- org.apache.parquet.parquet-encoding (1.12.0-databricks-0004 から 1.12.0-databricks-0007 へ)
- org.apache.parquet.parquet-format-structures (1.12.0-databricks-0004 から 1.12.0-databricks-0007 へ)
- org.apache.parquet.parquet-hadoop (1.12.0-databricks-0004 から 1.12.0-databricks-0007 へ)
- org.apache.parquet.parquet-jackson (1.12.0-databricks-0004 から 1.12.0-databricks-0007 へ)
- org.glassfish.jersey.containers.jersey-container-servlet (2.34 から 2.36 へ)
- org.glassfish.jersey.containers.jersey-container-servlet (2.34 から 2.36 へ)
- org.glassfish.jersey.core.jersey-client (2.34 から 2.36 へ)
- org.glassfish.jersey.core.jersey-common (2.34 から 2.36 へ)
- org.glassfish.jersey.core.jersey-server from (2.34 から 2.36 へ)
- org.glassfish.jersey.inject.jersey-hk2 (2.34 から 2.36 へ)
Apache Spark
Databricks Runtime 11.3 LTS には、Apache Spark 3.3.0 が含まれています。 このリリースには、Databricks Runtime 11.2 (サポート対象外) に含まれるすべての Spark の修正プログラムおよび機能強化と、Spark に対して行われた次の追加のバグ修正と機能強化が含まれています。
- [SPARK-39957] [WARMFIX][SC-111425][CORE] ドライバーが ExecutorExecutCode を受信できるように onDisconnected を遅らせる
- [SPARK-39955] [WARMFIX][SC-111424][CORE] LaunchTask プロセスを向上して、LaunchTask メッセージの送信失敗によるステージ エラーを回避する
- [SPARK-40474] [SC-106248][Cherry-Pick] datetime 列の CSV スキーマ推論動作を修正し、日付フィールドの自動検出を導入する
- [SPARK-40535] [SC-111243][SQL] 入力行が空の場合、アグリゲーティングAccumulator のバッファーが作成されないバグを修正
- [SPARK-40434] [SC-111125][SC-111144][SC-111138][SPARK-40435][11.3][SS][PYTHON] PySpark で applyInPandasWithState を実装する
- [SPARK-40460] [SC-110832][SS] 選択時にストリーミング メトリックを修正する
_metadata - [SPARK-40324] [SC-109943][SQL]
ParseExceptionのクエリ コンテキストを指定する - [SPARK-40466] [SC-110899][SS] DSv1 を使用することができない間に DSv2 が無効になった場合のエラー メッセージを改善する
- [SPARK-40456] [SC-110848][SQL] PartitionIterator.hasNext を繰り返し呼び出すことは安価である
- [SPARK-40169] [SC-110772][SQL] データ スキーマへの参照がない Parquet フィルターをプッシュダウンしない
- [SPARK-40467] [SC-110759][SS] FlatMapGroupsWithState を複数のテスト スイートに分割する
- [SPARK-40468] [SC-110813][SQL] _corrupt_record が選択されている場合、CSV での列の削除を修正する
- [SPARK-40291] [SC-110085][SQL] group by 句エラーに含まれていない列のメッセージを改善する
- [SPARK-40398] [SC-110762][CORE][SQL] Arrays.stream api の代わりにループを使用する
- [SPARK-40433] [SC-110684][SS][PYTHON] PythonSQLUtils で toJVMRow を追加してピクルスされた PySpark 行を JVM 行に変換する
- [SPARK-40414] [SC-110568][SQL][PYTHON] PythonArrowInput と PythonArrowOutput のより多くのジェネリック型
- [SPARK-40352] [SC-109945][SQL] 関数エイリアスの追加は、 len、datepart、dateadd、date_diff、curdate
- [SPARK-40470] [SC-110761][SQL] "arrays_zip" 関数で GetArrayStructFields と GetMapValue を処理する
- [SPARK-40387] [SC-110685][SQL] Spark Decimal の実装を改善する
- [SPARK-40429] [SC-110675][SQL] 参照される列が出力内にある場合にのみ KeyGroupedPartitioning を設定する
- [SPARK-40432] [SC-110716][SS][PYTHON] PySpark で GroupStateImpl と GroupStateTimeout を導入する
- [SPARK-39915] [SC-110496][SQL] 出力パーティション分割が AQE でユーザー指定されていることを確認する
- [SPARK-29260] [SQL] HMS でサポートされている場合の
ALTER DATABASE SET LOCATIONのサポート - [SPARK-40185] [SC-110056][SQL] 候補リストが空のときに列候補を削除する
- [SPARK-40362] [SC-110401][SQL] BinaryComparison の正規化を修正する
- [SPARK-40411] [SC-110381][SS] FlatMapGroupsWithStateExec をリファクタリングして親特性を持つ
- [SPARK-40293] [SC-110084][SQL] V2 テーブルのエラー メッセージをより意味のあるものにする
- [SPARK-38734] [SC-110383][SQL] エラー クラスを削除する
INDEX_OUT_OF_BOUNDS - [SPARK-40292] [SC-110300][SQL] 入れ子になった構造体から配列が参照されている場合の "arrays_zip" 関数の列名を修正する
- [SPARK-40276] [SC-109674][CORE] RDD.takeOrdered の結果サイズを小さくする
- [SPARK-40197] [SC-109176][SQL] クエリ プランをMULTI_VALUE_SUBQUERY_ERROR のコンテキストに置き換える
- [SPARK-40300] [SC-109942][SQL] エラー クラスに移行する
DATATYPE_MISMATCH - [SPARK-40149] [SC-110055][SQL] Project を介してメタデータ列を伝達する
- [SPARK-40280] [SC-110146][SQL] 注釈付き int と long の parquet プッシュダウンのサポートを追加
- [SPARK-40220] [SC-110143][SC-109175][SQL] エラー メッセージ パラメーターの空のマップを出力しない
- [SPARK-40295] [SC-110070][SQL] 書き込みディストリビューション/順序付けのリテラル引数を持つ v2 関数を許可する
- [SPARK-40156] [SC-109264][SQL][SQL]
url_decode()がエラー クラスを返す必要がある - [SPARK-39195] [SQL] コミットされたファイルがタスクの状態と一致しない場合、Spark OutputCommitCoordinator はステージを中止する必要がある
- [SPARK-40260] [SC-109424][SQL] ポジションによるグループのコンパイル エラーでエラー クラスを使用する
- [SPARK-40205] [SC-110144][SC-109082][SQL] ELEMENT_AT_BY_INDEX_ZERO のクエリ コンテキストを提供する
- [SPARK-40112] [SC-109676][SQL] TO_BINARY() 関数を改善する
- [SPARK-40209] [SC-109081][SQL] エラー時に
changePrecision()での 10 進数の間隔値を変更しないでください - [SPARK-40319] [SC-109873][SQL] PARSE_DATETIME_BY_NEW_PARSER の重複したクエリ実行エラー メソッドを削除する
- [SPARK-40222] [SC-109209][SQL] 数値try_add/try_divide/try_subtract/try_multiply は子からエラーをスローする
- [SPARK-40183] [SC-108907][SQL] 10 進数変換のオーバーフローにエラー クラス NUMERIC_VALUE_OUT_OF_RANGE を使用する
- [SPARK-40180] [SC-109069][SQL]
spark-sqlによるエラー メッセージを次の形式で書式設定する - [SPARK-40153] [SC-109165][SQL] 解決関数とテーブル値関数を統合する
- [SPARK-40308] [SC-109880][SQL]
str_to_map関数への折りたたみ不可の区切り文字引数を許可する - [SPARK-40219] [SC-110052][SC-109663][SQL] 冗長参照を回避するために、解決されたビュー論理プランでスキーマを保持する必要がある
- [SPARK-40098] [SC-109939][SC-108693][SQL] Thrift サーバーでのエラー メッセージの書式設定
- [SPARK-39917] [SC-109038][SQL] 数値/間隔の算術オーバーフローに異なるエラー クラスを使用する
- [SPARK-40033] [SC-109875][SQL] element_at により入れ子になったスキーマの排除のサポート
- [SPARK-40194] [SC-109660][SQL] 空の正規表現の SPLIT 関数は、末尾の空の文字列を切り捨てる必要があります。
- [SPARK-40228] [SC-109835][SQL] 子がチープな式でない場合は multiLike を簡略化しない
- [SPARK-40039] [SC-109896][SC-109260][SS] Hadoop の Abortable インターフェイスに基づくストリーミング チェックポイント ファイル マネージャーの導入
- [SPARK-40285] [SC-109679][SQL] Spark
DecimalのroundTo[Numeric]を簡素化する - [SPARK-39896] [SC-109658][SQL] In/InSet ダウンキャストのリテラルが失敗したときに UnwrapCastInBinaryComparison が機能する必要がある
- [SPARK-40040] [SC-109662][SQL] 結合条件が空の場合、ローカル制限を両側にプッシュする
- [SPARK-40055][SC-109075][SQL] listCatalogs は、spark_catalog 実装が defaultSessionCatalog の場合でもspark_catalog を返す必要がある
- [SPARK-39915] [SC-109391][SQL] Dataset.repartition(N) で N 個のパーティションが AQE 以外の部分を作成しない場合がある
- [SPARK-40207] [SC-109401][SQL] データ型がデータソースでサポートされていない場合に列名を指定します
- [SPARK-40245] [SC-109295][SQL] パーティションまたはデータ フィルター列が読み取られない場合の FileScan の等価性チェックを修正する
- [SPARK-40113] [SC-109405][SQL] Reactor ParquetScanBuilder DataSourceV2 インターフェイスの実装
- [SPARK-40211] [SC-109226][CORE][SQL] take() 動作で初期パーティション数のカスタマイズを許可する
- [SPARK-40252] [SC-109379][SQL]
Stream.collect(Collectors.joining)をStringJoinerAPI に置き換える - [SPARK-40247] [SC-109272][SQL] BitSet の等価性チェックを修正する
- [SPARK-40067] [SQL] Scan#name() 代わりに Table#name() を使用して SparkUI の BatchScan ノード内のテーブル名を設定する
- [SPARK-39966] [SQL] SupportsDelete で V2 フィルターを使用する
- [SPARK-39607] [SC-109268][SQL][DSV2] 配布および順序付けでは、V2 関数が書き込みでサポートされる
- [SPARK-40224] [SC-109271][SQL] 並べ替えベースにフォールバックするときに ObjectHashAggregateExec のメモリを一括で解放する
- [SPARK-40013] [SQL] DS V2 式に既定値を設定する必要がある
toString - [SPARK-40214] [SC-109079][PYTHON][SQL] 関数に 'get' を追加する
- [SPARK-40192] [SC-109089][SQL][ML] 冗長グループを削除する
- [SPARK-40146] [SC-108694][SQL] 単にマップ値を取得するコードゲン
- [SPARK-40109][SQL] 新しい SQL 関数: get()
- [SPARK-39929] [SQL] DS V2 でプッシュダウン文字列関数がサポートされている (ANSI 以外)
- [SPARK-39819] [SQL] DS V2 集計プッシュダウンは、上位 N またはページング (式による並べ替え) で動作できる
- [SPARK-40213] [SC-109077][SQL] ラテン 1 文字の ASCII 値変換をサポート
- [SPARK-39887] [SQL] RemoveRedundantAliases は、プロジェクション ノードの出力を一意にするエイリアスを保持する必要がある
- [SPARK-39764] [SQL] PhysicalOperation を ScanOperation と同じにする
- [SPARK-39964] [SQL] DS V2 プッシュダウンで翻訳パスを統一する必要がある
- [SPARK-39528] [SQL] SupportsRuntimeFiltering で V2 フィルターを使用する
- [SPARK-40066] [SQL] ANSI モード: マップ列への無効なアクセスで常に null を返す
- [SPARK-39912] [SPARK-39828][SQL] CatalogImpl の修正
- [SPARK-39833] [SC-108736][SQL] DSv1 の Parquet 列インデックスを無効にして、パーティション列とデータ列が重複する場合の正確性の問題を修正する
- [SPARK-39880] [SQL] V2 SHOW FUNCTIONS コマンドは、v1 などの修飾関数名を出力する必要がある
- [SPARK-39767] [SQL] UnresolvedDBObjectName を削除し、UnresolvedIdentifier を追加する
- [SPARK-40163] [SC-108740][SQL] SparkSession.config(マップ) が含まれる
- [SPARK-40136] [SQL] SQL クエリ コンテキストのフラグメントを修正する
- [SPARK-40107] [SC-108689][SQL] FileFormatWriter から empty2null 変換をプルする
- [SPARK-40121] [PYTHON][SQL] Python UDF に使用されるプロジェクションを初期化する
- [SPARK-40128] [SQL] VectorizedColumnReader にスタンドアロン列エンコードとしてDELTA_LENGTH_BYTE_ARRAYを認識させる
- [SPARK-40132] [ML] rawPredictionCol を MultilayerPerceptronClassifier.setParams に復元する
- [SPARK-40050] [SC-108696][SQL] による並べ替えの削除をサポートするように拡張
EliminateSortsLocalLimit - [SPARK-39629] [SQL] v2 SHOW FUNCTIONS のサポート
- [SPARK-39925] [SC-108734][SQL] DataFrame 操作にarray_sort(列、比較子) オーバーロードを追加する
- [SPARK-40117] [PYTHON][SQL] DataFrameWriterV2.overwrite で条件を java に変換する
- [SPARK-40105] [SQL] ReplaceCTERefWithRepartition での再パーティションの改善
- [SPARK-39503] [SQL] v1 データベース テーブルと関数のセッション カタログ名を追加する
- [SPARK-39889] [SQL] 数値/間隔に異なるエラー クラスを 0 で除算して使用する
- [SPARK-39741][SQL] URL エンコード/デコードを組み込み関数としてサポートし、URL 関連の関数を整理する
- [SPARK-40102] [SQL] SparkPlan で IllegalStateException の代わりに SparkException を使用する
- [SPARK-40014] [SQL] ANSI 間隔の 10 進数へのキャストをサポートする
- [SPARK-39776] [SQL][FOLLOW] ANSI モードで PlanStabilitySuite の UT を更新する
- [SPARK-39963] [SQL] 簡略化
SimplifyCasts.isWiderCast
メンテナンスの更新
Databricks Runtime 11.3 のメンテナンス更新プログラムに関するページを参照してください。
システム環境
- オペレーティング システム: Ubuntu 20.04.5 LTS
- Java: Zulu 8.56.0.21-CA-linux64
- Scala: 2.12.14
- Python: 3.9.5
- R: 4.1.3
- Delta Lake: 2.1.0
インストールされている Python ライブラリ
| ライブラリ | Version | ライブラリ | Version | ライブラリ | Version |
|---|---|---|---|---|---|
| argon2-cffi | 20.1.0 | async-generator | 1.10 | attrs | 21.2.0 |
| backcall | 0.2.0 | backports.entry-points-selectable | 1.1.1 | black | 22.3.0 |
| bleach | 4.0.0 | boto3 | 1.21.18 | botocore | 1.24.18 |
| certifi | 2021.10.8 | cffi | 1.14.6 | chardet | 4.0.0 |
| charset-normalizer | 2.0.4 | クリックし | 8.0.3 | cryptography | 3.4.8 |
| cycler | 0.10.0 | Cython | 0.29.24 | dbus-python | 1.2.16 |
| debugpy | 1.4.1 | decorator | 5.1.0 | defusedxml | 0.7.1 |
| distlib | 0.3.6 | entrypoints | 0.3 | facets-overview | 1.0.0 |
| filelock | 3.8.0 | idna | 3.2 | ipykernel | 6.12.1 |
| ipython | 7.32.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.0 |
| jedi | 0.18.0 | Jinja2 | 2.11.3 | jmespath | 0.10.0 |
| joblib | 1.0.1 | jsonschema | 3.2.0 | jupyter-client | 6.1.12 |
| jupyter-core | 4.8.1 | jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 |
| kiwisolver | 1.3.1 | MarkupSafe | 2.0.1 | matplotlib | 3.4.3 |
| matplotlib-inline | 0.1.2 | mistune | 0.8.4 | mypy-extensions | 0.4.3 |
| nbclient | 0.5.3 | nbconvert | 6.1.0 | nbformat | 5.1.3 |
| nest-asyncio | 1.5.1 | ノートブック | 6.4.5 | numpy | 1.20.3 |
| パッケージング | 21.0 | pandas | 1.3.4 | pandocfilters | 1.4.3 |
| parso | 0.8.2 | pathspec | 0.9.0 | patsy | 0.5.2 |
| pexpect | 4.8.0 | pickleshare | 0.7.5 | Pillow | 8.4.0 |
| pip | 21.2.4 | platformdirs | 2.5.2 | plotly | 5.9.0 |
| prometheus-client | 0.11.0 | prompt-toolkit | 3.0.20 | protobuf | 4.21.5 |
| psutil | 5.8.0 | psycopg2 | 2.9.3 | ptyprocess | 0.7.0 |
| pyarrow | 7.0.0 | pycparser | 2.20 | Pygments | 2.10.0 |
| PyGObject | 3.36.0 | pyodbc | 4.0.31 | pyparsing | 3.0.4 |
| pyrsistent | 0.18.0 | python-dateutil | 2.8.2 | pytz | 2021.3 |
| pyzmq | 22.2.1 | requests | 2.26.0 | requests-unixsocket | 0.2.0 |
| s3transfer | 0.5.2 | scikit-learn | 0.24.2 | scipy | 1.7.1 |
| seaborn | 0.11.2 | Send2Trash | 1.8.0 | setuptools | 58.0.4 |
| 6 | 1.16.0 | ssh-import-id | 5.10 | statsmodels | 0.12.2 |
| tenacity | 8.0.1 | terminado | 0.9.4 | testpath | 0.5.0 |
| threadpoolctl | 2.2.0 | tokenize-rt | 4.2.1 | tomli | 2.0.1 |
| tornado | 6.1 | traitlets | 5.1.0 | typing-extensions | 3.10.0.2 |
| unattended-upgrades | 0.1 | urllib3 | 1.26.7 | virtualenv | 20.8.0 |
| wcwidth | 0.2.5 | webencodings | 0.5.1 | wheel | 0.37.0 |
| widgetsnbextension | 3.6.0 |
インストールされている R ライブラリ
R ライブラリは、2022 年 9 月 8 日に Microsoft CRAN スナップショットからインストールされています。
| ライブラリ | Version | ライブラリ | Version | ライブラリ | Version |
|---|---|---|---|---|---|
| askpass | 1.1 | assertthat | 0.2.1 | backports | 1.4.1 |
| base | 4.1.3 | base64enc | 0.1-3 | bit | 4.0.4 |
| bit64 | 4.0.5 | blob (blob) | 1.2.3 | boot | 1.3-28 |
| brew | 1.0-7 | brio | 1.1.3 | broom | 1.0.1 |
| bslib | 0.4.0 | cachem | 1.0.6 | callr | 3.7.2 |
| キャレット | 6.0-93 | cellranger | 1.1.0 | chron | 2.3-57 |
| class | 7.3-20 | cli | 3.3.0 | clipr | 0.8.0 |
| cluster | 2.1.3 | codetools | 0.2-18 | colorspace | 2.0-3 |
| commonmark | 1.8.0 | compiler | 4.1.3 | config | 0.3.1 |
| cpp11 | 0.4.2 | crayon | 1.5.1 | 資格情報 | 1.3.2 |
| curl | 4.3.2 | data.table | 1.14.2 | datasets | 4.1.3 |
| DBI | 1.1.3 | dbplyr | 2.2.1 | desc | 1.4.1 |
| devtools | 2.4.4 | diffobj | 0.3.5 | digest | 0.6.29 |
| downlit | 0.4.2 | dplyr | 1.0.10 | dtplyr | 1.2.2 |
| e1071 | 1.7-11 | ellipsis | 0.3.2 | evaluate | 0.16 |
| fansi | 1.0.3 | farver | 2.1.1 | fastmap | 1.1.0 |
| fontawesome | 0.3.0 | forcats | 0.5.2 | foreach | 1.5.2 |
| foreign | 0.8-82 | forge | 0.2.0 | fs | 1.5.2 |
| future | 1.28.0 | future.apply | 1.9.1 | gargle | 1.2.0 |
| generics | 0.1.3 | gert | 1.8.0 | ggplot2 | 3.3.6 |
| gh | 1.3.0 | gitcreds | 0.1.1 | glmnet | 4.1-4 |
| globals | 0.16.1 | glue | 1.6.2 | googledrive | 2.0.0 |
| googlesheets4 | 1.0.1 | gower | 1.0.0 | graphics | 4.1.3 |
| grDevices | 4.1.3 | grid | 4.1.3 | gridExtra | 2.3 |
| gsubfn | 0.7 | gtable | 0.3.1 | hardhat | 1.2.0 |
| haven | 2.5.1 | highr | 0.9 | hms | 1.1.2 |
| htmltools | 0.5.3 | htmlwidgets | 1.5.4 | httpuv | 1.6.5 |
| httr | 1.4.4 | ids | 1.0.1 | ini | 0.3.1 |
| ipred | 0.9-13 | isoband | 0.2.5 | iterators | 1.0.14 |
| jquerylib | 0.1.4 | jsonlite | 1.8.0 | KernSmooth | 2.23-20 |
| knitr | 1.40 | labeling | 0.4.2 | later | 1.3.0 |
| lattice | 0.20-45 | lava | 1.6.10 | ライフサイクル | 1.0.1 |
| listenv | 0.8.0 | lubridate | 1.8.0 | magrittr | 2.0.3 |
| markdown | 1.1 | MASS | 7.3-56 | Matrix | 1.4-1 |
| memoise | 2.0.1 | methods | 4.1.3 | mgcv | 1.8-40 |
| mime | 0.12 | miniUI | 0.1.1.1 | ModelMetrics | 1.2.2.2 |
| modelr | 0.1.9 | munsell | 0.5.0 | nlme | 3.1-157 |
| nnet | 7.3-17 | numDeriv | 2016.8-1.1 | openssl | 2.0.2 |
| parallel | 4.1.3 | parallelly | 1.32.1 | pillar | 1.8.1 |
| pkgbuild | 1.3.1 | pkgconfig | 2.0.3 | pkgdown | 2.0.6 |
| pkgload | 1.3.0 | plogr | 0.2.0 | plyr | 1.8.7 |
| praise | 1.0.0 | prettyunits | 1.1.1 | pROC | 1.18.0 |
| processx | 3.7.0 | prodlim | 2019.11.13 | profvis | 0.3.7 |
| progress | 1.2.2 | progressr | 0.11.0 | promises | 1.2.0.1 |
| proto | 1.0.0 | proxy | 0.4-27 | ps | 1.7.1 |
| purrr | 0.3.4 | r2d3 | 0.2.6 | R6 | 2.5.1 |
| ragg | 1.2.2 | randomForest | 4.7-1.1 | rappdirs | 0.3.3 |
| rcmdcheck | 1.4.0 | RColorBrewer | 1.1-3 | Rcpp | 1.0.9 |
| RcppEigen | 0.3.3.9.2 | readr | 2.1.2 | readxl | 1.4.1 |
| recipes | 1.0.1 | rematch | 1.0.1 | rematch2 | 2.1.2 |
| remotes | 2.4.2 | reprex | 2.0.2 | reshape2 | 1.4.4 |
| rlang | 1.0.5 | rmarkdown | 2.16 | RODBC | 1.3-19 |
| roxygen2 | 7.2.1 | rpart | 4.1.16 | rprojroot | 2.0.3 |
| Rserve | 1.8-11 | RSQLite | 2.2.16 | rstudioapi | 0.14 |
| rversions | 2.1.2 | rvest | 1.0.3 | sass | 0.4.2 |
| scales | 1.2.1 | selectr | 0.4-2 | sessioninfo | 1.2.2 |
| shape | 1.4.6 | shiny | 1.7.2 | sourcetools | 0.1.7 |
| sparklyr | 1.7.8 | SparkR | 3.3.0 | spatial | 7.3-11 |
| splines | 4.1.3 | sqldf | 0.4-11 | SQUAREM | 2021.1 |
| stats | 4.1.3 | stats4 | 4.1.3 | stringi | 1.7.8 |
| stringr | 1.4.1 | survival | 3.4-0 | sys | 3.4 |
| systemfonts | 1.0.4 | tcltk | 4.1.3 | testthat | 3.1.4 |
| textshaping | 0.3.6 | tibble | 3.1.8 | tidyr | 1.2.0 |
| tidyselect | 1.1.2 | tidyverse | 1.3.2 | timeDate | 4021.104 |
| tinytex | 0.41 | tools | 4.1.3 | tzdb | 0.3.0 |
| urlchecker | 1.0.1 | usethis | 2.1.6 | utf8 | 1.2.2 |
| utils | 4.1.3 | uuid | 1.1-0 | vctrs | 0.4.1 |
| viridisLite | 0.4.1 | vroom | 1.5.7 | waldo | 0.4.0 |
| whisker | 0.4 | withr | 2.5.0 | xfun | 0.32 |
| xml2 | 1.3.3 | xopen | 1.0.0 | xtable | 1.8-4 |
| yaml | 2.3.5 | zip | 2.2.0 |
インストールされている Java ライブラリと Scala ライブラリ (Scala 2.12 クラスター バージョン)
| グループ ID | 成果物 ID | Version |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.189 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.12.189 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.189 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.12.189 |
| com.amazonaws | aws-java-sdk-config | 1.12.189 |
| com.amazonaws | aws-java-sdk-core | 1.12.189 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.12.189 |
| com.amazonaws | aws-java-sdk-directconnect | 1.12.189 |
| com.amazonaws | aws-java-sdk-directory | 1.12.189 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.12.189 |
| com.amazonaws | aws-java-sdk-ec2 | 1.12.189 |
| com.amazonaws | aws-java-sdk-ecs | 1.12.189 |
| com.amazonaws | aws-java-sdk-efs | 1.12.189 |
| com.amazonaws | aws-java-sdk-elasticache | 1.12.189 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.189 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.189 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.189 |
| com.amazonaws | aws-java-sdk-emr | 1.12.189 |
| com.amazonaws | aws-java-sdk-glacier | 1.12.189 |
| com.amazonaws | aws-java-sdk-glue | 1.12.189 |
| com.amazonaws | aws-java-sdk-iam | 1.12.189 |
| com.amazonaws | aws-java-sdk-importexport | 1.12.189 |
| com.amazonaws | aws-java-sdk-kinesis | 1.12.189 |
| com.amazonaws | aws-java-sdk-kms | 1.12.189 |
| com.amazonaws | aws-java-sdk-lambda | 1.12.189 |
| com.amazonaws | aws-java-sdk-logs | 1.12.189 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.12.189 |
| com.amazonaws | aws-java-sdk-opsworks | 1.12.189 |
| com.amazonaws | aws-java-sdk-rds | 1.12.189 |
| com.amazonaws | aws-java-sdk-redshift | 1.12.189 |
| com.amazonaws | aws-java-sdk-route53 | 1.12.189 |
| com.amazonaws | aws-java-sdk-s3 | 1.12.189 |
| com.amazonaws | aws-java-sdk-ses | 1.12.189 |
| com.amazonaws | aws-java-sdk-simpledb | 1.12.189 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.189 |
| com.amazonaws | aws-java-sdk-sns | 1.12.189 |
| com.amazonaws | aws-java-sdk-sqs | 1.12.189 |
| com.amazonaws | aws-java-sdk-ssm | 1.12.189 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.12.189 |
| com.amazonaws | aws-java-sdk-sts | 1.12.189 |
| com.amazonaws | aws-java-sdk-support | 1.12.189 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.12.189 |
| com.amazonaws | jmespath-java | 1.12.189 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | ストリーム (stream) | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations | 2.13.4 |
| com.fasterxml.jackson.core | jackson-core | 2.13.4 |
| com.fasterxml.jackson.core | jackson-databind | 2.13.4 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.13.4 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.13.4 |
| com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.13.4 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.13.4 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.13.4 |
| com.github.ben-manes.caffeine | caffeine | 2.3.4 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | core | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.luben | zstd-jni | 1.5.2-1 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.8.6 |
| com.google.crypto.tink | tink | 1.6.1 |
| com.google.flatbuffers | flatbuffers-java | 1.12.0 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 2.0.204 |
| com.helger | profiler | 1.1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 9.2.1.jre8 |
| com.ning | compress-lzf | 1.1 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.12 | 0.10.0 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.uber | h3 | 3.7.0 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| commons-cli | commons-cli | 1.5.0 |
| commons-codec | commons-codec | 1.15 |
| commons-collections | commons-collections | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-fileupload | commons-fileupload | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.11.0 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-pool | commons-pool | 1.5.4 |
| dev.ludovic.netlib | arpack | 2.2.1 |
| dev.ludovic.netlib | blas | 2.2.1 |
| dev.ludovic.netlib | lapack | 2.2.1 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0.21 |
| io.delta | delta-sharing-spark_2.12 | 0.5.1 |
| io.dropwizard.metrics | metrics-core | 4.1.1 |
| io.dropwizard.metrics | metrics-graphite | 4.1.1 |
| io.dropwizard.metrics | metrics-healthchecks | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | metrics-jmx | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | metrics-jvm | 4.1.1 |
| io.dropwizard.metrics | metrics-servlets | 4.1.1 |
| io.netty | netty-all | 4.1.74.Final |
| io.netty | netty-buffer | 4.1.74.Final |
| io.netty | netty-codec | 4.1.74.Final |
| io.netty | netty-common | 4.1.74.Final |
| io.netty | netty-handler | 4.1.74.Final |
| io.netty | netty-resolver | 4.1.74.Final |
| io.netty | netty-tcnative-classes | 2.0.48.Final |
| io.netty | netty-transport | 4.1.74.Final |
| io.netty | netty-transport-classes-epoll | 4.1.74.Final |
| io.netty | netty-transport-classes-kqueue | 4.1.74.Final |
| io.netty | netty-transport-native-epoll-linux-aarch_64 | 4.1.74.Final |
| io.netty | netty-transport-native-epoll-linux-x86_64 | 4.1.74.Final |
| io.netty | netty-transport-native-kqueue-osx-aarch_64 | 4.1.74.Final |
| io.netty | netty-transport-native-kqueue-osx-x86_64 | 4.1.74.Final |
| io.netty | netty-transport-native-unix-common | 4.1.74.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | コレクタ | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | activation | 1.1.1 |
| javax.annotation | javax.annotation-api | 1.3.2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | transaction-api | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.11 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.10.13 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | pickle | 1.2 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.13.14 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.8 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | arrow-format | 7.0.0 |
| org.apache.arrow | arrow-memory-core | 7.0.0 |
| org.apache.arrow | arrow-memory-netty | 7.0.0 |
| org.apache.arrow | arrow-vector | 7.0.0 |
| org.apache.avro | avro | 1.11.0 |
| org.apache.avro | avro-ipc | 1.11.0 |
| org.apache.avro | avro-mapred | 1.11.0 |
| org.apache.commons | commons-collections4 | 4.4. |
| org.apache.commons | commons-compress | 1.21 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.12.0 |
| org.apache.commons | commons-math3 | 3.6.1 |
| org.apache.commons | commons-text | 1.9 |
| org.apache.curator | curator-client | 2.13.0 |
| org.apache.curator | curator-framework | 2.13.0 |
| org.apache.curator | curator-recipes | 2.13.0 |
| org.apache.derby | derby | 10.14.2.0 |
| org.apache.hadoop | hadoop-client-api | 3.3.4-databricks |
| org.apache.hadoop | hadoop-client-runtime | 3.3.4 |
| org.apache.hive | hive-beeline | 2.3.9 |
| org.apache.hive | hive-cli | 2.3.9 |
| org.apache.hive | hive-jdbc | 2.3.9 |
| org.apache.hive | hive-llap-client | 2.3.9 |
| org.apache.hive | hive-llap-common | 2.3.9 |
| org.apache.hive | hive-serde | 2.3.9 |
| org.apache.hive | hive-shims | 2.3.9 |
| org.apache.hive | hive-storage-api | 2.7.2 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
| org.apache.hive.shims | hive-shims-common | 2.3.9 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
| org.apache.httpcomponents | httpclient | 4.5.13 |
| org.apache.httpcomponents | httpcore | 4.4.14 |
| org.apache.ivy | ivy | 2.5.0 |
| org.apache.logging.log4j | log4j-1.2-api | 2.18.0 |
| org.apache.logging.log4j | log4j-api | 2.18.0 |
| org.apache.logging.log4j | log4j-core | 2.18.0 |
| org.apache.logging.log4j | log4j-slf4j-impl | 2.18.0 |
| org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
| org.apache.orc | orc-core | 1.7.6 |
| org.apache.orc | orc-mapreduce | 1.7.6 |
| org.apache.orc | orc-shims | 1.7.6 |
| org.apache.parquet | parquet-column | 1.12.0-databricks-0007 |
| org.apache.parquet | parquet-common | 1.12.0-databricks-0007 |
| org.apache.parquet | parquet-encoding | 1.12.0-databricks-0007 |
| org.apache.parquet | parquet-format-structures | 1.12.0-databricks-0007 |
| org.apache.parquet | parquet-hadoop | 1.12.0-databricks-0007 |
| org.apache.parquet | parquet-jackson | 1.12.0-databricks-0007 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.xbean | xbean-asm9-shaded | 4.20 |
| org.apache.yetus | audience-annotations | 0.5.0 |
| org.apache.zookeeper | zookeeper | 3.6.2 |
| org.apache.zookeeper | zookeeper-jute | 3.6.2 |
| org.checkerframework | checker-qual | 3.5.0 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-continuation | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-http | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-io | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-jndi | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-plus | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-proxy | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-security | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-server | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-servlet | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-servlets | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-util | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-webapp | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-xml | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-api | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-client | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-common | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-server | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-servlet | 9.4.46.v20220331 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.36 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.36 |
| org.glassfish.jersey.core | jersey-client | 2.36 |
| org.glassfish.jersey.core | jersey-common | 2.36 |
| org.glassfish.jersey.core | jersey-server | 2.36 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.36 |
| org.hibernate.validator | hibernate-validator | 6.1.0.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jetbrains | annotations | 17.0.0 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
| org.json4s | json4s-core_2.12 | 3.7.0-M11 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
| org.lz4 | lz4-java | 1.8.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.7.4 |
| org.mlflow | mlflow-spark | 1.27.0 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.3.3 |
| org.roaringbitmap | RoaringBitmap | 0.9.25 |
| org.roaringbitmap | shims | 0.9.25 |
| org.rocksdb | rocksdbjni | 6.24.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.14 |
| org.scala-lang | scala-library_2.12 | 2.12.14 |
| org.scala-lang | scala-reflect_2.12 | 2.12.14 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.4.3 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 1.2 |
| org.scalanlp | breeze_2.12 | 1.2 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.36 |
| org.slf4j | jul-to-slf4j | 1.7.36 |
| org.slf4j | slf4j-api | 1.7.36 |
| org.spark-project.spark | 未使用 | 1.0.0 |
| org.threeten | threeten-extra | 1.5.0 |
| org.tukaani | xz | 1.8 |
| org.typelevel | algebra_2.12 | 2.0.1 |
| org.typelevel | cats-kernel_2.12 | 2.1.1 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0 |
| org.typelevel | spire-platform_2.12 | 0.17.0 |
| org.typelevel | spire-util_2.12 | 0.17.0 |
| org.typelevel | spire_2.12 | 0.17.0 |
| org.wildfly.openssl | wildfly-openssl | 1.0.7.Final |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.8.4 |
| org.yaml | snakeyaml | 1.24 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |