Databricks Runtime 14.1
次のリリース ノートには、Apache Spark 3.5.0 で稼働する Databricks Runtime 14.1 に関する情報が記載されています。
Databricks は、2023 年 10 月にこれらのイメージをリリースしました。
新機能と機能強化
- array_insert() は負のインデックスに対して 1 ベースです
- リキッド クラスタリングが既定で有効になっている Delta v2 チェックポイント
- パブリック プレビューの Delta テーブル機能の削除
- Delta Sharing: 受信者は削除ベクトルを含む共有テーブル上でバッチ クエリを実行することができます (パブリック プレビュー)
- Delta Sharing: 受信者は列マッピングを含む共有テーブル上でバッチ クエリを実行することができます (パブリック プレビュー)
- パブリック プレビューでの Unity カタログ ビューからのストリーム
- パブリック プレビューでの Apache Pulsar コネクタ
- アップグレードされた Snowflake ドライバー
- SQL セッション変数
- SQL および Python UDF に対する名前付きパラメーターの呼び出し。
- 関数へのテーブル引数は、パーティション分割と順序付けをサポートします。
- 新しい組み込み SQL 関数と強化された組み込み SQL 関数
- 相関のあるサブクエリの処理が改善されました
array_insert() は負のインデックスに対して 1 ベースです
array_insert 関数は、正のインデックスと負のインデックスのいずれに対しても 1 ベースです。 インデックス 1 の入力配列の最後に新しい要素を挿入するようになりました。 以前の動作を復元するには、spark.sql.legacy.negativeIndexInArrayInsert を true に設定します。
リキッド クラスタリングが既定で有効になっている Delta v2 チェックポイント
リキッド クラスタリングありで新しく作成された Delta テーブルでは、既定で v2 チェックポイントが使用されます。 「リキッド クラスタリングありのテーブルの互換性」を参照してください。
パブリック プレビューの Delta テーブル機能の削除
Delta テーブルの一部のテーブル機能を削除できるようになりました。 現在のサポートには、deletionVectors と v2Checkpoint の削除が含まれます。 「Delta テーブル機能の削除」を参照してください。
Delta Sharing: 受信者は削除ベクトルを含む共有テーブル上でバッチ クエリを実行することができます (パブリック プレビュー)
Delta Sharing の受信者は、削除ベクトルを使用する共有テーブル上でバッチ クエリを実行することができるようになりました。 「削除ベクトルまたは列マッピングを含むテーブルの共有への追加」、「削除ベクトルまたは列マッピングが有効なテーブルの読み取り」、「削除ベクトルまたは列マッピングが有効なテーブルの読み取り」を参照してください。
Delta Sharing: 受信者は列マッピングを含む共有テーブル上でバッチ クエリを実行することができます (パブリック プレビュー)
Delta Sharing の受信者は、列マッピングを使用する共有テーブル上でバッチ クエリを実行できるようになりました。 「削除ベクトルまたは列マッピングを含むテーブルの共有への追加」、「削除ベクトルまたは列マッピングが有効なテーブルの読み取り」、「削除ベクトルまたは列マッピングが有効なテーブルの読み取り」を参照してください。
パブリック プレビューでの Unity カタログ ビューからのストリーム
構造化ストリーミングを使用して、Unity カタログに登録されているビューからのストリーミング読み取りを実行できるようになりました。 Azure Databricks では、Delta テーブルに対して定義されたビューからのストリーミング読み取りのみがサポートされます。 「Unity カタログ ビューからのストリーム」を参照してください。
パブリック プレビューでの Apache Pulsar コネクタ
構造化ストリーミングを使用して、Azure Databricks 上の Apache Pulsar からデータをストリーミングできるようになりました。 「Apache Pulsar からのストリーム」を参照してください。
アップグレードされた Snowflake ドライバー
Snowflake JDBC ドライバーでは、バージョン 3.13.33 が使われるようになりました。
SQL セッション変数
このリリースでは、セッションで一時変数を宣言し、クエリ内で設定して参照できるようになりました。 「変数」を参照してください。
SQL および Python UDF に対する名前付きパラメーターの呼び出し。
SQL および Python UDF での名前付きパラメーターの呼び出しを使用できるようになりました。
関数へのテーブル引数は、パーティション分割と順序付けをサポートします。
関数の呼び出し中にテーブル引数を関数に渡す方法を制御するために、PARTITION BY 句と ORDER BY 句を使用できるようになりました。
新しい組み込み SQL 関数と強化された組み込み SQL 関数
以下の組み込み関数が追加されました。
- from_xml: XML
STRINGをSTRUCTに解析します。 - schema_of_xml: XML
STRINGからスキーマを抽出します。 - session_user: ログインしているユーザーを返します。
- try_reflect: Java メソッドが失敗した場合、例外の代わりに
NULLを返します。
以下の組み込み関数が強化されました。
- mode: 決定論的な結果を強制するオプション パラメーターに対するサポート。
- to_char:
DATE、TIMESTAMP、BINARYに対する新しいサポート。 - to_varchar:
DATE、TIMESTAMP、BINARYに対する新しいサポート。
相関のあるサブクエリの処理が改善されました
次のサブクエリで相関を処理する機能が拡張されました。
- 相関スカラー (横断) サブクエリで制限と順序を処理します。
- 関連付けられたスカラー サブクエリでウィンドウ関数をサポートします。
- スカラー サブクエリと横断サブクエリに対する結合述語で相関参照をサポートします
動作変更:
Photon Parquet リーダーでの厳密な型チェック
Photon は、10 進型ではない Parquet 列から 10 進値を読み取ろうとすると失敗します。 Photon は、Parquet から固定長バイト配列を文字列として読み取るときも失敗します。
ライブラリのアップグレード
- アップグレードされた Python ライブラリ:
- filelock: 3.12.2 から 3.12.3
- s3transfer: 0.6.1 から 0.6.2
- アップグレードされた Java ライブラリ:
- com.uber.h3: 3.7.0 から 3.7.3
- io.airlift.aircompressor: 0.24 から 0.25
- io.delta.delta-sharing-spark_2.12: 0.7.1 から 0.7.5
- io.netty.netty-all: 4.1.93.Final から 4.1.96.Final
- io.netty.netty-buffer: 4.1.93.Final から 4.1.96.Final
- io.netty.netty-codec: 4.1.93.Final から 4.1.96.Final
- io.netty.netty-codec-http: 4.1.93.Final から 4.1.96.Final
- io.netty.netty-codec-http2: 4.1.93.Final から 4.1.96.Final
- io.netty.netty-codec-socks: 4.1.93.Final から 4.1.96.Final
- io.netty.netty-common: 4.1.93.Final から 4.1.96.Final
- io.netty.netty-handler: 4.1.93.Final から 4.1.96.Final
- io.netty.netty-handler-proxy: 4.1.93.Final から 4.1.96.Final
- io.netty.netty-resolver: 4.1.93.Final から 4.1.96.Final
- io.netty.netty-transport: 4.1.93.Final から 4.1.96.Final
- io.netty.netty-transport-classes-epoll: 4.1.93.Final から 4.1.96.Final
- io.netty.netty-transport-classes-kqueue: 4.1.93.Final から 4.1.96.Final
- io.netty.netty-transport-native-epoll: 4.1.93.Final-linux-x86_64 から 4.1.96.Final-linux-x86_64
- io.netty.netty-transport-native-kqueue: 4.1.93.Final-osx-x86_64 から 4.1.96.Final-osx-x86_64
- io.netty.netty-transport-native-unix-common: 4.1.93.Final から 4.1.96.Final
- net.snowflake.snowflake-jdbc: 3.13.29 から 3.13.33
- org.apache.orc.orc-core: 1.9.0-shaded-protobuf から 1.9.1-shaded-protobuf
- org.apache.orc.orc-mapreduce: 1.9.0-shaded-protobuf から 1.9.1-shaded-protobuf
- org.apache.orc.orc-shims: 1.9.0 から 1.9.1
Apache Spark
Databricks Runtime 14.1 には、Apache Spark 3.5.0 が含まれています。 このリリースには、Databricks Runtime 14.0 (サポート対象外) に含まれるすべての Spark の修正プログラムおよび機能強化と、Spark に対して行われた次の追加のバグ修正と機能強化が含まれています。
- [SPARK-45088] [DBRRM-557] Revert “[SC-142785][PYTHON][CONNECT] 重複する列で getitem を機能させる”
- [SPARK-43453] [DBRRM-557]Revert “[SC-143135][PS]
concatに対してaxis=1のときは、MultiIndexのnamesを無視する” - [SPARK-45225] [SC-143207][SQL] XML: XSD ファイルの URL のサポート
- [SPARK-45156] [SC-142782][SQL]
NON_FOLDABLE_INPUTエラー クラスでバッククォートによってinputNameをラップする - [SPARK-44910] [SC-143082][SQL] Encoders.bean はジェネリック型引数を持つスーパークラスをサポートしない
- [SPARK-43453] [SC-143135][PS]
concatに対してaxis=1のときは、MultiIndexのnamesを無視する - [SPARK-44463] [SS][CONNECT] Connect ストリーミング Python ワーカーのエラー処理を改善する
- [SPARK-44960] [SC-141023][UI] エスケープを解除し、UI ページ間でエラー サマリーを一致させる
- [SPARK-44788] [SC-142980][CONNECT][PYTHON][SQL] pyspark、Spark Connect、sql 関数に from_xml と schema_of_xml を追加する
- [SPARK-44614] [SC-138460][PYTHON][CONNECT][3.5] setup.py に足りないパッケージを追加する
- [SPARK-45151] [SC-142861][CORE][UI] タスク レベルのスレッド ダンプのサポート
- [SPARK-45056] [SC-142779][PYTHON][SS][CONNECT] streamingQueryListener と foreachBatch の終了テスト
- [SPARK-45084] [SC-142828][SS] 正確で有効なシャッフル パーティション番号を使うための StateOperatorProgresss
- [SPARK-44872] [SC-142405][CONNECT] インフラと ReattachableExecuteSuite のサーバー テスト
- [SPARK-45197] [SC-142984][CORE]
StandaloneRestServerでドライバーにJavaModuleOptionsを追加させる - [SPARK-44404] [SC-139601][SQL] エラー クラス LEGACY_ERROR_TEMP[1009,1010,1013,1015,1016,1278] に名前を割り当てる
- [SPARK-44647] [SC-142297][SQL] 結合キーがクラスター キーより少ない SPJ をサポートする
- [SPARK-45088] [SC-142785][PYTHON][CONNECT] 重複する列で
getitemを機能させる - [SPARK-45128] [SC-142851][SQL] Arrow で
CalendarIntervalTypeをサポートする - [SPARK-45130] [SC-142976][CONNECT][ML][PYTHON] Spark Connect ML モデルで入力の pandas データフレームを変更しないようにする
- [SPARK-45034] [SC-142959][SQL] 決定論的モード関数をサポートする
- [SPARK-45173] [SC-142931][UI] UI で不要ないくつかの sourceMapping ファイルを削除する
- [SPARK-45162] [SC-142781][SQL]
call_functionで構築されたマップと配列パラメーターをサポートする - [SPARK-45143] [SC-142840][PYTHON][CONNECT] PySpark を PyArrow 13.0.0 と互換性のあるものにする
- [SPARK-45174] [SC-142837][CORE]
spark.deploy.maxDriversをサポートする - [SPARK-45167] [SC-142956][CONNECT][PYTHON] Python クライアントは
release_allを呼び出す必要がある - [SPARK-36191] [SC-142777][SQL] 相関スカラー (横断) サブクエリで制限と順序を処理する
- [SPARK-45159] [SC-142829][PYTHON] 必要な場合にのみ名前付き引数を処理する
- [SPARK-45133] [SC-142512][CONNECT] 最後の結果タスクが完了したら、Spark Connect クエリを終了させる
- [SPARK-44801] [SC-140802][SQL][UI] リスナーと UI で失敗したクエリの分析をキャプチャする
- [SPARK-45139] [SC-142527][SQL] SQL 型変換を処理するために DatabricksDialect を追加する
- [SPARK-45157] [SC-142546][SQL]
[On|Off|HeapColumnVectorでifのチェックを繰り返さないようにする - [SPARK-45077] "[SC-142069][UI] dagre-d3.js を 04.3 から 0.6.4 にアップグレードする" を元に戻す
- [SPARK-45145] [SC-142521][EXAMPLE] JavaSparkSQLCli の例を追加する
- [SPARK-43295] "[SC-142254][PS]
DataFrameGroupBy.sumの文字列型の列をサポートする" を元に戻す - [SPARK-44915] [SC-142383][CORE] 回復の前に再マウントされた PVC のシャッフル データのチェックサムを検証する
- [SPARK-45147] [SC-142524][CORE]
System.setSecurityManagerの使用を削除する - [SPARK-45104] [SC-142206][UI]
graphlib-dot.min.jsを 1.0.2 にアップグレードする - [SPARK-44238] [SC-141606][CORE][SQL]
BloomFilterのバイト配列入力を含む新しいreadFromメソッドを導入する - [SPARK-45060] [SC-141742][SQL]
NULL形式でのto_char()からの内部エラーを修正する - [SPARK-43252] [SC-142381][SQL] エラー クラス
_LEGACY_ERROR_TEMP_2016を内部エラーに置き換える - [SPARK-45069] [SC-142279][SQL] SQL 変数は、外部参照の後で常に解決される必要がある
- [SPARK-44911] [SC-142388][SQL] 無効な列を含む Hive テーブルが作成されたらエラー クラスを返す必要がある
- [SPARK-42754] [SC-125567][SQL][UI] 入れ子になった SQL 実行での下位互換性の問題を修正する
- [SPARK-45121] [SC-142375][CONNECT][PS] Spark Connect で
Series.emptyをサポートする。 - [SPARK-44805] [SC-142203][SQL] getBytes/getShorts/getInts などは、ディクショナリを持つ列ベクトルで機能する必要がある
- [SPARK-45027] [SC-142248][PYTHON] オートコンプリートからの
pyspark.sql.functionsで内部関数と変数を非表示にする - [SPARK-45073] [SC-141791][PS][CONNECT]
LastNotNullをLast(ignoreNulls=True)に置き換える - [SPARK-44901] [SC-141676][SQL] 手動バックポート: Python UDTF の "analyze" メソッドにパーティション分割と順序付けを行う式を返す API を追加する
- [SPARK-45076] [SC-141795][PS] 組み込みの
repeat機能に切り替える - [SPARK-44162] [SC-141605][CORE] Spark のメトリックで G1GC をサポートする
- [SPARK-45053] [SC-141733][PYTHON][MINOR] Python バージョンの不一致でのログの改善
- [SPARK-44866] [SC-142221][SQL] ブール型を正しく処理するための
SnowflakeDialectを追加する - [SPARK-45064] [SC-141775][PYTHON][CONNECT] 足りない
scaleパラメーターをceil/ceilingに追加する - [SPARK-45059] [SC-141757][CONNECT][PYTHON] Scala と Python に
try_reflect関数を追加する - [SPARK-43251] [SC-142280][SQL] エラー クラス
_LEGACY_ERROR_TEMP_2015を内部エラーに置き換える - [SPARK-45052] [SC-141736][SQL][PYTHON][CONNECT] 関数エイリアスの出力列の名前を SQL と一致させる
- [SPARK-44239] [SC-141502][SQL] ベクターのリセット時に、大きなベクターによって割り当てられたメモリを解放する
- [SPARK-43295] [SC-142254][PS]
DataFrameGroupBy.sumの文字列型の列をサポートする - [SPARK-45080] [SC-142062][SS] DSv2 ストリーミング データ ソースで列形式のサポートを明示的に呼び出す
- [SPARK-45036] [SC-141768][SQL] SPJ: 部分的にクラスター化された分散を処理するロジックを簡素化する
- [SPARK-45077] [SC-142069][UI] dagre-d3.js を 0.4.3 から 0.6.4 にアップグレードする
- [SPARK-45091] [SC-142020][PYTHON][CONNECT][SQL] 関数
floor/round/broundで列型scaleを受け入れる - [SPARK-45090] [SC-142019][PYTHON][CONNECT]
DataFrame.{cube, rollup}で列序数をサポートする - [SPARK-44743] [SC-141625][SQL]
try_reflect関数を追加する - [SPARK-45086] [SC-142052][UI] スレッド ロック ハッシュ コードの 16 進数を表示する
- [SPARK-44952] [SC-141644][SQL][PYTHON] 集計 Pandas UDF で名前付き引数をサポートする
- [SPARK-44987] [SC-141552][SQL] エラー クラス
_LEGACY_ERROR_TEMP_1100に名前を割り当てる - [SPARK-45032] [SC-141730][CONNECT]
Top-level wildcard is not allowed and will error under -Xsource:3に関連するコンパイルの警告を修正する - [SPARK-45048] [SC-141629][CONNECT] Python クライアントとアタッチ可能な実行に関するテストをさらに追加する
- [SPARK-45072] [SC-141807][CONNECT] Ammonite のクラスに関する外側のスコープを修正する
- [SPARK-45033] [SC-141759][SQL] パラメーター化された
sql()によるマップをサポートする - [SPARK-45066] [SC-141772][SQL][PYTHON][CONNECT] 関数
repeatが列型nを受け入れるようにする - [SPARK-44860] [SC-141103][SQL] SESSION_USER 関数を追加する
- [SPARK-45074] [SC-141796][PYTHON][CONNECT]
DataFrame.{sort, sortWithinPartitions}で列序数をサポートする - [SPARK-45047] [SC-141774][PYTHON][CONNECT]
DataFrame.groupByで序数をサポートする - [SPARK-44863] [SC-140798][UI] Spark UI でスレッド ダンプを txt としてダウンロードするボタンを追加する
- [SPARK-45026] [SC-141604][CONNECT]
spark.sqlは、Arrow と互換性のないデータ型をサポートする必要がある - [SPARK-44999] [SC-141145][CORE]
ExternalSorterをリファクタリングして、getPartitionを呼び出すときのshouldPartitionのチェックを減らす - [SPARK-42304] [SC-141501][SQL]
_LEGACY_ERROR_TEMP_2189の名前をGET_TABLES_BY_TYPE_UNSUPPORTED_BY_HIVE_VERSIONに変更する - [SPARK-43781] [SC-139450][SQL] 同じソースから派生した 2 つのデータセットを複合グループ化するときの IllegalStateException を修正する
- [SPARK-45018] [SC-141516][PYTHON][CONNECT] CalendarIntervalType を Python クライアントに追加する
- [SPARK-45024] [SC-141513][PYTHON][CONNECT] セッションの作成で一部の構成を除外する
- [SPARK-45017] [SC-141508][PYTHON] PySpark に
CalendarIntervalTypeを追加する - [SPARK-44720] [SC-139375][CONNECT] データセットが AgnosticEncoder ではなく Encoder を使うようにする
- [SPARK-44982] [SC-141027][CONNECT] Spark Connect サーバーの構成を静的としてマークする
- [SPARK-44839] [SC-140900][SS][CONNECT] ユーザーが Spark セッションをシリアル化しようとしたときのエラー ログを改善する
- [SPARK-44865] [SC-140905][SS] StreamingRelationV2 がメタデータ列をサポートするようにする
- [SPARK-45001] [SC-141141][PYTHON][CONNECT] DataFrame.foreachPartition を実装する
- [SPARK-44497] [SC-141017][WEBUI] タスク テーブルにタスク パーティション ID を表示する
- [SPARK-45006] [SC-141143][UI] タイムラインの x 軸に他の UI 日付要素の同じ日付形式を使用する
- [SPARK-45000] [SC-141135][PYTHON][CONNECT] DataFrame.foreach を実装する
- [SPARK-44967] [SC-141137][SQL][CONNECT] TreeNodeTag にブール値を使用する前にまず、ユニットを考慮する必要がある
- [SPARK-44993] [SC-141088][CORE]
ShuffleChecksumTestHelp.compareChecksumsを再利用してShuffleChecksumUtils.compareChecksumsを追加する - [SPARK-44807] [SC-140176][CONNECT] Dataset.metadataColumn を Scala クライアントに追加する
- [SPARK-44965] [SC-141098][PYTHON]
pyspark.sql.functionsからの内部関数と変数を非表示にする - [SPARK-44983] [SC-141030][SQL]
hex、base64、utf-8形式に対するto_charにより、バイナリを文字列に変換する - [SPARK-44980] [DBRRM-462][SC-141024][PYTHON][CONNECT] 継承した namedtuple が createDataFrame で機能するように修正
- [SPARK-44985] [SC-141033][CORE] タスク リーパー threadDump に対して stacktrace の代わりに toString を使用する
- [SPARK-44984] [SC-141028][PYTHON][CONNECT] DataFrame から
_get_aliasを削除する - [SPARK-44975] [SC-141013][SQL] BinaryArithmetic の役に立たないオーバーライド解決済みを削除する
- [SPARK-44969] [SC-140957][SQL]
ArrayAppendでArrayInsertを再利用する - [SPARK-44549] [SC-140714][SQL] 関連付けられたスカラー サブクエリでウィンドウ関数をサポートする
- [SPARK-44938] [SC-140811][SQL]
spark.sql.maxSinglePartitionBytesの既定値を 128m に変更する - [SPARK-44918] [SC-140816][SQL][PYTHON] スカラー Python/Pandas UDF での名前付き引数をサポートする
- [SPARK-44966] [SC-140907][CORE][CONNECT] 変更されることのない
varをvalに変更する - [SPARK-41471] [SC-140804][SQL] 結合の片側のみが KeyGroupedPartitioning の場合に Spark シャッフルを減らす
- [SPARK-44214] [SC-140528][CORE] Spark ドライバー ライブ ログ UI をサポートする
- [SPARK-44861] [SC-140716][CONNECT] jsonignore SparkListenerConnectOperationStarted.planRequest
- [SPARK-44776] [SC-140519][CONNECT] ProducedRowCount を SparkListenerConnectOperationFinished に追加する
- [SPARK-42017] [SC-140765][PYTHON][CONNECT]
df['col_name']で列の名前を検証する必要がある - [SPARK-40178] [SC-140433][SQL][COONECT] PySpark と R に対する簡単な結合ヒントをサポートする
- [SPARK-44840] [SC-140593][SQL] 負のインデックスに対して
array_insert()が 1 から始まるようにする - [SPARK-44939] [SC-140778][R] SparkR SystemRequirements で Java 21 をサポートする
- [SPARK-44936] [SC-140770][CORE] Spark HybridStore がメモリ制限に達したときのログを簡略化する
- [SPARK-44908] [SC-140712][ML][CONNECT] クロス バリデーターの foldCol パラメーターの機能を修正する
- [SPARK-44816] [SC-140717][CONNECT] UDF クラスが見つからない場合のエラー メッセージを改善する
- [SPARK-44909] [SC-140710][ML] torch ディストリビューター ログ ストリーミング サーバーを使用できないときに、その開始をスキップする
- [SPARK-44920] [SC-140707][CORE] TransportClientFactory.createClient() で awaitUninterruptibly() の代わりに await() を使う
- [SPARK-44905] [SC-140703][SQL] regexp_replaceの評価でステートフル lastRegex のために NullPointerException が発生する
- [SPARK-43987] [SC-139594][Shuffle] finalizeShuffleMerge の処理を専用のスレッド プールに分ける
- [SPARK-42768] [SC-140549][SQL] キャッシュされたプランの AQE の適用を既定で有効にする
- [SPARK-44741] [SC-139447][CORE]
StatsdSinkで正規表現ベースの MetricFilter をサポートする - [SPARK-44751] [SC-140532][SQL] XML FileFormat インターフェイスの実装
- [SPARK-44868] [SC-140438][SQL]
to_char/to_varcharによって datetime を文字列に変換する - [SPARK-44748] [SC-140504][SQL] UDTF TABLE 引数での PARTITION BY 句のクエリ実行
- [SPARK-44873] [SC-140427] Hive クライアントで入れ子になった列を含む変更ビューをサポートする
- [SPARK-44876] [SC-140431][PYTHON] Spark Connect での Arrow 最適化 Python UDF を修正する
- [SPARK-44520] [SC-137845][SQL] 用語 UNSUPPORTED_DATA_SOURCE_FOR_DIRECT_QUERY を UNSUPPORTED_DATASOURCE_FOR_DIRECT_QUERY と開示ルート AE に置き換える
- [SPARK-42664] [SC-139769][CONNECT]
DataFrameStatFunctionsに対するbloomFilter関数をサポートする - [SPARK-43567] [SC-139227][PS]
factorizeに対するuse_na_sentinelをサポートする - [SPARK-44859] [SC-140254][SS] 構造化ストリーミング ドキュメントの不適切なプロパティ名を修正する
- [SPARK-44822] [SC-140182][PYTHON][SQL] Python UDF を既定で非決定論的にする
- [SPARK-44731] [SC-139524][PYTHON][CONNECT] Python Spark Connect のリテラルで TimestampNTZ を動作させる
- [SPARK-44836] [SC-140180][PYTHON] Arrow Python UDTF をリファクタリングする
- [SPARK-44714] [SC-139238] having を含むクエリに関する LCA 解決の制限を緩和する
- [SPARK-44749] [SC-139664][SQL][PYTHON] Python UDTF で名前付き引数をサポートする
- [SPARK-44737] [SC-139512][SQL][UI] SQL タブでの非 SparkThrowables に対して SQL ページで json 形式のエラーを表示してはならない
- [SPARK-44665] [SC-139307][PYTHON] pandas DataFrame の assertDataFrameEqual のサポートを追加する
- [SPARK-44736] [SC-139622][CONNECT] Spark Connect Scala クライアントに Dataset.explode を追加する
- [SPARK-44732] [SC-139422][SQL] 組み込み XML データ ソースのサポート
- [SPARK-44694] [SC-139213][PYTHON][CONNECT] アクティブなセッションをリファクタリングし、API として公開する
- [SPARK-44652] [SC-138881] 唯一の df が None の場合にエラーを発生させる
- [SPARK-44562] [SC-138824][SQL] サブクエリのバッチに OptimizeOneRowRelationSubquery を追加する
- [SPARK-44717] [SC-139319][PYTHON][PS] リサンプリングで TimestampNTZ を尊重する
- [SPARK-42849] [SC-139365] [SQL] セッション変数
- [SPARK-44236] [SC-139239][SQL]
spark.sql.codegen.factoryModeを NO_CODEGEN に設定するときに、WholeStageCodegen を無効にする - [SPARK-44695] [SC-139316][PYTHON]
DataFrame.toDFのエラー メッセージを改善する - [SPARK-44680] [SC-139234][SQL]
DEFAULTでのパラメーターのエラーを改善する - [SPARK-43402] [SC-138321][SQL] FileSourceScanExec で、スカラー サブクエリでのプッシュダウン データ フィルターをサポートする
- [SPARK-44641] [SC-139216][SQL] SPJ がトリガーされないときの、特定のシナリオでの正しくない結果
- [SPARK-44689] [SC-139219][CONNECT]
SparkConnectPlanner#unpackScalarScalaUDF関数の例外処理をさらに一般的にする - [SPARK-41636] [SC-139061][SQL]
selectFiltersが決定論的な順序で述語を返すようにする - [SPARK-44132] [SC-139197][SQL] codegen のエラーを回避するため、結合列名の
Streamを具体化する - [SPARK-42330] [SC-138838][SQL] エラー クラス
_LEGACY_ERROR_TEMP_2175に名前RULE_ID_NOT_FOUNDを割り当てる - [SPARK-44683] [SC-139214][SS] ログ レベルが RocksDB 状態ストア プロバイダーに正しく渡されない
- [SPARK-44658] [SC-138868][CORE]
ShuffleStatus.getMapStatusは、Some(null)ではなくNoneを返す必要がある - [SPARK-44603] [SC-138353] pyspark.testing を setup.py に追加する
- [SPARK-44252] [SC-137505][SS] 新しいエラー クラスを定義し、DFS からの状態の読み込みが失敗した場合に適用する
- [SPARK-29497] [DBRRM-396][SC-138477][CONNECT] UDF を逆シリアル化できないときにエラーをスローする。
- [SPARK-44624] [DBRRM-396][SC-138900][CONNECT] 初期要求がサーバーに到達しなかった場合に ExecutePlan を再試行する
- [SPARK-41400] [DBRRM-396][SC-138287][CONNECT] Connect クライアント Catalyst 依存関係の削除
- [SPARK-44059] [SC-138833][SQL] SQL の名前付き引数に、より適切なエラー メッセージを追加する
- [SPARK-44620] [SC-138831][SQL][PS][CONNECT]
ResolvePivotにPlan_ID_TAGを保持させる - [SPARK-43838] [SC-137413][SQL] 単一テーブルに対する having 句を含むサブクエリを最適化できない問題を修正する
- [SPARK-44555] [SC-138820][SQL] checkError() を使ってコマンド Suite での例外をチェックし、エラー クラス名を割り当てる
- [SPARK-44280] [SC-138821][SQL] JDBCDialect API に convertJavaTimestampToTimestamp を追加する
- [SPARK-44602] [SC-138337][SQL][CONNECT][PS]
WidenSetOperationTypesにPlan_ID_TAGを保持させる - [SPARK-42941] [SC-138389][SS][CONNECT] Python StreamingQueryListener
- [SPARK-43838] "[SC-137413][SQL] 単一テーブルに対する..." を元に戻す
- [SPARK-44538] [SC-138178][CONNECT][SQL] Row.jsonValue とフレンドを復帰させる
- [SPARK-44421] [SC-138434][SPARK-44423][CONNECT] Spark Connect での再アタッチ可能な実行
- [SPARK-43838] [SC-137413][SQL] 単一テーブルに対する having 句を含むサブクエリを最適化できない問題を修正する
- [SPARK-44587] [SC-138315][SQL][CONNECT] protobuf マーシャラー再帰制限の引き上げ
- [SPARK-44605] [SC-138338][CORE] 内部 ShuffleWriteProcessor API を改善する
- [SPARK-44394] [SC-138291][CONNECT][WEBUI] Spark Connect 用の Spark UI ページを追加する
- [SPARK-44585] [SC-138286][MLLIB] MLLib RankingMetrics ndcgAk での警告状態を修正する
- [SPARK-44198] [SC-138137][CORE] Executor へのログ レベルの伝達をサポートする
- [SPARK-44454] [SC-138071][SQL][HIVE] HiveShim getTablesByType サポートのフォールバック
- [SPARK-44425] [SC-138135][CONNECT] ユーザーが指定した sessionId が UUID であることを検証する
- [SPARK-43611] [SC-138051][SQL][PS][CONNCECT]
ExtractWindowExpressionsにPLAN_ID_TAGを保持させる - [SPARK-44560] [SC-138117][PYTHON][CONNECT] Arrow Python UDF のテストとドキュメントを改善する
- [SPARK-44482] [SC-138067][CONNECT] Connect サーバーはバインド アドレスを指定できる必要がある
- [SPARK-44528] [SC-138047][CONNECT] Connect データフレームの hasattr() の適切な使用をサポートする
- [SPARK-44525] [SC-138043][SQL] Invoke メソッドが見つからない場合のエラー メッセージを改善する
- [SPARK-44355] [SC-137878][SQL] WithCTE をコマンド クエリに移動する
Databricks ODBC/JDBC ドライバーのサポート
Databricks では、過去 2 年間にリリースされた ODBC/JDBC ドライバーがサポートされています。 最近リリースされたドライバーをダウンロードしてアップグレードしてください (ODBC のダウンロード、JDBC のダウンロード)。
システム環境
- オペレーティング システム: Ubuntu 22.04.3 LTS
- Java: Zulu 8.72.0.17-CA-linux64
- Scala: 2.12.15
- Python: 3.10.12
- R: 4.3.1
- Delta Lake: 3.0.0
インストールされている Python ライブラリ
| ライブラリ | Version | ライブラリ | Version | ライブラリ | Version |
|---|---|---|---|---|---|
| anyio | 3.5.0 | argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 |
| asttokens | 2.0.5 | attrs | 22.1.0 | backcall | 0.2.0 |
| beautifulsoup4 | 4.11.1 | black | 22.6.0 | bleach | 4.1.0 |
| blinker | 1.4 | boto3 | 1.24.28 | botocore | 1.27.96 |
| certifi | 2022.12.7 | cffi | 1.15.1 | chardet | 4.0.0 |
| charset-normalizer | 2.0.4 | クリックし | 8.0.4 | comm | 0.1.2 |
| contourpy | 1.0.5 | cryptography | 39.0.1 | cycler | 0.11.0 |
| Cython | 0.29.32 | databricks-sdk | 0.1.6 | dbus-python | 1.2.18 |
| debugpy | 1.6.7 | decorator | 5.1.1 | defusedxml | 0.7.1 |
| distlib | 0.3.7 | docstring-to-markdown | 0.11 | entrypoints | 0.4 |
| executing | 0.8.3 | facets-overview | 1.1.1 | fastjsonschema | 2.18.0 |
| filelock | 3.12.3 | fonttools | 4.25.0 | GCC ランタイム ライブラリ | 1.10.0 |
| googleapis-common-protos | 1.60.0 | grpcio | 1.48.2 | grpcio-status | 1.48.1 |
| httplib2 | 0.20.2 | idna | 3.4 | importlib-metadata | 4.6.4 |
| ipykernel | 6.25.0 | ipython | 8.14.0 | ipython-genutils | 0.2.0 |
| ipywidgets | 7.7.2 | jedi | 0.18.1 | jeepney | 0.7.1 |
| Jinja2 | 3.1.2 | jmespath | 0.10.0 | joblib | 1.2.0 |
| jsonschema | 4.17.3 | jupyter-client | 7.3.4 | jupyter-server | 1.23.4 |
| jupyter_core | 5.2.0 | jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 |
| keyring | 23.5.0 | kiwisolver | 1.4.4 | launchpadlib | 1.10.16 |
| lazr.restfulclient | 0.14.4 | lazr.uri | 1.0.6 | lxml | 4.9.1 |
| MarkupSafe | 2.1.1 | matplotlib | 3.7.0 | matplotlib-inline | 0.1.6 |
| mccabe | 0.7.0 | mistune | 0.8.4 | more-itertools | 8.10.0 |
| mypy-extensions | 0.4.3 | nbclassic | 0.5.2 | nbclient | 0.5.13 |
| nbconvert | 6.5.4 | nbformat | 5.7.0 | nest-asyncio | 1.5.6 |
| nodeenv | 1.8.0 | ノートブック | 6.5.2 | notebook_shim | 0.2.2 |
| numpy | 1.23.5 | oauthlib | 3.2.0 | パッケージング | 22.0 |
| pandas | 1.5.3 | pandocfilters | 1.5.0 | parso | 0.8.3 |
| pathspec | 0.10.3 | patsy | 0.5.3 | pexpect | 4.8.0 |
| pickleshare | 0.7.5 | Pillow | 9.4.0 | pip | 22.3.1 |
| platformdirs | 2.5.2 | plotly | 5.9.0 | pluggy | 1.0.0 |
| prometheus-client | 0.14.1 | prompt-toolkit | 3.0.36 | protobuf | 4.24.0 |
| psutil | 5.9.0 | psycopg2 | 2.9.3 | ptyprocess | 0.7.0 |
| pure-eval | 0.2.2 | pyarrow | 8.0.0 | pycparser | 2.21 |
| pydantic | 1.10.6 | pyflakes | 3.0.1 | Pygments | 2.11.2 |
| PyGObject | 3.42.1 | PyJWT | 2.3.0 | pyodbc | 4.0.32 |
| pyparsing | 3.0.9 | pyright | 1.1.294 | pyrsistent | 0.18.0 |
| python-dateutil | 2.8.2 | python-lsp-jsonrpc | 1.0.0 | python-lsp-server | 1.7.1 |
| pytoolconfig | 1.2.5 | pytz | 2022.7 | pyzmq | 23.2.0 |
| requests | 2.28.1 | rope | 1.7.0 | s3transfer | 0.6.2 |
| scikit-learn | 1.1.1 | seaborn | 0.12.2 | SecretStorage | 3.3.1 |
| Send2Trash | 1.8.0 | setuptools | 65.6.3 | 6 | 1.16.0 |
| sniffio | 1.2.0 | soupsieve | 2.3.2.post1 | ssh-import-id | 5.11 |
| stack-data | 0.2.0 | statsmodels | 0.13.5 | tenacity | 8.1.0 |
| terminado | 0.17.1 | threadpoolctl | 2.2.0 | tinycss2 | 1.2.1 |
| tokenize-rt | 4.2.1 | tomli | 2.0.1 | tornado | 6.1 |
| traitlets | 5.7.1 | typing_extensions | 4.4.0 | ujson | 5.4.0 |
| unattended-upgrades | 0.1 | urllib3 | 1.26.14 | virtualenv | 20.16.7 |
| wadllib | 1.3.6 | wcwidth | 0.2.5 | webencodings | 0.5.1 |
| websocket-client | 0.58.0 | whatthepatch | 1.0.2 | wheel | 0.38.4 |
| widgetsnbextension | 3.6.1 | yapf | 0.31.0 | zipp | 1.0.0 |
| SciPy | 1.10.1 |
インストールされている R ライブラリ
R ライブラリは、2023-02-10 の Posit パッケージ マネージャー CRAN スナップショットからインストールされます。
| ライブラリ | Version | ライブラリ | Version | ライブラリ | Version |
|---|---|---|---|---|---|
| 矢印 | 12.0.1 | askpass | 1.1 | assertthat | 0.2.1 |
| backports | 1.4.1 | base | 4.3.1 | base64enc | 0.1-3 |
| bit | 4.0.5 | bit64 | 4.0.5 | blob (blob) | 1.2.4 |
| boot | 1.3-28 | brew | 1.0 から 8 | brio | 1.1.3 |
| broom | 1.0.5 | bslib | 0.5.0 | cachem | 1.0.8 |
| callr | 3.7.3 | キャレット | 6.0-94 | cellranger | 1.1.0 |
| chron | 2.3-61 | クラス | 7.3-22 | cli | 3.6.1 |
| clipr | 0.8.0 | clock | 0.7.0 | cluster | 2.1.4 |
| codetools | 0.2-19 | colorspace | 2.1-0 | commonmark | 1.9.0 |
| compiler | 4.3.1 | config | 0.3.1 | conflicted | 1.2.0 |
| cpp11 | 0.4.4 | crayon | 1.5.2 | 資格情報 | 1.3.2 |
| curl | 5.0.1 | data.table | 1.14.8 | datasets | 4.3.1 |
| DBI | 1.1.3 | dbplyr | 2.3.3 | desc | 1.4.2 |
| devtools | 2.4.5 | ダイアグラム | 1.6.5 | diffobj | 0.3.5 |
| digest | 0.6.33 | downlit | 0.4.3 | dplyr | 1.1.2 |
| dtplyr | 1.3.1 | e1071 | 1.7-13 | ellipsis | 0.3.2 |
| evaluate | 0.21 | fansi | 1.0.4 | farver | 2.1.1 |
| fastmap | 1.1.1 | fontawesome | 0.5.1 | forcats | 1.0.0 |
| foreach | 1.5.2 | foreign | 0.8-82 | forge | 0.2.0 |
| fs | 1.6.2 | future | 1.33.0 | future.apply | 1.11.0 |
| gargle | 1.5.1 | generics | 0.1.3 | gert | 1.9.2 |
| ggplot2 | 3.4.2 | gh | 1.4.0 | gitcreds | 0.1.2 |
| glmnet | 4.1-7 | globals | 0.16.2 | glue | 1.6.2 |
| googledrive | 2.1.1 | googlesheets4 | 1.1.1 | gower | 1.0.1 |
| graphics | 4.3.1 | grDevices | 4.3.1 | grid | 4.3.1 |
| gridExtra | 2.3 | gsubfn | 0.7 | gtable | 0.3.3 |
| hardhat | 1.3.0 | haven | 2.5.3 | highr | 0.10 |
| hms | 1.1.3 | htmltools | 0.5.5 | htmlwidgets | 1.6.2 |
| httpuv | 1.6.11 | httr | 1.4.6 | httr2 | 0.2.3 |
| ids | 1.0.1 | ini | 0.3.1 | ipred | 0.9-14 |
| isoband | 0.2.7 | iterators | 1.0.14 | jquerylib | 0.1.4 |
| jsonlite | 1.8.7 | KernSmooth | 2.23-21 | knitr | 1.43 |
| labeling | 0.4.2 | later | 1.3.1 | lattice | 0.21-8 |
| lava | 1.7.2.1 | ライフサイクル | 1.0.3 | listenv | 0.9.0 |
| lubridate | 1.9.2 | magrittr | 2.0.3 | markdown | 1.7 |
| MASS | 7.3-60 | Matrix | 1.5-4.1 | memoise | 2.0.1 |
| 方法 | 4.3.1 | mgcv | 1.8-42 | mime | 0.12 |
| miniUI | 0.1.1.1 | ModelMetrics | 1.2.2.2 | modelr | 0.1.11 |
| munsell | 0.5.0 | nlme | 3.1-162 | nnet | 7.3-19 |
| numDeriv | 2016.8-1.1 | openssl | 2.0.6 | parallel | 4.3.1 |
| parallelly | 1.36.0 | pillar | 1.9.0 | pkgbuild | 1.4.2 |
| pkgconfig | 2.0.3 | pkgdown | 2.0.7 | pkgload | 1.3.2.1 |
| plogr | 0.2.0 | plyr | 1.8.8 | praise | 1.0.0 |
| prettyunits | 1.1.1 | pROC | 1.18.4 | processx | 3.8.2 |
| prodlim | 2023.03.31 | profvis | 0.3.8 | progress | 1.2.2 |
| progressr | 0.13.0 | promises | 1.2.0.1 | proto | 1.0.0 |
| proxy | 0.4-27 | ps | 1.7.5 | purrr | 1.0.1 |
| r2d3 | 0.2.6 | R6 | 2.5.1 | ragg | 1.2.5 |
| randomForest | 4.7-1.1 | rappdirs | 0.3.3 | rcmdcheck | 1.4.0 |
| RColorBrewer | 1.1-3 | Rcpp | 1.0.11 | RcppEigen | 0.3.3.9.3 |
| readr | 2.1.4 | readxl | 1.4.3 | recipes | 1.0.6 |
| rematch | 1.0.1 | rematch2 | 2.1.2 | remotes | 2.4.2 |
| reprex | 2.0.2 | reshape2 | 1.4.4 | rlang | 1.1.1 |
| rmarkdown | 2.23 | RODBC | 1.3-20 | roxygen2 | 7.2.3 |
| rpart | 4.1.19 | rprojroot | 2.0.3 | Rserve | 1.8-11 |
| RSQLite | 2.3.1 | rstudioapi | 0.15.0 | rversions | 2.1.2 |
| rvest | 1.0.3 | sass | 0.4.6 | scales | 1.2.1 |
| selectr | 0.4-2 | sessioninfo | 1.2.2 | shape | 1.4.6 |
| shiny | 1.7.4.1 | sourcetools | 0.1.7-1 | sparklyr | 1.8.1 |
| SparkR | 3.5.0 | spatial | 7.3-15 | splines | 4.3.1 |
| sqldf | 0.4-11 | SQUAREM | 2021.1 | stats | 4.3.1 |
| stats4 | 4.3.1 | stringi | 1.7.12 | stringr | 1.5.0 |
| survival | 3.5-5 | sys | 3.4.2 | systemfonts | 1.0.4 |
| tcltk | 4.3.1 | testthat | 3.1.10 | textshaping | 0.3.6 |
| tibble | 3.2.1 | tidyr | 1.3.0 | tidyselect | 1.2.0 |
| tidyverse | 2.0.0 | timechange | 0.2.0 | timeDate | 4022.108 |
| tinytex | 0.45 | ツール | 4.3.1 | tzdb | 0.4.0 |
| urlchecker | 1.0.1 | usethis | 2.2.2 | utf8 | 1.2.3 |
| utils | 4.3.1 | uuid | 1.1-0 | vctrs | 0.6.3 |
| viridisLite | 0.4.2 | vroom | 1.6.3 | waldo | 0.5.1 |
| whisker | 0.4.1 | withr | 2.5.0 | xfun | 0.39 |
| xml2 | 1.3.5 | xopen | 1.0.0 | xtable | 1.8-4 |
| yaml | 2.3.7 | 郵便番号 | 2.3.0 |
インストールされている Java ライブラリと Scala ライブラリ (Scala 2.12 クラスター バージョン)
| グループ ID | 成果物 ID | Version |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.390 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.12.390 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.390 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.12.390 |
| com.amazonaws | aws-java-sdk-config | 1.12.390 |
| com.amazonaws | aws-java-sdk-core | 1.12.390 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.12.390 |
| com.amazonaws | aws-java-sdk-directconnect | 1.12.390 |
| com.amazonaws | aws-java-sdk-directory | 1.12.390 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.12.390 |
| com.amazonaws | aws-java-sdk-ec2 | 1.12.390 |
| com.amazonaws | aws-java-sdk-ecs | 1.12.390 |
| com.amazonaws | aws-java-sdk-efs | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticache | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.390 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.390 |
| com.amazonaws | aws-java-sdk-emr | 1.12.390 |
| com.amazonaws | aws-java-sdk-glacier | 1.12.390 |
| com.amazonaws | aws-java-sdk-glue | 1.12.390 |
| com.amazonaws | aws-java-sdk-iam | 1.12.390 |
| com.amazonaws | aws-java-sdk-importexport | 1.12.390 |
| com.amazonaws | aws-java-sdk-kinesis | 1.12.390 |
| com.amazonaws | aws-java-sdk-kms | 1.12.390 |
| com.amazonaws | aws-java-sdk-lambda | 1.12.390 |
| com.amazonaws | aws-java-sdk-logs | 1.12.390 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.12.390 |
| com.amazonaws | aws-java-sdk-opsworks | 1.12.390 |
| com.amazonaws | aws-java-sdk-rds | 1.12.390 |
| com.amazonaws | aws-java-sdk-redshift | 1.12.390 |
| com.amazonaws | aws-java-sdk-route53 | 1.12.390 |
| com.amazonaws | aws-java-sdk-s3 | 1.12.390 |
| com.amazonaws | aws-java-sdk-ses | 1.12.390 |
| com.amazonaws | aws-java-sdk-simpledb | 1.12.390 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.390 |
| com.amazonaws | aws-java-sdk-sns | 1.12.390 |
| com.amazonaws | aws-java-sdk-sqs | 1.12.390 |
| com.amazonaws | aws-java-sdk-ssm | 1.12.390 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.12.390 |
| com.amazonaws | aws-java-sdk-sts | 1.12.390 |
| com.amazonaws | aws-java-sdk-support | 1.12.390 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.12.390 |
| com.amazonaws | jmespath-java | 1.12.390 |
| com.clearspring.analytics | ストリーム (stream) | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | databricks-sdk-java | 0.7.0 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations | 2.15.2 |
| com.fasterxml.jackson.core | jackson-core | 2.15.2 |
| com.fasterxml.jackson.core | jackson-databind | 2.15.2 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.15.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.15.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.15.1 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.15.2 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.15.2 |
| com.github.ben-manes.caffeine | caffeine | 2.9.3 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java | 1.1-natives |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1-natives |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64 | 1.1-natives |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64 | 1.1-natives |
| com.github.luben | zstd-jni | 1.5.5-4 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.10.1 |
| com.google.crypto.tink | tink | 1.9.0 |
| com.google.errorprone | error_prone_annotations | 2.10.0 |
| com.google.flatbuffers | flatbuffers-java | 1.12.0 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.helger | profiler | 1.1.1 |
| com.jcraft | jsch | 0.1.55 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 11.2.2.jre8 |
| com.ning | compress-lzf | 1.1.2 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.sun.xml.bind | jaxb-core | 2.2.11 |
| com.sun.xml.bind | jaxb-impl | 2.2.11 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.12 | 0.10.0 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.uber | h3 | 3.7.3 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| commons-cli | commons-cli | 1.5.0 |
| commons-codec | commons-codec | 1.16.0 |
| commons-collections | commons-collections | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-fileupload | commons-fileupload | 1.5 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.13.0 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-pool | commons-pool | 1.5.4 |
| dev.ludovic.netlib | arpack | 3.0.3 |
| dev.ludovic.netlib | blas | 3.0.3 |
| dev.ludovic.netlib | lapack | 3.0.3 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0.25 |
| io.delta | delta-sharing-spark_2.12 | 0.7.5 |
| io.dropwizard.metrics | metrics-annotation | 4.2.19 |
| io.dropwizard.metrics | metrics-core | 4.2.19 |
| io.dropwizard.metrics | metrics-graphite | 4.2.19 |
| io.dropwizard.metrics | metrics-healthchecks | 4.2.19 |
| io.dropwizard.metrics | metrics-jetty9 | 4.2.19 |
| io.dropwizard.metrics | metrics-jmx | 4.2.19 |
| io.dropwizard.metrics | metrics-json | 4.2.19 |
| io.dropwizard.metrics | metrics-jvm | 4.2.19 |
| io.dropwizard.metrics | metrics-servlets | 4.2.19 |
| io.netty | netty-all | 4.1.96.Final |
| io.netty | netty-buffer | 4.1.96.Final |
| io.netty | netty-codec | 4.1.96.Final |
| io.netty | netty-codec-http | 4.1.96.Final |
| io.netty | netty-codec-http2 | 4.1.96.Final |
| io.netty | netty-codec-socks | 4.1.96.Final |
| io.netty | netty-common | 4.1.96.Final |
| io.netty | netty-handler | 4.1.96.Final |
| io.netty | netty-handler-proxy | 4.1.96.Final |
| io.netty | netty-resolver | 4.1.96.Final |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-linux-aarch_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-linux-x86_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-osx-aarch_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-osx-x86_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-windows-x86_64 |
| io.netty | netty-tcnative-classes | 2.0.61.Final |
| io.netty | netty-transport | 4.1.96.Final |
| io.netty | netty-transport-classes-epoll | 4.1.96.Final |
| io.netty | netty-transport-classes-kqueue | 4.1.96.Final |
| io.netty | netty-transport-native-epoll | 4.1.96.Final |
| io.netty | netty-transport-native-epoll | 4.1.96.Final-linux-aarch_64 |
| io.netty | netty-transport-native-epoll | 4.1.96.Final-linux-x86_64 |
| io.netty | netty-transport-native-kqueue | 4.1.96.Final-osx-aarch_64 |
| io.netty | netty-transport-native-kqueue | 4.1.96.Final-osx-x86_64 |
| io.netty | netty-transport-native-unix-common | 4.1.96.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | コレクタ | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | activation | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | transaction-api | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.11 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.12.1 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | pickle | 1.3 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.13.33 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.9.3 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.16 |
| org.apache.ant | ant-jsch | 1.9.16 |
| org.apache.ant | ant-launcher | 1.9.16 |
| org.apache.arrow | arrow-format | 12.0.1 |
| org.apache.arrow | arrow-memory-core | 12.0.1 |
| org.apache.arrow | arrow-memory-netty | 12.0.1 |
| org.apache.arrow | arrow-vector | 12.0.1 |
| org.apache.avro | avro | 1.11.2 |
| org.apache.avro | avro-ipc | 1.11.2 |
| org.apache.avro | avro-mapred | 1.11.2 |
| org.apache.commons | commons-collections4 | 4.4. |
| org.apache.commons | commons-compress | 1.23.0 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.12.0 |
| org.apache.commons | commons-math3 | 3.6.1 |
| org.apache.commons | commons-text | 1.10.0 |
| org.apache.curator | curator-client | 2.13.0 |
| org.apache.curator | curator-framework | 2.13.0 |
| org.apache.curator | curator-recipes | 2.13.0 |
| org.apache.datasketches | datasketches-java | 3.1.0 |
| org.apache.datasketches | datasketches-memory | 2.0.0 |
| org.apache.derby | derby | 10.14.2.0 |
| org.apache.hadoop | hadoop-client-runtime | 3.3.6 |
| org.apache.hive | hive-beeline | 2.3.9 |
| org.apache.hive | hive-cli | 2.3.9 |
| org.apache.hive | hive-jdbc | 2.3.9 |
| org.apache.hive | hive-llap-client | 2.3.9 |
| org.apache.hive | hive-llap-common | 2.3.9 |
| org.apache.hive | hive-serde | 2.3.9 |
| org.apache.hive | hive-shims | 2.3.9 |
| org.apache.hive | hive-storage-api | 2.8.1 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
| org.apache.hive.shims | hive-shims-common | 2.3.9 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
| org.apache.httpcomponents | httpclient | 4.5.14 |
| org.apache.httpcomponents | httpcore | 4.4.16 |
| org.apache.ivy | ivy | 2.5.1 |
| org.apache.logging.log4j | log4j-1.2-api | 2.20.0 |
| org.apache.logging.log4j | log4j-api | 2.20.0 |
| org.apache.logging.log4j | log4j-core | 2.20.0 |
| org.apache.logging.log4j | log4j-slf4j2-impl | 2.20.0 |
| org.apache.mesos | mesos | 1.11.0-shaded-protobuf |
| org.apache.orc | orc-core | 1.9.1-shaded-protobuf |
| org.apache.orc | orc-mapreduce | 1.9.1-shaded-protobuf |
| org.apache.orc | orc-shims | 1.9.1 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.ws.xmlschema | xmlschema-core | 2.3.0 |
| org.apache.xbean | xbean-asm9-shaded | 4.23 |
| org.apache.yetus | audience-annotations | 0.13.0 |
| org.apache.zookeeper | zookeeper | 3.6.3 |
| org.apache.zookeeper | zookeeper-jute | 3.6.3 |
| org.checkerframework | checker-qual | 3.31.0 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-continuation | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-http | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-io | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-jndi | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-plus | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-proxy | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-security | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-server | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-servlet | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-servlets | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-util | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-webapp | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-xml | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-api | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-client | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-common | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-server | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-servlet | 9.4.52.v20230823 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.40 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.40 |
| org.glassfish.jersey.core | jersey-client | 2.40 |
| org.glassfish.jersey.core | jersey-common | 2.40 |
| org.glassfish.jersey.core | jersey-server | 2.40 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.40 |
| org.hibernate.validator | hibernate-validator | 6.1.7.Final |
| org.ini4j | ini4j | 0.5.4 |
| org.javassist | javassist | 3.29.2-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jetbrains | annotations | 17.0.0 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
| org.json4s | json4s-core_2.12 | 3.7.0-M11 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
| org.lz4 | lz4-java | 1.8.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.7.9 |
| org.mlflow | mlflow-spark | 2.2.0 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.6.0 |
| org.roaringbitmap | RoaringBitmap | 0.9.45 |
| org.roaringbitmap | shims | 0.9.45 |
| org.rocksdb | rocksdbjni | 8.3.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.15 |
| org.scala-lang | scala-library_2.12 | 2.12.15 |
| org.scala-lang | scala-reflect_2.12 | 2.12.15 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.9.0 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.2.15 |
| org.scalanlp | breeze-macros_2.12 | 2.1.0 |
| org.scalanlp | breeze_2.12 | 2.1.0 |
| org.scalatest | scalatest-compatible | 3.2.15 |
| org.scalatest | scalatest-core_2.12 | 3.2.15 |
| org.scalatest | scalatest-diagrams_2.12 | 3.2.15 |
| org.scalatest | scalatest-featurespec_2.12 | 3.2.15 |
| org.scalatest | scalatest-flatspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-freespec_2.12 | 3.2.15 |
| org.scalatest | scalatest-funspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-funsuite_2.12 | 3.2.15 |
| org.scalatest | scalatest-matchers-core_2.12 | 3.2.15 |
| org.scalatest | scalatest-mustmatchers_2.12 | 3.2.15 |
| org.scalatest | scalatest-propspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-refspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-shouldmatchers_2.12 | 3.2.15 |
| org.scalatest | scalatest-wordspec_2.12 | 3.2.15 |
| org.scalatest | scalatest_2.12 | 3.2.15 |
| org.slf4j | jcl-over-slf4j | 2.0.7 |
| org.slf4j | jul-to-slf4j | 2.0.7 |
| org.slf4j | slf4j-api | 2.0.7 |
| org.threeten | threeten-extra | 1.7.1 |
| org.tukaani | xz | 1.9 |
| org.typelevel | algebra_2.12 | 2.0.1 |
| org.typelevel | cats-kernel_2.12 | 2.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0 |
| org.typelevel | spire-platform_2.12 | 0.17.0 |
| org.typelevel | spire-util_2.12 | 0.17.0 |
| org.typelevel | spire_2.12 | 0.17.0 |
| org.wildfly.openssl | wildfly-openssl | 1.1.3.Final |
| org.xerial | sqlite-jdbc | 3.42.0.0 |
| org.xerial.snappy | snappy-java | 1.1.10.3 |
| org.yaml | snakeyaml | 2.0 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.cryptools | AmazonCorrettoCryptoProvider | 1.6.1-linux-x86_64 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |