Databricks Runtime 12.0 (サポート対象外)
次のリリース ノートには、Apache Spark 3.3.1 で稼働する Databricks Runtime 12.0 に関する情報が記載されています。
Databricks は、2022 年 12 月にこれらのイメージをリリースしました。
新機能と機能強化
- 予測 I/O が一般提供
- Photon ライターで zstd 圧縮がサポート
- スタンドアロン クラスターのステージ レベルのタスク リソース プロファイルのサポート
REPLACE WHEREを使用した選択的上書きの SQL サポート- ウォーターマークが SQL でサポートされるように
- PySpark メモリ プロファイリング
- DELETE と UPDATE の動的排除
- パーティション分割されたデータ操作言語操作の行レベルの削除メトリック
予測 I/O が一般提供
予測 I/O が一般提供されました。 詳しくは、「予測 I/O とは」をご覧ください。
Photon ライターで zstd 圧縮がサポート
spark.sql.parquet.compression.codec を zstd に設定して zstd が有効になっている場合に、Photon ネイティブ ライターで zstd 圧縮コーデックがサポートされるようになりました。
スタンドアロン クラスターのステージ レベルのタスク リソース プロファイルのサポート
動的割り当てが無効になっている場合に、スタンドアロン クラスターでステージ レベルのスケジュールを使用できるようになりました。 この機能を使用するには、ステージごとに ResourceProfileBuilder を使用してタスク リソースを指定します。
REPLACE WHERE を使用した選択的上書きの SQL サポート
次のパターンを使用して、Delta テーブル内の任意の式に一致するデータを選択的に上書きできるようになりました。
INSERT INTO table_name REPLACE WHERE predicate append_relation
replaceWhere を使用した任意の選択的上書きに関するページを参照してください。
ウォーターマークが SQL でサポートされるようになりました
Delta Live Tables SQL インターフェイスを使用し、ストリーミング DataFrames に対する SQL クエリで透かしを指定できるようになりました。 「WATERMARK 句」を参照してください。
PySpark メモリ プロファイリング
PySpark ユーザー定義関数のメモリ プロファイルが有効になりました。 これにより、ユーザー定義関数で、メモリの増分、メモリ使用量、コード行ごとの出現回数に関する情報が提供されます。
DELETE と UPDATE の動的排除
Photon 対応のコンピューティングを使用する場合、DELETE と UPDATE ではパフォーマンスが向上するファイルとパーティションの動的排除が使用されるようになりました。 たとえば、より小さいソース テーブルを使用して大きなテーブルの行を更新または削除するときに、動的排除が有効になります。
パーティション分割されたデータ操作言語操作の行レベルの削除メトリック
パーティション述語を使用して、ユーザーは、DELETE、TRUNCATE、replaceWhere などのデータ操作言語 (DML) 操作を実行するときに削除される行の数を監査できるようになりました。
バグの修正
すべての列が文字列として残されている自動ローダーでの JSON 解析に関する問題を修正しました。 以前は、cloudFiles.inferColumnTypes が設定されていないか、false に設定され、JSON には入れ子になったオブジェクトが含まれていました。
ライブラリのアップグレード
- アップグレードされた Python ライブラリ:
- argon2-cffi (20.1.0 から 21.3.0 へ)
- attrs 21.2.0 (から 21.4.0 へ)
- backports.entry-points-selectable (1.1.1 から 1.2.0 へ)
- bleach (4.0.0 から 4.1.0 へ)
- boto3 (1.21.18 から 1.21.32 へ)
- botocore (1.24.18 から 1.24.32 へ)
- cffi (1.14.6 から 1.15.0 へ)
- click (8.0.3 から 8.0.4 へ)
- cycler (0.10.0 から 0.11.0 へ)
- Cython (0.29.24 から 0.29.28 へ)
- debugpy (1.4.1 から 1.5.1 へ)
- decorator (5.1.0 から 5.1.1 へ)
- entrypoints (0.3 から 0.4 へ)
- idna 3.2 (から 3.3 へ)
- ipykernel (6.12.1 から 6.15.3 へ)
- ipython (7.32.0 から 8.5.0 へ)
- ipywidgets (7.7.0 から 7.7.2 へ)
- jedi 0.18.0 (から 0.18.1 へ)
- joblib (1.0.1 から 1.1.0 へ)
- jsonschema (3.2.0 から 4.4.0 へ)
- kiwisolver (1.3.1 から 1.3.2 へ)
- matplotlib (3.4.3 から 3.5.1 へ)
- nbclient (0.5.3 から 0.5.13 へ)
- nbconvert (6.1.0 から 6.4.4 へ)
- nbformat (5.1.3 から 5.3.0 へ)
- nest-asyncio (1.5.1 から 1.5.5 へ)
- notebook (6.4.5 から 6.4.8 へ)
- numpy (1.20.3 から 1.21.5 へ)
- packaging (21.0 から 21.3 へ)
- pandas (1.3.4 から 1.4.2 へ)
- pandocfilters (1.4.3 から 1.5.0 へ)
- parso (0.8.2 から 0.8.3 へ)
- Pillow (8.4.0 から 9.0.1 へ)
- platformdirs (2.5.2 から 2.5.4 へ)
- plotly (5.9.0 から 5.6.0 へ)
- prometheus-client (0.11.0 から 0.13.1 へ)
- protobuf (4.21.5 から 3.19.4 へ)
- pycparser (2.20 から 2.21 へ)
- Pygments (2.10.0 から 2.11.2 へ)
- pyodbc (4.0.31 から 4.0.32 へ)
- pyzmq (22.2.1 から 22.3.0 へ)
- requests (2.26.0 から 2.27.1 へ)
- s3transfer (0.5.2 から 0.5.0 へ)
- scikit-learn (0.24.2 から 1.0.2 へ)
- scipy (1.7.1 から 1.7.3 へ)
- statsmodels (0.12.2 から 0.13.2 へ)
- terminado (0.9.4 から 0.13.1 へ)
- tomli (2.0.1 から 1.2.2 へ)
- traitlets (5.1.0 から 5.1.1 へ)
- urllib3 (1.26.7 から 1.26.9 へ)
- widgetsnbextension (3.6.0 から 3.6.1 へ)
- アップグレードされた R ライブラリ:
- base (4.1.3 から 4.2.2 へ)
- brew (1.0-7 から 1.0-8 へ)
- bslib (0.4.0 から 0.4.1 へ)
- callr (3.7.2 から 3.7.3 へ)
- chron (2.3-57 から 2.3-58 へ)
- cli (3.3.0 から 3.4.1 へ)
- cluster (2.1.3 から 2.1.4 へ)
- commonmark (1.8.0 から 1.8.1 へ)
- compiler (4.1.3 から 4.2.2 へ)
- cpp11 (0.4.2 から 0.4.3 へ)
- crayon (1.5.1 から 1.5.2 へ)
- curl (4.3.2 から 4.3.3 へ)
- data.table (1.14.2 から 1.14.4 へ)
- datasets (4.1.3 から 4.2.2 へ)
- desc (1.4.1 から 1.4.2 へ)
- devtools (2.4.4 から 2.4.5 へ)
- digest (0.6.29 から 0.6.30 へ)
- e1071 (1.7-11 から 1.7-12 へ)
- evaluate (0.16 から 0.18 へ)
- fontawesome (0.3.0 から 0.4.0 へ)
- future (1.28.0 から 1.29.0 へ)
- future.apply (1.9.1 から 1.10.0 へ)
- gargle (1.2.0 から 1.2.1 へ)
- gert (1.8.0 から 1.9.1 へ)
- ggplot2 (3.3.6 から 3.4.0 へ)
- gh (1.3.0 から 1.3.1 へ)
- gitcreds (0.1.1 から 0.1.2 へ)
- graphics (4.1.3 から 4.2.2 へ)
- grDevices (4.1.3 から 4.2.2 へ)
- grid (4.1.3 から 4.2.2 へ)
- httpuv (1.6.5 から 1.6.6 へ)
- isoband (0.2.5 から 0.2.6 へ)
- jsonlite (1.8.0 から 1.8.3 へ)
- lava (1.6.10 から 1.7.0 へ)
- lifecycle (1.0.1 から 1.0.3 へ)
- lubridate (1.8.0 から 1.9.0 へ)
- markdown (1.1 から 1.3 へ)
- MASS (7.3-56 から 7.3-58 へ)
- Matrix (1.4-1 から 1.5-1 へ)
- methods (4.1.3 から 4.2.2 へ)
- mgcv (1.8-40 から 1.8-41 へ)
- nlme (3.1-157 から 3.1-160 へ)
- nnet (7.3-17 から 7.3-18 へ)
- openssl (2.0.2 から 2.0.4 へ)
- parallel (4.1.3 から 4.2.2 へ)
- pkgload (1.3.0 から 1.3.1 へ)
- processx (3.7.0 から 3.8.0 へ)
- ps (1.7.1 から 1.7.2 へ)
- purrr (0.3.4 から 0.3.5 へ)
- ragg (1.2.2 から 1.2.4 へ)
- RcppEigen (0.3.3.9.2 から 0.3.3.9.3 へ)
- readr (2.1.2 から 2.1.3 へ)
- recipes (1.0.1 から 1.0.3 へ)
- rlang (1.0.5 から 1.0.6 へ)
- rmarkdown (2.16 から 2.18 へ)
- rpart (4.1.16 から 4.1.19 へ)
- RSQLite (2.2.16 から 2.2.18 へ)
- shiny (1.7.2 から 1.7.3 へ)
- SparkR (3.3.0 から 3.3.1 へ)
- splines (4.1.3 から 4.2.2 へ)
- stats (4.1.3 から 4.2.2 へ)
- stats4 (4.1.3 から 4.2.2 へ)
- sys (3.4 から 3.4.1 へ)
- tcltk (4.1.3 から 4.2.2 へ)
- testthat (3.1.4 から 3.1.5 へ)
- tidyr (1.2.0 から 1.2.1 へ)
- tidyselect (1.1.2 から 1.2.0 へ)
- timeDate (4021.104 から 4021.106 へ)
- tinytex (0.41 から 0.42 へ)
- tools (4.1.3 から 4.2.2 へ)
- utils (4.1.3 から 4.2.2 へ)
- vctrs (0.4.1 から 0.5.0 へ)
- vroom (1.5.7 から 1.6.0 へ)
- xfun (0.32 から 0.34 へ)
- yaml (2.3.5 から 2.3.6 へ)
- zip (2.2.0 から 2.2.2 へ)
- アップグレードされた Java ライブラリ:
- com.fasterxml.jackson.core.jackson-databind (2.13.4 から 2.13.4.2 へ)
- org.apache.parquet.parquet-column (1.12.0-databricks-0007 から1.12.3-databricks-0001 へ)
- org.apache.parquet.parquet-common (1.12.0-databricks-0007 から 1.12.3-databricks-0001)
- org.apache.parquet.parquet-encoding (1.12.0-databricks-0007 から 1.12.3-databricks-0001 へ)
- org.apache.parquet.parquet-format-structures (1.12.0-databricks-0007 から 1.12.3-databricks-0001 へ)
- org.apache.parquet.parquet-hadoop (1.12.0-databricks-0007 から 1.12.3-databricks-0001 へ)
- org.apache.parquet.parquet-jackson (1.12.0-databricks-0007 から 1.12.3-databricks-0001)
- org.apache.yetus.audience-annotations (0.5.0 から 0.13.0 へ)
Apache Spark
Databricks Runtime 12.0 には、Apache Spark 3.3.1 が含まれています。 このリリースには、Databricks Runtime 11.3 LTS に含まれるすべての Spark の修正プログラムおよび機能強化と、Spark に対して行われた次の追加のバグ修正と機能強化が含まれています。
- [SPARK-40844] [SC-116996][12.x][12.0][12.0.0] “[SC-113542][SS] Kafka オフセット フェッチ構成のデフォルト値の反転” を元に戻す
- [SPARK-40646] [SC-116061] "[SC-113379][SQL] JSON データ ソースと JSON 関数で部分的な結果を返す問題を修正" を元に戻す
- [SPARK-41195] [SC-116305][SQL] 結合子を使用した PIVOT/UNPIVOT のサポート
- [SPARK-41178] [SC-116139][SQL] JOIN とコンマの間のパーサー規則の優先順位を修正する
- [SPARK-41072] [SC-116140][SC-116044][SC-115852][SQL][SS] エラー クラス
STREAM_FAILEDをStreamingQueryExceptionに追加する。 - [SPARK-40921] “[SC-115140][SC-114585][SQL] WHEN NOT MATCHED BY SOURCE 句を MERGE INTO に追加する" を元に戻す
- [SPARK-37980] [SC-115758] [SQL] Parquet ファイルの行インデックスをサポートするように METADATA 列を拡張する
- [SPARK-41055] [SC-115582][SQL]
_LEGACY_ERROR_TEMP_2424の名前をGROUP_BY_AGGREGATEに変更する - [SPARK-41101] [SC-115849][PYTHON][PROTOBUF] PYSPARK-PROTOBUF のメッセージ クラス名のサポート
- [SPARK-40956] [SC-115867] Dataframe overwrite コマンドの SQL 同等コマンド
- [SPARK-41095] [SC-115659][SQL] 未解決の演算子を内部エラーに変換する
- [SPARK-41144] [SC-115866][SQL] 未解決のヒントでクエリエラーが発生しないようにする
- [SPARK-41137] [SC-115858][SQL]
LATERAL_JOIN_OF_TYPEの名前をINVALID_LATERAL_JOIN_TYPEに変更する - [SPARK-40998] [SC-114754][SQL] エラー クラス
_LEGACY_ERROR_TEMP_0040の名前をINVALID_IDENTIFIERに変更する - [SPARK-41015] [SC-115130][SQL][PROTOBUF] データ ジェネレーターの UnitTest null チェック
- [SPARK-40769] [SC-114923][CORE][SQL] 集計式の型チェック エラーをエラー クラスに移行する
- [SPARK-41043] [SC-115183][SQL] エラー クラス
_LEGACY_ERROR_TEMP_2429の名前をNUM_COLUMNS_MISMATCHに変更する - [SPARK-40777] [SC-114855][SQL][PROTOBUF] Protobuf インポートのサポートとエラー クラスの移動。
- [SPARK-41019] [SC-114987][SQL] クエリ コンテキストを
failAnalysis()に提供する - [SPARK-41027] [SC-115131][SQL]
MAP_FROM_ENTRIES_WRONG_TYPEではなくUNEXPECTED_INPUT_TYPEを使用する - [SPARK-40476] [SC-115868][SC-111163][ML][SQL] ALS のシャッフル サイズを縮小する
- [SPARK-41134] [SC-115851][SQL] 内部エラーのエラー メッセージを改善する
- [SPARK-37980] [SC-115758] [SQL] Parquet ファイルの行インデックスをサポートするように METADATA 列を拡張する
- [SPARK-41109] [SC-115788][SQL] エラー クラス _LEGACY_ERROR_TEMP_1216 の名前を INVALID_LIKE_PATTERN に変更する
- [SPARK-40984] [SC-115844][CORE][SQL]
FRAME_LESS_OFFSET_WITHOUT_FOLDABLEの代わりにNON_FOLDABLE_INPUTを使用する - [SPARK-41029] [SC-115828][SQL] Scala 2.13 の
GenericArrayDataのコンストラクターの使用を最適化する - [SPARK-40697] [SC-113648][SQL] 外部データ ファイルをカバーする読み取り側の char パディングを追加する
- [SPARK-40978] [SC-114574][SQL] コンテキストのない
failAnalysis()をエラー クラスに移行する - [SPARK-40663] [SC-114586][SQL] 実行エラーをエラー クラスに移行する: _LEGACY_ERROR_TEMP_2251-2275
- [SPARK-38959] [SC-115672][SC-112707][SQL] DS V2: 行レベルのコマンドでのランタイム グループ フィルター処理をサポートする
- [SPARK-40372] [SC-115668][SQL] 配列型チェックの失敗をエラー クラスに移行する
- [SPARK-41038] [SC-115371][SQL]
MULTI_VALUE_SUBQUERY_ERRORの名前をSCALAR_SUBQUERY_TOO_MANY_ROWSに変更する - [SPARK-40965] [SC-114443][SQL] エラー クラス
_LEGACY_ERROR_TEMP_1208の名前をFIELD_NOT_FOUNDに変更する - [SPARK-40748] [SC-114696][SQL] 条件の型チェックの失敗をエラー クラスに移行する
- [SPARK-40371] [SC-114557][SQL] NthValue と NTile の型チェックの失敗をエラー クラスに移行する
- [SPARK-41092] [SC-115547][SQL] 識別子を使用して間隔の単位を照合しない
- [SPARK-41009] [SC-115360][SQL] エラー クラス
_LEGACY_ERROR_TEMP_1070の名前をLOCATION_ALREADY_EXISTSに変更する - [SPARK-37980] [SQL] Parquet ファイルの行インデックスをサポートするように METADATA 列を拡張する
- [SPARK-40967] [SC-114448][SQL]
failAnalysis()をエラー クラスに移行する - [SPARK-34265] [SC-115486][SC-113788][PYTHON][SQL] SQL メトリックを使用して Python UDF をインストルメント化する
- [SPARK-41012] [SC-114873][SQL]
_LEGACY_ERROR_TEMP_1022の名前をORDER_BY_POS_OUT_OF_RANGEに変更する - [SPARK-41042] [SC-115142][SQL]
PARSE_CHAR_MISSING_LENGTHの名前をDATATYPE_MISSING_SIZEに変更する - [SPARK-40752] [SC-114442][SQL] misc 式の型チェックの失敗をエラー クラスに移行する
- [SPARK-37945] [SC-115534][SQL][CORE] 算術演算の実行エラーでエラー クラスを使用する
- [SPARK-40374] [SC-114705][SQL] 型作成者の型チェックの失敗をエラー クラスに移行する
- [SPARK-41056] [SC-115354][R] R 4.2 で導入された新しいR_LIBS_SITE 動作を修正する
- [SPARK-41041] [SC-115357][SQL]
_LEGACY_ERROR_TEMP_1279をTABLE_OR_VIEW_ALREADY_EXISTSに統合する - [SPARK-40663] [SC-114852][SQL] 実行エラーをエラー クラスに移行する: _LEGACY_ERROR_TEMP_2201-2225
- [SPARK-41020] [SC-114984][SQL] エラー クラス
_LEGACY_ERROR_TEMP_1019の名前をSTAR_GROUP_BY_POSに変更する - [SPARK-41035] [SC-115233][SQL]
RewriteDistinctAggregatesで集計関数の折りたたみ可能な子に修正を適用しない - [SPARK-39778] [SC-114353][SQL] エラー クラスとメッセージを改善する
- [SPARK-40798] [SC-113782][SQL] パーティションの変更で storeAssignmentPolicy に従って値を確認する必要がある
- [SPARK-40810] [SC-113533][SQL] CreateDatabaseCommand & AlterDatabaseSetLocationCommand で IllegalArgumentException の代わりに SparkIllegalArgumentException を使用する
- [SPARK-40921] [SC-115140][SC-114585][SQL] WHEN NOT MATCHED BY SOURCE 句を MERGE INTO に追加する
- [SPARK-40360] [SC-114965] ALREADY_EXISTS とN OT_FOUND の例外
- [SPARK-41007] [SC-115085][SQL] java.math.BigInteger の不足しているシリアライザーを追加する
- [SPARK-40751] [SC-114254][SQL] 上位の関数の型チェックの失敗をエラー クラスに移行する
- [SPARK-40248] [SC-114704][SQL] より多くのビットを使用してブルーム フィルターを構築する
- [SPARK-41040] [SC-115145][SS] readStream.table を使用するときの自己結合ストリーミング クエリ エラーを修正する
- [SPARK-32380] [SC-114966][SQL] Spark からの Hive 経由の HBase テーブルのアクセスを修正する
- [SPARK-40749] [SC-114860][SQL] ジェネレーターの型チェックの失敗をエラー クラスに移行する
- [SPARK-40925] [SC-114445][SQL][SS][WARMFIX][12.x] ステートフル演算子の遅延を修正する
- [SPARK-40654] [SC-112783] 一時ログ行を削除する
- [SPARK-40742] [SC-114913][SC-112646][CORE][SQL] ジェネリック型に関連する Java コンパイルの警告を修正する
- [SPARK-40657] [SC-113642][Cherry-pick] Protob で Java クラスのサポートを追加する
- [SPARK-40898] [SC-113932][SQL] データ型の不一致エラーで関数名を引用符で囲む
- [SPARK-40760] [SC-113750][SQL] 間隔式の型チェックの失敗をエラー クラスに移行する
- [SPARK-36114] [SC-113771][SQL] 相関非等値述語でのサブクエリのサポート
- [SPARK-40856] [SC-113738][SQL] WRONG_NUM_PARAMS のエラー テンプレートを更新する
- [SPARK-40759] [SC-114251][SQL] 時間ウィンドウの型チェックの失敗をエラー クラスに移行する
- [SPARK-40750] [SC-113812][SQL] math 式の型チェックの失敗をエラー クラスに移行する
- [SPARK-40756] [SC-113749][SQL] string 式の型チェックの失敗をエラー クラスに移行する
- [SPARK-40768] [SC-113640][SQL] bloom_filter_agg() の型チェックの失敗をエラー クラスに移行する
- [SPARK-40369] [SC-113402][SQL] リフレクションを介した呼び出しの型チェックの失敗をエラー クラスに移行する
- [SPARK-39445] [SQL] 列の排除で windowExpressions が空の場合にウィンドウを削除する
- [SPARK-40761] [SC-113245][SQL] percentile 式の型チェックの失敗をエラー クラスに移行する
- [SPARK-40361] [SC-112789][SQL] 算術型チェックの失敗をエラー クラスに移行する
- [SPARK-40714] [SC-112576][SQL]
PartitionAlreadyExistsExceptionを削除 - [SPARK-40702] [SC-112437][SQL]
PartitionsAlreadyExistExceptionのパーティション スペックを修正する - [SPARK-40358] [SC-112631][SQL] コレクションの型チェックの失敗をエラー クラスに移行する
- [SPARK-40910] [SC-114259][SQL] UnsupportedOperationException を SparkUnsupportedOperationException に置き換える
- [SPARK-39876] [SC-112429][SQL] UNPIVOT を SQL 構文に追加する
- [SPARK-39783] [SC-113389][SQL] エラー メッセージの列候補のバッククォートを修正するために qualifiedName を引用符で囲む
- [SPARK-40663] [SC-112520][SQL] 実行エラーをエラー クラスに移行する: _LEGACY_ERROR_TEMP_2026-2282
- [SPARK-40975] [SC-114555][SQL] エラー クラス
_LEGACY_ERROR_TEMP_0021の名前をUNSUPPORTED_TYPED_LITERALに変更する - [SPARK-37935] [SC-114472][SQL] 個別のエラー サブクラス フィールドを排除する
- [SPARK-40944] [SC-114530][SQL] CREATE TABLE 列オプションの順序制約を緩和する
- [SPARK-40815] [SC-114528][SQL] 回避策
SymlinkTextInputSplitのバグにDelegateSymlinkTextInputFormatを追加する - [SPARK-40933] [SC-114441][SQL] 組み込みの sql 関数を使用して df.stat.{cov, corr} を再実装する
- [SPARK-40932] [SC-114439][CORE] allGather の問題メッセージがオーバーライドされる問題を修正する
- [SPARK-39312] [SQL] フィルター プッシュ ダウンで Parquet ネイティブ In 述語を使用する
- [SPARK-40862] [SC-114352][SQL] RewriteCorrelatedScalarSubquery で集計されていないサブクエリをサポートする
- [SPARK-40963] [SC-114446][SQL]
ExtractGeneratorによって作成されたプロジェクトで Null 許容を正しく設定する - [SPARK-40663] [SC-112295][SQL] 実行エラーをエラー クラスに移行する: _LEGACY_ERROR_TEMP_2000-2024
- [SPARK-40892] [SC-114347][SQL][SS] window_time ルールの要件を緩和する - 複数の window_time 呼び出しを許可する
- [SPARK-40540] [SC-111639][SQL] コンパイルエラーをエラー クラスに移行する: _LEGACY_ERROR_TEMP_1100-1347
- [SPARK-40924] [SC-114258][SQL] 入力に奇数の記号がある場合の Unhex を修正する
- [SPARK-40821] [SC-113754][SQL][CORE][PYTHON][SS] ウィンドウ列からイベント時間を抽出するための window_time 関数を導入する
- [SPARK-40800] [SC-113772][SQL] OptimizeOneRowRelationSubquery で常に式をインラインにする
- [SPARK-40900] [SC-114006][SQL] データフレーム操作を使用して
frequentItemsを再実装する - [SPARK-40735] [SC-114022][SC-112657] スクリプトで /usr/bin/env bash を使用して bash を継続的に呼び出し、コードの移植性を高める
- [SPARK-40773] [SC-113091][SQL] checkCorrelationsInSubquery をリファクタリングする
- [SPARK-40615] [SC-113400][SQL] サブクエリを関連付け解除するときにサポートされていないデータ型を確認する
- [SPARK-40660] [SC-112293][CORE][SQL] XORShiftRandom に切り替えて要素を配布する
- [SPARK-40540] [SC-113926][SC-111331][SQL] コンパイル エラーをエラー クラスに移行する
- [SPARK-40551] [SC-113135][SQL] DataSource V2: デルタベースの行レベル操作用の API を追加する
- [SPARK-39391] [SC-110676][CORE] パーティショナー クラスを再利用する
- [SPARK-40368] [SC-113396][SQL] ブルーム フィルターの型チェックの失敗をエラー クラスに移行する
- [SPARK-39146] [SC-111814][CORE][SQL] 再利用できる
ObjectMapperのローカル シングルトンを導入する - [SPARK-40357] [SC-113786][SC-111352][SQL] ウィンドウの型チェックの失敗をエラー クラスに移行する
- [SPARK-40874] [SC-113756][PYTHON] 暗号化が有効になっている場合の Python UDF でのブロードキャストを修正する
- [SPARK-40359] [SC-113770][SC-111146][SQL] CSV/JSON 式での型チェックの失敗をエラー クラスに移行する
- [SPARK-40880] [SC-113764][SQL] データフレーム操作を使用して
summaryを再実装する - [SPARK-40877] [SC-113763][SQL] データフレーム操作を使用して
crosstabを再実装する - [SPARK-40382] [SC-113098][SQL]
RewriteDistinctAggregatesで意味的に等価な子によって個別の集計式をグループ化する - [SPARK-40826] [SC-113532][SS] チェックポイントの名前変更ファイル チェックを追加する
- [SPARK-40829] [SC-113426][SQL] CREATE TABLE LIKE ビューの STORED AS serde が機能しない
- [SPARK-40844] [SC-113542][SS] Kafka オフセット フェッチ構成のデフォルト値を反転させる
- [SPARK-40488] [SC-113568][SC-111160] データソースの書き込みが失敗したときにスローされる例外をラップしない
- [SPARK-40560] [SC-113631][SC-111335][SQL] エラーの
STANDARDフォーマットのmessageの名前をmessageTemplateに変更する。 - [SPARK-40618] [SC-113096][SQL] 参照追跡を使用して入れ子になったサブクエリを含む MergeScalarSubqueries ルールのバグを修正する
- [SPARK-40530] [SC-113528][SC-111332][SQL] エラー関連の開発者 API を追加する
- [SPARK-40806] [SC-113250][SQL] 入力ミスの修正: CREATE TABLE -> REPLACE TABLE
- [SPARK-40646][SC-113379][SQL] JSON データ ソースと JSON 関数で部分的な結果を返す問題を修正する
- [SPARK-40654] [Cherry-pick][SC-112783][SQL] Spark の Protobuf サポート - 以降...
- [SPARK-40753] [SC-113539][SQL] カタログ ディレクトリ操作のテスト ケースのバグを修正する
- [SPARK-40765] [SC-113056][SQL]
CommandUtils#calculateSingleLocationSize#getPathSizeメソッドでの冗長 fs 操作を最適化する - [SPARK-40114] [ES-479282][R][11.X] SparkR での Arrow 9.0.0 のサポート
- [SPARK-40479] [SC-110935][SQL] 予期しない入力型エラーをエラー クラスに移行する
- [SPARK-40473] [SC-113388][SC-111141][SQL] 解析エラーをエラー クラスに移行する
- [SPARK-39853] [SC-111867][CORE] 動的割り当てが無効になっている場合にスタンドアロン クラスターのステージ レベルのタスク リソース プロファイルをサポートする (PR-47157 からのバック ポート)
- [SPARK-40407] [SC-111161][SQL] df.repartition によって発生する可能性のあるデータ スキューを修正する
- [SPARK-40425] [SC-110840][SQL] DROP TABLE でテーブル参照を実行する必要がない
- [SPARK-40703] [SC-113242][SQL] 並列処理を改善するために SinglePartition でシャッフルを導入する
- [SPARK-40640] [SC-113138][CORE] SparkHadoopUtil を使用して Hadoop/Hive 構成オプションの配信元を設定する
- [SPARK-39062] [11.x][CORE] スタンドアロン クラスターのステージ レベルのリソース スケジュールのサポートを追加する
- [SPARK-33861] [SC-109877]"[SQL] 述語の条件付きを簡略にする" を元に戻す
- [SPARK-40667] [SC-113136][SQL] ファイル データ ソース オプションをリファクタリングする
- [SPARK-40370] [SC-110677][SQL] CAST で型チェックの失敗をエラー クラスに移行する
- [SPARK-40611] [SC-113105][SQL]
UnsafeRowのsetInterval&getIntervalのパフォーマンスを向上させる - [SPARK-40733] [SC-113126][SQL]
ShowCreateTableAsSerdeCommandの結果内のSERDEPROPERTIESのコンテンツを固定順序にする - [SPARK-40585] [SC-112180][SQL] 二重引用符で囲まれた識別子のサポート
- [SPARK-40772] [SC-112992][SQL]
Double値をサポートするようにspark.sql.adaptive.skewJoin.skewedPartitionFactorを改善する - [SPARK-40565] [SC-112417][SQL] 非決定論的フィルターを V2 ファイル ソースにプッシュしない
- [SPARK-8731] [SC-112784] バックグラウンドで開始されたときに、Beeline が -e オプションで動作しない
- [SPARK-35242] [SC-111398][SQL] セッション カタログの既定のデータベースの変更をサポート
- [SPARK-40426] [SC-110672][SQL] SparkThrowable.getMessageParameters からマップを返す
- [SPARK-40494] [SC-112655][SC-111025][CORE][SQL][ML][MLLIB]
keys.zipWithIndex.toMapコード パターンのパフォーマンスを最適化する - [SPARK-40521] [SC-112430][SQL] Hive の作成パーティションから
PartitionsAlreadyExistExceptionに存在するパーティションのみを返す - [SPARK-40705] [SC-112567][SQL] Scala 2.13 の行を JSON に変換するときに変更可能な配列を使用するケースを処理する
- [SPARK-39895] [SC-112590][SQL][PYTHON] 複数列の削除をサポート
- [SPARK-40607] [SC-112296][CORE][SQL][MLLIB][SS] 冗長文字列補間操作を削除する
- [SPARK-40420] [SC-112604][SC-110569][SQL] JSON 形式での名前によるエラー メッセージ パラメーターのサポート
- [SPARK-40403] [SC-110564][SQL] longs を使用して安全でない配列サイズを計算し、エラー メッセージが負のサイズになることを回避する
- [SPARK-40482] [SC-110831][SQL]
SPARK-24544 Print actual failure cause when look up function failedを元に戻す - [SPARK-40400] [SC-112555][SC-110397][SQL] エラー メッセージ パラメーターをマップとして例外に渡す
- [SPARK-40628] [SC-112414][SQL] プロジェクトを通じて複雑な左半結合/反結合条件をプッシュしない
- [SPARK-40562] [SC-111455][SQL]
spark.sql.legacy.groupingIdWithAppendedUserGroupByを追加 - [SPARK-40501] [SC-111333][SQL] オプティマイザーの PushProjectionThroughLimit を追加する
- [SPARK-39200] [SC-111244][CORE] フォールバック ストレージをコンテンツで readFully にする
- [SPARK-38717] [SC-111241][SQL] 動作を維持する Hive のバケット スペック ケースを処理する
- [SPARK-40385] [SC-111123][SQL] コンパニオン オブジェクト コンストラクターの解釈パスを修正する
- [SPARK-40216] [SC-112413][SQL]
ParquetFileFormatとParquetWriteで共通ParquetUtils.prepareWriteメソッドを抽出してコードを重複除去する - [SPARK-40636] [SC-112160][CORE] BlockManagerDecommissioner で残っている間違ったシャッフル ログを修正する
- [SPARK-40617] [SC-112009] ExecutorMetricsPoller のステージ TCMP エントリの処理での競合状態を修正する
- [SPARK-40618] [SC-112046][SQL]入れ子になったサブクエリを含む MergeScalarSubqueries ルールのバグを修正する
- [SPARK-40612] [SC-111933][CORE] YARN 以外のリソース マネージャーでの委任トークンの更新に使用されるプリンシパルを修正する
- [SPARK-40595] [SC-111662][SQL] 未使用の CTE 関係のエラー メッセージを改善する
- [SPARK-40314] [SC-111879][SQL][PYTHON] インラインおよび inline_outer の scala と python のバインドを追加する
- [SPARK-40416] [SC-110945][SQL] 新しいエラー フレームワークを使用するためにサブクエリ式 CheckAnalysis エラー メッセージを移動する
- [SPARK-40318] [SC-111865][SC-109986][SQL] try_avg() は子から例外をスローする必要がある
- [SPARK-40509] [SC-111644][SS][PYTHON] applyInPandasWithState の例を追加する
- [SPARK-40310] [SC-111329][SC-109842][SQL] try_sum() は子からの例外をスローする必要がある
- [SPARK-40016] [SQL] try_sum() の実装で不要な TryEval を削除する
- [SPARK-40527] [SC-111224][SQL] CreateStruct で構造体フィールド名またはマップ キーを保持する
- [SPARK-38098] [SC-111178][PYTHON] 入れ子になった StructType の ArrayType のサポートを矢印ベースの変換に追加する
- [SPARK-40324] [SC-111359][SC-110293][SQL] AnalysisException でクエリ コンテキストを提供する
- [SPARK-40492] [SC-111324][SS] StateStore アンロードのストリーミングの前にメンテナンスを実行する
- [SPARK-40487] [SC-111124][SQL] 並列実行する BroadcastNestedLoopJoinExec で defaultJoin を作成する
- [SPARK-40474] [SC-111273][SQL] 日付とタイムスタンプが混在する列での CSV スキーマの推論とデータ解析の動作を修正する
- [SPARK-40508] [SC-111066][SQL] 不明なパーティション分割を UnknownPartitioning として扱う
- [SPARK-40496] [SC-111234][SC-111013][SQL] "enableDateTimeParsingFallback" を制御する構成を修正する
- [SPARK-40435] [SC-111214][SS][PYTHON] PySpark で applyInPandasWithState のテスト スイートを追加する
- [SPARK-40434] [SC-111125][SS][PYTHON] PySpark で applyInPandasWithState を実装する
メンテナンスの更新
Databricks Runtime 12.0 のメンテナンス更新プログラムに関するページを参照してください。
システム環境
- オペレーティング システム: Ubuntu 20.04.5 LTS
- Java: Zulu 8.64.0.19-CA-linux64
- Scala: 2.12.14
- Python: 3.9.5
- R: 4.2.2
- Delta Lake: 2.2.0
インストールされている Python ライブラリ
| ライブラリ | Version | ライブラリ | Version | ライブラリ | Version |
|---|---|---|---|---|---|
| argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 | asttokens | 2.0.5 |
| attrs | 21.4.0 | backcall | 0.2.0 | backports.entry-points-selectable | 1.2.0 |
| beautifulsoup4 | 4.11.1 | black | 22.3.0 | bleach | 4.1.0 |
| boto3 | 1.21.32 | botocore | 1.24.32 | certifi | 2021.10.8 |
| cffi | 1.15.0 | chardet | 4.0.0 | charset-normalizer | 2.0.4 |
| クリックし | 8.0.4 | cryptography | 3.4.8 | cycler | 0.11.0 |
| Cython | 0.29.28 | dbus-python | 1.2.16 | debugpy | 1.5.1 |
| decorator | 5.1.1 | defusedxml | 0.7.1 | distlib | 0.3.6 |
| entrypoints | 0.4 | executing | 0.8.3 | facets-overview | 1.0.0 |
| fastjsonschema | 2.16.2 | filelock | 3.8.0 | fonttools | 4.25.0 |
| idna | 3.3 | ipykernel | 6.15.3 | ipython | 8.5.0 |
| ipython-genutils | 0.2.0 | ipywidgets | 7.7.2 | jedi | 0.18.1 |
| Jinja2 | 2.11.3 | jmespath | 0.10.0 | joblib | 1.1.0 |
| jsonschema | 4.4.0 | jupyter-client | 6.1.12 | jupyter_core | 4.11.2 |
| jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 | kiwisolver | 1.3.2 |
| MarkupSafe | 2.0.1 | matplotlib | 3.5.1 | matplotlib-inline | 0.1.2 |
| mistune | 0.8.4 | mypy-extensions | 0.4.3 | nbclient | 0.5.13 |
| nbconvert | 6.4.4 | nbformat | 5.3.0 | nest-asyncio | 1.5.5 |
| ノートブック | 6.4.8 | numpy | 1.21.5 | パッケージング | 21.3 |
| pandas | 1.4.2 | pandocfilters | 1.5.0 | parso | 0.8.3 |
| pathspec | 0.9.0 | patsy | 0.5.2 | pexpect | 4.8.0 |
| pickleshare | 0.7.5 | Pillow | 9.0.1 | pip | 21.2.4 |
| platformdirs | 2.5.4 | plotly | 5.6.0 | prometheus-client | 0.13.1 |
| prompt-toolkit | 3.0.20 | protobuf | 3.19.4 | psutil | 5.8.0 |
| psycopg2 | 2.9.3 | ptyprocess | 0.7.0 | pure-eval | 0.2.2 |
| pyarrow | 7.0.0 | pycparser | 2.21 | Pygments | 2.11.2 |
| PyGObject | 3.36.0 | pyodbc | 4.0.32 | pyparsing | 3.0.4 |
| pyrsistent | 0.18.0 | python-dateutil | 2.8.2 | pytz | 2021.3 |
| pyzmq | 22.3.0 | requests | 2.27.1 | requests-unixsocket | 0.2.0 |
| s3transfer | 0.5.0 | scikit-learn | 1.0.2 | scipy | 1.7.3 |
| seaborn | 0.11.2 | Send2Trash | 1.8.0 | setuptools | 58.0.4 |
| 6 | 1.16.0 | soupsieve | 2.3.1 | ssh-import-id | 5.10 |
| stack-data | 0.2.0 | statsmodels | 0.13.2 | tenacity | 8.0.1 |
| terminado | 0.13.1 | testpath | 0.5.0 | threadpoolctl | 2.2.0 |
| tokenize-rt | 4.2.1 | tomli | 1.2.2 | tornado | 6.1 |
| traitlets | 5.1.1 | typing_extensions | 4.1.1 | unattended-upgrades | 0.1 |
| urllib3 | 1.26.9 | virtualenv | 20.8.0 | wcwidth | 0.2.5 |
| webencodings | 0.5.1 | wheel | 0.37.0 | widgetsnbextension | 3.6.1 |
インストールされている R ライブラリ
R ライブラリは、2022 年 11 月 11 日に Microsoft CRAN スナップショットからインストールされています。
| ライブラリ | Version | ライブラリ | Version | ライブラリ | Version |
|---|---|---|---|---|---|
| 矢印 | 10.0.0 | askpass | 1.1 | assertthat | 0.2.1 |
| backports | 1.4.1 | base | 4.2.2 | base64enc | 0.1-3 |
| bit | 4.0.4 | bit64 | 4.0.5 | blob (blob) | 1.2.3 |
| boot | 1.3-28 | brew | 1.0 から 8 | brio | 1.1.3 |
| broom | 1.0.1 | bslib | 0.4.1 | cachem | 1.0.6 |
| callr | 3.7.3 | キャレット | 6.0-93 | cellranger | 1.1.0 |
| chron | 2.3-58 | class | 7.3-20 | cli | 3.4.1 |
| clipr | 0.8.0 | clock | 0.6.1 | cluster | 2.1.4 |
| codetools | 0.2-18 | colorspace | 2.0-3 | commonmark | 1.8.1 |
| compiler | 4.2.2 | config | 0.3.1 | cpp11 | 0.4.3 |
| crayon | 1.5.2 | 資格情報 | 1.3.2 | curl | 4.3.3 |
| data.table | 1.14.4 | datasets | 4.2.2 | DBI | 1.1.3 |
| dbplyr | 2.2.1 | desc | 1.4.2 | devtools | 2.4.5 |
| diffobj | 0.3.5 | digest | 0.6.30 | downlit | 0.4.2 |
| dplyr | 1.0.10 | dtplyr | 1.2.2 | e1071 | 1.7-12 |
| ellipsis | 0.3.2 | evaluate | 0.18 | fansi | 1.0.3 |
| farver | 2.1.1 | fastmap | 1.1.0 | fontawesome | 0.4.0 |
| forcats | 0.5.2 | foreach | 1.5.2 | foreign | 0.8-82 |
| forge | 0.2.0 | fs | 1.5.2 | future | 1.29.0 |
| future.apply | 1.10.0 | gargle | 1.2.1 | generics | 0.1.3 |
| gert | 1.9.1 | ggplot2 | 3.4.0 | gh | 1.3.1 |
| gitcreds | 0.1.2 | glmnet | 4.1-4 | globals | 0.16.1 |
| glue | 1.6.2 | googledrive | 2.0.0 | googlesheets4 | 1.0.1 |
| gower | 1.0.0 | graphics | 4.2.2 | grDevices | 4.2.2 |
| grid | 4.2.2 | gridExtra | 2.3 | gsubfn | 0.7 |
| gtable | 0.3.1 | hardhat | 1.2.0 | haven | 2.5.1 |
| highr | 0.9 | hms | 1.1.2 | htmltools | 0.5.3 |
| htmlwidgets | 1.5.4 | httpuv | 1.6.6 | httr | 1.4.4 |
| ids | 1.0.1 | ini | 0.3.1 | ipred | 0.9-13 |
| isoband | 0.2.6 | iterators | 1.0.14 | jquerylib | 0.1.4 |
| jsonlite | 1.8.3 | KernSmooth | 2.23-20 | knitr | 1.40 |
| labeling | 0.4.2 | later | 1.3.0 | lattice | 0.20-45 |
| lava | 1.7.0 | ライフサイクル | 1.0.3 | listenv | 0.8.0 |
| lubridate | 1.9.0 | magrittr | 2.0.3 | markdown | 1.3 |
| MASS | 7.3-58 | Matrix | 1.5-1 | memoise | 2.0.1 |
| methods | 4.2.2 | mgcv | 1.8-41 | mime | 0.12 |
| miniUI | 0.1.1.1 | ModelMetrics | 1.2.2.2 | modelr | 0.1.9 |
| munsell | 0.5.0 | nlme | 3.1-160 | nnet | 7.3-18 |
| numDeriv | 2016.8-1.1 | openssl | 2.0.4 | parallel | 4.2.2 |
| parallelly | 1.32.1 | pillar | 1.8.1 | pkgbuild | 1.3.1 |
| pkgconfig | 2.0.3 | pkgdown | 2.0.6 | pkgload | 1.3.1 |
| plogr | 0.2.0 | plyr | 1.8.7 | praise | 1.0.0 |
| prettyunits | 1.1.1 | pROC | 1.18.0 | processx | 3.8.0 |
| prodlim | 2019.11.13 | profvis | 0.3.7 | progress | 1.2.2 |
| progressr | 0.11.0 | promises | 1.2.0.1 | proto | 1.0.0 |
| proxy | 0.4-27 | ps | 1.7.2 | purrr | 0.3.5 |
| r2d3 | 0.2.6 | R6 | 2.5.1 | ragg | 1.2.4 |
| randomForest | 4.7-1.1 | rappdirs | 0.3.3 | rcmdcheck | 1.4.0 |
| RColorBrewer | 1.1-3 | Rcpp | 1.0.9 | RcppEigen | 0.3.3.9.3 |
| readr | 2.1.3 | readxl | 1.4.1 | recipes | 1.0.3 |
| rematch | 1.0.1 | rematch2 | 2.1.2 | remotes | 2.4.2 |
| reprex | 2.0.2 | reshape2 | 1.4.4 | rlang | 1.0.6 |
| rmarkdown | 2.18 | RODBC | 1.3-19 | roxygen2 | 7.2.1 |
| rpart | 4.1.19 | rprojroot | 2.0.3 | Rserve | 1.8-11 |
| RSQLite | 2.2.18 | rstudioapi | 0.14 | rversions | 2.1.2 |
| rvest | 1.0.3 | sass | 0.4.2 | scales | 1.2.1 |
| selectr | 0.4-2 | sessioninfo | 1.2.2 | shape | 1.4.6 |
| shiny | 1.7.3 | sourcetools | 0.1.7 | sparklyr | 1.7.8 |
| SparkR | 3.3.1 | spatial | 7.3-11 | splines | 4.2.2 |
| sqldf | 0.4-11 | SQUAREM | 2021.1 | stats | 4.2.2 |
| stats4 | 4.2.2 | stringi | 1.7.8 | stringr | 1.4.1 |
| survival | 3.4-0 | sys | 3.4.1 | systemfonts | 1.0.4 |
| tcltk | 4.2.2 | testthat | 3.1.5 | textshaping | 0.3.6 |
| tibble | 3.1.8 | tidyr | 1.2.1 | tidyselect | 1.2.0 |
| tidyverse | 1.3.2 | timechange | 0.1.1 | timeDate | 4021.106 |
| tinytex | 0.42 | tools | 4.2.2 | tzdb | 0.3.0 |
| urlchecker | 1.0.1 | usethis | 2.1.6 | utf8 | 1.2.2 |
| utils | 4.2.2 | uuid | 1.1-0 | vctrs | 0.5.0 |
| viridisLite | 0.4.1 | vroom | 1.6.0 | waldo | 0.4.0 |
| whisker | 0.4 | withr | 2.5.0 | xfun | 0.34 |
| xml2 | 1.3.3 | xopen | 1.0.0 | xtable | 1.8-4 |
| yaml | 2.3.6 | zip | 2.2.2 |
インストールされている Java ライブラリと Scala ライブラリ (Scala 2.12 クラスター バージョン)
| グループ ID | 成果物 ID | Version |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.189 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.12.189 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.189 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.12.189 |
| com.amazonaws | aws-java-sdk-config | 1.12.189 |
| com.amazonaws | aws-java-sdk-core | 1.12.189 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.12.189 |
| com.amazonaws | aws-java-sdk-directconnect | 1.12.189 |
| com.amazonaws | aws-java-sdk-directory | 1.12.189 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.12.189 |
| com.amazonaws | aws-java-sdk-ec2 | 1.12.189 |
| com.amazonaws | aws-java-sdk-ecs | 1.12.189 |
| com.amazonaws | aws-java-sdk-efs | 1.12.189 |
| com.amazonaws | aws-java-sdk-elasticache | 1.12.189 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.189 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.189 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.189 |
| com.amazonaws | aws-java-sdk-emr | 1.12.189 |
| com.amazonaws | aws-java-sdk-glacier | 1.12.189 |
| com.amazonaws | aws-java-sdk-glue | 1.12.189 |
| com.amazonaws | aws-java-sdk-iam | 1.12.189 |
| com.amazonaws | aws-java-sdk-importexport | 1.12.189 |
| com.amazonaws | aws-java-sdk-kinesis | 1.12.189 |
| com.amazonaws | aws-java-sdk-kms | 1.12.189 |
| com.amazonaws | aws-java-sdk-lambda | 1.12.189 |
| com.amazonaws | aws-java-sdk-logs | 1.12.189 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.12.189 |
| com.amazonaws | aws-java-sdk-opsworks | 1.12.189 |
| com.amazonaws | aws-java-sdk-rds | 1.12.189 |
| com.amazonaws | aws-java-sdk-redshift | 1.12.189 |
| com.amazonaws | aws-java-sdk-route53 | 1.12.189 |
| com.amazonaws | aws-java-sdk-s3 | 1.12.189 |
| com.amazonaws | aws-java-sdk-ses | 1.12.189 |
| com.amazonaws | aws-java-sdk-simpledb | 1.12.189 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.189 |
| com.amazonaws | aws-java-sdk-sns | 1.12.189 |
| com.amazonaws | aws-java-sdk-sqs | 1.12.189 |
| com.amazonaws | aws-java-sdk-ssm | 1.12.189 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.12.189 |
| com.amazonaws | aws-java-sdk-sts | 1.12.189 |
| com.amazonaws | aws-java-sdk-support | 1.12.189 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.12.189 |
| com.amazonaws | jmespath-java | 1.12.189 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | ストリーム (stream) | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations | 2.13.4 |
| com.fasterxml.jackson.core | jackson-core | 2.13.4 |
| com.fasterxml.jackson.core | jackson-databind | 2.13.4.2 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.13.4 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.13.4 |
| com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.13.4 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.13.4 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.13.4 |
| com.github.ben-manes.caffeine | caffeine | 2.3.4 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | core | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.luben | zstd-jni | 1.5.2-1 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.8.6 |
| com.google.crypto.tink | tink | 1.6.1 |
| com.google.flatbuffers | flatbuffers-java | 1.12.0 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 2.0.204 |
| com.helger | profiler | 1.1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.ning | compress-lzf | 1.1 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.12 | 0.10.0 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.uber | h3 | 3.7.0 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| commons-cli | commons-cli | 1.5.0 |
| commons-codec | commons-codec | 1.15 |
| commons-collections | commons-collections | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-fileupload | commons-fileupload | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.11.0 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-pool | commons-pool | 1.5.4 |
| dev.ludovic.netlib | arpack | 2.2.1 |
| dev.ludovic.netlib | blas | 2.2.1 |
| dev.ludovic.netlib | lapack | 2.2.1 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0.21 |
| io.delta | delta-sharing-spark_2.12 | 0.5.2 |
| io.dropwizard.metrics | metrics-core | 4.1.1 |
| io.dropwizard.metrics | metrics-graphite | 4.1.1 |
| io.dropwizard.metrics | metrics-healthchecks | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | metrics-jmx | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | metrics-jvm | 4.1.1 |
| io.dropwizard.metrics | metrics-servlets | 4.1.1 |
| io.netty | netty-all | 4.1.74.Final |
| io.netty | netty-buffer | 4.1.74.Final |
| io.netty | netty-codec | 4.1.74.Final |
| io.netty | netty-common | 4.1.74.Final |
| io.netty | netty-handler | 4.1.74.Final |
| io.netty | netty-resolver | 4.1.74.Final |
| io.netty | netty-tcnative-classes | 2.0.48.Final |
| io.netty | netty-transport | 4.1.74.Final |
| io.netty | netty-transport-classes-epoll | 4.1.74.Final |
| io.netty | netty-transport-classes-kqueue | 4.1.74.Final |
| io.netty | netty-transport-native-epoll-linux-aarch_64 | 4.1.74.Final |
| io.netty | netty-transport-native-epoll-linux-x86_64 | 4.1.74.Final |
| io.netty | netty-transport-native-kqueue-osx-aarch_64 | 4.1.74.Final |
| io.netty | netty-transport-native-kqueue-osx-x86_64 | 4.1.74.Final |
| io.netty | netty-transport-native-unix-common | 4.1.74.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | コレクタ | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | activation | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | transaction-api | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.11 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.10.13 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | pickle | 1.2 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.13.22 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.8 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | arrow-format | 7.0.0 |
| org.apache.arrow | arrow-memory-core | 7.0.0 |
| org.apache.arrow | arrow-memory-netty | 7.0.0 |
| org.apache.arrow | arrow-vector | 7.0.0 |
| org.apache.avro | avro | 1.11.0 |
| org.apache.avro | avro-ipc | 1.11.0 |
| org.apache.avro | avro-mapred | 1.11.0 |
| org.apache.commons | commons-collections4 | 4.4. |
| org.apache.commons | commons-compress | 1.21 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.12.0 |
| org.apache.commons | commons-math3 | 3.6.1 |
| org.apache.commons | commons-text | 1.10.0 |
| org.apache.curator | curator-client | 2.13.0 |
| org.apache.curator | curator-framework | 2.13.0 |
| org.apache.curator | curator-recipes | 2.13.0 |
| org.apache.derby | derby | 10.14.2.0 |
| org.apache.hadoop | hadoop-client-api | 3.3.4-databricks |
| org.apache.hadoop | hadoop-client-runtime | 3.3.4 |
| org.apache.hive | hive-beeline | 2.3.9 |
| org.apache.hive | hive-cli | 2.3.9 |
| org.apache.hive | hive-jdbc | 2.3.9 |
| org.apache.hive | hive-llap-client | 2.3.9 |
| org.apache.hive | hive-llap-common | 2.3.9 |
| org.apache.hive | hive-serde | 2.3.9 |
| org.apache.hive | hive-shims | 2.3.9 |
| org.apache.hive | hive-storage-api | 2.7.2 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
| org.apache.hive.shims | hive-shims-common | 2.3.9 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
| org.apache.httpcomponents | httpclient | 4.5.13 |
| org.apache.httpcomponents | httpcore | 4.4.14 |
| org.apache.ivy | ivy | 2.5.0 |
| org.apache.logging.log4j | log4j-1.2-api | 2.18.0 |
| org.apache.logging.log4j | log4j-api | 2.18.0 |
| org.apache.logging.log4j | log4j-core | 2.18.0 |
| org.apache.logging.log4j | log4j-slf4j-impl | 2.18.0 |
| org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
| org.apache.orc | orc-core | 1.7.6 |
| org.apache.orc | orc-mapreduce | 1.7.6 |
| org.apache.orc | orc-shims | 1.7.6 |
| org.apache.parquet | parquet-column | 1.12.3-databricks-0001 |
| org.apache.parquet | parquet-common | 1.12.3-databricks-0001 |
| org.apache.parquet | parquet-encoding | 1.12.3-databricks-0001 |
| org.apache.parquet | parquet-format-structures | 1.12.3-databricks-0001 |
| org.apache.parquet | parquet-hadoop | 1.12.3-databricks-0001 |
| org.apache.parquet | parquet-jackson | 1.12.3-databricks-0001 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.xbean | xbean-asm9-shaded | 4.20 |
| org.apache.yetus | audience-annotations | 0.13.0 |
| org.apache.zookeeper | zookeeper | 3.6.2 |
| org.apache.zookeeper | zookeeper-jute | 3.6.2 |
| org.checkerframework | checker-qual | 3.5.0 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-continuation | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-http | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-io | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-jndi | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-plus | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-proxy | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-security | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-server | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-servlet | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-servlets | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-util | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-webapp | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-xml | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-api | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-client | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-common | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-server | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-servlet | 9.4.46.v20220331 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.36 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.36 |
| org.glassfish.jersey.core | jersey-client | 2.36 |
| org.glassfish.jersey.core | jersey-common | 2.36 |
| org.glassfish.jersey.core | jersey-server | 2.36 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.36 |
| org.hibernate.validator | hibernate-validator | 6.1.0.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jetbrains | annotations | 17.0.0 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
| org.json4s | json4s-core_2.12 | 3.7.0-M11 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
| org.lz4 | lz4-java | 1.8.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.7.4 |
| org.mlflow | mlflow-spark | 1.27.0 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.3.3 |
| org.roaringbitmap | RoaringBitmap | 0.9.25 |
| org.roaringbitmap | shims | 0.9.25 |
| org.rocksdb | rocksdbjni | 6.24.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.14 |
| org.scala-lang | scala-library_2.12 | 2.12.14 |
| org.scala-lang | scala-reflect_2.12 | 2.12.14 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.4.3 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 1.2 |
| org.scalanlp | breeze_2.12 | 1.2 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.36 |
| org.slf4j | jul-to-slf4j | 1.7.36 |
| org.slf4j | slf4j-api | 1.7.36 |
| org.spark-project.spark | 未使用 | 1.0.0 |
| org.threeten | threeten-extra | 1.5.0 |
| org.tukaani | xz | 1.8 |
| org.typelevel | algebra_2.12 | 2.0.1 |
| org.typelevel | cats-kernel_2.12 | 2.1.1 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0 |
| org.typelevel | spire-platform_2.12 | 0.17.0 |
| org.typelevel | spire-util_2.12 | 0.17.0 |
| org.typelevel | spire_2.12 | 0.17.0 |
| org.wildfly.openssl | wildfly-openssl | 1.0.7.Final |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.8.4 |
| org.yaml | snakeyaml | 1.24 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |