Databricks Runtime 8.4 (EoS)
Note
この Databricks Runtime バージョンのサポートは終了しました。 サポート終了日については、「サポート終了の履歴」を参照してください。 サポートされている Databricks Runtime のすべてのバージョンについては、「Databricks Runtime リリース ノートのバージョンと互換性」を参照してください。
次のリリース ノートには、Apache Spark 3.1.2 で稼働する Databricks Runtime 8.4 と Databricks Runtime 8.4 Photon に関する情報が記載されています。 Databricks は、2021 年 7 月にこのバージョンをリリースしました。 Photon はパブリック プレビュー段階にあります。
新機能と機能強化
Delta Lake の機能と機能強化
- Delta テーブルの変更データ フィード (GA)
- Databricks Runtime を使用して共有 Delta テーブルを簡単に読み込む
- 動的なファイルの排除を活用できるテーブルの追加
- ターゲット ファイルサイズの自動チューニングによるパフォーマンスの向上
DeltaTable.forNameでテーブルを指定する方法の追加foreachBatchを使用した堅牢な複数テーブルのストリーミング書き込み- チェックポイントの調整による特定のワークロードでの読み取りクエリのパフォーマンス向上
GroupStateを作成してユーザー定義の構造化ストリーミング関数をテスト
Delta テーブルの変更データ フィード (GA)
Delta テーブルの変更データ フィードが一般提供されました。 これは、テーブルの異なるバージョン間の行レベルの変更を表します。 有効にすると、テーブルに対する書き込み操作ごとに行レベルの変更に関する追加情報が記録されます。 「Azure Databricks で Delta Lake 変更データ フィードを使用する」を参照してください。
Databricks Runtime を使用して共有 Delta テーブルを簡単に読み込む
Delta Sharing 0.1.0 用の Apache Spark コネクタが Databricks Runtime に付属するようになりました。 Delta Sharing の Spark コネクタをクラスターにアタッチせずに、spark.read.format("deltaSharing").load(uri) を使用して共有テーブルを直接読み込むことができます。
動的なファイルの排除を活用できるテーブルの追加
動的なファイルの排除機能が、ファイル数が少ないテーブルに対してトリガーするように調整されました。 「動的なファイルの排除」を参照してください。
ターゲット ファイルサイズの自動チューニングによるパフォーマンスの向上
Delta テーブルのターゲット ファイル サイズが、テーブルのサイズに基づいて自動的に調整されるようになりました。 以前は、OPTIMIZE と OPTIMIZE ZORDER BY のターゲット ファイル サイズは 1 GB でした。 テーブル サイズに基づく自動調整を使用すると、最大 2.56 TB の Delta テーブルではターゲット サイズとして 256 MB が使用されます。 10 TB を超えるテーブルでは、以前と同じ 1 GB が使用されます。 これらの間のサイズのテーブルで使用されるターゲット サイズは、テーブル サイズに比例して増大します。
「データ ファイル サイズを制御するように Delta Lake を構成する」を参照してください。
DeltaTable.forName でテーブルを指定する方法の追加
DeltaTable.forName で、delta.`<path>` を使用してテーブルを特定できるようになりました。
foreachBatch を使用した堅牢な複数テーブルのストリーミング書き込み
foreachBatch() コマンド内でべき等差分ストリーミング書き込みがサポートされるようになりました。 詳細については、「べき等な複数テーブルの書き込み」を参照してください。
チェックポイントの調整による特定のワークロードでの読み取りクエリのパフォーマンス向上
Delta Lake で拡張チェックポイントを実行する頻度が調整されるようになりました。 Delta で、固定の間隔でチェックポイント処理が行われるのではなく、特定のイベント トリガーに基づいてチェックポイントの頻度が動的に調整されるようになりました。 これにより、一部のデータ スキップ最適化をこれまで適用できなかったワークロードでの読み取りクエリのパフォーマンスが向上します。 この最適化を使用するには、Delta Lake に書き込むジョブを Databricks Runtime 8.4 にアップグレードしてください。 「構造化ストリーミング クエリの拡張チェックポイントを有効にする」を参照してください。
GroupState を作成してユーザー定義の構造化ストリーミング関数をテスト
これまでは、構造化ストリーミング エンジンのみが GroupState のインスタンスを作成できました。 そのため、ユーザー定義関数のすべての単体テストは、Apache Spark でストリーミング クエリを実行する必要がありました。
TestGroupState.create(…) を使用して GroupState のインスタンスを作成できるようになりました。 これにより、Spark の実行を必要としない単純な単体テストでユーザー定義関数をテストできます。 mapGroupsWithState 更新関数のテストに関するページを参照してください。 具体的には、インターフェイス GroupState を拡張して、ユーザー定義関数が適用された後の内部状態を調べるメソッドを追加した型 TestGroupState のインスタンスを生成します。
自動ローダーの機能と機能強化
不足しているファイルをキャプチャするためのバックフィルの構成
自動ローダーでは、バックフィルを非同期的に実行して、ファイル通知で見つからなかった可能性のあるファイルをキャプチャする機能がサポートされるようになりました。 ファイル ストレージ システムと通知システムでは、すべてのファイル イベントの 100% の配信を保証することはできません。 そのため、Databricks では、定期的なバックフィルを有効にし、自動ローダーを使用してすべてのデータをキャプチャする方法をお勧めします。 データに対する定期的なバックフィルをスケジュールするには、cloudFiles.backfillInterval オプションを使用します。 「一般的な自動ローダー オプション」を参照してください。
大容量ストリームに対するストレージ占有領域の制限
チェックポイントの場所のストレージ占有領域を制限するために、RocksDB のエントリを期限切れにして削除するように自動ローダーを構成できるようになりました。 Databricks では、1 時間に数百万ファイル単位のデータを取り込む場合でない限り、使用を推奨しません。 このオプションを誤って設定するか、調整を試みると、処理が厳密に 1 回のみ行われるのではなく、未処理のファイルが無視されたり、一部のファイルが重複したりするなど、多くのデータ品質の問題が発生する可能性があります。 詳細については、「イベントの保持」を参照してください。
パスなしサポートによる簡略化された構成
S3 バケット
複数のパスまたは S3 バケットからイベントを受信する SQS キューを指定できるようになりました。
SQS キュー URL を指定した場合、このユース ケースでは path オプションは必要ありません。
自動ローダーは、S3 イベントのバケットとキーを使用して S3 パスを構築します。 DBFS マウント ポイント経由でファイルを読み取る場合は、cloudFiles.pathRewrites を使用してパス プレフィックスを DBFS に変更できます。 AssumeRole を使用して異なるアカウントのデータにアクセスする場合でない限り、これは必要ありません。
「ファイル通知オプション」を参照してください。
Azure Data Lake Storage Gen2 コンテナー
複数のコンテナーからイベントを受信する Azure キューを指定できるようになりました。
Azure キュー名を指定する場合、path オプションは必要ありません。
既定では、自動ローダーは、ファイル イベントのコンテナーとキーを使用して、Azure Data Lake Storage Gen2 パスを構築します。
WASB パスまたは DBFS マウント ポイントを使用する場合は、cloudFiles.pathRewrites を使用してパス プレフィックスを変更できます。
「ファイル通知オプション」を参照してください。
コネクタのアップグレード
- Snowflake Spark コネクタが v2.9.0 に更新されました。
- Redshift コネクタの
UNLOADステートメントで KMS 暗号化がサポートされるようになりました。
バグの修正
- テーブル アクセス制御が有効になっているクラスターで、ユーザーにファイル アクセス許可がない場合でも
select * from folderによりフォルダーの内容を表示できる問題を修正しました。 - 管理者以外のデータベース所有者が、データベース内の非所有テーブルを削除できるようになりました。 これにより、非所有テーブルがデータベースに存在する場合にデータベース所有者がデータベースを削除できなかった問題が修正されます。
ライブラリのアップグレード
- アップグレードされた Python ライブラリ:
- certifi が 2020.12.5 から 2021.5.30 にアップグレードされました
- distill が 0.3.1 から 0.3.2 にアップグレードされました
- koalas が 1.8.0 から 1.8.1 にアップグレードされました
- protobuf が 3.17.0 から 3.17.3 にアップグレードされました
- アップグレードされた R ライブラリ:
- base が 4.0.4 から 4.1.0 に
- boot が 1.3-27 から 1.3-28 に
- class が 7.3-18 から 7.3-19 に
- cluster が 2.1.1 から 2.1.2 に
- compiler が 4.0.4 から 4.1.0 に
- datasets が 4.0.4 から 4.1.0 に
- graphics が 4.0.4 から 4.1.0 に
- grDevices が 4.0.4 から 4.1.0 に
- grid が 4.0.4 から 4.1.0 に
- KernSmooth が 2.23-18 から 2.23-20 に
- lattice が 0.20-41 から 0.20-44 に
- MASS が 7.3-53.1 から 7.3-54 に
- Matrix が 1.3-2 から 1.3-3 に
- methods が 4.0.4 から 4.1.0 に
- mgcv が 1.8-33 から 1.8-35 に
- nnet が 7.3-15 から 7.3-16 に
- parallel が 4.0.4 から 4.1.0 に
- Rserve が 1.8-7 から 1.8-8 に
- SparkR が 3.1.1 から 3.1.2 に
- splines が 4.0.4 から 4.1.0 に
- stats が 4.0.4 から 4.1.0 に
- stats4 が 4.0.4 から 4.1.0 に
- survival が 3.2-7 から 3.2-11 に
- tcltk が 4.0.4 から 4.1.0 に
- tools が 4.0.4 から 4.1.0 に
- utils が 4.0.4 から 4.1.0 に
- アップグレードされた Java ライブラリ:
- snowflake-jdbc が 3.12.8 から 3.13.3 に
- spark-snowflake_2.12 が 2.8.1-spark_3.0 から 2.9.0-spark_3.1 に
- RoaringBitmap が 0.9.0 から 0.9.14 に
- shims が 0.9.0 から 0.9.14 に
- rocksdbjni が 6.2.2 から 6.20.3 に
Apache Spark
Databricks Runtime 8.4 には、Apache Spark 3.1.2 が含まれています。 このリリースには、Databricks Runtime 8.3 (EoS) に含まれている Spark の修正プログラムと改善すべてに加えて、Spark に対して行われた次のバグ修正と改善が含まれています。
- [SPARK-35792] [SQL] ビューは
RelationConversionsで使用される構成をキャプチャしない - [SPARK-35700][SQL] 外部システムによって作成され、書き込まれた char/varchar ORC テーブルの読み取り
- [SPARK-35636] [SQL] ラムダ キーをラムダ関数の外部で参照しない
- [SPARK-35800] [Cherry Pick] TestGroupState の導入による GroupState のテストの容易性の向上
- [SPARK-35391] ExecutorAllocationListener のメモリ リークの修正
- [SPARK-35799] [CherryPick] FlatMapGroupsWithStateExec での allUpdatesTimeMs メトリック測定の修正
- [SPARK-35763] [SS] StateStoreCustomMetric サブクラス列挙の依存関係の削除
- [SPARK-35791 [SQL] NULL 値対応の ANTI 結合に対して進行中のマップを適切に解放
- [SPARK-35695] [SQL] キャッシュと、アダプティブ実行のサブツリーから観測されたメトリックを収集
- [SPARK-35767] [SQL] CoalesceExec での子プランの 2 回実行の回避
- [SPARK-35746] [UI] ステージ ページのタスク イベントのタイムラインの taskid を修正
- [SPARK-35673] [SQL] サブクエリでのユーザー定義のヒントと認識されないヒントを修正
- [SPARK-35714] [CORE] 実行プログラムのシャットダウン中のデッドロックのバグ修正
- [SPARK-35689] [SS] keyWithIndexToValue が null 値を返したときにログ警告を追加
- [SPARK-35589] [CORE] [3.1] BlockManagerMasterEndpoint が更新中にインデックスのみのシャッフル ファイルを無視しない
- [SPARK-35643] [PYTHON] functions.py column () のあいまいな参照を修正
- [SPARK-35652] [SQL] 同じものから生成された 2 つのテーブルの joinwith
- [SPARK-35679] [SQL] instantToMicros のオーバーフロー
- [SPARK-35602] [SS] 長さの長い JSON を受け入れることができるように状態スキーマを更新
- [SPARK-35653] [SQL] ケース クラスがキーまたは値としてマップされていると CatalystToExternalMap で解釈されたパスがエラーになる問題を修正
- [SPARK-35296] [SQL] タスクの CollectMetricsExec が複数のパーティションを処理しても Dataset.observe が機能できるようにする
- [SPARK-35659] [SS] null を StateStore に書き込まないようする
- [SPARK-35665] [SQL] CollectMetrics での UnresolvedAlias を解決
- [SPARK-35558] 複数の分位点取得のために最適化
- [SPARK-35621] [SQL] ルール ID の排除を TypeCoercion ルールに追加
- [SPARK-35077] [SQL] 残りのオプティマイザー ルールについて transformWithPruning に移行
- [SPARK-35610] [CORE] 実行プログラムの停止シャットダウン フックによって導入されたメモリ リークを修正
- [SPARK-35544] [SQL] アナライザー ルールにツリー パターン排除を追加
- [SPARK-35566] [SS] StateStoreRestoreExec 出力行を修正
- [SPARK-35454] [SQL] [3.1] 1 つの LogicalPlan を複数のデータセット ID と対応させることができる
- [SPARK-35538] [SQL] transformAllExpressionsWithPruning を使用するように transformAllExpressions 呼び出しサイトを移行
- [SPARK-35106] [Core] [SQL] 宛先ディレクトリが存在しないことによる名前変更の失敗を回避
- [SPARK-35287] [SQL] DataSourceV2ScanRelation に対する UnsafeRow を生成する ProjectExec を RemoveRedundantProjects が保持できるようにする
- [SPARK-35495] [R] CRAN に対する SparkR メンテナンス ツールを変更
- [SPARK-27991] [CORE] Netty OOM に対するフェッチ要求を遅延
- [SPARK-35171] [R] マークダウン パッケージを SparkR パッケージの依存関係として宣言
- [SPARK-35454] [SQL] 1 つの LogicalPlan を複数のデータセット ID と対応させることができる
- [SPARK-35298] [SQL] Optimizer.scala 内のルールについて transformWithPruning に移行
- [SPARK-35480] [SQL] percentile_approx がピボットで機能するようにする
- [SPARK-35093] [SQL] AQE が再利用のためにキャッシュされたやりとりを検索するためのキーとして newQueryStage プランを使用
- [SPARK-35146] [SQL] finishAnalysis.scala 内のルールについて transformWithPruning または resolveWithPruning に移行
- [SPARK-35411] [SQL] TreeNode を json にシリアル化するときに必要な情報を追加
- [SPARK-35294] [SQL] オプティマイザーで専用ファイルを使用したツリー トラバーサルの排除をルールに追加
- [SPARK-34897] [SQL] [3.1] 入れ子になった列の排除後のインデックスに基づいたスキーマ調整のサポート
- [SPARK-35144] [SQL] オブジェクトルールについて transformWithPruning に移行
- [SPARK-35155] [SQL] アナライザー ルールにルール ID の排除を追加
- [SPARK-35382] [Python] Python API の入れ子になったデータフレーム関数でのラムダ変数名の問題を修正
- [SPARK-35359] [SQL] char/varchar データ型を使用したデータ挿入が長さの制限を超えたときに失敗する
- [SPARK-35381] [R] R API の入れ子になった上位の関数のラムダ変数名の問題を修正
システム環境
- オペレーティング システム: Ubuntu 18.04.5 LTS
- Java: Zulu 8.54.0.21-CA-linux64
- Scala: 2.12.10
- Python: 3.8.8
- R: 4.1.0 (2021-05-18)
- Delta Lake 1.0.0
インストールされている Python ライブラリ
| ライブラリ | Version | ライブラリ | Version | ライブラリ | Version |
|---|---|---|---|---|---|
| appdirs | 1.4.4 | asn1crypto | 1.4.0 | backcall | 0.2.0 |
| boto3 | 1.16.7 | botocore | 1.19.7 | brotlipy | 0.7.0 |
| certifi | 2021.5.30 | cffi | 1.14.3 | chardet | 3.0.4 |
| cryptography | 3.1.1 | cycler | 0.10.0 | Cython | 0.29.21 |
| decorator | 4.4.2 | distlib | 0.3.2 | docutils | 0.15.2 |
| entrypoints | 0.3 | facets-overview | 1.0.0 | filelock | 3.0.12 |
| idna | 2.10 | ipykernel | 5.3.4 | ipython | 7.19.0 |
| ipython-genutils | 0.2.0 | jedi | 0.17.2 | jmespath | 0.10.0 |
| joblib | 0.17.0 | jupyter-client | 6.1.7 | jupyter-core | 4.6.3 |
| kiwisolver | 1.3.0 | koalas | 1.8.1 | matplotlib | 3.2.2 |
| numpy | 1.19.2 | pandas | 1.1.5 | parso | 0.7.0 |
| patsy | 0.5.1 | pexpect | 4.8.0 | pickleshare | 0.7.5 |
| pip | 20.2.4 | plotly | 4.14.3 | prompt-toolkit | 3.0.8 |
| protobuf | 3.17.3 | psycopg2 | 2.8.5 | ptyprocess | 0.6.0 |
| pyarrow | 1.0.1 | pycparser | 2.20 | Pygments | 2.7.2 |
| pyOpenSSL | 19.1.0 | pyparsing | 2.4.7 | PySocks | 1.7.1 |
| python-dateutil | 2.8.1 | pytz | 2020.5 | pyzmq | 19.0.2 |
| requests | 2.24.0 | retrying | 1.3.3 | s3transfer | 0.3.6 |
| scikit-learn | 0.23.2 | scipy | 1.5.2 | seaborn | 0.10.0 |
| setuptools | 50.3.1 | 6 | 1.15.0 | statsmodels | 0.12.0 |
| threadpoolctl | 2.1.0 | tornado | 6.0.4 | traitlets | 5.0.5 |
| urllib3 | 1.25.11 | virtualenv | 20.2.1 | wcwidth | 0.2.5 |
| wheel | 0.35.1 |
インストールされている R ライブラリ
R ライブラリは、2020 年 11 月 2 日の Microsoft CRAN スナップショットからインストールされています。
| ライブラリ | Version | ライブラリ | Version | ライブラリ | Version |
|---|---|---|---|---|---|
| askpass | 1.1 | assertthat | 0.2.1 | backports | 1.2.1 |
| base | 4.1.0 | base64enc | 0.1-3 | BH | 1.72.0-3 |
| bit | 4.0.4 | bit64 | 4.0.5 | blob (blob) | 1.2.1 |
| boot | 1.3-28 | brew | 1.0-6 | brio | 1.1.0 |
| broom | 0.7.2 | callr | 3.5.1 | キャレット | 6.0-86 |
| cellranger | 1.1.0 | chron | 2.3-56 | class | 7.3-19 |
| cli | 2.2.0 | clipr | 0.7.1 | cluster | 2.1.2 |
| codetools | 0.2-18 | colorspace | 2.0-0 | commonmark | 1.7 |
| compiler | 4.1.0 | config | 0.3 | covr | 3.5.1 |
| cpp11 | 0.2.4 | crayon | 1.3.4 | 資格情報 | 1.3.0 |
| crosstalk | 1.1.0.1 | curl | 4.3 | data.table | 1.13.4 |
| datasets | 4.1.0 | DBI | 1.1.0 | dbplyr | 2.0.0 |
| desc | 1.2.0 | devtools | 2.3.2 | diffobj | 0.3.2 |
| digest | 0.6.27 | dplyr | 1.0.2 | DT | 0.16 |
| ellipsis | 0.3.1 | evaluate | 0.14 | fansi | 0.4.1 |
| farver | 2.0.3 | fastmap | 1.0.1 | forcats | 0.5.0 |
| foreach | 1.5.1 | foreign | 0.8-81 | forge | 0.2.0 |
| fs | 1.5.0 | future | 1.21.0 | generics | 0.1.0 |
| gert | 1.0.2 | ggplot2 | 3.3.2 | gh | 1.2.0 |
| gitcreds | 0.1.1 | glmnet | 4.0-2 | globals | 0.14.0 |
| glue | 1.4.2 | gower | 0.2.2 | graphics | 4.1.0 |
| grDevices | 4.1.0 | grid | 4.1.0 | gridExtra | 2.3 |
| gsubfn | 0.7 | gtable | 0.3.0 | haven | 2.3.1 |
| highr | 0.8 | hms | 0.5.3 | htmltools | 0.5.0 |
| htmlwidgets | 1.5.3 | httpuv | 1.5.4 | httr | 1.4.2 |
| hwriter | 1.3.2 | hwriterPlus | 1.0-3 | ini | 0.3.1 |
| ipred | 0.9-9 | isoband | 0.2.3 | iterators | 1.0.13 |
| jsonlite | 1.7.2 | KernSmooth | 2.23-20 | knitr | 1.30 |
| labeling | 0.4.2 | later | 1.1.0.1 | lattice | 0.20-44 |
| lava | 1.6.8.1 | lazyeval | 0.2.2 | ライフサイクル | 0.2.0 |
| listenv | 0.8.0 | lubridate | 1.7.9.2 | magrittr | 2.0.1 |
| markdown | 1.1 | MASS | 7.3-54 | Matrix | 1.3-3 |
| memoise | 1.1.0 | methods | 4.1.0 | mgcv | 1.8-35 |
| mime | 0.9 | ModelMetrics | 1.2.2.2 | modelr | 0.1.8 |
| munsell | 0.5.0 | nlme | 3.1-152 | nnet | 7.3-16 |
| numDeriv | 2016.8-1.1 | openssl | 1.4.3 | parallel | 4.1.0 |
| parallelly | 1.22.0 | pillar | 1.4.7 | pkgbuild | 1.1.0 |
| pkgconfig | 2.0.3 | pkgload | 1.1.0 | plogr | 0.2.0 |
| plyr | 1.8.6 | praise | 1.0.0 | prettyunits | 1.1.1 |
| pROC | 1.16.2 | processx | 3.4.5 | prodlim | 2019.11.13 |
| progress | 1.2.2 | promises | 1.1.1 | proto | 1.0.0 |
| ps | 1.5.0 | purrr | 0.3.4 | r2d3 | 0.2.3 |
| R6 | 2.5.0 | randomForest | 4.6-14 | rappdirs | 0.3.1 |
| rcmdcheck | 1.3.3 | RColorBrewer | 1.1-2 | Rcpp | 1.0.5 |
| readr | 1.4.0 | readxl | 1.3.1 | recipes | 0.1.15 |
| rematch | 1.0.1 | rematch2 | 2.1.2 | remotes | 2.2.0 |
| reprex | 0.3.0 | reshape2 | 1.4.4 | rex | 1.2.0 |
| rlang | 0.4.9 | rmarkdown | 2.6 | RODBC | 1.3-17 |
| roxygen2 | 7.1.1 | rpart | 4.1-15 | rprojroot | 2.0.2 |
| Rserve | 1.8-8 | RSQLite | 2.2.1 | rstudioapi | 0.13 |
| rversions | 2.0.2 | rvest | 0.3.6 | scales | 1.1.1 |
| selectr | 0.4-2 | sessioninfo | 1.1.1 | shape | 1.4.5 |
| shiny | 1.5.0 | sourcetools | 0.1.7 | sparklyr | 1.5.2 |
| SparkR | 3.1.1 | spatial | 7.3-11 | splines | 4.1.0 |
| sqldf | 0.4-11 | SQUAREM | 2020.5 | stats | 4.1.0 |
| stats4 | 4.1.0 | stringi | 1.5.3 | stringr | 1.4.0 |
| survival | 3.2-11 | sys | 3.4 | tcltk | 4.1.0 |
| TeachingDemos | 2.10 | testthat | 3.0.0 | tibble | 3.0.4 |
| tidyr | 1.1.2 | tidyselect | 1.1.0 | tidyverse | 1.3.0 |
| timeDate | 3043.102 | tinytex | 0.28 | tools | 4.1.0 |
| usethis | 2.0.0 | utf8 | 1.1.4 | utils | 4.1.0 |
| uuid | 0.1-4 | vctrs | 0.3.5 | viridisLite | 0.3.0 |
| waldo | 0.2.3 | whisker | 0.4 | withr | 2.3.0 |
| xfun | 0.19 | xml2 | 1.3.2 | xopen | 1.0.0 |
| xtable | 1.8-4 | yaml | 2.2.1 | zip | 2.1.1 |
インストールされている Java ライブラリと Scala ライブラリ (Scala 2.12 クラスター バージョン)
| グループ ID | 成果物 ID | Version |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.655 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.655 |
| com.amazonaws | aws-java-sdk-config | 1.11.655 |
| com.amazonaws | aws-java-sdk-core | 1.11.655 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.655 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.655 |
| com.amazonaws | aws-java-sdk-directory | 1.11.655 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.655 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.655 |
| com.amazonaws | aws-java-sdk-efs | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.655 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.655 |
| com.amazonaws | aws-java-sdk-emr | 1.11.655 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.655 |
| com.amazonaws | aws-java-sdk-glue | 1.11.655 |
| com.amazonaws | aws-java-sdk-iam | 1.11.655 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.655 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.655 |
| com.amazonaws | aws-java-sdk-kms | 1.11.655 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.655 |
| com.amazonaws | aws-java-sdk-logs | 1.11.655 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.655 |
| com.amazonaws | aws-java-sdk-marketplacemeteringservice | 1.11.655 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.655 |
| com.amazonaws | aws-java-sdk-rds | 1.11.655 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.655 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.655 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ses | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.655 |
| com.amazonaws | aws-java-sdk-sns | 1.11.655 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.655 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.655 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.655 |
| com.amazonaws | aws-java-sdk-sts | 1.11.655 |
| com.amazonaws | aws-java-sdk-support | 1.11.655 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.655 |
| com.amazonaws | jmespath-java | 1.11.655 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | ストリーム (stream) | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations | 2.10.0 |
| com.fasterxml.jackson.core | jackson-core | 2.10.0 |
| com.fasterxml.jackson.core | jackson-databind | 2.10.0 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.10.0 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.10.0 |
| com.github.ben-manes.caffeine | caffeine | 2.3.4 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | core | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.joshelser | dropwizard-metrics-hadoop-metrics2-reporter | 0.1.2 |
| com.github.luben | zstd-jni | 1.4.8-1 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.flatbuffers | flatbuffers-java | 1.9.0 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 1.4.195 |
| com.helger | profiler | 1.1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 9.2.1.jre8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.9.5 |
| com.twitter | chill_2.12 | 0.9.5 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.9.4 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1.10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-fileupload | commons-fileupload | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| hive-2.3__hadoop-2.7 | jets3t-0.7 | liball_deps_2.12 |
| hive-2.3__hadoop-2.7 | zookeeper-3.4 | liball_deps_2.12 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0.10 |
| io.delta | delta-sharing-spark_2.12 | 0.1.0 |
| io.dropwizard.metrics | metrics-core | 4.1.1 |
| io.dropwizard.metrics | metrics-graphite | 4.1.1 |
| io.dropwizard.metrics | metrics-healthchecks | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | metrics-jmx | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | metrics-jvm | 4.1.1 |
| io.dropwizard.metrics | metrics-servlets | 4.1.1 |
| io.netty | netty-all | 4.1.51.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | コレクタ | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | activation | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | transaction-api | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.10.5 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| maven-trees | hive-2.3__hadoop-2.7 | liball_deps_2.12 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | pyrolite | 4.30 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.13.3 |
| net.snowflake | spark-snowflake_2.12 | 2.9.0-spark_3.1 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.8-1 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | arrow-format | 2.0.0 |
| org.apache.arrow | arrow-memory-core | 2.0.0 |
| org.apache.arrow | arrow-memory-netty | 2.0.0 |
| org.apache.arrow | arrow-vector | 2.0.0 |
| org.apache.avro | avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.commons | commons-compress | 1.20 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.10 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.commons | commons-text | 1.6 |
| org.apache.curator | curator-client | 2.7.1 |
| org.apache.curator | curator-framework | 2.7.1 |
| org.apache.curator | curator-recipes | 2.7.1 |
| org.apache.derby | derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-annotations | 2.7.4 |
| org.apache.hadoop | hadoop-auth | 2.7.4 |
| org.apache.hadoop | hadoop-client | 2.7.4 |
| org.apache.hadoop | hadoop-common | 2.7.4 |
| org.apache.hadoop | hadoop-hdfs | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.4 |
| org.apache.hive | hive-beeline | 2.3.7 |
| org.apache.hive | hive-cli | 2.3.7 |
| org.apache.hive | hive-jdbc | 2.3.7 |
| org.apache.hive | hive-llap-client | 2.3.7 |
| org.apache.hive | hive-llap-common | 2.3.7 |
| org.apache.hive | hive-serde | 2.3.7 |
| org.apache.hive | hive-shims | 2.3.7 |
| org.apache.hive | hive-storage-api | 2.7.2 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.7 |
| org.apache.hive.shims | hive-shims-common | 2.3.7 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.7 |
| org.apache.htrace | htrace-core | 3.1.0-incubating |
| org.apache.httpcomponents | httpclient | 4.5.6 |
| org.apache.httpcomponents | httpcore | 4.4.12 |
| org.apache.ivy | ivy | 2.4.0 |
| org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
| org.apache.orc | orc-core | 1.5.12 |
| org.apache.orc | orc-mapreduce | 1.5.12 |
| org.apache.orc | orc-shims | 1.5.12 |
| org.apache.parquet | parquet-column | 1.10.1-databricks9 |
| org.apache.parquet | parquet-common | 1.10.1-databricks9 |
| org.apache.parquet | parquet-encoding | 1.10.1-databricks9 |
| org.apache.parquet | parquet-format | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1-databricks9 |
| org.apache.parquet | parquet-jackson | 1.10.1-databricks9 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.xbean | xbean-asm7-shaded | 4.15 |
| org.apache.yetus | audience-annotations | 0.5.0 |
| org.apache.zookeeper | zookeeper | 3.4.14 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-continuation | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-http | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-io | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-jndi | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-plus | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-proxy | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-security | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-server | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-servlet | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-servlets | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-util | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-webapp | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-xml | 9.4.36.v20210114 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.30 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.30 |
| org.glassfish.jersey.core | jersey-client | 2.30 |
| org.glassfish.jersey.core | jersey-common | 2.30 |
| org.glassfish.jersey.core | jersey-server | 2.30 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.30 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.30 |
| org.hibernate.validator | hibernate-validator | 6.1.0.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M5 |
| org.json4s | json4s-core_2.12 | 3.7.0-M5 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M5 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M5 |
| org.lz4 | lz4-java | 1.7.1 |
| org.mariadb.jdbc | mariadb-java-client | 2.2.5 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.9.14 |
| org.roaringbitmap | shims | 0.9.14 |
| org.rocksdb | rocksdbjni | 6.20.3 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.10 |
| org.scala-lang | scala-library_2.12 | 2.12.10 |
| org.scala-lang | scala-reflect_2.12 | 2.12.10 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.1.1 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 1.0 |
| org.scalanlp | breeze_2.12 | 1.0 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.30 |
| org.slf4j | jul-to-slf4j | 1.7.30 |
| org.slf4j | slf4j-api | 1.7.30 |
| org.slf4j | slf4j-log4j12 | 1.7.30 |
| org.spark-project.spark | 未使用 | 1.0.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | spring-test | 4.1.4.RELEASE |
| org.threeten | threeten-extra | 1.5.0 |
| org.tukaani | xz | 1.5 |
| org.typelevel | algebra_2.12 | 2.0.0-M2 |
| org.typelevel | cats-kernel_2.12 | 2.0.0-M4 |
| org.typelevel | machinist_2.12 | 0.6.8 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0-M1 |
| org.typelevel | spire-platform_2.12 | 0.17.0-M1 |
| org.typelevel | spire-util_2.12 | 0.17.0-M1 |
| org.typelevel | spire_2.12 | 0.17.0-M1 |
| org.wildfly.openssl | wildfly-openssl | 1.0.7.Final |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.8.2 |
| org.yaml | snakeyaml | 1.24 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0.52 |