Databricks Runtime 5.5 LTS (サポート期間終了)
Note
この Databricks Runtime バージョンのサポートは終了しました。 サポート終了日については、「サポート終了の履歴」を参照してください。 サポートされている Databricks Runtime のすべてのバージョンについては、「Databricks Runtime リリース ノートのバージョンと互換性」を参照してください。
Databricks は、2019 年 7 月にこのバージョンをリリースしました。 2019 年 8 月に、長期サポート (LTS) として宣言されました。 サポートは 2021 年 7 月 27 日に終了しました。 Databricks Runtime 5.5 延長サポート (サポート期間終了) は、2021 年 7 月 8 日にリリースされ、5.5 のサポートを 2021 年 12 月まで延長しました。 元の Databricks Runtime 5.5 LTS で使用されていた非推奨の Ubuntu 16.04.6 LTS ディストリビューションではなく、Ubuntu 18.04.5 LTS が使用されます。 Ubuntu 16.04.6 LTS のサポートは、2021 年 4 月 1 日に終了しました。
次のリリース ノートには、Apache Spark で稼働する Databricks Runtime 5.5 に関する情報が記載されています。
新機能
Delta Lake on Azure Databricks の自動最適化
現在、クラウド ストレージにデータを書き込むときは、最適な I/O パフォーマンスを実現するためにファイルを圧縮する必要があります。 適切なファイル サイズ、ファイルを圧縮する頻度、使用するクラスターの大きさなどについて気にしなければなりません。 この類の問題に対処するために、Delta Lake on Azure Databricks による自動最適化の一般提供をお知らせします。 Delta テーブルへの書き込みのたびに、自動的に適切なファイル サイズが特定され、ファイルが圧縮されます。そのため、ストレージ レイアウトの最適化についてお客様が心配する必要はありません。 書き込み中、auto-optimize オプションが true の場合は、最適化が必要かどうかを Azure Databricks で自動的に判断し、小さいファイルを最適化します。 詳細については、「データ ファイル サイズを制御するように Delta Lake を構成する」を参照してください。
Delta Lake on Azure Databricks では、最小、最大、およびカウント集計クエリのパフォーマンスが向上しました
Delta Lake on Azure Databricks の最小、最大、およびカウント集計クエリのパフォーマンスは、読み取り対象データの量を減らすことで大幅に改善されました。 これらのクエリは、データをスキャンするのではなく、メタデータの統計値とパーティション値を使用して実行されるようになりました。
改良されたバイナリ ファイル データ ソースとスカラー反復子 Pandas UDF (パブリック プレビュー) を使用した、より高速なモデル推論パイプライン
多くの場合、機械学習タスク (特にイメージとビデオ ドメイン) では、多数のファイルを操作する必要があります。 Databricks Runtime 5.4 では、イメージなどの任意のファイルを Spark テーブルに対して ETL 処理できるように、バイナリ ファイル データ ソースが既に使用可能になっています。 Databricks Runtime 5.5 では、入れ子になった入力ディレクトリからファイルを再帰的に読み込むオプション recursiveFileLookup が追加されました。 「バイナリ ファイル」を参照してください。
バイナリ ファイル データ ソースを使用すると、スカラー Pandas UDF を使用して、Spark テーブルからモデル推論タスクを並列に実行できます。 ただし、オーバーヘッドを発生させるすべてのレコード バッチに対してモデルを初期化することが必要になる場合があります。 Databricks Runtime 5.5 では、Apache Spark マスターから「スカラー反復子」と呼ばれる新しい Pandas UDF の種類が移植されました。 これを使用すると、モデルを 1 回初期化するだけで、多数の入力バッチにモデルを適用できます。これにより、ResNet50 などのモデルの速度が、2 ～ 3 倍高速化する可能性があります。 「シリーズからスカラー UDF」を参照してください。
R ノートブックのシークレット API
シークレット API を使用すると、シークレットをハードコーディングせずにノートブックに挿入できます。 この API は、Python および Scala ノートブックの既存のサポートだけでなく、R ノートブックでも使用できるようになりました。 dbutils.secrets.get 関数を使用して、シークレットを取得できます。 ノートブックのセルに印刷する前に、シークレットは修正されます。
機能強化
- Python
foreachBatchでの Delta Lake SQL 操作の実行のサポート: Python で定義されている構造化ストリーミング クエリの内部のforeachBatchから Delta テーブルに書き込むことができないという既知の制限は修正されています。 これは、一般的な Python ストリーミング ワークロードで役に立ちます。たとえば、MERGE と foreachBatch を使用して、更新モードでストリーミング集計を書き込むなどです。 - Azure Data Lake Gen2 に格納されている Delta テーブルのパフォーマンス: ADLS Gen2 上の Delta テーブルの最新バージョンのチェックでは、使用可能なすべてのバージョンが一覧表示されるのではなく、トランザクション ログの最後だけがチェックされるようになりました。 この最適化により、
UPDATEは一定時間の操作になり、待機時間が大幅に短縮されました。 - 最適化
ZORDER BYのスケーラビリティ: 非常に大きな Delta テーブルでの Z オーダーでは、高度な受付制御によって管理されるより小さな作業単位が使用されるようになりました。 この機能により、クラスターの使用率を犠牲にすることなく、この操作の安定性が向上します。 - 多数の列を含むテーブルにおける DML コマンドのパフォーマンスの向上:
UPDATE、DELETE、MERGEコマンドでデータ一致のためにスキャンするときに、列の排除をより適切に実行できるようになりました。 - Spark での VNet とサービス エンドポイントのセットアップのサポート - Synapse Analytics コネクタ: 一時データの場所 (
.option("tempDir", "abfss://...") として ADL Gen2 パスが許可リストに追加され、useAzureMSIと呼ばれる新しいオプションが追加されました。このオプションは、Synapse Analytics が V2 ストレージ アカウントへのマネージド ID を介して認証するように構成されている場合に、forward_spark_azure_storage_credentialsの代わりに使用されます。 - ディスク キャッシュの自動無効化: ディスク キャッシュでは、キャッシュされた後に変更または上書きされたファイルを自動的に検出するようになりました。 古いエントリは、自動的に無効になり、キャッシュから削除されます。 「Azure Databricks でキャッシュを使用してパフォーマンスを最適化する」を参照してください。
- Python ライブラリ wheel が 0.33.3 から 0.33.4 にアップグレードされました。
- R ライブラリ nlme が 3.1-139 から 3.1-140 にアップグレードされました。
バグの修正
- Spark ジョブを実行しない R コマンドの取り消しを修正しました。 以前は、Spark ジョブを実行しない R コマンドを取り消すことができましたが、ノートブックの状態が失われていました。ノートブックの状態を失うことなく、コマンドを取り消すことができるようになりました。
- マネージド テーブルを削除または移動すると、キャッシュされた Delta Lake のログが無効になります。
FileAlreadyExistsExceptionが原因で Delta Lake チェックポイントの書き込みが失敗する可能性があるバグを修正しました。- Java 8 の機能を使用する Java メソッドの呼び出しをサポートするために、Scala REPL で適切な
-target:jvm-1.8フラグを設定するようになりました。
Apache Spark
Databricks Runtime 5.5 には、Apache Spark 2.4.3 が含まれています。 このリリースには、Databricks Runtime 5.4 (サポート期間終了) に含まれている Spark の修正プログラムと改善すべてに加えて、Spark に対して行われた次のバグ修正と改善が含まれています。
- [SPARK-24695] UDF によって CalendarInterval が返されることを許可する
- [SPARK-28056] SCALAR_ITER Pandas UDF 用に docstring および doctest を追加する
- [SPARK-28185] Python UDF が早期に停止したらジェネレーターを終了する
- [SPARK-24703] 間隔の乗算のサポート
- [SPARK-27018] [CORE] PeriodicCheckpointer でチェックポイント ファイルが不適切に削除されるのを修正する
- [SPARK-28127] [SQL] TreeNode の mapChildren メソッドでのマイクロ最適化
- [SPARK-26038] long に合わない少数に対する Decimal toScalaBigInt および toJavaBigInteger
- [SPARK-26555] [SQL] ScalaReflection のサブタイプ チェック スレッドを安全にする
- [SPARK-28081] [ML] word2vec で大きな数の vocab を処理する
- [SPARK-21882] [CORE] OutputMetrics で、saveAsHadoopDataset 関数で書き込まれたバイトが正しくカウントされない
- [SPARK-28030] バイナリ ファイル データ ソースの filePath を URI に変換
- [SPARK-27803] [SQL] [PYTHON] Python UDF の列の排除を修正
- [SPARK-27917] [SQL] CaseWhen オブジェクトの正規形式が正しくない
- [SPARK-27798] [SQL] from_avro は、ローカル リレーションに変換されるときに同じ値を生成しない
- [SPARK-27873][SQL] enforceSchema を無効にするときに、CSV ヘッダー内の列名を使用して columnNameOfCorruptRecord を確認しない
- [SPARK-27907] [SQL] HiveUDAF は、行が 0 の場合に NULL を返す必要がある
- [SPARK-27699] [SQL] Parquet または ORC で前提となる選言の部分的なプッシュ ダウン
- [SPARK-27868] [CORE] ソケット サーバーのバックログの既定値とドキュメントの改善。
- [SPARK-27869] [CORE] UI からシステム プロパティの機密情報を修正
- [SPARK-27863] [SQL] [BACKPORT-2.4] メタデータ ファイルと一時ファイルは、データ ファイルとしてカウントしない
- [SPARK-27657] [ML] ml.util.Instrumentation.logFai… のログ形式を修正
- [SPARK-27858] [SQL] null 以外の複数の型を持つ共用体型に対する Avro の逆シリアル化を修正
- [SPARK-27711] [CORE] タスクの最後で InputFileBlockHolder の設定を解除する
- [SPARK-27351] [SQL] null 値のみが含まれる列で AggregateEstimation 後に outputRows の推定が誤っている
- [SPARK-27539] [SQL] null 値を含む列での outputRows の見積もりの不正確な集計を修正"
- [SPARK-27800] [SQL] BitwiseXor テスト ケースの誤った回答を修正
- [SPARK-27639] [SQL] 可能な場合は InMemoryTableScan で UI にテーブル名を表示する
- [SPARK-27726] [CORE] 高負荷で InMemoryStore を使用する場合の ElementTrackingStore の削除のパフォーマンスを修正
- [SPARK-27771] [SQL] グループ化関数 (cube、rollup、grouping、grouping_id) の SQL 記述を追加
- [SPARK-27735] [SS] SS では間隔文字列の解析で大文字と小文字を区別しない
- [SPARK-26856] [PYSPARK] Python による from_avro および to_avro API のサポート
- [SPARK-26870] [SQL] Java との互換性のため、to_avro および from_avro を functions オブジェクトに移動する
- [SPARK-26812] [SQL] Union の複合データ型に対する正しい NULL 値の許容について報告する
- [SPARK-27671] [SQL] 構造体内の入れ子になった null 値からキャストするときのエラーを修正
- [SPARK-27673] [SQL]
since情報を random、regex、null 式に追加する - [SPARK-27672] [SQL]
since情報を string 式に追加する - [SPARK-25139][SPARK-18406][CORE] PythonRunner で NonFatals を回避して Executor を中止する
- [SPARK-27624] [CORE] 間隔を空けない場合が正しく表示されるように CalenderInterval を修正
- [SPARK-27577] [MLLIB] BinaryClassificationMetrics でダウンサンプリングされた正しいしきい値
- [SPARK-27621] [ML] 線形回帰 - 調整フェーズ中のみの損失など、トレーニング関連のパラメーターを検証する
- [SPARK-26048][SPARK-24530] 2.4 リリースのスクリプトへの欠落したコミットをすべてチェリーピックする
- [SPARK-24935] [SQL] Hive UDAF アダプターでの INIT -> UPDATE -> MERGE -> FINISH のサポート
メンテナンスの更新
Databricks Runtime 5.5 メンテナンス更新プログラムに関するページを参照してください。
システム環境
- オペレーティング システム: Ubuntu 16.04.6 LTS
- Java: 1.8.0_252
- Scala: 2.11.12
- Python: Python 2 クラスターの場合は 2.7.12、Python 3 クラスターの場合は 3.5.2。
- R: R バージョン 3.6.0 (2019-04-26)
- GPU クラスター: 次の NVIDIA GPU ライブラリがインストールされます。
- Tesla ドライバー 375.66
- CUDA 9.0
- cuDNN 7.0
注意
Scala 2.12 は Apache Spark 2.4 でサポートされています。ただし、Databricks Runtime 5.5 ではサポートされていません。
このセクションの内容は次のとおりです。
- インストールされている Python ライブラリ
- インストールされている R ライブラリ
- インストールされている Java および Scala ライブラリ (Scala 2.11 クラスター バージョン)
インストールされている Python ライブラリ
| ライブラリ | Version | ライブラリ | Version | ライブラリ | Version |
|---|---|---|---|---|---|
| ansi2html | 1.1.1 | argparse | 1.2.1 | backports-abc | 0.5 |
| boto | 2.42.0 | boto3 | 1.4.1 | botocore | 1.4.70 |
| brewer2mpl | 1.4.1 | certifi | 2016.2.28 | cffi | 1.7.0 |
| chardet | 2.3.0 | colorama | 0.3.7 | configobj | 5.0.6 |
| cryptography | 1.5 | cycler | 0.10.0 | Cython | 0.24.1 |
| decorator | 4.0.10 | docutils | 0.14 | enum34 | 1.1.6 |
| et-xmlfile | 1.0.1 | freetype-py | 1.0.2 | funcsigs | 1.0.2 |
| fusepy | 2.0.4 | futures | 3.2.0 | ggplot | 0.6.8 |
| html5lib | 0.999 | idna | 2.1 | ipaddress | 1.0.16 |
| ipython | 2.2.0 | ipython-genutils | 0.1.0 | jdcal | 1.2 |
| Jinja2 | 2.8 | jmespath | 0.9.0 | llvmlite | 0.13.0 |
| lxml | 3.6.4 | MarkupSafe | 0.23 | matplotlib | 1.5.3 |
| mpld3 | 0.2 | msgpack-python | 0.4.7 | ndg-httpsclient | 0.3.3 |
| numba | 0.28.1 | numpy | 1.11.1 | openpyxl | 2.3.2 |
| pandas | 0.19.2 | pathlib2 | 2.1.0 | patsy | 0.4.1 |
| pexpect | 4.0.1 | pickleshare | 0.7.4 | Pillow | 3.3.1 |
| pip | 19.1.1 | ply | 3.9 | prompt-toolkit | 1.0.7 |
| psycopg2 | 2.6.2 | ptyprocess | 0.5.1 | py4j | 0.10.3 |
| pyarrow | 0.8.0 | pyasn1 | 0.1.9 | pycparser | 2.14 |
| Pygments | 2.1.3 | PyGObject | 3.20.0 | pyOpenSSL | 16.0.0 |
| pyparsing | 2.2.0 | pypng | 0.0.18 | Python | 2.7.12 |
| python-dateutil | 2.5.3 | python-geohash | 0.8.5 | pytz | 2016.6.1 |
| requests | 2.11.1 | s3transfer | 0.1.9 | scikit-learn | 0.18.1 |
| scipy | 0.18.1 | scour | 0.32 | seaborn | 0.7.1 |
| setuptools | 41.0.1 | simplejson | 3.8.2 | simples3 | 1.0 |
| singledispatch | 3.4.0.3 | 6 | 1.10.0 | statsmodels | 0.6.1 |
| tornado | 5.1.1 | traitlets | 4.3.0 | urllib3 | 1.19.1 |
| virtualenv | 16.1.0 | wcwidth | 0.1.7 | wheel | 0.33.4 |
| wsgiref | 0.1.2 |
インストールされている R ライブラリ
| ライブラリ | Version | ライブラリ | Version | ライブラリ | Version |
|---|---|---|---|---|---|
| abind | 1.4-5 | askpass | 1.1 | assertthat | 0.2.1 |
| backports | 1.1.3 | base | 3.6.0 | base64enc | 0.1-3 |
| BH | 1.69.0-1 | bit | 1.1-14 | bit64 | 0.9-7 |
| bitops | 1.0-6 | blob (blob) | 1.1.1 | boot | 1.3-20 |
| brew | 1.0-6 | callr | 3.2.0 | car | 3.0-2 |
| carData | 3.0-2 | キャレット | 6.0-82 | cellranger | 1.1.0 |
| chron | 2.3-53 | class | 7.3-15 | cli | 1.1.0 |
| clipr | 0.5.0 | clisymbols | 1.2.0 | cluster | 2.0.8 |
| codetools | 0.2-16 | colorspace | 1.4-1 | commonmark | 1.7 |
| compiler | 3.6.0 | config | 0.3 | crayon | 1.3.4 |
| curl | 3.3 | data.table | 1.12.0 | datasets | 3.6.0 |
| DBI | 1.0.0 | dbplyr | 1.3.0 | desc | 1.2.0 |
| devtools | 2.0.1 | digest | 0.6.18 | doMC | 1.3.5 |
| dplyr | 0.8.0.1 | ellipsis | 0.1.0 | fansi | 0.4.0 |
| forcats | 0.4.0 | foreach | 1.4.4 | foreign | 0.8-71 |
| forge | 0.2.0 | fs | 1.2.7 | gbm | 2.1.5 |
| generics | 0.0.2 | ggplot2 | 3.1.0 | gh | 1.0.1 |
| git2r | 0.25.2 | glmnet | 2.0-16 | glue | 1.3.1 |
| gower | 0.2.0 | graphics | 3.6.0 | grDevices | 3.6.0 |
| grid | 3.6.0 | gridExtra | 2.3 | gsubfn | 0.7 |
| gtable | 0.3.0 | h2o | 3.22.1.1 | haven | 2.1.0 |
| hms | 0.4.2 | htmltools | 0.3.6 | htmlwidgets | 1.3 |
| httr | 1.4.0 | hwriter | 1.3.2 | hwriterPlus | 1.0-3 |
| ini | 0.3.1 | ipred | 0.9-8 | iterators | 1.0.10 |
| jsonlite | 1.6 | KernSmooth | 2.23-15 | labeling | 0.3 |
| lattice | 0.20-38 | lava | 1.6.5 | lazyeval | 0.2.2 |
| littler | 0.3.7 | lme4 | 1.1-21 | lubridate | 1.7.4 |
| magrittr | 1.5 | mapproj | 1.2.6 | maps | 3.3.0 |
| maptools | 0.9-5 | MASS | 7.3-51.1 | Matrix | 1.2-17 |
| MatrixModels | 0.4-1 | memoise | 1.1.0 | methods | 3.6.0 |
| mgcv | 1.8-28 | mime | 0.6 | minqa | 1.2.4 |
| ModelMetrics | 1.2.2 | munsell | 0.5.0 | mvtnorm | 1.0-10 |
| nlme | 3.1-140 | nloptr | 1.2.1 | nnet | 7.3-12 |
| numDeriv | 2016.8-1 | openssl | 1.3 | openxlsx | 4.1.0 |
| parallel | 3.6.0 | pbkrtest | 0.4-7 | pillar | 1.3.1 |
| pkgbuild | 1.0.3 | pkgconfig | 2.0.2 | pkgKitten | 0.1.4 |
| pkgload | 1.0.2 | plogr | 0.2.0 | plyr | 1.8.4 |
| praise | 1.0.0 | prettyunits | 1.0.2 | pROC | 1.14.0 |
| processx | 3.3.0 | prodlim | 2018.04.18 | progress | 1.2.0 |
| proto | 1.0.0 | ps | 1.3.0 | purrr | 0.3.2 |
| quantreg | 5.38 | R.methodsS3 | 1.7.1 | R.oo | 1.22.0 |
| R.utils | 2.8.0 | r2d3 | 0.2.3 | R6 | 2.4.0 |
| randomForest | 4.6-14 | rappdirs | 0.3.1 | rcmdcheck | 1.3.2 |
| RColorBrewer | 1.1-2 | Rcpp | 1.0.1 | RcppEigen | 0.3.3.5.0 |
| RcppRoll | 0.3.0 | RCurl | 1.95-4.12 | readr | 1.3.1 |
| readxl | 1.3.1 | recipes | 0.1.5 | rematch | 1.0.1 |
| remotes | 2.0.2 | reshape2 | 1.4.3 | rio | 0.5.16 |
| rlang | 0.3.3 | RODBC | 1.3-15 | roxygen2 | 6.1.1 |
| rpart | 4.1-15 | rprojroot | 1.3-2 | Rserve | 1.8-6 |
| RSQLite | 2.1.1 | rstudioapi | 0.10 | scales | 1.0.0 |
| sessioninfo | 1.1.1 | sp | 1.3-1 | sparklyr | 1.0.0 |
| SparkR | 2.4.4 | SparseM | 1.77 | spatial | 7.3-11 |
| splines | 3.6.0 | sqldf | 0.4-11 | SQUAREM | 2017.10-1 |
| statmod | 1.4.30 | stats | 3.6.0 | stats4 | 3.6.0 |
| stringi | 1.4.3 | stringr | 1.4.0 | survival | 2.43-3 |
| sys | 3.1 | tcltk | 3.6.0 | TeachingDemos | 2.10 |
| testthat | 2.0.1 | tibble | 2.1.1 | tidyr | 0.8.3 |
| tidyselect | 0.2.5 | timeDate | 3043.102 | tools | 3.6.0 |
| usethis | 1.4.0 | utf8 | 1.1.4 | utils | 3.6.0 |
| viridisLite | 0.3.0 | whisker | 0.3-2 | withr | 2.1.2 |
| xml2 | 1.2.0 | xopen | 1.0.0 | yaml | 2.2.0 |
| zip | 2.0.1 |
インストールされている Java および Scala ライブラリ (Scala 2.11 クラスター バージョン)
| グループ ID | 成果物 ID | Version |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.8.10 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.313 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.313 |
| com.amazonaws | aws-java-sdk-config | 1.11.313 |
| com.amazonaws | aws-java-sdk-core | 1.11.313 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.313 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.313 |
| com.amazonaws | aws-java-sdk-directory | 1.11.313 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.313 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.313 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.313 |
| com.amazonaws | aws-java-sdk-efs | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.313 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.313 |
| com.amazonaws | aws-java-sdk-emr | 1.11.313 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.313 |
| com.amazonaws | aws-java-sdk-glue | 1.11.313 |
| com.amazonaws | aws-java-sdk-iam | 1.11.313 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.313 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.313 |
| com.amazonaws | aws-java-sdk-kms | 1.11.313 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.313 |
| com.amazonaws | aws-java-sdk-logs | 1.11.313 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.313 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.313 |
| com.amazonaws | aws-java-sdk-rds | 1.11.313 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.313 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.313 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.313 |
| com.amazonaws | aws-java-sdk-ses | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.313 |
| com.amazonaws | aws-java-sdk-sns | 1.11.313 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.313 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.313 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.313 |
| com.amazonaws | aws-java-sdk-sts | 1.11.313 |
| com.amazonaws | aws-java-sdk-support | 1.11.313 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.313 |
| com.amazonaws | jmespath-java | 1.11.313 |
| com.carrotsearch | hppc | 0.7.2 |
| com.chuusai | shapeless_2.11 | 2.3.2 |
| com.clearspring.analytics | ストリーム (stream) | 2.7.0 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | dbml-local_2.11 | 0.5.0-db8-spark2.4 |
| com.databricks | dbml-local_2.11-tests | 0.5.0-db8-spark2.4 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.11 | 0.4.15-9 |
| com.databricks.scalapb | scalapb-runtime_2.11 | 0.4.15-9 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.0.0 |
| com.fasterxml.jackson.core | jackson-annotations | 2.6.7 |
| com.fasterxml.jackson.core | jackson-core | 2.6.7 |
| com.fasterxml.jackson.core | jackson-databind | 2.6.7.1 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.6.7 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-scala_2.11 | 2.6.7.1 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | core | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.luben | zstd-jni | 1.3.2-2 |
| com.github.rwl | jtransforms | 2.4.0 |
| com.google.code.findbugs | jsr305 | 2.0.1 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.googlecode.javaewah | JavaEWAH | 0.3.2 |
| com.h2database | h2 | 1.3.174 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.2.8 |
| com.microsoft.azure | azure-storage | 5.2.0 |
| com.microsoft.sqlserver | mssql-jdbc | 6.2.2.jre8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.11 | 0.3 |
| com.twitter | chill-java | 0.9.3 |
| com.twitter | chill_2.11 | 0.9.3 |
| com.twitter | parquet-hadoop-bundle | 1.6.0 |
| com.twitter | util-app_2.11 | 6.23.0 |
| com.twitter | util-core_2.11 | 6.23.0 |
| com.twitter | util-jvm_2.11 | 6.23.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging-api_2.11 | 2.1.2 |
| com.typesafe.scala-logging | scala-logging-slf4j_2.11 | 2.1.2 |
| com.univocity | univocity-parsers | 2.7.3 |
| com.vlkan | flatbuffers | 1.2.0-3f79e055 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.9.3 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1.10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.7 |
| io.airlift | aircompressor | 0.10 |
| io.dropwizard.metrics | metrics-core | 3.1.5 |
| io.dropwizard.metrics | metrics-ganglia | 3.1.5 |
| io.dropwizard.metrics | metrics-graphite | 3.1.5 |
| io.dropwizard.metrics | metrics-healthchecks | 3.1.5 |
| io.dropwizard.metrics | metrics-jetty9 | 3.1.5 |
| io.dropwizard.metrics | metrics-json | 3.1.5 |
| io.dropwizard.metrics | metrics-jvm | 3.1.5 |
| io.dropwizard.metrics | metrics-log4j | 3.1.5 |
| io.dropwizard.metrics | metrics-servlets | 3.1.5 |
| io.netty | netty | 3.9.9.Final |
| io.netty | netty-all | 4.1.17.Final |
| javax.activation | activation | 1.1.1 |
| javax.annotation | javax.annotation-api | 1.2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1.1 |
| javax.validation | validation-api | 1.1.0.Final |
| javax.ws.rs | javax.ws.rs-api | 2.0.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.9.3 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| maven-trees | hive-exec-with-glue | hive-12679-patch_deploy |
| maven-trees | hive-exec-with-glue | hive-exec_shaded |
| net.hydromatic | eigenbase-properties | 1.1.5 |
| net.razorvine | pyrolite | 4.13 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.5 |
| net.snowflake | snowflake-jdbc | 3.6.15 |
| net.snowflake | spark-snowflake_2.11 | 2.4.10-spark_2.4 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt | oncrpc | 1.0.7 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.4 |
| org.antlr | antlr4-runtime | 4.7 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | arrow-format | 0.10.0 |
| org.apache.arrow | arrow-memory | 0.10.0 |
| org.apache.arrow | arrow-vector | 0.10.0 |
| org.apache.avro | avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.calcite | calcite-avatica | 1.2.0-incubating |
| org.apache.calcite | calcite-core | 1.2.0-incubating |
| org.apache.calcite | calcite-linq4j | 1.2.0-incubating |
| org.apache.commons | commons-compress | 1.8.1 |
| org.apache.commons | commons-crypto | 1.0.0 |
| org.apache.commons | commons-lang3 | 3.5 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.curator | curator-client | 2.7.1 |
| org.apache.curator | curator-framework | 2.7.1 |
| org.apache.curator | curator-recipes | 2.7.1 |
| org.apache.derby | derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-annotations | 2.7.3 |
| org.apache.hadoop | hadoop-auth | 2.7.3 |
| org.apache.hadoop | hadoop-client | 2.7.3 |
| org.apache.hadoop | hadoop-common | 2.7.3 |
| org.apache.hadoop | hadoop-hdfs | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.3 |
| org.apache.htrace | htrace-core | 3.1.0-incubating |
| org.apache.httpcomponents | httpclient | 4.5.4 |
| org.apache.httpcomponents | httpcore | 4.4.8 |
| org.apache.ivy | ivy | 2.4.0 |
| org.apache.orc | orc-core-nohive | 1.5.2 |
| org.apache.orc | orc-mapreduce-nohive | 1.5.2 |
| org.apache.orc | orc-shims | 1.5.2 |
| org.apache.parquet | parquet-column | 1.10.1.1-databricks3 |
| org.apache.parquet | parquet-common | 1.10.1.1-databricks3 |
| org.apache.parquet | parquet-encoding | 1.10.1.1-databricks3 |
| org.apache.parquet | parquet-format | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1.1-databricks3 |
| org.apache.parquet | parquet-jackson | 1.10.1.1-databricks3 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.9.3 |
| org.apache.xbean | xbean-asm6-shaded | 4.8 |
| org.apache.zookeeper | zookeeper | 3.4.6 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.10 |
| org.codehaus.janino | janino | 3.0.10 |
| org.datanucleus | datanucleus-api-jdo | 3.2.6 |
| org.datanucleus | datanucleus-core | 3.2.10 |
| org.datanucleus | datanucleus-rdbms | 3.2.9 |
| org.eclipse.jetty | jetty-client | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-continuation | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-http | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-io | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-jndi | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-plus | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-proxy | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-security | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-server | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-servlet | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-servlets | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-util | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-webapp | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-xml | 9.3.20.v20170531 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-locator | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-utils | 2.4.0-b34 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.1 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.4.0-b34 |
| org.glassfish.hk2.external | javax.inject | 2.4.0-b34 |
| org.glassfish.jersey.bundles.repackaged | jersey-guava | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.22.2 |
| org.glassfish.jersey.core | jersey-client | 2.22.2 |
| org.glassfish.jersey.core | jersey-common | 2.22.2 |
| org.glassfish.jersey.core | jersey-server | 2.22.2 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.22.2 |
| org.hibernate | hibernate-validator | 5.1.1.Final |
| org.iq80.snappy | snappy | 0.2 |
| org.javassist | javassist | 3.18.1-GA |
| org.jboss.logging | jboss-logging | 3.1.3.GA |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.11 | 3.5.3 |
| org.json4s | json4s-core_2.11 | 3.5.3 |
| org.json4s | json4s-jackson_2.11 | 3.5.3 |
| org.json4s | json4s-scalap_2.11 | 3.5.3 |
| org.lz4 | lz4-java | 1.4.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.1.2 |
| org.mockito | mockito-all | 1.9.5 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.7.45 |
| org.roaringbitmap | shims | 0.7.45 |
| org.rocksdb | rocksdbjni | 5.2.1 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.11 | 2.11.12 |
| org.scala-lang | scala-library_2.11 | 2.11.12 |
| org.scala-lang | scala-reflect_2.11 | 2.11.12 |
| org.scala-lang.modules | scala-parser-combinators_2.11 | 1.1.0 |
| org.scala-lang.modules | scala-xml_2.11 | 1.0.5 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.11 | 1.12.5 |
| org.scalactic | scalactic_2.11 | 3.0.3 |
| org.scalanlp | breeze-macros_2.11 | 0.13.2 |
| org.scalanlp | breeze_2.11 | 0.13.2 |
| org.scalatest | scalatest_2.11 | 3.0.3 |
| org.slf4j | jcl-over-slf4j | 1.7.16 |
| org.slf4j | jul-to-slf4j | 1.7.16 |
| org.slf4j | slf4j-api | 1.7.16 |
| org.slf4j | slf4j-log4j12 | 1.7.16 |
| org.spark-project.hive | hive-beeline | 1.2.1.spark2 |
| org.spark-project.hive | hive-cli | 1.2.1.spark2 |
| org.spark-project.hive | hive-jdbc | 1.2.1.spark2 |
| org.spark-project.hive | hive-metastore | 1.2.1.spark2 |
| org.spark-project.spark | 未使用 | 1.0.0 |
| org.spire-math | spire-macros_2.11 | 0.13.0 |
| org.spire-math | spire_2.11 | 0.13.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | spring-test | 4.1.4.RELEASE |
| org.tukaani | xz | 1.5 |
| org.typelevel | machinist_2.11 | 0.6.1 |
| org.typelevel | macro-compat_2.11 | 1.1.1 |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.7.3 |
| org.yaml | snakeyaml | 1.16 |
| oro | oro | 2.0.8 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0.52 |