注
この Databricks Runtime バージョンのサポートは終了しました。 サポート終了日については、「サポート終了の履歴」を参照してください。 サポートされている Databricks Runtime のすべてのバージョンについては、「Databricks Runtime リリース ノートのバージョンと互換性」を参照してください。
Databricks は、2019 年 10 月にこのバージョンをリリースしました。
次のリリース ノートには、Apache Spark で稼働する Databricks Runtime 6.1 に関する情報が記載されています。
新機能
Delta Lake の機能強化
Delta テーブル用 Python API (パブリック プレビュー)
Python API を使用して、Delta テーブルでのデータの削除やアップサート、テーブルのクリーンアップ、テーブル履歴の取得を行えるようになりました。
詳細については、「 Azure Databricks の Delta Lake とは」を参照してください。
既定で有効になる動的なファイルの排除 (DFP)
DFP では、Delta テーブルのメタデータ (たとえば、ファイル内の min/max 列の統計) を使用して、列の値が範囲外のファイルをスキップすることで、多くのクエリのパフォーマンスを大幅に向上させます。 動的なパーティション排除 (DPP) とは異なり、DFP はパーティション分割されていない列に対しても機能します。 DFP は、パーティション分割されていないキーに参加するワークロードに役立ちます。
Databricks Container Services を使用して独自のコンテナー イメージでクラスターを構成する
Databricks Container Services を使用すると、独自のコンテナー イメージでクラスターを構成できます。 コンテナー内に複雑な環境を事前にパッケージ化し、ACR、ECR、Docker Hub などの一般的なコンテナー レジストリに発行してから、クラスターを構築するためのイメージを Databricks にプルすることができます。 ユース ケースの例を次にいくつか示します。
- ライブラリのカスタマイズ: インストールするシステム ライブラリを完全に制御できます。
- ゴールデン コンテナー環境: Docker イメージは、絶対に変更されないロックダウンされた環境です
- Docker CI/CD 統合: Azure Databricks を Docker CI/CD パイプラインと統合できます
他にも、構成の指定から機械学習パッケージのインストールまで、多くのユース ケースがあります。
詳細については、「Databricks Container Services を使用してコンテナーをカスタマイズする」を参照してください。
Spark の構成プロパティと環境変数によって参照されるシークレット (パブリック プレビュー)
Databricks Runtime 6.1 の 11 月 7 日のメンテナンス更新の時点で、Spark 構成プロパティまたは環境変数でシークレットを参照する機能は、パブリック プレビューの段階にあります。 詳細は、「Spark の構成プロパティまたは環境変数のシークレットを使用する」を参照してください。
テーブル ACL と資格情報のパススルーを使用したクラスターでの Ganglia メトリックの使用
以前の Ganglia メトリックは、テーブル アクセス制御または資格情報のパススルーが有効になっているクラスターではサポートされませんでした。 これらが使用できるようになりました。
機能強化
- netty-all の 4.1.17.Final から 4.1.39.Final へのアップグレード
- Snowflake コネクタの 2.4.10 から 2.5.3 へのアップグレード
資格情報のパススルー
- Microsoft Entra ID 資格情報は、
dbutils.notebook.run()を使用して実行するノートブックに反映されるようになりました。 - すべての PySpark ML クラスがサポートされるようになりました。
- Ganglia UI が使用できるようになりました。
詳細については、「Microsoft Entra ID 資格情報パススルーを使用して Azure Data Lake Storage にアクセスする (レガシ)」を参照してください。
Apache Spark
Databricks Runtime 6.1 には、Apache Spark 2.4.4 が含まれています。 このリリースには、Databricks Runtime 6.0 (サポート期間終了) に含まれる Spark のすべての修正プログラムと機能強化に加え、Spark に対して行われた以下の追加のバグ修正と機能強化が含まれています。
- [SPARK-28782][SQL] 集計式でのジェネレーターのサポート
- [SPARK-19147][CORE] Executor が停止した後、タスクのエラーを適切に処理する
- [SPARK-26003][SQL] SQLAppStatusListener.aggregateMetrics パフォーマンスの向上
- [SPARK-29101][SQL] DROPMALFORMED モードが選択されている場合に、csv ファイルのカウント API を修正
- [SPARK-29042][CORE] 順序なしの入力を含むサンプリングベースの RDD が INDETERMINATE になる
- [SPARK-29124][CORE] bytesHash(data) ではなく、MurmurHash3 bytesHash(data, seed) を使用
- [SPARK-26713][CORE] タスクが終了したときに PipedRDD のパイプ IO スレッドを中断
- [SPARK-29046][SQL] アクティブな SparkContext が停止したときに SQLConf.get の NPE を修正
- [SPARK-28483] タスクが強制終了したときに barrier() のバリア モードのタスク ハングを修正
- [SPARK-29087][CORE][STREAMING] DelegatingServletContextHandler を使用して CCE を回避
- [SPARK-27122][CORE] Jetty クラスは、org.apache.spark.ui.WebUI の getter を介して返さないことが必要
- [SPARK-11150][SQL] 動的パーティション排除
- [SPARK-27592][SQL] バケット化データ ソース テーブル SerDe を正しく設定
- [SPARK-23519][SQL] 重複する出力列を含むクエリからのビュー作成の動作
- [SPARK-29011][BUILD] netty-all を 4.1.17-Final から 4.1.39-Final に更新
- [SPARK-28912] getCheckpointFiles() の MatchError の修正
- [SPARK-26046][SS] StreamingQueryManager.listListeners() の追加
- [SPARK-3137][CORE] グローバル TorrentBroadcast ロックを粒度の細かい KeyLock (6.x) に置き換え
- [SPARK-28709][DSTREAMS] ストリーミングによる StreamingContext リークの修正
- [SPARK-22955][DSTREAMS] - 正常なシャットダウンによってジョブの生成が発生しないようにする必要があります。..
- [Spark-28730][SPARK-28495] テーブル挿入に対して ANSI ストア割り当てポリシーを導入
- [SPARK-27992][SPARK-28881][PYTHON] Python と接続スレッドを結合してエラー伝達を許可
- [SPARK-28025][SS] FileContextBasedCheckpointFileManager リーク crc ファイルを修正
- [SPARK-28699][CORE] 不確定ステージを中止するためのまれなケースを修正
- [SPARK-28780][ML] LinearSVCModel.setWeightCol を廃止
- [SPARK-28844][SQL] SQLConf FILE_COMRESSION_FACTOR のスペルミスを修正
- [SPARK-26895][CORE] prepareSubmitEnvironment は、プロキシ ユーザー用に doAs 内で呼び出す
メンテナンスの更新
Databricks Runtime 6.1 のメンテナンスの更新に関するページを参照してください。
システム環境
- オペレーティング システム: Ubuntu 16.04.6 LTS
- Java: 1.8.0_232
- Scala: 2.11.12
- Python: 3.7.3
- R: R バージョン 3.6.1 (2019-07-05)
- Delta Lake: 0.4.0
注
Scala 2.12 は、Apache Spark 2.4 の試験的な機能として使用できますが、Databricks Runtime 6.1 ではサポートされていません。
インストールされている Python ライブラリ
| ライブラリ | バージョン | ライブラリ | バージョン | ライブラリ | バージョン |
|---|---|---|---|---|---|
| asn1crypto | 0.24.0 | バックコール (再発信機能) | 0.1.0 | boto | 2.49.0 |
| boto3 | 1.9.162 | botocore | 1.12.163 | サーティフィ | 2019年3月9日 |
| cffi | 1.12.2 | チャーデット | 3.0.4 | 暗号 | 2.6.1 |
| サイクリスト | 0.10.0 | Cython | 0.29.6 | デコレータ | 4.4.0 |
| docutils (ドキュメントユーティリティ) | 0.14 | idna | 2.8 | ipython | 7.4.0 |
| ipython-genutils (IPython用のユーティリティ) | 0.2.0 | ジェダイ | 0.13.3 | jmespath | 0.9.4 |
| キウィソルバー | 1.1.0 | matplotlib | 3.0.3 | NumPy (数値計算ライブラリ) | 1.16.2 |
| パンダ | 0.24.2 | パルソ | 0.3.4 | パッツィ | 0.5.1 |
| ペキスペクト | 4.6.0 | ピクルシェア | 0.7.5 | 種 | 19.0.3 |
| prompt-toolkit（プロンプトツールキット） | 2.0.9 | psycopg2 | 2.7.6.1 | ptyprocess | 0.6.0 |
| pyarrow (パイアロー) | 0.13.0 | pycparser（パイシーパーサー） | 2.19 | pycurl | 7.43.0 |
| Pygments | 2.3.1 | PyGObject | 3.20.0 | pyOpenSSL（PythonのSSL/TLSライブラリ） | 19.0.0 |
| パイパーシング (Pyparsing) | 2.4.2 | PySocks | 1.6.8 | python-apt | 1.1.0.b1+ubuntu0.16.04.5 |
| python-dateutil (Python用の日付処理ライブラリ) | 2.8.0 | pytz | 2018.9 | リクエスト | 2.21.0 |
| s3transfer | 0.2.1 | scikit-learn（サイキット・ラーン） | 0.20.3 | scipy | 1.2.1 |
| seaborn（シーボーン） | 0.9.0 | setuptools（セットアップツール） | 40.8.0 | 6 | 1.12.0 |
| ssh-import-id | 5.5 | statsmodels（スタッツモデルズ） | 0.9.0 | traitlets（トレイトレット） | 4.3.2 |
| 無人アップグレード | 0.1 | urllib3 | 1.24.1 | virtualenv | 16.4.1 |
| wcwidth（文字の幅を測定するプログラム関数） | 0.1.7 | ホイール | 0.33.1 |
インストールされている R ライブラリ
| ライブラリ | バージョン | ライブラリ | バージョン | ライブラリ | バージョン |
|---|---|---|---|---|---|
| abind（配列を結合する） | 1.4-5 | アスクパス | 1.1 | assertthat（アサートザット関数） | 0.2.1 |
| バックポート（旧バージョンへの機能移植） | 1.1.3 | ベース | 3.6.1 | base64enc | 0.1-3 |
| BH | 1.69.0-1 | ビット | 1.1-14 | ビット64 | 0.9-7 |
| ビット演算 | 1.0-6 | BLOB | 1.1.1 | 起動 | 1.3-23 |
| 醸成 | 1.0-6 | コールアール | 3.2.0 | 車 | 3.0-2 |
| 車のデータ | 3.0-2 | キャレット | 6.0-82 | セルレンジャー (cellranger) | 1.1.0 |
| クロノ | 2.3-53 | クラス | 7.3-15 | CLI | 1.1.0 |
| クリッパー | 0.5.0 | CLIシンボル | 1.2.0 | クラスタ | 2.1.0 |
| コードツール | 0.2-16 | カラー空間 | 1.4-1 | コモンマーク | 1.7 |
| コンパイラ | 3.6.1 | 設定 | 0.3 | クレヨン | 1.3.4 |
| カール | 3.3 | データテーブル (data.table) | 1.12.0 | データセット | 3.6.1 |
| DBI | 1.0.0 | dbplyr | 1.3.0 | 説明 | 1.2.0 |
| 開発ツール | 2.0.1 | ダイジェスト | 0.6.18 | doMC | 1.3.5 |
| dplyr | 0.8.0.1 | 省略記号 | 0.1.0 | ファンシ | 0.4.0 |
| フォーキャッツ | 0.4.0 | フォーリーチ | 1.4.4 | 外国の | 0.8-72 |
| 鍛冶場 | 0.2.0 | FS | 1.2.7 | gbm | 2.1.5 |
| ジェネリック | 0.0.2 | ggplot2 | 3.1.0 | gh | 1.0.1 |
| git2r | 0.25.2 | glmnet(英語) | 2.0-16 | 接着剤 | 1.3.1 |
| ガウアー | 0.2.0 | グラフィックス | 3.6.1 | grDevices | 3.6.1 |
| グリッド | 3.6.1 | gridExtra | 2.3 | gsubfn | 0.7 |
| gtable | 0.3.0 | H₂O | 3.22.1.1 | 安らぎの場 | 2.1.0 |
| エイチ・エム・エス | 0.4.2 | HTMLツール | 0.3.6 | HTMLウィジェット | 1.3 |
| 「httr」パッケージ（HTTPリクエストを簡単に送信するためのライブラリ） | 1.4.0 | エイチライター | 1.3.2 | hwriterPlus | 1.0-3 |
| ini | 0.3.1 | アイプレッド | 0.9-8 | イテレータ | 1.0.10 |
| jsonlite | 1.6 | カーンスムース | 2.23-15 | ラベリング | 0.3 |
| 格子構造 | 0.20-38 | 溶岩 | 1.6.5 | lazyeval | 0.2.2 |
| より小さい | 0.3.7 | lme4 | 1.1-21 | ルブリデート | 1.7.4 |
| Magrittr | 1.5 | mapproj（マッププロジェ） | 1.2.6 | 地図 | 3.3.0 |
| maptools | 0.9-5 | 質量 | 7.3-51.4 | マトリックス | 1.2-17 |
| MatrixModels | 0.4-1 | メモ化 | 1.1.0 | メソッド | 3.6.1 |
| mgcv | 1.8-29 | マイム | 0.6 | ミンカ | 1.2.4 |
| モデルメトリクス | 1.2.2 | munsell | 0.5.0 | mvtnorm | 1.0-10 |
| nlme | 3.1-141 | nloptr | 1.2.1 | ニューラルネットワーク (nnet) | 7.3-12 |
| numDeriv（ヌムデリヴ） | 2016.8-1 | openssl (オープンソースの暗号化ツール) | 1.3 | openxlsx | 4.1.0 |
| 並行 | 3.6.1 | pbkrtest | 0.4-7 | 柱 | 1.3.1 |
| pkgbuild（パッケージビルド） | 1.0.3 | pkgconfig | 2.0.2 | pkgKitten | 0.1.4 |
| pkgload(パッケージロード) | 1.0.2 | plogr | 0.2.0 | プライル | 1.8.4 |
| 賞賛 | 1.0.0 | プリティーユニッツ | 1.0.2 | プロック (pROC) | 1.14.0 |
| プロセスエックス | 3.3.0 | プロッドリム | 2018.04.18 | 進捗 | 1.2.0 |
| プロト | 1.0.0 | PS | 1.3.0 | ゴロゴロ | 0.3.2 |
| quantreg | 5.38 | R.methodsS3 | 1.7.1 | R.oo | 1.22.0 |
| R.utils | 2.8.0 | R2D3 | 0.2.3 | R6 | 2.4.0 |
| randomForest（ランダムフォレスト） | 4.6-14 | rappdirs | 0.3.1 | rcmdcheck | 1.3.2 |
| RColorブリューワー | 1.1-2 | Rcpp | 1.0.1 | RcppEigen | 0.3.3.5.0 |
| RcppRoll | 0.3.0 | RCurl | 1.95-4.12 | 読み取り | 1.3.1 |
| readxl (エクセルファイルの読み取り用パッケージ/関数) | 1.3.1 | レシピ | 0.1.5 | 再戦 | 1.0.1 |
| リモコン | 2.0.2 | リシェイプ2 | 1.4.3 | リオ | 0.5.16 |
| rlang | 0.3.3 | RODBC | 1.3-15 | リオキシジェン2 | 6.1.1 |
| rpart（Rプログラミング言語における再帰的分割のためのパッケージ） | 4.1-15 | rprojroot さん | 1.3-2 | Rサーブ | 1.8-6 |
| RSQLite (英語) | 2.1.1 | rstudioapi | 0.10 | 秤 | 1.0.0 |
| セッション情報 | 1.1.1 | 申し訳ありませんが、"sp"の文脈や意味を正確に特定する追加情報がないため、翻訳を改善することはできません。より詳細な情報を提供していただければ、適切な日本語の翻訳をご提案できます。 | 1.3-1 | スパークラー (sparklyr) | 1.0.0 |
| SparkR | 2.4.5 | SparseM | 1.77 | 空間の | 7.3-11 |
| スプライン | 3.6.1 | sqldf | 0.4-11 | スクウェアム | 2017.10-1 |
| statmod | 1.4.30 | 統計 | 3.6.1 | 統計プログラミングパッケージ「stats4」 | 3.6.1 |
| ストリンギ | 1.4.3 | stringr | 1.4.0 | サバイバル | 2.44-1.1 |
| システム | 3.1 | tcltk（ティーシーエルティーケー） | 3.6.1 | ティーチングデモズ | 2.10 |
| テストザット | 2.0.1 | tibble（ティブル） | 2.1.1 | ティディル | 0.8.3 |
| tidyselect関数 | 0.2.5 | 時刻と日付 | 3043.102 | ツール | 3.6.1 |
| この機能を使う | 1.4.0 | UTF8 | 1.1.4 | ユーティリティ | 3.6.1 |
| ヴィリディスライト | 0.3.0 | ウイスカー | 0.3-2 | ウィザー | 2.1.2 |
| xml2 | 1.2.0 | xopen (エックスオープン) | 1.0.0 | YAML | 2.2.0 |
| ジップ | 2.0.1 |
インストールされている Java および Scala ライブラリ (Scala 2.11 クラスター バージョン)
| グループ ID | 成果物 ID | バージョン |
|---|---|---|
| アンラル（ANTLR） | アンラル（ANTLR） | 2.7.7 |
| com.amazonaws | amazon-kinesis-client（アマゾン・キネシス・クライアント） | 1.8.10 |
| com.amazonaws | aws-java-sdk-autoscaling (オートスケーリング用Java SDK) | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.595 |
| com.amazonaws | AWSのJava SDKパッケージであるCloudFront | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudhsm（AWSのクラウドHSM用Javaソフトウェア開発キット） | 1.11.595 |
| com.amazonaws | AWSのJava SDK - cloudsearch | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.595 |
| com.amazonaws | aws-java-sdk-codedeploy（AWSのJava SDK用CodeDeployサービス） | 1.11.595 |
| com.amazonaws | aws-java-sdk-cognitoidentity (AWS Java SDK コグニトアイデンティティ) | 1.11.595 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.595 |
| com.amazonaws | aws-java-sdk-config（AWS Java SDK 設定） | 1.11.595 |
| com.amazonaws | aws-java-sdk-core（AWS Java SDKのコア） | 1.11.595 |
| com.amazonaws | aws-java-sdk-datapipeline (AWS Java SDKのデータパイプラインモジュール) | 1.11.595 |
| com.amazonaws | aws-java-sdk-directconnect (AWSのJava SDKのDirect Connect機能) | 1.11.595 |
| com.amazonaws | aws-java-sdk-directory | 1.11.595 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.595 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.595 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.595 |
| com.amazonaws | aws-java-sdk-efs | 1.11.595 |
| com.amazonaws | AWS Java SDK エラスティキャッシュ | 1.11.595 |
| com.amazonaws | AWS Java SDK エラスティックビーンストーク | 1.11.595 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.595 |
| com.amazonaws | aws-java-sdk-elastictranscoder (AWS用のJava開発ツールキット - Elastic Transcoder) | 1.11.595 |
| com.amazonaws | aws-java-sdk-emr | 1.11.595 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.595 |
| com.amazonaws | aws-java-sdk-glue (AWSのJava用SDKであるGlue) | 1.11.595 |
| com.amazonaws | AWSのJava SDK（IAM用） | 1.11.595 |
| com.amazonaws | AWS Java SDK インポートエクスポート | 1.11.595 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.595 |
| com.amazonaws | aws-java-sdk-kms | 1.11.595 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.595 |
| com.amazonaws | aws-java-sdk-logs | 1.11.595 |
| com.amazonaws | aws-java-sdk-機械学習 | 1.11.595 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.595 |
| com.amazonaws | aws-java-sdk-rds（AWSのJava用RDSソフトウェア開発キット） | 1.11.595 |
| com.amazonaws | AWS Java SDK Redshift | 1.11.595 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.595 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.595 |
| com.amazonaws | aws-java-sdk-ses | 1.11.595 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.595 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.595 |
| com.amazonaws | aws-java-sdk-sns | 1.11.595 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.595 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.595 |
| com.amazonaws | AWS Java SDK ストレージゲートウェイ | 1.11.595 |
| com.amazonaws | aws-java-sdk-sts | 1.11.595 |
| com.amazonaws | AWS Java SDK サポート | 1.11.595 |
| com.amazonaws | aws-java-sdk-swf-libraries (AWS Java SDK SWFライブラリ) | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspacesとはAWSのワークスペースを管理するためのJava用SDKです。 | 1.11.595 |
| com.amazonaws | jmespath-java | 1.11.595 |
| com.carrotsearch | hppc | 0.7.2 |
| com.chuusai | shapeless_2.11 | 2.3.2 |
| com.clearspring.analytics | ストリーミング | 2.7.0 |
| com.databricks | Rサーブ | 1.8-3 |
| com.databricks | dbml-local_2.11 | 0.5.0-db8-spark2.4 |
| com.databricks | dbml-local_2.11-tests | 0.5.0-db8-spark2.4 |
| com.databricks | jets3t (ジェットスリート) | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.11 (コンパイラプラグイン_2.11) | 0.4.15-9 |
| com.databricks.scalapb | scalapb-runtime_2.11 | 0.4.15-9 |
| com.esotericsoftware | kryo-シェーデッド | 4.0.2 |
| com.esotericsoftware | minlog (ミンログ) | 1.3.0 |
| com.fasterxml | クラスメイト | 1.0.0 |
| com.fasterxml.jackson.core | jackson-annotations (ジャクソン・アノテーション) | 2.6.7 |
| com.fasterxml.jackson.core | ジャクソン・コア (jackson-core) | 2.6.7 |
| com.fasterxml.jackson.core | ジャクソン・データバインド (jackson-databind) | 2.6.7.1 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor（ジャクソンデータフォーマットCBOR） | 2.6.7 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-scala_2.11 | 2.6.7.1 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | コア | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-ジャバ-ネイティブス | 1.1 |
| com.github.fommil.netlib | ネイティブシステム-Java | 1.1 |
| com.github.fommil.netlib | ネイティブシステム-Java-ネイティブ | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.luben | zstd-jni (ゼットスタッドジェイエヌアイ) | 1.3.2-2 |
| com.github.rwl | ジェイトランスフォームス | 2.4.0 |
| com.google.code.findbugs | jsr305 | 2.0.1 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.guava | グアバ | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.googlecode.javaewah | JavaEWAH | 0.3.2 |
| com.h2database | h2 | 1.3.174 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.microsoft.azure | azure-data-lake-store-sdk（アジュール・データ・レイク・ストア・SDK） | 2.2.8 |
| com.microsoft.azure | Azureストレージ | 7.0.0 |
| com.microsoft.sqlserver | mssql-jdbc | 6.2.2.jre8 |
| com.ning | Compress-LZF (コンプレス-LZF) | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.thoughtworks.paranamer | パラナマー | 2.8 |
| com.trueaccord.lenses | lenses_2.11 | 0.3 |
| com.twitter | チル-ジャヴァ | 0.9.3 |
| com.twitter | chill_2.11 | 0.9.3 |
| com.twitter | parquet-hadoop-bundle | 1.6.0 |
| com.twitter | util-app_2.11 | 6.23.0 |
| com.twitter | util-core_2.11 | 6.23.0 |
| com.twitter | util-jvm_2.11 | 6.23.0 |
| com.typesafe | 設定 | 1.2.1 |
| com.typesafe.scala-logging | scala-logging-api_2.11 (Scalaのログ記録APIのバージョン2.11) | 2.1.2 |
| com.typesafe.scala-logging | scala-logging-slf4j_2.11 | 2.1.2 |
| com.univocity | univocity-parsers（ユニボシティ・パーサーズ） | 2.7.3 |
| com.vlkan | フラットバッファーズ | 1.2.0-3f79e055 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.9.3 |
| commons-cli | commons-cli | 1.2 |
| コモンズ・コーデック | コモンズ・コーデック | 1.10 |
| コモンズ・コレクションズ | コモンズ・コレクションズ | 3.2.2 |
| commons-configuration (コモンズ・コンフィギュレーション) | commons-configuration (コモンズ・コンフィギュレーション) | 1.6 |
| commons-dbcp（コモンズ-DBCP） | commons-dbcp（コモンズ-DBCP） | 1.4 |
| commons-digester (コモンズ・ダイジェスター) | commons-digester (コモンズ・ダイジェスター) | 1.8 |
| commons-httpclient（コモンズHTTPクライアント） | commons-httpclient（コモンズHTTPクライアント） | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang (コモンズ・ラン、Javaの汎用ユーティリティライブラリ) | commons-lang (コモンズ・ラン、Javaの汎用ユーティリティライブラリ) | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool（コモンズプール） | commons-pool（コモンズプール） | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.7 |
| io.airlift | エアコンプレッサー | 0.10 |
| io.dropwizard.metrics | メトリクス・コア | 3.1.5 |
| io.dropwizard.metrics | メトリクス・ガングリア (metrics-ganglia) | 3.1.5 |
| io.dropwizard.metrics | メトリクス・グラファイト | 3.1.5 |
| io.dropwizard.metrics | メトリクス-ヘルスチェック | 3.1.5 |
| io.dropwizard.metrics | メトリクス-ジェッティ9 | 3.1.5 |
| io.dropwizard.metrics | metrics-json | 3.1.5 |
| io.dropwizard.metrics | メトリックス-JVM | 3.1.5 |
| io.dropwizard.metrics | metrics-log4j | 3.1.5 |
| io.dropwizard.metrics | メトリクス-サーブレット | 3.1.5 |
| io.netty | ネッティ | 3.9.9.Final |
| io.netty | netty-all (ライブラリ名) | 4.1.39.Final |
| javax.activation | アクティブ化 | 1.1.1 |
| javax.annotation | javax.annotation-api | 1.2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.サーブレット | javax.サーブレット-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1.1 |
| javax.validation | validation-api | 1.1.0.Final |
| javax.ws.rs | javax.ws.rs-api | 2.0.1 |
| .bind の javax.xml | jaxb-api | 2.2.2 |
| .stream の javax.xml | stax-api | 1.0-2 |
| 「ジャボリューション（Javolution）」 | 「ジャボリューション（Javolution）」 | 5.5.1 |
| ジェイライン | ジェイライン | 2.14.6 |
| joda-time | joda-time | 2.9.3 |
| junit | junit | 4.12 |
| log4j | アパッチ・ログ4J・エクストラ | 1.2.17 |
| log4j | log4j | 1.2.17 |
| net.hydromatic | eigenbase-properties | 1.1.5 |
| net.razorvine | パイロライト | 4.13 |
| net.sf.jpam | ジェーパム | 1.1 |
| net.sf.opencsv | opencsv (CSVファイル操作のためのライブラリ) | 2.3 |
| net.sf.supercsv | スーパCSV (スーパーシーエスブイ) | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk（スノーフレーク・インジェスト・SDK） | 0.9.6 |
| net.snowflake | スノーフレーク-JDBC | 3.12.0 |
| net.snowflake | spark-snowflake_2.11 | 2.5.9-spark_2.4 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt | oncrpc | 1.0.7 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.4 |
| org.antlr | antlr4-runtime | 4.7 |
| org.antlr | ストリングテンプレート | 3.2.1 |
| org.apache.ant | 蟻 | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | 矢印フォーマット | 0.10.0 |
| org.apache.arrow | アロー・メモリ | 0.10.0 |
| org.apache.arrow | 矢印ベクトル | 0.10.0 |
| org.apache.avro | アブロ | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.calcite | calcite-avatica | 1.2.0-インキュベーション |
| org.apache.calcite | カルサイトコア | 1.2.0-インキュベーション |
| org.apache.calcite | calcite-linq4j | 1.2.0-インキュベーション |
| org.apache.commons | コモンズ・コンプレス | 1.8.1 |
| org.apache.commons | commons-crypto | 1.0.0 |
| org.apache.commons | commons-lang3 | 3.5 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.curator | キュレータークライアント | 2.7.1 |
| org.apache.curator | Curator Framework（キュレーター・フレームワーク） | 2.7.1 |
| org.apache.curator | キュレーターのレシピ | 2.7.1 |
| org.apache.derby | ダービー | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | APIユーティル | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | Hadoop 注釈 | 2.7.3 |
| org.apache.hadoop | hadoop-auth（認証システム） | 2.7.3 |
| org.apache.hadoop | ハドゥープクライアント | 2.7.3 |
| org.apache.hadoop | Hadoop共通 | 2.7.3 |
| org.apache.hadoop | hadoop-hdfs | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.3 |
| org.apache.hadoop | Hadoop-YARN-クライアント | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.3 |
| org.apache.hadoop | ハドゥープ・ヤーン・サーバー・コモン | 2.7.3 |
| org.apache.htrace | htrace-core | 3.1.0-インキュベーション中 |
| org.apache.httpcomponents | httpclient | 4.5.6 |
| org.apache.httpcomponents | httpcore | 4.4.10 |
| org.apache.ivy | アイビー | 2.4.0 |
| org.apache.orc | orc-core-nohive | 1.5.5 |
| org.apache.orc | orc-mapreduce-nohive | 1.5.5 |
| org.apache.orc | orc-shims（オーク・シムズ） | 1.5.5 |
| org.apache.parquet | パーケット列 | 1.10.1.2-databricks4 |
| org.apache.parquet | パーケット・コモン | 1.10.1.2-databricks4 |
| org.apache.parquet | パーケットエンコーディング | 1.10.1.2-databricks4 |
| org.apache.parquet | パルクェット形式 (Parquet形式) | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1.2-databricks4 |
| org.apache.parquet | parquet-jackson | 1.10.1.2-databricks4 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift (リブスリフト) | 0.9.3 |
| org.apache.xbean | xbean-asm6-shaded | 4.8 |
| org.apache.zookeeper | 動物園の飼育員 | 3.4.6 |
| org.codehaus.jackson | ジャクソンコアASL | 1.9.13 |
| org.codehaus.jackson | ジャクソン-JAXRS | 1.9.13 |
| org.codehaus.jackson | ジャクソン・マッパー・ASL | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | コモンズコンパイラー | 3.0.10 |
| org.codehaus.janino | ジャニーノ (janino) | 3.0.10 |
| org.datanucleus | datanucleus-api-jdo | 3.2.6 |
| org.datanucleus | datanucleus-core | 3.2.10 |
| org.datanucleus | データニュクレウス-RDBMS | 3.2.9 |
| org.eclipse.jetty | jetty-client | 9.3.27.v20190418 |
| org.eclipse.jetty | ジェッティ・コンティニュエーション | 9.3.27.v20190418 |
| org.eclipse.jetty | ジェッティ-HTTP | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-io | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-jndi（ジェッティ-JNDI） | 9.3.27.v20190418 |
| org.eclipse.jetty | ジェッティプラス | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-proxy (ジェッティプロキシ) | 9.3.27.v20190418 |
| org.eclipse.jetty | ジェッティ・セキュリティ | 9.3.27.v20190418 |
| org.eclipse.jetty | ジェッティ・サーバー | 9.3.27.v20190418 |
| org.eclipse.jetty | ジェッティ-サーブレット | 9.3.27.v20190418 |
| org.eclipse.jetty | ジェッティ・サーブレット (jetty-servlets) | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-util (ジェッティユーティル) | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-webapp（ジェッティ・ウェブアプリ） | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-xml | 9.3.27.v20190418 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-locator | 2.4.0-b34 |
| org.glassfish.hk2 | hk2ユーティリティー | 2.4.0-b34 |
| org.glassfish.hk2 | OSGiリソースロケーター | 1.0.1 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.4.0-b34 |
| org.glassfish.hk2.external | javax.inject | 2.4.0-b34 |
| org.glassfish.jersey.bundles.repackaged | ジャージーグアバ | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-サーブレット | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-サーブレット-コア | 2.22.2 |
| org.glassfish.jersey.core | ジャージー・クライアント | 2.22.2 |
| org.glassfish.jersey.core | ジャージーコモン | 2.22.2 |
| org.glassfish.jersey.core | ジャージーサーバー | 2.22.2 |
| org.glassfish.jersey.media | ジャージー・メディア・JAXB | 2.22.2 |
| org.hamcrest | hamcrest-core | 1.3 |
| org.hamcrest | hamcrest-library | 1.3 |
| org.hibernate | hibernate-validator (ハイバーネイト検証ツール) | 5.1.1.Final |
| org.iq80.snappy | てきぱき | 0.2 |
| org.javassist | javassist（ジャバアシスト） | 3.18.1-GA |
| org.jboss.logging | jboss-logging | 3.1.3.GA |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert（ジョーダライブラリの日付・時間操作用コンバート） | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.11 | 3.5.3 |
| org.json4s | json4s-core_2.11 | 3.5.3 |
| org.json4s | ジェイソンフォースジャクソン_2.11 | 3.5.3 |
| org.json4s | json4s-scalap_2.11 | 3.5.3 |
| org.lz4 | lz4-java | 1.4.0 |
| org.mariadb.jdbc | mariadb-java-client（MariaDB用Javaクライアント） | 2.1.2 |
| org.mockito | mockito-core | 1.10.19 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.7.45 |
| org.roaringbitmap | シム | 0.7.45 |
| org.rocksdb | rocksdbjni | 6.2.2 |
| org.rosuda.REngine | REngine（アールエンジン） | 2.1.0 |
| org.scala-lang | scala-compiler_2.11 | 2.11.12 |
| org.scala-lang | scala-library_2.11 | 2.11.12 |
| org.scala-lang | scala-reflect_2.11 | 2.11.12 |
| org.scala-lang.modules | scala-parser-combinators_2.11 | 1.1.0 |
| org.scala-lang.modules | scala-xml_2.11 | 1.0.5 |
| org.scala-sbt | テストインターフェイス | 1.0 |
| org.scalacheck | scalacheck_2.11 | 1.12.5 |
| org.scalactic | scalactic_2.11 | 3.0.3 |
| org.scalanlp | breeze-macros_2.11 | 0.13.2 |
| org.scalanlp | breeze_2.11 | 0.13.2 |
| org.scalatest | scalatest_2.11 | 3.0.3 |
| org.slf4j | jcl-over-slf4j | 1.7.16 |
| org.slf4j | jul-to-slf4j | 1.7.16 |
| org.slf4j | slf4j-api | 1.7.16 |
| org.slf4j | slf4j-log4j12 | 1.7.16 |
| org.spark-project.hive | hive-beeline | 1.2.1.spark2 |
| org.spark-project.hive | hive-cli | 1.2.1.spark2 |
| org.spark-project.hive | hive-jdbc | 1.2.1.spark2 |
| org.spark-project.hive | ハイヴメタストア | 1.2.1.spark2 |
| org.spark-project.spark | 未使用 | 1.0.0 |
| org.spire-math | spire-macros_2.11 | 0.13.0 |
| org.spire-math | spire_2.11 | 0.13.0 |
| org.springframework | spring-core（スプリング・コア） | 4.1.4.RELEASE |
| org.springframework | スプリングテスト | 4.1.4.RELEASE |
| org.tukaani | xz | 1.5 |
| org.typelevel | マシニスト_2.11 | 0.6.1 |
| org.typelevel | macro-compat_2.11 | 1.1.1 |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.7.3 |
| org.yaml | snakeyaml（スネークヤムル） | 1.16 |
| oro | oro | 2.0.8 |
| software.amazon.ion | ion-java | 1.0.2 |
| スタックス | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0.52 |