注
この Databricks Runtime バージョンのサポートは終了しました。 サポート終了日については、「サポート終了の履歴」を参照してください。 サポートされている Databricks Runtime のすべてのバージョンについては、「Databricks Runtime リリース ノートのバージョンと互換性」を参照してください。
Databricks は、2019 年 2 月にこのバージョンをリリースしました。 2021 年 9 月 5 日にサポートが終了しました。 Databricks Light 2.4 延長サポート (サポート期間終了) は、Databricks Light 2.4 のサポートを延長するために 2021 年 7 月 27 日にリリースされました。 元の Databricks Light 2.4 で使用されていた非推奨の Ubuntu 16.04.6 LTS ディストリビューションではなく、Ubuntu 18.04.5 LTS が使用されます。 Ubuntu 16.04.6 LTS のサポートは、2021 年 4 月 1 日に終了しました。
Databricks Light 2.4 は、Apache Spark 2.4 をベースにしています。
Databricks Light クラスターを作成する手順などの詳細については、「Databricks Light」を参照してください。
Spark 2.4.0 の修正
このリリースには、コアな Apache Spark 2.4.0 に加えて、次のバグ修正と機能強化が含まれています。
- [SPARK-26147][SQL] 結合条件から評価できない python udf のみをプル
- [SPARK-26129][SQL] クエリごとの計画時間のインストルメンテーション
- [SPARK-25921][PYSPARK] Python ワーカーの再利用中に BarrierTaskContext を使用せずにバリア タスクを実行する問題を修正
-
[SPARK-23207][SQL]
SQLConf.get.enableRadixSortではなくSparkEnv.get.conf.get(SQLConf.RADIX_SORT_ENABLED)を使用 - [SPARK-26057][SQL] 重複排除参照時のプランの変換も分析
- [SPARK-25974][SQL] 指定された順序に基づく並べ替え用にバイトコードの生成を最適化
- [SPARK-25901][CORE] BarrierTaskContext で 1 つのスレッドのみを使用
- [SPARK-25381][SQL] 列引数による階層サンプリング
- [SPARK-25514][SQL] to_json による整形された JSON の生成
-
[SPARK-22827][SQL]
SparkOutOfMemoryErrorでもHashAggregateExecをスロー - [SPARK-25979][SQL] ウィンドウ関数: ウィンドウ参照を囲むかっこを許可
- [SPARK-25988][SQL] アナライザーで列名を重複排除するときに名前を変更しない
- [SPARK-25904][CORE] Int.MaxValue より小さい配列を割り振る
- [SPARK-24901][SQL] VectorizedHashMap が false のときにコンパイラの maxCodesize を削減するために、RegularHashMap と fastHashMap の codegen をマージ
- [SPARK-25850][SQL] コード生成関数の分割しきい値を構成可能にする
- [SPARK-25866][ML] KMeans formatVersion の更新
- [SPARK-22148][SPARK-15815][SCHEDULER] ブロックリストに登録されたためのハングを回避するために新しい Executor を取得
- [SPARK-25827][CORE] 受信暗号化ブロックのバイト バッファーへの変換を回避
- [SPARK-25918][SQL] LOAD DATA LOCAL INPATH は相対パスを処理する必要があります
- [SPARK-25837][CORE] ステージをクリーンアップするときの AppStatusListener の潜在的な速度低下を修正
- [SPARK-25773][CORE] ジョブの完了時に結果ステージでゾンビ タスクを取り消す (5.x)
- [SPARK-25767][SQL] コード生成時の式の遅延評価ストリームを修正
-
[SPARK-25819][SQL] 関数
from_avroの解析モード オプションをサポート - [SPARK-25044] ScalaUDF コンストラクター シグネチャの変更
- [SPARK-25699][SQL] ORC で述語化された結合を部分的にプッシュダウン
- [SPARK-25559][SQL] Parquet でサポートされていない述語を削除
- [SPARK-25540][SPARK-25525][SQL] [PYSPARK] SparkSession.getOrCreate の既存の SparkContext の conf を更新しない。
- [SPARK-25595] フラグ IGNORE_CORRUPT_FILES が有効になっている場合は破損した Avro ファイルを無視
- [SPARK-25458][SQL] COLUMNS で FOR ALL ANALYZE TABLE をサポートする
- [SPARK-25449][CORE] ハートビートにはゼロのメトリクスのアキュムレータを含むべきではありません
- [SPARK-25399][SS] 継続的処理状態がマイクロバッチ実行ジョブに影響しない
- [SPARK-26092][SS] CheckpointFileManager を使用してストリーミング メタデータ ファイルを書き込む
メンテナンスの更新
Databricks Light 2.4 のメンテナンス更新に関する記事を参照してください。
システム環境
- オペレーティング システム: Ubuntu 16.04.5 LTS
- Java: 1.8.0_181
- Scala: 2.11.8
- Python: Python 2 クラスターの場合は 2.7.12、Python 3 クラスターの場合は 3.5.2。
- R: R バージョン 3.4.4 (2018-03-15)
インストールされている Python ライブラリ
| ライブラリ | バージョン | ライブラリ | バージョン | ライブラリ | バージョン |
|---|---|---|---|---|---|
| ansi2html | 1.1.1 | argparse | 1.2.1 | backports-abc | 0.5 |
| boto | 2.42.0 | boto3 | 1.4.1 | botocore | 1.4.70 |
| brewer2mpl | 1.4.1 | サーティフィ | 2016.2.28 | cffi | 1.7.0 |
| チャーデット | 2.3.0 | colorama | 0.3.7 | configobj | 5.0.6 |
| 暗号 | 1.5 | サイクリスト | 0.10.0 | Cython | 0.24.1 |
| デコレータ | 4.0.10 | docutils (ドキュメントユーティリティ) | 0.14 | enum34 | 1.1.6 |
| et-xmlfile | 1.0.1 | freetype-py | 1.0.2 | funcsigs | 1.0.2 |
| fusepy | 2.0.4 | 先物 | 3.2.0 | ggplot | 0.6.8 |
| html5lib | 0.999 | idna | 2.1 | IPアドレス | 1.0.16 |
| ipython | 2.2.0 | ipython-genutils (IPython用のユーティリティ) | 0.1.0 | jdcal | 1.2 |
| ジンジャ2 | 2.8 | jmespath | 0.9.0 | llvmlite | 0.13.0 |
| lxml | 3.6.4 | マークアップセーフ | 0.23 | matplotlib | 1.5.3 |
| mpld3 | 0.2 | msgpack-python | 0.4.7 | ndg-httpsclient | 0.3.3 |
| numba | 0.28.1 | NumPy (数値計算ライブラリ) | 1.11.1 | openpyxl | 2.3.2 |
| パンダ | 0.19.2 | pathlib2 | 2.1.0 | パッツィ | 0.4.1 |
| ペキスペクト | 4.0.1 | ピクルシェア | 0.7.4 | 枕 | 3.3.1 |
| 種 | 18.1 | 運行する | 3.9 | prompt-toolkit（プロンプトツールキット） | 1.0.7 |
| psycopg2 | 2.6.2 | ptyprocess | 0.5.1 | py4j | 0.10.3 |
| pyarrow (パイアロー) | 0.8.0 | pyasn1 | 0.1.9 | pycparser（パイシーパーサー） | 2.14 |
| Pygments | 2.1.3 | PyGObject | 3.20.0 | pyOpenSSL（PythonのSSL/TLSライブラリ） | 16.0.0 |
| パイパーシング (Pyparsing) | 2.2.0 | pypng | 0.0.18 | Python | 2.7.12 |
| python-dateutil (Python用の日付処理ライブラリ) | 2.5.3 | python-geohash | 0.8.5 | pytz | 2016年6月1日 |
| リクエスト | 2.11.1 | s3transfer | 0.1.9 | scikit-learn（サイキット・ラーン） | 0.18.1 |
| scipy | 0.18.1 | 擦る | 0.32 | seaborn（シーボーン） | 0.7.1 |
| setuptools（セットアップツール） | 40.6.2 | simplejson | 3.8.2 | simples3 | 1.0 |
| シングルディスパッチ | 3.4.0.3 | 6 | 1.10.0 | statsmodels（スタッツモデルズ） | 0.6.1 |
| 竜巻 | 5.1.1 | traitlets（トレイトレット） | 4.3.0 | urllib3 | 1.19.1 |
| virtualenv | 16.1.0 | wcwidth（文字の幅を測定するプログラム関数） | 0.1.7 | ホイール | 0.32.3 |
| wsgiref | 0.1.2 |
インストールされている R ライブラリ
| ライブラリ | バージョン | ライブラリ | バージョン | ライブラリ | バージョン |
|---|---|---|---|---|---|
| abind（配列を結合する） | 1.4-5 | assertthat（アサートザット関数） | 0.2.0 | バックポート（旧バージョンへの機能移植） | 1.1.2 |
| ベース | 3.4.4 | base64enc | 0.1-3 | BH | 1.66.0-1 |
| bindr | 0.1.1 | バインドアールシーピーピー (bindrcpp) | 0.2.2 | ビット | 1.1-14 |
| ビット64 | 0.9-7 | ビット演算 | 1.0-6 | BLOB | 1.1.1 |
| 起動 | 1.3-20 | 醸成 | 1.0-6 | 箒 | 0.5.0 |
| コールアール | 3.0.0 | 車 | 3.0-2 | 車のデータ | 3.0-2 |
| キャレット | 6.0-80 | セルレンジャー (cellranger) | 1.1.0 | クロノ | 2.3-53 |
| クラス | 7.3-14 | CLI | 1.0.1 | クリッパー | 0.4.1 |
| CLIシンボル | 1.2.0 | クラスタ | 2.0.7-1 | コードツール | 0.2-15 |
| カラー空間 | 1.3-2 | コモンマーク | 1.6 | コンパイラ | 3.4.4 |
| クレヨン | 1.3.4 | カール | 3.2 | CVST (脳静脈洞血栓症) | 0.2-2 |
| データテーブル (data.table) | 1.11.8 | データセット | 3.4.4 | DBI | 1.0.0 |
| ddalpha | 1.3.4 | DEoptimR | 1.0 から 8 | 説明 | 1.2.0 |
| 開発ツール | 2.0.1 | ダイジェスト | 0.6.18 | ディムレッド | 0.1.0 |
| doMC | 1.3.5 | dplyr | 0.7.7 | 防災減災（Disaster Risk Reduction; DRR） | 0.0.3 |
| ファンシ | 0.4.0 | フォーキャッツ | 0.3.0 | フォーリーチ | 1.4.4 |
| 外国の | 0.8-70 | FS | 1.2.6 | gbm | 2.1.4 |
| geometry | 0.3-6 | ggplot2 | 3.1.0 | gh | 1.0.1 |
| git2r | 0.23.0 | glmnet(英語) | 2.0-16 | 接着剤 | 1.3.0 |
| ガウアー | 0.1.2 | グラフィックス | 3.4.4 | grDevices | 3.4.4 |
| グリッド | 3.4.4 | gridExtra | 2.3 | gsubfn | 0.7 |
| gtable | 0.2.0 | H₂O | 3.20.0.8 | 安らぎの場 | 1.1.2 |
| エイチ・エム・エス | 0.4.2 | 「httr」パッケージ（HTTPリクエストを簡単に送信するためのライブラリ） | 1.3.1 | エイチライター | 1.3.2 |
| hwriterPlus | 1.0-3 | ini | 0.3.1 | アイプレッド | 0.9-8 |
| イテレータ | 1.0.10 | jsonlite | 1.5 | kernlab | 0.9-27 |
| カーンスムース | 2.23-15 | ラベリング | 0.3 | 格子構造 | 0.20-38 |
| 溶岩 | 1.6.3 | lazyeval | 0.2.1 | より小さい | 0.3.5 |
| lme4 | 1.1-18-1 | ルブリデート | 1.7.4 | マジック | 1.5-9 |
| Magrittr | 1.5 | mapproj（マッププロジェ） | 1.2.6 | 地図 | 3.3.0 |
| maptools | 0.9-4 | 質量 | 7.3-50 | マトリックス | 1.2-14 |
| MatrixModels | 0.4-1 | メモ化 | 1.1.0 | メソッド | 3.4.4 |
| mgcv | 1.8-25 | マイム | 0.6 | ミンカ | 1.2.4 |
| モデルメトリクス | 1.2.2 | munsell | 0.5.0 | mvtnorm | 1.0 から 8 |
| nlme | 3.1-137 | nloptr | 1.2.1 | ニューラルネットワーク (nnet) | 7.3-12 |
| numDeriv（ヌムデリヴ） | 2016.8-1 | openssl (オープンソースの暗号化ツール) | 1.0.2 | openxlsx | 4.1.0 |
| 並行 | 3.4.4 | pbkrtest | 0.4-7 | 柱 | 1.3.0 |
| pkgbuild（パッケージビルド） | 1.0.2 | pkgconfig | 2.0.2 | pkgKitten | 0.1.4 |
| pkgload(パッケージロード) | 1.0.2 | plogr | 0.2.0 | お願い | 2.7-0 |
| プライル | 1.8.4 | 賞賛 | 1.0.0 | プリティーユニッツ | 1.0.2 |
| プロック (pROC) | 1.13.0 | プロセスエックス | 3.2.0 | プロッドリム | 2018.04.18 |
| プロト | 1.0.0 | PS | 1.2.0 | ゴロゴロ | 0.2.5 |
| quantreg | 5.36 | R.methodsS3 | 1.7.1 | R.oo | 1.22.0 |
| R.utils | 2.7.0 | R6 | 2.3.0 | randomForest（ランダムフォレスト） | 4.6-14 |
| rcmdcheck | 1.3.1 | RColorブリューワー | 1.1-2 | Rcpp | 0.12.19 |
| RcppEigen | 0.3.3.4.0 | RcppRoll | 0.3.0 | RCurl | 1.95-4.11 |
| 読み取り | 1.1.1 | readxl (エクセルファイルの読み取り用パッケージ/関数) | 1.1.0 | レシピ | 0.1.3 |
| 再戦 | 1.0.1 | リモコン | 2.0.2 | リシェイプ2 | 1.4.3 |
| リオ | 0.5.10 | rlang | 0.3.0.1 | robustbase | 0.93-3 |
| RODBC | 1.3-15 | リオキシジェン2 | 6.1.0 | rpart（Rプログラミング言語における再帰的分割のためのパッケージ） | 4.1-13 |
| rprojroot さん | 1.3-2 | Rサーブ | 1.7-3 | RSQLite (英語) | 2.1.1 |
| rstudioapi | 0.8 | 秤 | 1.0.0 | セッション情報 | 1.1.1 |
| sfsmisc | 1.1-2 | 申し訳ありませんが、"sp"の文脈や意味を正確に特定する追加情報がないため、翻訳を改善することはできません。より詳細な情報を提供していただければ、適切な日本語の翻訳をご提案できます。 | 1.3-1 | SparkR | 2.4.0 |
| SparseM | 1.77 | 空間の | 7.3-11 | スプライン | 3.4.4 |
| sqldf | 0.4-11 | スクウェアム | 2017.10-1 | statmod | 1.4.30 |
| 統計 | 3.4.4 | 統計プログラミングパッケージ「stats4」 | 3.4.4 | ストリンギ | 1.2.4 |
| stringr | 1.3.1 | サバイバル | 2.43-1 | tcltk（ティーシーエルティーケー） | 3.4.4 |
| ティーチングデモズ | 2.10 | テストザット | 2.0.1 | tibble（ティブル） | 1.4.2 |
| ティディル | 0.8.2 | tidyselect関数 | 0.2.5 | 時刻と日付 | 3043.102 |
| ツール | 3.4.4 | この機能を使う | 1.4.0 | UTF8 | 1.1.4 |
| ユーティリティ | 3.4.4 | ヴィリディスライト | 0.3.0 | ウイスカー | 0.3-2 |
| ウィザー | 2.1.2 | xml2 | 1.2.0 | xopen (エックスオープン) | 1.0.0 |
| ジップ | 1.0.0 |
インストールされている Java および Scala ライブラリ (Scala 2.11 クラスター バージョン)
| グループ ID | 成果物 ID | バージョン |
|---|---|---|
| アンラル（ANTLR） | アンラル（ANTLR） | 2.7.7 |
| com.amazonaws | amazon-kinesis-client（アマゾン・キネシス・クライアント） | 1.8.10 |
| com.amazonaws | aws-java-sdk-autoscaling (オートスケーリング用Java SDK) | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.313 |
| com.amazonaws | AWSのJava SDKパッケージであるCloudFront | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudhsm（AWSのクラウドHSM用Javaソフトウェア開発キット） | 1.11.313 |
| com.amazonaws | AWSのJava SDK - cloudsearch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.313 |
| com.amazonaws | aws-java-sdk-codedeploy（AWSのJava SDK用CodeDeployサービス） | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitoidentity (AWS Java SDK コグニトアイデンティティ) | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.313 |
| com.amazonaws | aws-java-sdk-config（AWS Java SDK 設定） | 1.11.313 |
| com.amazonaws | aws-java-sdk-core（AWS Java SDKのコア） | 1.11.313 |
| com.amazonaws | aws-java-sdk-datapipeline (AWS Java SDKのデータパイプラインモジュール) | 1.11.313 |
| com.amazonaws | aws-java-sdk-directconnect (AWSのJava SDKのDirect Connect機能) | 1.11.313 |
| com.amazonaws | aws-java-sdk-directory | 1.11.313 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.313 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.313 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.313 |
| com.amazonaws | aws-java-sdk-efs | 1.11.313 |
| com.amazonaws | AWS Java SDK エラスティキャッシュ | 1.11.313 |
| com.amazonaws | AWS Java SDK エラスティックビーンストーク | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.313 |
| com.amazonaws | aws-java-sdk-elastictranscoder (AWS用のJava開発ツールキット - Elastic Transcoder) | 1.11.313 |
| com.amazonaws | aws-java-sdk-emr | 1.11.313 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.313 |
| com.amazonaws | AWSのJava SDK（IAM用） | 1.11.313 |
| com.amazonaws | AWS Java SDK インポートエクスポート | 1.11.313 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.313 |
| com.amazonaws | aws-java-sdk-kms | 1.11.313 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.313 |
| com.amazonaws | aws-java-sdk-logs | 1.11.313 |
| com.amazonaws | aws-java-sdk-機械学習 | 1.11.313 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.313 |
| com.amazonaws | aws-java-sdk-rds（AWSのJava用RDSソフトウェア開発キット） | 1.11.313 |
| com.amazonaws | AWS Java SDK Redshift | 1.11.313 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.313 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.313 |
| com.amazonaws | aws-java-sdk-ses | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.313 |
| com.amazonaws | aws-java-sdk-sns | 1.11.313 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.313 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.313 |
| com.amazonaws | AWS Java SDK ストレージゲートウェイ | 1.11.313 |
| com.amazonaws | aws-java-sdk-sts | 1.11.313 |
| com.amazonaws | AWS Java SDK サポート | 1.11.313 |
| com.amazonaws | aws-java-sdk-swf-libraries (AWS Java SDK SWFライブラリ) | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspacesとはAWSのワークスペースを管理するためのJava用SDKです。 | 1.11.313 |
| com.amazonaws | jmespath-java | 1.11.313 |
| com.carrotsearch | hppc | 0.7.2 |
| com.chuusai | shapeless_2.11 | 2.3.2 |
| com.clearspring.analytics | ストリーミング | 2.7.0 |
| com.databricks | Rサーブ | 1.8-3 |
| com.databricks | dbml-local_2.11 | 0.5.0-db8-spark2.4 |
| com.databricks | dbml-local_2.11-tests | 0.5.0-db8-spark2.4 |
| com.databricks | jets3t (ジェットスリート) | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.11 (コンパイラプラグイン_2.11) | 0.4.15-9 |
| com.databricks.scalapb | scalapb-runtime_2.11 | 0.4.15-9 |
| com.esotericsoftware | kryo-シェーデッド | 4.0.2 |
| com.esotericsoftware | minlog (ミンログ) | 1.3.0 |
| com.fasterxml | クラスメイト | 1.0.0 |
| com.fasterxml.jackson.core | jackson-annotations (ジャクソン・アノテーション) | 2.6.7 |
| com.fasterxml.jackson.core | ジャクソン・コア (jackson-core) | 2.6.7 |
| com.fasterxml.jackson.core | ジャクソン・データバインド (jackson-databind) | 2.6.7.1 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor（ジャクソンデータフォーマットCBOR） | 2.6.7 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-scala_2.11 | 2.6.7.1 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | コア | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-ジャバ-ネイティブス | 1.1 |
| com.github.fommil.netlib | ネイティブシステム-Java | 1.1 |
| com.github.fommil.netlib | ネイティブシステム-Java-ネイティブ | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.luben | zstd-jni (ゼットスタッドジェイエヌアイ) | 1.3.2-2 |
| com.github.rwl | ジェイトランスフォームス | 2.4.0 |
| com.google.code.findbugs | jsr305 | 2.0.1 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.guava | グアバ | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.googlecode.javaewah | JavaEWAH | 0.3.2 |
| com.h2database | h2 | 1.3.174 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.mchange | c3p0 | 0.9.5.1 |
| com.mchange | mchange-commons-java | 0.2.10 |
| com.microsoft.azure | azure-data-lake-store-sdk（アジュール・データ・レイク・ストア・SDK） | 2.2.8 |
| com.microsoft.sqlserver | mssql-jdbc | 6.2.2.jre8 |
| com.ning | Compress-LZF (コンプレス-LZF) | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.thoughtworks.paranamer | パラナマー | 2.8 |
| com.trueaccord.lenses | lenses_2.11 | 0.3 |
| com.twitter | チル-ジャヴァ | 0.9.3 |
| com.twitter | chill_2.11 | 0.9.3 |
| com.twitter | parquet-hadoop-bundle | 1.6.0 |
| com.twitter | util-app_2.11 | 6.23.0 |
| com.twitter | util-core_2.11 | 6.23.0 |
| com.twitter | util-jvm_2.11 | 6.23.0 |
| com.typesafe | 設定 | 1.2.1 |
| com.typesafe.scala-logging | scala-logging-api_2.11 (Scalaのログ記録APIのバージョン2.11) | 2.1.2 |
| com.typesafe.scala-logging | scala-logging-slf4j_2.11 | 2.1.2 |
| com.univocity | univocity-parsers（ユニボシティ・パーサーズ） | 2.7.3 |
| com.vlkan | フラットバッファーズ | 1.2.0-3f79e055 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.7.0 |
| commons-beanutils | commons-beanutils-core | 1.8.0 |
| commons-cli | commons-cli | 1.2 |
| コモンズ・コーデック | コモンズ・コーデック | 1.10 |
| コモンズ・コレクションズ | コモンズ・コレクションズ | 3.2.2 |
| commons-configuration (コモンズ・コンフィギュレーション) | commons-configuration (コモンズ・コンフィギュレーション) | 1.6 |
| commons-dbcp（コモンズ-DBCP） | commons-dbcp（コモンズ-DBCP） | 1.4 |
| commons-digester (コモンズ・ダイジェスター) | commons-digester (コモンズ・ダイジェスター) | 1.8 |
| commons-httpclient（コモンズHTTPクライアント） | commons-httpclient（コモンズHTTPクライアント） | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang (コモンズ・ラン、Javaの汎用ユーティリティライブラリ) | commons-lang (コモンズ・ラン、Javaの汎用ユーティリティライブラリ) | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool（コモンズプール） | commons-pool（コモンズプール） | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.7 |
| io.airlift | エアコンプレッサー | 0.10 |
| io.dropwizard.metrics | メトリクス・コア | 3.1.5 |
| io.dropwizard.metrics | メトリクス・ガングリア (metrics-ganglia) | 3.1.5 |
| io.dropwizard.metrics | メトリクス・グラファイト | 3.1.5 |
| io.dropwizard.metrics | メトリクス-ヘルスチェック | 3.1.5 |
| io.dropwizard.metrics | メトリクス-ジェッティ9 | 3.1.5 |
| io.dropwizard.metrics | metrics-json | 3.1.5 |
| io.dropwizard.metrics | メトリックス-JVM | 3.1.5 |
| io.dropwizard.metrics | metrics-log4j | 3.1.5 |
| io.dropwizard.metrics | メトリクス-サーブレット | 3.1.5 |
| io.netty | ネッティ | 3.9.9.Final |
| io.netty | netty-all (ライブラリ名) | 4.1.17.Final |
| io.prometheus | simpleclient | 0.0.16 |
| io.prometheus | シンプルクライアント_コモン | 0.0.16 |
| io.prometheus | simpleclient_dropwizard | 0.0.16 |
| io.prometheus | simpleclient_servlet | 0.0.16 |
| io.prometheus.jmx | コレクター | 0.7 |
| javax.activation | アクティブ化 | 1.1.1 |
| javax.annotation | javax.annotation-api | 1.2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.サーブレット | javax.サーブレット-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1.1 |
| javax.validation | validation-api | 1.1.0.Final |
| javax.ws.rs | javax.ws.rs-api | 2.0.1 |
| .bind の javax.xml | jaxb-api | 2.2.2 |
| .stream の javax.xml | stax-api | 1.0-2 |
| 「ジャボリューション（Javolution）」 | 「ジャボリューション（Javolution）」 | 5.5.1 |
| ジェイライン | ジェイライン | 2.11 |
| joda-time | joda-time | 2.9.3 |
| log4j | アパッチ・ログ4J・エクストラ | 1.2.17 |
| log4j | log4j | 1.2.17 |
| net.hydromatic | eigenbase-properties | 1.1.5 |
| net.razorvine | パイロライト | 4.13 |
| net.sf.jpam | ジェーパム | 1.1 |
| net.sf.opencsv | opencsv (CSVファイル操作のためのライブラリ) | 2.3 |
| net.sf.supercsv | スーパCSV (スーパーシーエスブイ) | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk（スノーフレーク・インジェスト・SDK） | 0.9.5 |
| net.snowflake | スノーフレーク-JDBC | 3.6.15 |
| net.snowflake | spark-snowflake_2.11 | 2.4.10-spark_2.4 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt | oncrpc | 1.0.7 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.4 |
| org.antlr | antlr4-runtime | 4.7 |
| org.antlr | ストリングテンプレート | 3.2.1 |
| org.apache.ant | 蟻 | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | 矢印フォーマット | 0.10.0 |
| org.apache.arrow | アロー・メモリ | 0.10.0 |
| org.apache.arrow | 矢印ベクトル | 0.10.0 |
| org.apache.avro | アブロ | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.calcite | calcite-avatica | 1.2.0-インキュベーション |
| org.apache.calcite | カルサイトコア | 1.2.0-インキュベーション |
| org.apache.calcite | calcite-linq4j | 1.2.0-インキュベーション |
| org.apache.commons | コモンズ・コンプレス | 1.8.1 |
| org.apache.commons | commons-crypto | 1.0.0 |
| org.apache.commons | commons-lang3 | 3.5 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.curator | キュレータークライアント | 2.7.1 |
| org.apache.curator | Curator Framework（キュレーター・フレームワーク） | 2.7.1 |
| org.apache.curator | キュレーターのレシピ | 2.7.1 |
| org.apache.derby | ダービー | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | APIユーティル | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | Hadoop 注釈 | 2.7.3 |
| org.apache.hadoop | hadoop-auth（認証システム） | 2.7.3 |
| org.apache.hadoop | ハドゥープクライアント | 2.7.3 |
| org.apache.hadoop | Hadoop共通 | 2.7.3 |
| org.apache.hadoop | hadoop-hdfs | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.3 |
| org.apache.hadoop | Hadoop-YARN-クライアント | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.3 |
| org.apache.hadoop | ハドゥープ・ヤーン・サーバー・コモン | 2.7.3 |
| org.apache.htrace | htrace-core | 3.1.0-インキュベーション中 |
| org.apache.httpcomponents | httpclient | 4.5.4 |
| org.apache.httpcomponents | httpcore | 4.4.8 |
| org.apache.ivy | アイビー | 2.4.0 |
| org.apache.orc | orc-core-nohive | 1.5.2 |
| org.apache.orc | orc-mapreduce-nohive | 1.5.2 |
| org.apache.orc | orc-shims（オーク・シムズ） | 1.5.2 |
| org.apache.parquet | パーケット列 | 1.10.1-databricks3 |
| org.apache.parquet | パーケット・コモン | 1.10.1-databricks3 |
| org.apache.parquet | パーケットエンコーディング | 1.10.1-databricks3 |
| org.apache.parquet | パルクェット形式 (Parquet形式) | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1-databricks3 |
| org.apache.parquet | parquet-jackson | 1.10.1-databricks3 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift (リブスリフト) | 0.9.3 |
| org.apache.xbean | xbean-asm6-shaded | 4.8 |
| org.apache.zookeeper | 動物園の飼育員 | 3.4.6 |
| org.codehaus.jackson | ジャクソンコアASL | 1.9.13 |
| org.codehaus.jackson | ジャクソン-JAXRS | 1.9.13 |
| org.codehaus.jackson | ジャクソン・マッパー・ASL | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | コモンズコンパイラー | 3.0.9 |
| org.codehaus.janino | ジャニーノ (janino) | 3.0.9 |
| org.datanucleus | datanucleus-api-jdo | 3.2.6 |
| org.datanucleus | datanucleus-core | 3.2.10 |
| org.datanucleus | データニュクレウス-RDBMS | 3.2.9 |
| org.eclipse.jetty | jetty-client | 9.3.20.v20170531 |
| org.eclipse.jetty | ジェッティ・コンティニュエーション | 9.3.20.v20170531 |
| org.eclipse.jetty | ジェッティ-HTTP | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-io | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-jndi（ジェッティ-JNDI） | 9.3.20.v20170531 |
| org.eclipse.jetty | ジェッティプラス | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-proxy (ジェッティプロキシ) | 9.3.20.v20170531 |
| org.eclipse.jetty | ジェッティ・セキュリティ | 9.3.20.v20170531 |
| org.eclipse.jetty | ジェッティ・サーバー | 9.3.20.v20170531 |
| org.eclipse.jetty | ジェッティ-サーブレット | 9.3.20.v20170531 |
| org.eclipse.jetty | ジェッティ・サーブレット (jetty-servlets) | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-util (ジェッティユーティル) | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-webapp（ジェッティ・ウェブアプリ） | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-xml | 9.3.20.v20170531 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-locator | 2.4.0-b34 |
| org.glassfish.hk2 | hk2ユーティリティー | 2.4.0-b34 |
| org.glassfish.hk2 | OSGiリソースロケーター | 1.0.1 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.4.0-b34 |
| org.glassfish.hk2.external | javax.inject | 2.4.0-b34 |
| org.glassfish.jersey.bundles.repackaged | ジャージーグアバ | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-サーブレット | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-サーブレット-コア | 2.22.2 |
| org.glassfish.jersey.core | jersey-client | 2.22.2 |
| org.glassfish.jersey.core | ジャージーコモン | 2.22.2 |
| org.glassfish.jersey.core | jersey-server | 2.22.2 |
| org.glassfish.jersey.media | ジャージー・メディア・JAXB | 2.22.2 |
| org.hibernate | hibernate-validator (ハイバーネイト検証ツール) | 5.1.1.Final |
| org.iq80.snappy | てきぱき | 0.2 |
| org.javassist | javassist（ジャバアシスト） | 3.18.1-GA |
| org.jboss.logging | jboss-logging | 3.1.3.GA |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.11 | 3.5.3 |
| org.json4s | json4s-core_2.11 | 3.5.3 |
| org.json4s | ジェイソンフォースジャクソン_2.11 | 3.5.3 |
| org.json4s | json4s-scalap_2.11 | 3.5.3 |
| org.lz4 | lz4-java | 1.4.0 |
| org.mariadb.jdbc | mariadb-java-client（MariaDB用Javaクライアント） | 2.1.2 |
| org.mockito | mockito-all | 1.9.5 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.5.11 |
| org.rocksdb | rocksdbjni | 5.2.1 |
| org.rosuda.REngine | REngine（アールエンジン） | 2.1.0 |
| org.scala-lang | scala-compiler_2.11 | 2.11.8 |
| org.scala-lang | scala-library_2.11 | 2.11.8 |
| org.scala-lang | scala-reflect_2.11 | 2.11.8 |
| org.scala-lang.modules | scala-parser-combinators_2.11 | 1.0.2 |
| org.scala-lang.modules | scala-xml_2.11 | 1.0.5 |
| org.scala-sbt | テストインターフェイス | 1.0 |
| org.scalacheck | scalacheck_2.11 | 1.12.5 |
| org.scalactic | scalactic_2.11 | 3.0.3 |
| org.scalanlp | breeze-macros_2.11 | 0.13.2 |
| org.scalanlp | breeze_2.11 | 0.13.2 |
| org.scalatest | scalatest_2.11 | 3.0.3 |
| org.slf4j | jcl-over-slf4j | 1.7.16 |
| org.slf4j | jul-to-slf4j | 1.7.16 |
| org.slf4j | slf4j-api | 1.7.16 |
| org.slf4j | slf4j-log4j12 | 1.7.16 |
| org.spark-project.hive | hive-beeline | 1.2.1.spark2 |
| org.spark-project.hive | hive-cli | 1.2.1.spark2 |
| org.spark-project.hive | hive-exec | 1.2.1.spark2 |
| org.spark-project.hive | hive-jdbc | 1.2.1.spark2 |
| org.spark-project.hive | ハイヴメタストア | 1.2.1.spark2 |
| org.spark-project.spark | 未使用 | 1.0.0 |
| org.spire-math | spire-macros_2.11 | 0.13.0 |
| org.spire-math | spire_2.11 | 0.13.0 |
| org.springframework | spring-core（スプリング・コア） | 4.1.4.RELEASE |
| org.springframework | スプリングテスト | 4.1.4.RELEASE |
| org.tukaani | xz | 1.5 |
| org.typelevel | マシニスト_2.11 | 0.6.1 |
| org.typelevel | macro-compat_2.11 | 1.1.1 |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.7.1 |
| org.yaml | snakeyaml（スネークヤムル） | 1.16 |
| oro | oro | 2.0.8 |
| software.amazon.ion | ion-java | 1.0.2 |
| スタックス | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0.52 |