注
この Databricks Runtime バージョンのサポートは終了しました。 サポート終了日については、「サポート終了の履歴」を参照してください。 サポートされている Databricks Runtime のすべてのバージョンについては、「Databricks Runtime リリース ノートのバージョンと互換性」を参照してください。
Databricks は、2020 年 2 月にこのバージョンをリリースしました。
注
Databricks Runtime 6.4 のサポートは、基になる Ubuntu オペレーティング システムのサポートが終了したため、2021 年 4 月 1 日に終了しました。 Databricks では、Databricks Runtime 7.x または 8.x にアップグレードして、Apache Spark 3.x の利点と、これらの新しいランタイムに組み込まれている多くの新機能および機能強化を利用することをお勧めします。
Databricks Runtime 6.4 延長サポートに移行するオプションがあります。これは、オペレーティング システムのバージョン、JDK、およびいくつかの R ライブラリと Python ライブラリを除き、Databricks Runtime 6.4 と同じです。 「Databricks Runtime 6.4 延長サポート (サポート期間終了)」を参照してください。
次のリリース ノートには、Apache Spark で稼働する Databricks Runtime 6.4 に関する情報が記載されています。
新機能
自動ローダーを使用して新しいデータ ファイルを増分処理する (パブリック プレビュー)
自動ローダーを使用すると、ETL 中にクラウド BLOB ストアに到着した新しいデータ ファイルを段階的に処理する、より効率的な方法が提供されます。 これは、クラウド ディレクトリを繰り返し一覧表示し、表示されたファイルを追跡することで新しいファイルを識別する、ファイルベースの構造化ストリーミングに対する機能強化であり、ディレクトリが大きくなるにつれて非常に非効率になる可能性があります。 自動ローダーは、ファイル通知ベースの構造化ストリーミングよりも便利で効果的です。クラウドでファイル通知サービスを手動で構成する必要があり、既存のファイルをバックフィルすることはできません。 詳細については、「自動ローダー」を参照してください。
べき等の再試行を使用して Delta Lake にデータを読み込む (パブリック プレビュー)
COPY INTO SQL コマンドを使用すると、べき等の再試行を使用して Delta Lake にデータを読み込めます (パブリック プレビュー)。 現在、Delta Lake にデータを読み込むには、Apache Spark DataFrame API を使用する必要があります。 読み込み中にエラーが発生した場合は、それらを効果的に処理する必要があります。 新しい COPY INTO コマンドを使用すると、SQL ユーザーがデータを読み込めるように、使い慣れた宣言型インターフェイスが提供されます。 このコマンドによって、以前に読み込まれたファイルが追跡され、エラーが発生した場合でも安全に再実行できます。
Delta テーブルに対するすべての書き込み、更新、および削除の操作メトリックをテーブル履歴に表示
テーブルの履歴の Delta テーブルに対するすべての書き込み、更新、削除の操作メトリック (変更されたファイル数や行数など) を確認できるようになりました。 これらのメトリックの生成は、既定では無効になっています。 メトリック生成を有効にするには、Spark 構成の spark.databricks.delta.history.metricsEnabled を true に設定します。
インライン Matplotlib 図形が、Azure Databricks ノートブックで既定で有効に (パブリック プレビュー)
Matplotlib 図形の表示を、display メソッドに図形を渡すことなく既定で有効にできるようになりました。 詳細については、「Matplotlib」を参照してください。
機能強化
Parquet の StartsWith フィルターのバグを修正
Parquet へのプッシュ ダウン フィルター、NullPointerException によって発生する StartWith を修正しました。 この問題は、Parquet ファイル内の列のケースが、外部テーブルで定義されている列のケースと異なる場合に発生します。
Apache Spark
Databricks Runtime 6.4 には、Apache Spark 2.4.5 が含まれています。 このリリースには、Databricks Runtime 6.3 (サポート期間終了) に含まれている Spark の修正プログラムと改善すべてに加えて、Spark に対して行われた次のバグ修正と改善が含まれています。
- [SPARK-30657][SPARK-30658][SS] ストリーミング制限 [6.x] の 2 つのバグを修正
- [SPARK-30433][SQL] 競合プランの収集を最適化
- [SPARK-30633][SQL] 型が LongType の場合に L をシードに追加
- [SPARK-29777][[SPARKR] 再帰呼び出しに対して有効でなくなったテストを削除
- [SPARK-30645][[SPARKR] Unicode テスト データを外部ファイルに移動
- [SPARK-30630][ML] 2.4.5 で GBT の numTrees を非推奨に
- [SPARK-30082][SQL] 置換クエリの構築時に Scala 強制型変換に依存
- [SPARK-30556][SQL] sparkContext.localproperties を子スレッド inSubqueryExec.executionContext にコピー
- [SPARK-30433][SQL] ResolveReferences でよりスケーラブルに競合属性を解決
- [SPARK-29708][SQL] グループ 化セットが重複している場合に集計された値を修正
- [SPARK-29450][SS] 追加モードでストリーミング集計の出力行数を測定
-
[SPARK-30312][SQL]
.enabledを追加して conf の名前を変更 - [SPARK-30325][CORE] markPartitionCompleted によってタスクの不整合な状態が発生
- [SPARK-30246][CORE] OneForOneStreamManager によって connectionTerminated でメモリがリークする可能性がある
- [SPARK-28152][SQL] 古い MsSqlServerDialect 数値マッピング用にレガシ conf を追加
- [SPARK-30458][WEBUI] ステージ ページのタイム ラインに表示される誤った Executor のコンピューティング時間を修正
- [SPARK-30312][SQL] テーブルを切り捨てるときにパスのアクセス許可と ACL を保持
- [SPARK-30447][SQL] 定数伝達の null の許容に関する問題
- [SPARK-30410][SQL] 多数のパーティションを持つテーブルのサイズを計算すると、ログが飽和状態になる
- [SPARK-30225][CORE] NioBufferedFileInputStream で EOF を過ぎた read() 動作を修正
- [SPARK-30285][CORE] LiveListenerBus#stop と AsyncEventQueue#removeListenerOnError の間のデッドロックを修正
- [SPARK-26560][SQL] Spark では、現在のスレッド コンテキスト クラスローダーに関係なく、jar を使用して Hive UDF を実行できるようにする必要がある
- [SPARK-30339][SQL] 関数の検索で二度の失敗を回避
- [SPARK-30269][SQL] 古いパーティション統計を使用して、パーティションを分析するときに統計情報を更新するかどうかを決定
- [SPARK-30318][CORE] jetty を 9.3.27.v20190418 にアップグレード
- [SPARK-17398][SQL] パーティション分割された JSON テーブルに対してクエリを実行するときに ClassCastException を修正
メンテナンスの更新
「Databricks Runtime 6.4 メンテナンス更新プログラム」を参照してください。
システム環境
- オペレーティング システム: Ubuntu 16.04.6 LTS
- Java: 1.8.0_252
- Scala: 2.11.12
- Python: 3.7.3
- R: R バージョン 3.6.2 (2019-12-12)
- Delta Lake: 0.5.0
注
Scala 2.12 は、Apache Spark 2.4 の試験的な機能として使用できますが、Databricks Runtime 6.4 ではサポートされていません。
このセクションの内容は次のとおりです。
- インストールされている Python ライブラリ
- インストールされている R ライブラリ
- インストールされている Java および Scala ライブラリ (Scala 2.11 クラスター バージョン)
インストールされている Python ライブラリ
| ライブラリ | バージョン | ライブラリ | バージョン | ライブラリ | バージョン |
|---|---|---|---|---|---|
| asn1crypto | 0.24.0 | バックコール (再発信機能) | 0.1.0 | boto | 2.49.0 |
| boto3 | 1.9.162 | botocore | 1.12.163 | サーティフィ | 2019年3月9日 |
| cffi | 1.12.2 | チャーデット | 3.0.4 | 暗号 | 2.6.1 |
| サイクリスト | 0.10.0 | Cython | 0.29.6 | デコレータ | 4.4.0 |
| docutils (ドキュメントユーティリティ) | 0.14 | idna | 2.8 | ipykernel | 5.1.0 |
| ipython | 7.4.0 | ipython-genutils (IPython用のユーティリティ) | 0.2.0 | ジェダイ | 0.13.3 |
| jmespath | 0.9.4 | ジュピタークライアント | 5.2.4 | ジュピター・コア | 4.4.0 |
| キウィソルバー | 1.1.0 | matplotlib | 3.0.3 | NumPy (数値計算ライブラリ) | 1.16.2 |
| パンダ | 0.24.2 | パルソ | 0.3.4 | パッツィ | 0.5.1 |
| ペキスペクト | 4.6.0 | ピクルシェア | 0.7.5 | 種 | 19.0.3 |
| prompt-toolkit（プロンプトツールキット） | 2.0.9 | psycopg2 | 2.7.6.1 | ptyprocess | 0.6.0 |
| pyarrow (パイアロー) | 0.13.0 | pycparser（パイシーパーサー） | 2.19 | pycurl | 7.43.0 |
| Pygments | 2.3.1 | PyGObject | 3.20.0 | pyOpenSSL（PythonのSSL/TLSライブラリ） | 19.0.0 |
| パイパーシング (Pyparsing) | 2.4.6 | PySocks | 1.6.8 | python-apt | 1.1.0.b1+ubuntu0.16.04.8 |
| python-dateutil (Python用の日付処理ライブラリ) | 2.8.0 | pytz | 2018.9 | pyzmq | 18.0.0 |
| リクエスト | 2.21.0 | s3transfer | 0.2.1 | scikit-learn（サイキット・ラーン） | 0.20.3 |
| scipy | 1.2.1 | seaborn（シーボーン） | 0.9.0 | setuptools（セットアップツール） | 40.8.0 |
| 6 | 1.12.0 | ssh-import-id | 5.5 | statsmodels（スタッツモデルズ） | 0.9.0 |
| 竜巻 | 6.0.2 | traitlets（トレイトレット） | 4.3.2 | 無人アップグレード | 0.1 |
| urllib3 | 1.24.1 | virtualenv | 16.4.1 | wcwidth（文字の幅を測定するプログラム関数） | 0.1.7 |
| ホイール | 0.33.1 |
インストールされている R ライブラリ
| ライブラリ | バージョン | ライブラリ | バージョン | ライブラリ | バージョン |
|---|---|---|---|---|---|
| abind（配列を結合する） | 1.4-5 | アスクパス | 1.1 | assertthat（アサートザット関数） | 0.2.1 |
| バックポート（旧バージョンへの機能移植） | 1.1.5 | ベース | 3.6.2 | base64enc | 0.1-3 |
| BH | 1.69.0-1 | ビット | 1.1-14 | ビット64 | 0.9-7 |
| ビット演算 | 1.0-6 | BLOB | 1.2.0 | 起動 | 1.3-23 |
| 醸成 | 1.0-6 | コールアール | 3.3.2 | 車 | 3.0-4 |
| 車のデータ | 3.0-2 | キャレット | 6.0-84 | セルレンジャー (cellranger) | 1.1.0 |
| クロノ | 2.3-54 | クラス | 7.3-15 | CLI | 1.1.0 |
| クリッパー | 0.7.0 | CLIシンボル | 1.2.0 | クラスタ | 2.1.0 |
| コードツール | 0.2-16 | カラー空間 | 1.4-1 | コモンマーク | 1.7 |
| コンパイラ | 3.6.2 | 設定 | 0.3 | covr | 3.3.2 |
| クレヨン | 1.3.4 | クロストーク | 1.0.0 | カール | 4.2 |
| データテーブル (data.table) | 1.12.6 | データセット | 3.6.2 | DBI | 1.0.0 |
| dbplyr | 1.4.2 | 説明 | 1.2.0 | 開発ツール | 2.2.1 |
| ダイジェスト | 0.6.22 | doMC | 1.3.6 | dplyr | 0.8.3 |
| DT | 0.9 | 省略記号 | 0.3.0 | 評価する | 0.14 |
| ファンシ | 0.4.0 | fastmap (ファストマップ) | 1.0.1 | フォーキャッツ | 0.4.0 |
| フォーリーチ | 1.4.7 | 外国の | 0.8-75 | 鍛冶場 | 0.2.0 |
| FS | 1.3.1 | gbm | 2.1.5 | ジェネリック | 0.0.2 |
| ggplot2 | 3.2.1 | gh | 1.0.1 | git2r | 0.26.1 |
| glmnet(英語) | 2.0-18 | 接着剤 | 1.3.1 | ガウアー | 0.2.1 |
| グラフィックス | 3.6.2 | grDevices | 3.6.2 | グリッド | 3.6.2 |
| gridExtra | 2.3 | gsubfn | 0.7 | gtable | 0.3.0 |
| H₂O | 3.26.0.2 | 安らぎの場 | 2.1.1 | エイチ・エム・エス | 0.5.1 |
| HTMLツール | 0.4.0 | HTMLウィジェット | 1.5.1 | httpuv | 1.5.2 |
| 「httr」パッケージ（HTTPリクエストを簡単に送信するためのライブラリ） | 1.4.1 | エイチライター | 1.3.2 | hwriterPlus | 1.0-3 |
| ini | 0.3.1 | アイプレッド | 0.9-9 | イテレータ | 1.0.12 |
| jsonlite | 1.6 | カーンスムース | 2.23-16 | ラベリング | 0.3 |
| あとで | 1.0.0 | 格子構造 | 0.20-38 | 溶岩 | 1.6.6 |
| lazyeval | 0.2.2 | ライフサイクル | 0.1.0 | より小さい | 0.3.9 |
| lme4 | 1.1-21 | ルブリデート | 1.7.4 | Magrittr | 1.5 |
| mapproj（マッププロジェ） | 1.2.6 | 地図 | 3.3.0 | maptools | 0.9-8 |
| 質量 | 7.3-51.5 | マトリックス | 1.2-18 | MatrixModels | 0.4-1 |
| メモ化 | 1.1.0 | メソッド | 3.6.2 | mgcv | 1.8-31 |
| マイム | 0.7 | ミンカ | 1.2.4 | モデルメトリクス | 1.2.2 |
| munsell | 0.5.0 | mvtnorm | 1.0-11 | nlme | 3.1-144 |
| nloptr | 1.2.1 | ニューラルネットワーク (nnet) | 7.3-12 | numDeriv（ヌムデリヴ） | 2016年8月～2016年1月1日 |
| openssl (オープンソースの暗号化ツール) | 1.4.1 | openxlsx | 4.1.2 | 並行 | 3.6.2 |
| pbkrtest | 0.4-7 | 柱 | 1.4.2 | pkgbuild（パッケージビルド） | 1.0.6 |
| pkgconfig | 2.0.3 | pkgKitten | 0.1.5 | pkgload(パッケージロード) | 1.0.2 |
| plogr | 0.2.0 | プライル | 1.8.4 | 賞賛 | 1.0.0 |
| プリティーユニッツ | 1.0.2 | プロック (pROC) | 1.15.3 | プロセスエックス | 3.4.1 |
| プロッドリム | 2018.04.18 | 進捗 | 1.2.2 | 約束 | 1.1.0 |
| プロト | 1.0.0 | PS | 1.3.0 | ゴロゴロ | 0.3.3 |
| quantreg | 5.51 | R.methodsS3 | 1.7.1 | R.oo | 1.22.0 |
| R.utils | 2.9.0 | R2D3 | 0.2.3 | R6 | 2.4.0 |
| randomForest（ランダムフォレスト） | 4.6-14 | rappdirs | 0.3.1 | rcmdcheck | 1.3.3 |
| RColorブリューワー | 1.1-2 | Rcpp | 1.0.2 | RcppEigen | 0.3.3.5.0 |
| RCurl | 1.95-4.12 | 読み取り | 1.3.1 | readxl (エクセルファイルの読み取り用パッケージ/関数) | 1.3.1 |
| レシピ | 0.1.7 | 再戦 | 1.0.1 | リモコン | 2.1.0 |
| リシェイプ2 | 1.4.3 | レックス | 1.1.2 | リオ | 0.5.16 |
| rlang | 0.4.1 | RODBC | 1.3-16 | リオキシジェン2 | 6.1.1 |
| rpart（Rプログラミング言語における再帰的分割のためのパッケージ） | 4.1-15 | rprojroot さん | 1.3-2 | Rサーブ | 1.8-6 |
| RSQLite (英語) | 2.1.2 | rstudioapi | 0.10 | アールバージョンズ | 2.0.0 |
| 秤 | 1.0.0 | セッション情報 | 1.1.1 | 光沢がある | 1.4.0 |
| ソースツール | 0.1.7 | 申し訳ありませんが、"sp"の文脈や意味を正確に特定する追加情報がないため、翻訳を改善することはできません。より詳細な情報を提供していただければ、適切な日本語の翻訳をご提案できます。 | 1.3-1 | スパークラー (sparklyr) | 1.0.4 |
| SparkR | 2.4.5 | SparseM | 1.77 | 空間の | 7.3-11 |
| スプライン | 3.6.2 | sqldf | 0.4-11 | スクウェアム | 2017.10-1 |
| statmod | 1.4.32 | 統計 | 3.6.2 | 統計プログラミングパッケージ「stats4」 | 3.6.2 |
| ストリンギ | 1.4.3 | stringr | 1.4.0 | サバイバル | 2.44-1.1 |
| sys | 3.3 | tcltk（ティーシーエルティーケー） | 3.6.2 | ティーチングデモズ | 2.10 |
| テストザット | 2.2.1 | tibble（ティブル） | 2.1.3 | ティディル | 1.0.0 |
| tidyselect関数 | 0.2.5 | 時刻と日付 | 3043.102 | ツール | 3.6.2 |
| この機能を使う | 1.5.1 | UTF8 | 1.1.4 | ユーティリティ | 3.6.2 |
| VCTRSの | 0.2.0 | ヴィリディスライト | 0.3.0 | ウイスカー | 0.4 |
| ウィザー | 2.1.2 | xml2 | 1.2.2 | xopen (エックスオープン) | 1.0.0 |
| xtable (エクステーブル) | 1.8-4 | YAML | 2.2.0 | zeallot | 0.1.0 |
| ジップ | 2.0.4 |
インストールされている Java および Scala ライブラリ (Scala 2.11 クラスター バージョン)
| グループ ID | 成果物 ID | バージョン |
|---|---|---|
| アンラル（ANTLR） | アンラル（ANTLR） | 2.7.7 |
| com.amazonaws | amazon-kinesis-client（アマゾン・キネシス・クライアント） | 1.8.10 |
| com.amazonaws | aws-java-sdk-autoscaling (オートスケーリング用Java SDK) | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.595 |
| com.amazonaws | AWSのJava SDKパッケージであるCloudFront | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudhsm（AWSのクラウドHSM用Javaソフトウェア開発キット） | 1.11.595 |
| com.amazonaws | AWSのJava SDK - cloudsearch | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.595 |
| com.amazonaws | aws-java-sdk-codedeploy（AWSのJava SDK用CodeDeployサービス） | 1.11.595 |
| com.amazonaws | aws-java-sdk-cognitoidentity (AWS Java SDK コグニトアイデンティティ) | 1.11.595 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.595 |
| com.amazonaws | aws-java-sdk-config（AWS Java SDK 設定） | 1.11.595 |
| com.amazonaws | aws-java-sdk-core（AWS Java SDKのコア） | 1.11.595 |
| com.amazonaws | aws-java-sdk-datapipeline (AWS Java SDKのデータパイプラインモジュール) | 1.11.595 |
| com.amazonaws | aws-java-sdk-directconnect (AWSのJava SDKのDirect Connect機能) | 1.11.595 |
| com.amazonaws | aws-java-sdk-directory | 1.11.595 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.595 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.595 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.595 |
| com.amazonaws | aws-java-sdk-efs | 1.11.595 |
| com.amazonaws | AWS Java SDK エラスティキャッシュ | 1.11.595 |
| com.amazonaws | AWS Java SDK エラスティックビーンストーク | 1.11.595 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.595 |
| com.amazonaws | aws-java-sdk-elastictranscoder (AWS用のJava開発ツールキット - Elastic Transcoder) | 1.11.595 |
| com.amazonaws | aws-java-sdk-emr | 1.11.595 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.595 |
| com.amazonaws | aws-java-sdk-glue (AWSのJava用SDKであるGlue) | 1.11.595 |
| com.amazonaws | AWSのJava SDK（IAM用） | 1.11.595 |
| com.amazonaws | AWS Java SDK インポートエクスポート | 1.11.595 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.595 |
| com.amazonaws | aws-java-sdk-kms | 1.11.595 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.595 |
| com.amazonaws | aws-java-sdk-logs | 1.11.595 |
| com.amazonaws | aws-java-sdk-機械学習 | 1.11.595 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.595 |
| com.amazonaws | aws-java-sdk-rds（AWSのJava用RDSソフトウェア開発キット） | 1.11.595 |
| com.amazonaws | AWS Java SDK Redshift | 1.11.595 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.595 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.595 |
| com.amazonaws | aws-java-sdk-ses | 1.11.595 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.595 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.595 |
| com.amazonaws | aws-java-sdk-sns | 1.11.595 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.595 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.595 |
| com.amazonaws | AWS Java SDK ストレージゲートウェイ | 1.11.595 |
| com.amazonaws | aws-java-sdk-sts | 1.11.595 |
| com.amazonaws | AWS Java SDK サポート | 1.11.595 |
| com.amazonaws | aws-java-sdk-swf-libraries (AWS Java SDK SWFライブラリ) | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspacesとはAWSのワークスペースを管理するためのJava用SDKです。 | 1.11.595 |
| com.amazonaws | jmespath-java | 1.11.595 |
| com.carrotsearch | hppc | 0.7.2 |
| com.chuusai | shapeless_2.11 | 2.3.2 |
| com.clearspring.analytics | ストリーミング | 2.7.0 |
| com.databricks | Rサーブ | 1.8-3 |
| com.databricks | dbml-local_2.11 | 0.5.0-db8-spark2.4 |
| com.databricks | dbml-local_2.11-tests | 0.5.0-db8-spark2.4 |
| com.databricks | jets3t (ジェットスリート) | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.11 (コンパイラプラグイン_2.11) | 0.4.15-9 |
| com.databricks.scalapb | scalapb-runtime_2.11 | 0.4.15-9 |
| com.esotericsoftware | kryo-シェーデッド | 4.0.2 |
| com.esotericsoftware | minlog (ミンログ) | 1.3.0 |
| com.fasterxml | クラスメイト | 1.0.0 |
| com.fasterxml.jackson.core | jackson-annotations (ジャクソン・アノテーション) | 2.6.7 |
| com.fasterxml.jackson.core | ジャクソン・コア (jackson-core) | 2.6.7 |
| com.fasterxml.jackson.core | ジャクソン・データバインド (jackson-databind) | 2.6.7.1 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor（ジャクソンデータフォーマットCBOR） | 2.6.7 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-scala_2.11 | 2.6.7.1 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | コア | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-ジャバ-ネイティブス | 1.1 |
| com.github.fommil.netlib | ネイティブシステム-Java | 1.1 |
| com.github.fommil.netlib | ネイティブシステム-Java-ネイティブ | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.luben | zstd-jni (ゼットスタッドジェイエヌアイ) | 1.3.2-2 |
| com.github.rwl | ジェイトランスフォームス | 2.4.0 |
| com.google.code.findbugs | jsr305 | 2.0.1 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.guava | グアバ | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.googlecode.javaewah | JavaEWAH | 0.3.2 |
| com.h2database | h2 | 1.3.174 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.microsoft.azure | azure-data-lake-store-sdk（アジュール・データ・レイク・ストア・SDK） | 2.2.8 |
| com.microsoft.azure | Azureストレージ | 7.0.0 |
| com.microsoft.sqlserver | mssql-jdbc | 6.2.2.jre8 |
| com.ning | Compress-LZF (コンプレス-LZF) | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.thoughtworks.paranamer | パラナマー | 2.8 |
| com.trueaccord.lenses | lenses_2.11 | 0.3 |
| com.twitter | チル-ジャヴァ | 0.9.3 |
| com.twitter | chill_2.11 | 0.9.3 |
| com.twitter | parquet-hadoop-bundle | 1.6.0 |
| com.twitter | util-app_2.11 | 6.23.0 |
| com.twitter | util-core_2.11 | 6.23.0 |
| com.twitter | util-jvm_2.11 | 6.23.0 |
| com.typesafe | 設定 | 1.2.1 |
| com.typesafe.scala-logging | scala-logging-api_2.11 (Scalaのログ記録APIのバージョン2.11) | 2.1.2 |
| com.typesafe.scala-logging | scala-logging-slf4j_2.11 | 2.1.2 |
| com.univocity | univocity-parsers（ユニボシティ・パーサーズ） | 2.7.3 |
| com.vlkan | フラットバッファーズ | 1.2.0-3f79e055 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.9.4 |
| commons-cli | commons-cli | 1.2 |
| コモンズ・コーデック | コモンズ・コーデック | 1.10 |
| コモンズ・コレクションズ | コモンズ・コレクションズ | 3.2.2 |
| commons-configuration (コモンズ・コンフィギュレーション) | commons-configuration (コモンズ・コンフィギュレーション) | 1.6 |
| commons-dbcp（コモンズ-DBCP） | commons-dbcp（コモンズ-DBCP） | 1.4 |
| commons-digester (コモンズ・ダイジェスター) | commons-digester (コモンズ・ダイジェスター) | 1.8 |
| commons-httpclient（コモンズHTTPクライアント） | commons-httpclient（コモンズHTTPクライアント） | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang (コモンズ・ラン、Javaの汎用ユーティリティライブラリ) | commons-lang (コモンズ・ラン、Javaの汎用ユーティリティライブラリ) | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool（コモンズプール） | commons-pool（コモンズプール） | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.7 |
| io.airlift | エアコンプレッサー | 0.10 |
| io.dropwizard.metrics | メトリクス・コア | 3.1.5 |
| io.dropwizard.metrics | メトリクス・ガングリア (metrics-ganglia) | 3.1.5 |
| io.dropwizard.metrics | メトリクス・グラファイト | 3.1.5 |
| io.dropwizard.metrics | メトリクス-ヘルスチェック | 3.1.5 |
| io.dropwizard.metrics | メトリクス-ジェッティ9 | 3.1.5 |
| io.dropwizard.metrics | metrics-json | 3.1.5 |
| io.dropwizard.metrics | メトリックス-JVM | 3.1.5 |
| io.dropwizard.metrics | metrics-log4j | 3.1.5 |
| io.dropwizard.metrics | メトリクス-サーブレット | 3.1.5 |
| io.netty | ネッティ | 3.9.9.Final |
| io.netty | netty-all (ライブラリ名) | 4.1.42.Final |
| javax.activation | アクティブ化 | 1.1.1 |
| javax.annotation | javax.annotation-api | 1.2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.サーブレット | javax.サーブレット-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1.1 |
| javax.validation | validation-api | 1.1.0.Final |
| javax.ws.rs | javax.ws.rs-api | 2.0.1 |
| .bind の javax.xml | jaxb-api | 2.2.2 |
| .stream の javax.xml | stax-api | 1.0-2 |
| 「ジャボリューション（Javolution）」 | 「ジャボリューション（Javolution）」 | 5.5.1 |
| ジェイライン | ジェイライン | 2.14.6 |
| joda-time | joda-time | 2.9.3 |
| junit | junit | 4.12 |
| log4j | アパッチ・ログ4J・エクストラ | 1.2.17 |
| log4j | log4j | 1.2.17 |
| net.hydromatic | eigenbase-properties | 1.1.5 |
| net.razorvine | パイロライト | 4.13 |
| net.sf.jpam | ジェーパム | 1.1 |
| net.sf.opencsv | opencsv (CSVファイル操作のためのライブラリ) | 2.3 |
| net.sf.supercsv | スーパCSV (スーパーシーエスブイ) | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk（スノーフレーク・インジェスト・SDK） | 0.9.6 |
| net.snowflake | スノーフレーク-JDBC | 3.12.0 |
| net.snowflake | spark-snowflake_2.11 | 2.5.9-spark_2.4 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt | oncrpc | 1.0.7 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.4 |
| org.antlr | antlr4-runtime | 4.7 |
| org.antlr | ストリングテンプレート | 3.2.1 |
| org.apache.ant | 蟻 | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | 矢印フォーマット | 0.10.0 |
| org.apache.arrow | アロー・メモリ | 0.10.0 |
| org.apache.arrow | 矢印ベクトル | 0.10.0 |
| org.apache.avro | アブロ | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.calcite | calcite-avatica | 1.2.0-インキュベーション |
| org.apache.calcite | カルサイトコア | 1.2.0-インキュベーション |
| org.apache.calcite | calcite-linq4j | 1.2.0-インキュベーション |
| org.apache.commons | コモンズ・コンプレス | 1.8.1 |
| org.apache.commons | commons-crypto | 1.0.0 |
| org.apache.commons | commons-lang3 | 3.5 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.curator | キュレータークライアント | 2.7.1 |
| org.apache.curator | Curator Framework（キュレーター・フレームワーク） | 2.7.1 |
| org.apache.curator | キュレーターのレシピ | 2.7.1 |
| org.apache.derby | ダービー | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | APIユーティル | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | Hadoop 注釈 | 2.7.3 |
| org.apache.hadoop | hadoop-auth（認証システム） | 2.7.3 |
| org.apache.hadoop | ハドゥープクライアント | 2.7.3 |
| org.apache.hadoop | Hadoop共通 | 2.7.3 |
| org.apache.hadoop | hadoop-hdfs | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.3 |
| org.apache.hadoop | Hadoop-YARN-クライアント | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.3 |
| org.apache.hadoop | ハドゥープ・ヤーン・サーバー・コモン | 2.7.3 |
| org.apache.htrace | htrace-core | 3.1.0-インキュベーション中 |
| org.apache.httpcomponents | httpclient | 4.5.6 |
| org.apache.httpcomponents | httpcore | 4.4.10 |
| org.apache.ivy | アイビー | 2.4.0 |
| org.apache.orc | orc-core-nohive | 1.5.5 |
| org.apache.orc | orc-mapreduce-nohive | 1.5.5 |
| org.apache.orc | orc-shims（オーク・シムズ） | 1.5.5 |
| org.apache.parquet | パーケット列 | 1.10.1.2-databricks4 |
| org.apache.parquet | パーケット・コモン | 1.10.1.2-databricks4 |
| org.apache.parquet | パーケットエンコーディング | 1.10.1.2-databricks4 |
| org.apache.parquet | パルクェット形式 (Parquet形式) | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1.2-databricks4 |
| org.apache.parquet | parquet-jackson | 1.10.1.2-databricks4 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift (リブスリフト) | 0.9.3 |
| org.apache.xbean | xbean-asm6-shaded | 4.8 |
| org.apache.zookeeper | 動物園の飼育員 | 3.4.6 |
| org.codehaus.jackson | ジャクソンコアASL | 1.9.13 |
| org.codehaus.jackson | ジャクソン-JAXRS | 1.9.13 |
| org.codehaus.jackson | ジャクソン・マッパー・ASL | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | コモンズコンパイラー | 3.0.10 |
| org.codehaus.janino | ジャニーノ (janino) | 3.0.10 |
| org.datanucleus | datanucleus-api-jdo | 3.2.6 |
| org.datanucleus | datanucleus-core | 3.2.10 |
| org.datanucleus | データニュクレウス-RDBMS | 3.2.9 |
| org.eclipse.jetty | jetty-client | 9.3.27.v20190418 |
| org.eclipse.jetty | ジェッティ・コンティニュエーション | 9.3.27.v20190418 |
| org.eclipse.jetty | ジェッティ-HTTP | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-io | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-jndi（ジェッティ-JNDI） | 9.3.27.v20190418 |
| org.eclipse.jetty | ジェッティプラス | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-proxy (ジェッティプロキシ) | 9.3.27.v20190418 |
| org.eclipse.jetty | ジェッティ・セキュリティ | 9.3.27.v20190418 |
| org.eclipse.jetty | ジェッティ・サーバー | 9.3.27.v20190418 |
| org.eclipse.jetty | ジェッティ-サーブレット | 9.3.27.v20190418 |
| org.eclipse.jetty | ジェッティ・サーブレット (jetty-servlets) | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-util (ジェッティユーティル) | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-webapp（ジェッティ・ウェブアプリ） | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-xml | 9.3.27.v20190418 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-locator | 2.4.0-b34 |
| org.glassfish.hk2 | hk2ユーティリティー | 2.4.0-b34 |
| org.glassfish.hk2 | OSGiリソースロケーター | 1.0.1 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.4.0-b34 |
| org.glassfish.hk2.external | javax.inject | 2.4.0-b34 |
| org.glassfish.jersey.bundles.repackaged | ジャージーグアバ | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-サーブレット | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-サーブレット-コア | 2.22.2 |
| org.glassfish.jersey.core | jersey-client | 2.22.2 |
| org.glassfish.jersey.core | ジャージーコモン | 2.22.2 |
| org.glassfish.jersey.core | jersey-server | 2.22.2 |
| org.glassfish.jersey.media | ジャージー・メディア・JAXB | 2.22.2 |
| org.hamcrest | hamcrest-core | 1.3 |
| org.hamcrest | hamcrest-library | 1.3 |
| org.hibernate | hibernate-validator (ハイバーネイト検証ツール) | 5.1.1.Final |
| org.iq80.snappy | てきぱき | 0.2 |
| org.javassist | javassist（ジャバアシスト） | 3.18.1-GA |
| org.jboss.logging | jboss-logging | 3.1.3.GA |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.11 | 3.5.3 |
| org.json4s | json4s-core_2.11 | 3.5.3 |
| org.json4s | ジェイソンフォースジャクソン_2.11 | 3.5.3 |
| org.json4s | json4s-scalap_2.11 | 3.5.3 |
| org.lz4 | lz4-java | 1.4.0 |
| org.mariadb.jdbc | mariadb-java-client（MariaDB用Javaクライアント） | 2.1.2 |
| org.mockito | mockito-core | 1.10.19 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.7.45 |
| org.roaringbitmap | シム | 0.7.45 |
| org.rocksdb | rocksdbjni | 6.2.2 |
| org.rosuda.REngine | REngine（アールエンジン） | 2.1.0 |
| org.scala-lang | scala-compiler_2.11 | 2.11.12 |
| org.scala-lang | scala-library_2.11 | 2.11.12 |
| org.scala-lang | scala-reflect_2.11 | 2.11.12 |
| org.scala-lang.modules | scala-parser-combinators_2.11 | 1.1.0 |
| org.scala-lang.modules | scala-xml_2.11 | 1.0.5 |
| org.scala-sbt | テストインターフェイス | 1.0 |
| org.scalacheck | scalacheck_2.11 | 1.12.5 |
| org.scalactic | scalactic_2.11 | 3.0.3 |
| org.scalanlp | breeze-macros_2.11 | 0.13.2 |
| org.scalanlp | breeze_2.11 | 0.13.2 |
| org.scalatest | scalatest_2.11 | 3.0.3 |
| org.slf4j | jcl-over-slf4j | 1.7.16 |
| org.slf4j | jul-to-slf4j | 1.7.16 |
| org.slf4j | slf4j-api | 1.7.16 |
| org.slf4j | slf4j-log4j12 | 1.7.16 |
| org.spark-project.hive | hive-beeline | 1.2.1.spark2 |
| org.spark-project.hive | hive-cli | 1.2.1.spark2 |
| org.spark-project.hive | hive-jdbc | 1.2.1.spark2 |
| org.spark-project.hive | ハイヴメタストア | 1.2.1.spark2 |
| org.spark-project.spark | 未使用 | 1.0.0 |
| org.spire-math | spire-macros_2.11 | 0.13.0 |
| org.spire-math | spire_2.11 | 0.13.0 |
| org.springframework | spring-core（スプリング・コア） | 4.1.4.RELEASE |
| org.springframework | スプリングテスト | 4.1.4.RELEASE |
| org.tukaani | xz | 1.5 |
| org.typelevel | マシニスト_2.11 | 0.6.1 |
| org.typelevel | macro-compat_2.11 | 1.1.1 |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.7.3 |
| org.yaml | snakeyaml（スネークヤムル） | 1.16 |
| oro | oro | 2.0.8 |
| software.amazon.ion | ion-java | 1.0.2 |
| スタックス | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0.52 |