注
この Databricks Runtime バージョンのサポートは終了しました。 サポート終了日については、「サポート終了の履歴」を参照してください。 サポートされている Databricks Runtime のすべてのバージョンについては、「Databricks Runtime リリース ノートのバージョンと互換性」を参照してください。
Databricks は、2020 年 8 月にこのバージョンをリリースしました。
次のリリース ノートには、Apache Spark 3.0 で稼働する Databricks Runtime 7.2 に関する情報が記載されています。
新機能
Databricks Runtime 7.2 には、次の新機能があります。
自動ローダーの一般提供
自動ローダーは、多数のファイルを Delta Lake に段階的に取り込む効率的な方法です。 一般提供が開始され、ディレクトリ一覧、クラウド リソース管理 API、レート制限オプション、およびオプションの検証などの機能が追加されました。
ディレクトリ一覧モード オプション
自動ローダーでは、新しいファイルが存在するタイミングを判別するために、既存のファイル通知モードに加えて、新しいディレクトリ一覧モードを追加しました。
- ディレクトリ一覧モード: 一部のシナリオでは、定期的にストリーミングする必要があるファイルがごくわずかしかありません。 このような場合、入力ディレクトリの並列一覧によって新しいファイルを特定して取り込むのが効率的です。 これを使用すると、アクセス許可を構成しなくても、自動ローダー ストリームを開始できます。 ディレクトリ一覧モードは、Databricks Runtime 7.2 以上の自動ローダーで既定のモードです。
- ファイル通知モード: ファイル通知モードを明示的に選択できます。このモードは、大規模な入力ディレクトリに対してより高いパフォーマンスと拡張性を示しますが、通知サービスがファイル イベントをサブスクライブするようにアクセス許可を構成し、
.option("cloudFiles.useNotifications", "true")を設定する必要があります。 Databricks Runtime 7.1 以前で開始した既存の自動ローダー ストリームは、Databricks Runtime 7.2 にアップグレードされると自動的にファイル通知モードを選択します。
詳細については、「自動ローダー」を参照してください。
クラウド リソース管理 API
Scala API を使用して、自動ローダーによって作成されたクラウド リソースを管理できるようになりました。 この API を使用して、通知サービスを一覧表示し、特定の通知サービスを破棄できます。 詳細については、「ファイル通知リソースを手動で構成または管理する」を参照してください。
レート制限オプション
cloudFiles.maxBytesPerTrigger オプションを使用して、各マイクロバッチで処理されるデータの量を制限できるようになりました。
10g などのバイト文字列を指定して、各マイクロバッチを 10 GB のデータに制限できます。 これはソフト最大値です。 それぞれ 3 GB のファイルがある場合、Azure Databricks では 1 マイクロバッチで 12 GB が処理されます。
Trigger.Once() と一緒に使用すると、このオプションは無効です。 このオプションが指定されない場合、cloudFiles.maxFilesPerTrigger の既定値である 1000 ファイルがレート制限に使用されます。
cloudFiles.maxFilesPerTrigger と一緒に使用すると、Azure Databricks では、cloudFiles.maxFilesPerTrigger または cloudFiles.maxBytesPerTrigger の下限のうち、最初に到達した方までを消費します。
詳細については、「自動ローダー」を参照してください。
オプションの検証
自動ローダーによって、指定したオプションが検証されるようになりました。 不明なオプションを指定した場合、自動ローダーは、通知なしでオプションを無視するのではなく、エラーを返します。 この検証では、指定したオプションの不整合も検出されます。 たとえば、cloudFiles.useNotifications を false に設定し、同時に Azure Event Grid と Queue Storage サービスにアクセス許可オプションを指定した場合、validation は失敗します。 オプションの検証をスキップするには、cloudFiles.validateOptions を false に設定します。
既定のオプション値と互換性の変更
一部の自動ローダー オプションの既定の動作が、Databricks Runtime 7.2 で変更されました。 互換性を確保するために、Databricks Runtime 7.1 以前で開始したストリームの動作は、Databricks Runtime 7.2 以降を実行しているクラスターでこのようなストリームを実行するようにアップグレードした後であっても、変わりません。 「自動ローダー」を参照してください。
clone を使用した Delta テーブルの効率的なコピー (パブリック プレビュー)
clone コマンドを使用して、特定のバージョンで Delta テーブルのシャロー クローンまたはディープ クローンを効率よく作成できるようになりました。 ディープ クローンは、ソース テーブルからターゲット テーブルに並行してファイルをコピーすることによって形成される Delta テーブルのスタンドアロン クローンです。 簡易クローンは、ターゲット テーブルにファイルをコピーせず、元のテーブル内のファイルを指す、低コストで作成された複製です。 ディープまたはシャロー クローンに加えられた変更はすべて、クローンのみに影響を与え、元のテーブルには影響を与えません。 「Azure Databricks でテーブルを複製する」を参照してください。
機能強化
Snowflake コネクタ: このコネクタはバージョン 2.8.1 にアップグレードされました。これには Spark 3.0 のサポートが含まれています。
PySpark の使いやすさ: PySpark または Pandas UDF で障害が発生すると、Azure Databricks は Python 側の例外と最後に実行されたノートブック コードの行 (該当する場合) をエラー メッセージの上部に表示するようになりました。
資格情報のパススルー:
- パススルーが有効になっているクラスターで LDA 変換関数を使用できるようになりました。
- パススルーが有効になっているクラスターでストレージ チェックポイント ディレクトリを設定できるようになりました。
クラスター ライブラリ: Azure Databricks は、クラスターにインストールされた順序ですべてのクラスター ライブラリを処理するようになりました。 Databricks Runtime 7.1 以前では、Maven と CRAN ライブラリのみが、クラスターにインストールされた順序で処理されました。 その他のライブラリは、インストールされる順序が決まっていませんでした。
TensorBoard:
-
tensorboard.notebookAPI を使用して TensorBoard プロセスを管理します。 - 1 つのクラスターで複数の TensorBoard バックエンドを実行できます。
- Python ノートブックで、
%tensorboard行マジック コマンドを使用して、TensorBoard UI をインラインで表示します。 -
dbutils.tensorboardは非推奨です。
「TensorBoard」を参照してください。
-
アップグレードされた Python ライブラリは次のとおりです。
- jmespath が 0.9.4 から 0.10.0 にアップグレードされました。
- koalas が 1.0.1 から 1.1.0 にアップグレードされました。
インストールされている複数の R ライブラリをアップグレードしました。 「インストールされている R ライブラリ」を参照してください。
Apache Spark
Databricks Runtime 7.2 には、Apache Spark 3.0.0 が含まれています。 このリリースには、Databricks Runtime 7.1 (EoS) に含まれるすべての Spark の修正プログラムおよび機能強化に加え、Spark に対して行われた以下のバグ修正と機能強化が含まれています。
- [SPARK-32234] [SQL] Orc テーブルの選択で Spark sql コマンドが失敗する
- [SPARK-30616] [SQL] SQL メタデータキャッシュの TTL 構成オプションを導入する
- [SPARK-21117] [SQL] 組み込みの SQL 関数サポート - WIDTH_BUCKET
- [SPARK-32168] [SQL] SQL 上書きで非表示のパーティション分割の正確性のバグを修正する
- [SPARK-31935] Hadoop ファイル システムの構成は、データ ソース オプションで有効である必要がある
- [SPARK-32270] [SQL] 別のエンコードで CSV のスキーマ推論で TextFileFormat を使用する
- [SPARK-28481] [SQL] NullIntolerant を拡張する式を増やす必要がある
- [SPARK-32220] [SQL] SHUFFLE_REPLICATE_NL ヒントは非デカルト積の結合結果を変更してはならない
- [SPARK-32232] [ML][pyspark] ML に Scala と Python の間で同じ既定のソルバー値があることを確認する
- [SPARK-32238][SQL] Utils.getSimpleName を使用して、ScalaUDF で形式に誤りがあるクラス名をヒットするのを回避する
- [SPARK-32220] [SQL] SHUFFLE_REPLICATE_NL ヒントは非デカルト積の結合結果を変更してはならない
- [SPARK-32256] [SQL] HiveExternalCatalog で Hadoop VersionInfo を強制的に初期化する
- [SPARK-32159] [SQL] Aggregator[Array[_], _, _] と UnresolvedMapObjects 間の統合を修正する
- [SPARK-32160] [CORE][pyspark] Executor で SparkContext を作成できないようにする
- [SPARK-32168] [SQL] SQL 上書きで非表示のパーティション分割の正確性のバグを修正する
- [SPARK-32024] [WEBUI] HistoryServerDiskManager の初期化中に ApplicationStoreInfo.size を更新する
- [SPARK-32214] [SQL] "other" 型の makeFromjava で生成された型変換関数で、間違った変数が使用される
- [SPARK-30703] [SQL] SqlBase.g4 の無効なコメントを更新する
- [SPARK-32163] [SQL] 表面的なバリエーションであっても、入れ子になった排除が機能する必要がある
- [SPARK-32124] [CORE] 無効な値 MinValue を使用して、古い SPARK バージョンからイベントがログを記録する際にマップ インデックスを埋め込む
- [SPARK-32167] [SQL] 内部フィールドの null 値の許容を一緒に考慮するように GetArrayStructFields を修正する
- [SPARK-32130] [SQL] JsonBenchmark でタイムスタンプの推定を有効にする
- [SPARK-32121] [SHUFFLE] ExecutorDiskUtils で Windows OS をサポートする
-
[SPARK-32130] [SQL] JSON オプション
inferTimestampを既定で無効にする - [SPARK-31935] [SQL] Hadoop ファイル システムの構成は、データ ソース オプションで有効である必要がある
- [SPARK-32095] [SQL] 更新された統計情報の使用を反映するようにドキュメントを更新する
- [SPARK-32131] [SQL] UNION/EXCEPT/MINUS 操作で AnalysisException メッセージを修正する
- [SPARK-32068] [WEBUI] [ステージ] タブのタイムゾーンのため、タスク開始時間の表示の問題を修正する
- [SPARK-29999] [SS] 実際のメタデータ ログ ディレクトリを確認するためのテストを修正する
- [SPARK-32127] [SQL] MERGE INTO のチェック ルールで MergeAction.children 以外の MergeAction.conditition を使用する必要がある
- [SPARK-32038] [SQL] float/double 正規化後にエイリアス名を見やすくする
- [SPARK-32126] [SS] IncrementalExecution の Session.active のスコープ
- [SPARK-32115] [SQL] 整数オーバーフローを処理する SUBSTRING を修正する
- [SPARK-32098] [PYTHON] Arrow を使用した createDataFrame での直接スライスではなく、位置指定スライスに iloc を使用する
- [SPARK-32080][SPARK-31998] [SQL] ArrowColumnVector ListArray アクセサーを簡略化する
- [SPARK-32028] [WEBUI] 履歴の概要ページで複数試行アプリのアプリ ID リンクを修正する
- [SPARK-31918] [R] R 4.0.0 以上をサポートするためにクロージャ クリーニングで SparkR 名前空間の S4 ジェネリック メソッドを無視する
- [SPARK-32038] [SQL] NormalizeFloatingNumbers は個別の集計でも機能する必要がある
- [SPARK-32034] [SQL] Port HIVE-14817: シャットダウン時に SessionManager timeoutChecker スレッドを正常にシャットダウンする
-
[SPARK-32021] [SQL]
make_intervalの秒数と端数の精度を上げる - [SPARK-31980] [SQL] 範囲の開始と終了が等しい日付の場合、関数 sequence() が失敗する
- [SPARK-32020] [SQL] SPARK_HOME または spark.test.home が設定されていない場合のエラー メッセージの向上
- [SPARK-32011] [PYTHON][core] collectWithJobGroup を使用するためのピン スレッド モードとガイドに関する警告を削除する
メンテナンスの更新
Databricks Runtime 7.2 メンテナンス更新プログラムに関するページを参照してください。
システム環境
- オペレーティング システム: Ubuntu 18.04.4 LTS
- Java: 1.8.0_252
- Scala: 2.12.10
- Python: 3.7.5
- R: R バージョン 3.6.3 (2020-02-29)
- Delta Lake 0.7.0
インストールされている Python ライブラリ
| ライブラリ | バージョン | ライブラリ | バージョン | ライブラリ | バージョン |
|---|---|---|---|---|---|
| asn1crypto | 1.3.0 | バックコール (再発信機能) | 0.1.0 | boto3 | 1.12.0 |
| botocore | 1.15.0 | サーティフィ | 2020.6.20 | cffi | 1.14.0 |
| チャーデット | 3.0.4 | 暗号 | 2.8 | サイクリスト | 0.10.0 |
| Cython | 0.29.15 | デコレータ | 4.4.1 | docutils (ドキュメントユーティリティ) | 0.15.2 |
| 入口点 | 0.3 | idna | 2.8 | ipykernel | 5.1.4 |
| ipython | 7.12.0 | ipython-genutils (IPython用のユーティリティ) | 0.2.0 | ジェダイ | 0.14.1 |
| jmespath | 0.10.0 | 「joblib」 | 0.14.1 | ジュピタークライアント | 5.3.4 |
| ジュピター・コア | 4.6.1 | キウィソルバー | 1.1.0 | コアラ | 1.1.0 |
| matplotlib | 3.1.3 | NumPy (数値計算ライブラリ) | 1.18.1 | パンダ | 1.0.1 |
| パルソ | 0.5.2 | パッツィ | 0.5.1 | ペキスペクト | 4.8.0 |
| ピクルシェア | 0.7.5 | 種 | 20.0.2 | prompt-toolkit（プロンプトツールキット） | 3.0.3 |
| psycopg2 | 2.8.4 | ptyprocess | 0.6.0 | pyarrow (パイアロー) | 0.15.1 |
| pycparser（パイシーパーサー） | 2.19 | Pygments | 2.5.2 | PyGObject | 3.26.1 |
| pyOpenSSL（PythonのSSL/TLSライブラリ） | 19.1.0 | パイパーシング (Pyparsing) | 2.4.6 | PySocks | 1.7.1 |
| python-apt | 1.6.5+ubuntu0.3 | python-dateutil (Python用の日付処理ライブラリ) | 2.8.1 | pytz | 2019.3 |
| pyzmq | 18.1.1 | リクエスト | 2.22.0 | s3transfer | 0.3.3 |
| scikit-learn（サイキット・ラーン） | 0.22.1 | scipy | 1.4.1 | seaborn（シーボーン） | 0.10.0 |
| setuptools（セットアップツール） | 45.2.0 | 6 | 1.14.0 | ssh-import-id | 5.7 |
| statsmodels（スタッツモデルズ） | 0.11.0 | 竜巻 | 6.0.3 | traitlets（トレイトレット） | 4.3.3 |
| 無人アップグレード | 0.1 | urllib3 | 1.25.8 | virtualenv | 16.7.10 |
| wcwidth（文字の幅を測定するプログラム関数） | 0.1.8 | ホイール | 0.34.2 |
インストールされている R ライブラリ
R ライブラリは、2020 年 7 月 14 日に Microsoft CRAN スナップショットからインストールされています。
| ライブラリ | バージョン | ライブラリ | バージョン | ライブラリ | バージョン |
|---|---|---|---|---|---|
| アスクパス | 1.1 | assertthat（アサートザット関数） | 0.2.1 | バックポート（旧バージョンへの機能移植） | 1.1.8 |
| ベース | 3.6.3 | base64enc | 0.1-3 | BH | 1.72.0-3 |
| ビット | 1.1-15.2 | ビット64 | 0.9-7 | BLOB | 1.2.1 |
| 起動 | 1.3-25 | 醸成 | 1.0-6 | 箒 | 0.7.0 |
| コールアール | 3.4.3 | キャレット | 6.0-86 | セルレンジャー (cellranger) | 1.1.0 |
| クロノ | 2.3-55 | クラス | 7.3-17 | CLI | 2.0.2 |
| クリッパー | 0.7.0 | クラスタ | 2.1.0 | コードツール | 0.2-16 |
| カラー空間 | 1.4-1 | コモンマーク | 1.7 | コンパイラ | 3.6.3 |
| 設定 | 0.3 | covr | 3.5.0 | クレヨン | 1.3.4 |
| クロストーク | 1.1.0.1 | カール | 4.3 | データテーブル (data.table) | 1.12.8 |
| データセット | 3.6.3 | DBI | 1.1.0 | dbplyr | 1.4.4 |
| 説明 | 1.2.0 | 開発ツール | 2.3.0 | ダイジェスト | 0.6.25 |
| dplyr | 0.8.5 | DT | 0.14 | 省略記号 | 0.3.1 |
| 評価する | 0.14 | ファンシ | 0.4.1 | farver | 2.0.3 |
| fastmap (ファストマップ) | 1.0.1 | フォーキャッツ | 0.5.0 | フォーリーチ | 1.5.0 |
| 外国の | 0.8-76 | 鍛冶場 | 0.2.0 | FS | 1.4.2 |
| ジェネリック | 0.0.2 | ggplot2 | 3.3.2 | gh | 1.1.0 |
| git2r | 0.27.1 | glmnet(英語) | 3.0-2 | グローバル変数 | 0.12.5 |
| 接着剤 | 1.4.1 | ガウアー | 0.2.2 | グラフィックス | 3.6.3 |
| grDevices | 3.6.3 | グリッド | 3.6.3 | gridExtra | 2.3 |
| gsubfn | 0.7 | gtable | 0.3.0 | 安らぎの場 | 2.3.1 |
| highr | 0.8 | エイチ・エム・エス | 0.5.3 | HTMLツール | 0.5.0 |
| HTMLウィジェット | 1.5.1 | httpuv | 1.5.4 | 「httr」パッケージ（HTTPリクエストを簡単に送信するためのライブラリ） | 1.4.1 |
| エイチライター | 1.3.2 | hwriterPlus | 1.0-3 | ini | 0.3.1 |
| アイプレッド | 0.9-9 | アイソバンド | 0.2.2 | イテレータ | 1.0.12 |
| jsonlite | 1.7.0 | カーンスムース | 2.23-17 | ニット | 1.29 |
| ラベリング | 0.3 | あとで | 1.1.0.1 | 格子構造 | 0.20-41 |
| 溶岩 | 1.6.7 | lazyeval | 0.2.2 | ライフサイクル | 0.2.0 |
| ルブリデート | 1.7.9 | Magrittr | 1.5 | 値下げ | 1.1 |
| 質量 | 7.3-51.6 | マトリックス | 1.2-18 | メモ化 | 1.1.0 |
| メソッド | 3.6.3 | mgcv | 1.8-31 | マイム | 0.9 |
| モデルメトリクス | 1.2.2.2 | モデルル | 0.1.8 | munsell | 0.5.0 |
| nlme | 3.1-147 | ニューラルネットワーク (nnet) | 7.3-14 | numDeriv（ヌムデリヴ） | 2016年8月～2016年1月1日 |
| openssl (オープンソースの暗号化ツール) | 1.4.2 | 並行 | 3.6.3 | 柱 | 1.4.6 |
| pkgbuild（パッケージビルド） | 1.1.0 | pkgconfig | 2.0.3 | pkgload(パッケージロード) | 1.1.0 |
| plogr | 0.2.0 | プライル | 1.8.6 | 賞賛 | 1.0.0 |
| プリティーユニッツ | 1.1.1 | プロック (pROC) | 1.16.2 | プロセスエックス | 3.4.3 |
| プロッドリム | 2019.11.13 | 進捗 | 1.2.2 | 約束 | 1.1.1 |
| プロト | 1.0.0 | PS | 1.3.3 | ゴロゴロ | 0.3.4 |
| R2D3 | 0.2.3 | R6 | 2.4.1 | randomForest（ランダムフォレスト） | 4.6-14 |
| rappdirs | 0.3.1 | rcmdcheck | 1.3.3 | RColorブリューワー | 1.1-2 |
| Rcpp | 1.0.5 | 読み取り | 1.3.1 | readxl (エクセルファイルの読み取り用パッケージ/関数) | 1.3.1 |
| レシピ | 0.1.13 | 再戦 | 1.0.1 | リマッチ2 | 2.1.2 |
| リモコン | 2.1.1 | 再現可能な例 (reprex) | 0.3.0 | リシェイプ2 | 1.4.4 |
| レックス | 1.2.0 | rjson | 0.2.20 | rlang | 0.4.7 |
| rmarkdown | 2.3 | RODBC | 1.3-16 | リオキシジェン2 | 7.1.1 |
| rpart（Rプログラミング言語における再帰的分割のためのパッケージ） | 4.1-15 | rprojroot さん | 1.3-2 | Rサーブ | 1.8-7 |
| RSQLite (英語) | 2.2.0 | rstudioapi | 0.11 | アールバージョンズ | 2.0.2 |
| アヴェスト | 0.3.5 | 秤 | 1.1.1 | セレクター | 0.4-2 |
| セッション情報 | 1.1.1 | シェイプ | 1.4.4 | 光沢がある | 1.5.0 |
| ソースツール | 0.1.7 | スパークラー (sparklyr) | 1.3.1 | SparkR | 3.0.0 |
| 空間の | 7.3-11 | スプライン | 3.6.3 | sqldf | 0.4-11 |
| スクウェアム | 2020.3 | 統計 | 3.6.3 | 統計プログラミングパッケージ「stats4」 | 3.6.3 |
| ストリンギ | 1.4.6 | stringr | 1.4.0 | サバイバル | 3.1-12 |
| sys | 3.3 | tcltk（ティーシーエルティーケー） | 3.6.3 | ティーチングデモズ | 2.10 |
| テストザット | 2.3.2 | tibble（ティブル） | 3.0.3 | ティディル | 1.1.0 |
| tidyselect関数 | 1.1.0 | tidyverse（タイディバース） | 1.3.0 | 時刻と日付 | 3043.102 |
| tinytex | 0.24 | ツール | 3.6.3 | この機能を使う | 1.6.1 |
| UTF8 | 1.1.4 | ユーティリティ | 3.6.3 | UUID（ユニバーサルユニーク識別子） | 0.1-4 |
| VCTRSの | 0.3.1 | ヴィリディスライト | 0.3.0 | ウイスカー | 0.4 |
| ウィザー | 2.2.0 | xfun | 0.15 | xml2 | 1.3.2 |
| xopen (エックスオープン) | 1.0.0 | xtable (エクステーブル) | 1.8-4 | YAML | 2.2.1 |
インストールされている Java ライブラリと Scala ライブラリ (Scala 2.12 クラスター バージョン)
| グループ ID | 成果物 ID | バージョン |
|---|---|---|
| アンラル（ANTLR） | アンラル（ANTLR） | 2.7.7 |
| com.amazonaws | amazon-kinesis-client（アマゾン・キネシス・クライアント） | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling (オートスケーリング用Java SDK) | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.655 |
| com.amazonaws | AWSのJava SDKパッケージであるCloudFront | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudhsm（AWSのクラウドHSM用Javaソフトウェア開発キット） | 1.11.655 |
| com.amazonaws | AWSのJava SDK - cloudsearch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.655 |
| com.amazonaws | aws-java-sdk-codedeploy（AWSのJava SDK用CodeDeployサービス） | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitoidentity (AWS Java SDK コグニトアイデンティティ) | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.655 |
| com.amazonaws | aws-java-sdk-config（AWS Java SDK 設定） | 1.11.655 |
| com.amazonaws | aws-java-sdk-core（AWS Java SDKのコア） | 1.11.655 |
| com.amazonaws | aws-java-sdk-datapipeline (AWS Java SDKのデータパイプラインモジュール) | 1.11.655 |
| com.amazonaws | aws-java-sdk-directconnect (AWSのJava SDKのDirect Connect機能) | 1.11.655 |
| com.amazonaws | aws-java-sdk-directory | 1.11.655 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.655 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.655 |
| com.amazonaws | aws-java-sdk-efs | 1.11.655 |
| com.amazonaws | AWS Java SDK エラスティキャッシュ | 1.11.655 |
| com.amazonaws | AWS Java SDK エラスティックビーンストーク | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.655 |
| com.amazonaws | aws-java-sdk-elastictranscoder (AWS用のJava開発ツールキット - Elastic Transcoder) | 1.11.655 |
| com.amazonaws | aws-java-sdk-emr | 1.11.655 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.655 |
| com.amazonaws | AWSのJava SDK（IAM用） | 1.11.655 |
| com.amazonaws | AWS Java SDK インポートエクスポート | 1.11.655 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.655 |
| com.amazonaws | aws-java-sdk-kms | 1.11.655 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.655 |
| com.amazonaws | aws-java-sdk-logs | 1.11.655 |
| com.amazonaws | aws-java-sdk-機械学習 | 1.11.655 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.655 |
| com.amazonaws | aws-java-sdk-rds（AWSのJava用RDSソフトウェア開発キット） | 1.11.655 |
| com.amazonaws | AWS Java SDK Redshift | 1.11.655 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.655 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ses | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.655 |
| com.amazonaws | aws-java-sdk-sns | 1.11.655 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.655 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.655 |
| com.amazonaws | AWS Java SDK ストレージゲートウェイ | 1.11.655 |
| com.amazonaws | aws-java-sdk-sts | 1.11.655 |
| com.amazonaws | AWS Java SDK サポート | 1.11.655 |
| com.amazonaws | aws-java-sdk-swf-libraries (AWS Java SDK SWFライブラリ) | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspacesとはAWSのワークスペースを管理するためのJava用SDKです。 | 1.11.655 |
| com.amazonaws | jmespath-java | 1.11.655 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | ストリーミング | 2.9.6 |
| com.databricks | Rサーブ | 1.8-3 |
| com.databricks | jets3t (ジェットスリート) | 0.7.1-0 |
| com.databricks.scalapb | コンパイラプラグイン_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-シェーデッド | 4.0.2 |
| com.esotericsoftware | minlog (ミンログ) | 1.3.0 |
| com.fasterxml | クラスメイト | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations (ジャクソン・アノテーション) | 2.10.0 |
| com.fasterxml.jackson.core | ジャクソン・コア (jackson-core) | 2.10.0 |
| com.fasterxml.jackson.core | ジャクソン・データバインド (jackson-databind) | 2.10.0 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor（ジャクソンデータフォーマットCBOR） | 2.10.0 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.10.0 |
| com.github.ben-manes.カフェイン | カフェイン | 2.3.4 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | コア | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-ジャバ-ネイティブス | 1.1 |
| com.github.fommil.netlib | ネイティブシステム-Java | 1.1 |
| com.github.fommil.netlib | ネイティブシステム-Java-ネイティブ | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.joshelser | dropwizard-metrics-hadoop-metrics2-reporter | 0.1.2 |
| com.github.luben | zstd-jni (ゼットスタッドジェイエヌアイ) | 1.4.4-3 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.flatbuffers | flatbuffers-java | 1.9.0 |
| com.google.guava | グアバ | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 1.4.195 |
| com.helger | プロファイラ | 1.1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk（アジュール・データ・レイク・ストア・SDK） | 2.2.8 |
| com.microsoft.sqlserver | mssql-jdbc | 8.2.1.jre8 |
| com.ning | Compress-LZF (コンプレス-LZF) | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | JSON | 1.8 |
| com.thoughtworks.paranamer | パラナマー | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | チル-ジャヴァ | 0.9.5 |
| com.twitter | chill_2.12 | 0.9.5 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | 設定 | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.univocity | univocity-parsers（ユニボシティ・パーサーズ） | 2.8.3 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.9.4 |
| commons-cli | commons-cli | 1.2 |
| コモンズ・コーデック | コモンズ・コーデック | 1.10 |
| コモンズ・コレクションズ | コモンズ・コレクションズ | 3.2.2 |
| commons-configuration (コモンズ・コンフィギュレーション) | commons-configuration (コモンズ・コンフィギュレーション) | 1.6 |
| commons-dbcp（コモンズ-DBCP） | commons-dbcp（コモンズ-DBCP） | 1.4 |
| commons-digester (コモンズ・ダイジェスター) | commons-digester (コモンズ・ダイジェスター) | 1.8 |
| コモンズ-ファイルアップロード | コモンズ-ファイルアップロード | 1.3.3 |
| commons-httpclient（コモンズHTTPクライアント） | commons-httpclient（コモンズHTTPクライアント） | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang (コモンズ・ラン、Javaの汎用ユーティリティライブラリ) | commons-lang (コモンズ・ラン、Javaの汎用ユーティリティライブラリ) | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool（コモンズプール） | commons-pool（コモンズプール） | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | エアコンプレッサー | 0.10 |
| io.dropwizard.metrics | メトリクス・コア | 4.1.1 |
| io.dropwizard.metrics | メトリクス・グラファイト | 4.1.1 |
| io.dropwizard.metrics | メトリクス-ヘルスチェック | 4.1.1 |
| io.dropwizard.metrics | メトリクス-ジェッティ9 | 4.1.1 |
| io.dropwizard.metrics | メトリクス-JMX | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | メトリックス-JVM | 4.1.1 |
| io.dropwizard.metrics | メトリクス-サーブレット | 4.1.1 |
| io.netty | netty-all (ライブラリ名) | 4.1.47.Final |
| jakarta.annotation | ジャカルタ・アノテーションAPI | 1.3.5 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | アクティブ化 | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.サーブレット | javax.サーブレット-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | トランザクションAPI | 1.1 |
| .bind の javax.xml | jaxb-api | 2.2.2 |
| .stream の javax.xml | stax-api | 1.0-2 |
| 「ジャボリューション（Javolution）」 | 「ジャボリューション（Javolution）」 | 5.5.1 |
| ジェイライン | ジェイライン | 2.14.6 |
| joda-time | joda-time | 2.10.5 |
| log4j | アパッチ・ログ4J・エクストラ | 1.2.17 |
| log4j | log4j | 1.2.17 |
| net.razorvine | パイロライト | 4.30 |
| net.sf.jpam | ジェーパム | 1.1 |
| net.sf.opencsv | opencsv (CSVファイル操作のためのライブラリ) | 2.3 |
| net.sf.supercsv | スーパCSV (スーパーシーエスブイ) | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk（スノーフレーク・インジェスト・SDK） | 0.9.6 |
| net.snowflake | スノーフレーク-JDBC | 3.12.8 |
| net.snowflake | spark-snowflake_2.12 | 2.8.1-spark_3.0 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.7.1 |
| org.antlr | ストリングテンプレート | 3.2.1 |
| org.apache.ant | 蟻 | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | 矢印フォーマット | 0.15.1 |
| org.apache.arrow | アロー・メモリ | 0.15.1 |
| org.apache.arrow | 矢印ベクトル | 0.15.1 |
| org.apache.avro | アブロ | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.commons | コモンズ・コンプレス | 1.8.1 |
| org.apache.commons | commons-crypto | 1.0.0 |
| org.apache.commons | commons-lang3 | 3.9 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.commons | コモンズテキスト | 1.6 |
| org.apache.curator | キュレータークライアント | 2.7.1 |
| org.apache.curator | Curator Framework（キュレーター・フレームワーク） | 2.7.1 |
| org.apache.curator | キュレーターのレシピ | 2.7.1 |
| org.apache.derby | ダービー | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | APIユーティル | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | Hadoop 注釈 | 2.7.4 |
| org.apache.hadoop | hadoop-auth（認証システム） | 2.7.4 |
| org.apache.hadoop | ハドゥープクライアント | 2.7.4 |
| org.apache.hadoop | Hadoop共通 | 2.7.4 |
| org.apache.hadoop | hadoop-hdfs | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.4 |
| org.apache.hadoop | Hadoop-YARN-クライアント | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.4 |
| org.apache.hadoop | ハドゥープ・ヤーン・サーバー・コモン | 2.7.4 |
| org.apache.hive | hive-beeline | 2.3.7 |
| org.apache.hive | hive-cli | 2.3.7 |
| org.apache.hive | ハイブ-コモン | 2.3.7 |
| org.apache.hive | hive-exec-core | 2.3.7 |
| org.apache.hive | hive-jdbc | 2.3.7 |
| org.apache.hive | hive-llap-client | 2.3.7 |
| org.apache.hive | hive-llap-common | 2.3.7 |
| org.apache.hive | ハイヴメタストア | 2.3.7 |
| org.apache.hive | ハイブセーデ | 2.3.7 |
| org.apache.hive | ハイブシムス | 2.3.7 |
| org.apache.hive | hive-storage-api (ハイブストレージAPI) | 2.7.1 |
| org.apache.hive | hive-vector-code-gen | 2.3.7 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.7 |
| org.apache.hive.shims | hive-shims-common | 2.3.7 |
| org.apache.hive.shims | hive-shims-scheduler (ハイブシムススケジューラー) | 2.3.7 |
| org.apache.htrace | htrace-core | 3.1.0-インキュベーション中 |
| org.apache.httpcomponents | httpclient | 4.5.6 |
| org.apache.httpcomponents | httpcore | 4.4.12 |
| org.apache.ivy | アイビー | 2.4.0 |
| org.apache.orc | オーク・コア | 1.5.10 |
| org.apache.orc | orc-mapreduce | 1.5.10 |
| org.apache.orc | orc-shims（オーク・シムズ） | 1.5.10 |
| org.apache.parquet | パーケット列 | 1.10.1.2-databricks4 |
| org.apache.parquet | パーケット・コモン | 1.10.1.2-databricks4 |
| org.apache.parquet | パーケットエンコーディング | 1.10.1.2-databricks4 |
| org.apache.parquet | パルクェット形式 (Parquet形式) | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1.2-databricks4 |
| org.apache.parquet | parquet-jackson | 1.10.1.2-databricks4 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift (リブスリフト) | 0.12.0 |
| org.apache.velocity | ベロシティ | 1.5 |
| org.apache.xbean | xbean-asm7-shaded | 4.15 |
| org.apache.yetus | オーディエンス注釈 | 0.5.0 |
| org.apache.zookeeper | 動物園の飼育員 | 3.4.14 |
| org.codehaus.jackson | ジャクソンコアASL | 1.9.13 |
| org.codehaus.jackson | ジャクソン-JAXRS | 1.9.13 |
| org.codehaus.jackson | ジャクソン・マッパー・ASL | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | コモンズコンパイラー | 3.0.16 |
| org.codehaus.janino | ジャニーノ (janino) | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | データニュクレウス-RDBMS | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.18.v20190429 |
| org.eclipse.jetty | ジェッティ・コンティニュエーション | 9.4.18.v20190429 |
| org.eclipse.jetty | ジェッティ-HTTP | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-io | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-jndi（ジェッティ-JNDI） | 9.4.18.v20190429 |
| org.eclipse.jetty | ジェッティプラス | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-proxy (ジェッティプロキシ) | 9.4.18.v20190429 |
| org.eclipse.jetty | ジェッティ・セキュリティ | 9.4.18.v20190429 |
| org.eclipse.jetty | ジェッティ・サーバー | 9.4.18.v20190429 |
| org.eclipse.jetty | ジェッティ-サーブレット | 9.4.18.v20190429 |
| org.eclipse.jetty | ジェッティ・サーブレット (jetty-servlets) | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-util (ジェッティユーティル) | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-webapp（ジェッティ・ウェブアプリ） | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-xml | 9.4.18.v20190429 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2ユーティリティー | 2.6.1 |
| org.glassfish.hk2 | OSGiリソースロケーター | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-サーブレット | 2.30 |
| org.glassfish.jersey.containers | jersey-container-サーブレット-コア | 2.30 |
| org.glassfish.jersey.core | jersey-client | 2.30 |
| org.glassfish.jersey.core | ジャージーコモン | 2.30 |
| org.glassfish.jersey.core | jersey-server | 2.30 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.30 |
| org.glassfish.jersey.media | ジャージー・メディア・JAXB | 2.30 |
| org.hibernate.validator | hibernate-validator (ハイバーネイト検証ツール) | 6.1.0.Final |
| org.javassist | javassist（ジャバアシスト） | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.6.6 |
| org.json4s | json4s-core_2.12 | 3.6.6 |
| org.json4s | json4s-jackson_2.12 | 3.6.6 |
| org.json4s | json4s-scalap_2.12 | 3.6.6 |
| org.lz4 | lz4-java | 1.7.1 |
| org.mariadb.jdbc | mariadb-java-client（MariaDB用Javaクライアント） | 2.1.2 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.7.45 |
| org.roaringbitmap | シム | 0.7.45 |
| org.rocksdb | rocksdbjni | 6.2.2 |
| org.rosuda.REngine | REngine（アールエンジン） | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.10 |
| org.scala-lang | scala-library_2.12 | 2.12.10 |
| org.scala-lang | scala-reflect_2.12 | 2.12.10 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.1.1 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | テストインターフェイス | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 1.0 |
| org.scalanlp | breeze_2.12 | 1.0 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.30 |
| org.slf4j | jul-to-slf4j | 1.7.30 |
| org.slf4j | slf4j-api | 1.7.30 |
| org.slf4j | slf4j-log4j12 | 1.7.30 |
| org.spark-project.spark | 未使用 | 1.0.0 |
| org.springframework | spring-core（スプリング・コア） | 4.1.4.RELEASE |
| org.springframework | スプリングテスト | 4.1.4.RELEASE |
| org.threeten | threeten-extra（スリー・テン・エクストラ） | 1.5.0 |
| org.tukaani | xz | 1.5 |
| org.typelevel | algebra_2.12 | 2.0.0-M2 |
| org.typelevel | cats-kernel_2.12 | 2.0.0-M4 |
| org.typelevel | "machinist_2.12" (マシニスト2.12) | 0.6.8 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0-M1 |
| org.typelevel | スパイア-プラットフォーム_2.12 | 0.17.0-M1 |
| org.typelevel | spire-util_2.12 | 0.17.0-M1 |
| org.typelevel | spire_2.12 | 0.17.0-M1 |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.7.5 |
| org.yaml | snakeyaml（スネークヤムル） | 1.24 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays (ジェイラージアレイ) | 1.5 |
| software.amazon.ion | ion-java | 1.0.2 |
| スタックス | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0.52 |