Databricks Runtime 4.0 (サポート期間終了)
Note
この Databricks Runtime バージョンのサポートは終了しました。 サポート終了日については、「サポート終了の履歴」を参照してください。 サポートされている Databricks Runtime のすべてのバージョンについては、「Databricks Runtime リリース ノートのバージョンと互換性」を参照してください。
Databricks は、2018 年 3 月にこのバージョンをリリースしました。
重要
このリリースは、2018 年 11 月 1 日に非推奨となりました。 Databricks Runtime の非推奨ポリシーとスケジュールの詳細については、「Databricks のサポート ライフサイクル」を参照してください。
次のリリース ノートには、Apache Spark で稼働する Databricks Runtime 4.0 に関する情報が記載されています。
変更と機能強化
- JSON データ ソースで、エンコードが UTF-8 と想定されるのではなく、自動検出が試されるようになりました。 自動検出に失敗した場合、ユーザーは charset オプションを指定して特定のエンコードを適用できます。 「文字セットの自動検出」を参照してください。
- 構造化ストリーミングで Spark MLlib パイプラインを使用したスコアリングと予測が完全にサポートされています。
- Databricks ML Model Export は完全にサポートされています。 この機能を使用すると、Databricks で Spark MLlib モデルをトレーニングし、関数呼び出しでエクスポートし、選択したシステムで Databricks ライブラリを使用してモデルをインポートし、新しいデータをスコア付けすることができます。
- 新しい Spark データ ソースの実装では、Azure Synapse Analytics へのスケーラブルな読み取り/書き込みが提供されます。 Spark - Synapse Analytics コネクタに関する記事を参照してください。
from_json関数のスキーマは、常に null 許容型に変換されるようになりました。 つまり、入れ子になったフィールドを含むすべてのフィールドが null 許容になります。 これにより、データとスキーマとの互換性が確保され、データにフィールドが存在しない場合に Parquet にデータを書き込み、ユーザー指定のスキーマがフィールドを null 非許容として宣言した場合に、データを Parquet に書き込んだ後に破損しないようにします。- インストールされている Python ライブラリの一部をアップグレードしました。
- futures: 3.1.1 から 3.2.0
- pandas: 0.18.1 から 0.19.2
- pyarrow: 0.4.1 から 0.8.0
- setuptools: 38.2.3 から 38.5.1
- tornado: 4.5.2 から 4.5.3
- アップグレードされた複数のインストール済み R ライブラリ。 「インストールされている R ライブラリ」を参照してください。
- AWS Java SDK が 1.11.126 から 1.11.253 にアップグレードされました。
- SQL Server JDBC ドライバーが 6.1.0.jre8 から 6.2.2.jre8 にアップグレードされました。
- PostgreSQL JDBC ドライバーが 9.4-1204-jdbc41 から 42.1.4 にアップグレードされました。
Apache Spark
Databricks Runtime 4.0 には、Apache Spark 2.3.0 が含まれています。
Core、PySpark、Spark SQL
主な機能
- ベクター化された ORC リーダー: [SPARK-16060]: ベクター化 (2 - 5 倍) によって ORC スキャンのスループットを大幅に向上させる新しい ORC リーダーのサポートを追加します。 閲覧者を有効にするには、ユーザーは
spark.sql.orc.implをnativeに設定できます。 - Spark History Server V2: [SPARK-18085]: より効率的なイベント ストレージ メカニズムを備えた大規模なアプリケーションのスケーラビリティを向上する新しい Spark History Server (SHS) バックエンド。
- データ ソース API V2: [SPARK-15689][SPARK-22386]: Spark で新しいデータ ソースを接続する試験的な API。 新しい API は、V1 API のいくつかの制限に対処することを試み、パフォーマンスが高く、保守が容易で、拡張可能な外部データ ソースの開発を容易にすることを目的としています。 この API はまだアクティブに開発中であり、破壊的変更が予測されます。
- PySpark のパフォーマンスの強化: [SPARK-22216][SPARK-21187]: 高速データ シリアル化とベクター化された実行による Python のパフォーマンスと相互運用性の大幅な向上。
パフォーマンスと安定性
- [SPARK-21975]: コストベースのオプティマイザーでのヒストグラムのサポート。
- [SPARK-20331]: Hive パーティションの排除に対する述語プッシュダウンのサポート向上。
- [SPARK-19112]: ZStandard 圧縮コーデックのサポート。
- [SPARK-21113]: スピル リーダーでディスク I/O コストを償却する先読み入力ストリームのサポート。
- [SPARK-22510][SPARK-22692][SPARK-21871]: Java メソッドと Java コンパイラ定数プールの制限で、64 KB の JVM バイトコード制限に達しないようにするための、codegen フレームワークの安定性向上。
- [SPARK-23207]: DataFrame での連続するシャッフルと再パーティション分割によって、特定の手術ケースで正しくない回答が導かれる可能性がある、Spark での長期にわたるバグを修正。
- [SPARK-22062][SPARK-17788][SPARK-21907]: OOM のさまざまな原因を修正。
- [SPARK-22489][SPARK-22916][SPARK-22895][SPARK-20758][SPARK-22266][SPARK-19122][SPARK-22662][SPARK-21652]: ルールベースのオプティマイザーとプランナーの機能強化。
その他の注目すべき変更点
- [SPARK-20236]: Hive スタイルの動的パーティション上書きセマンティクスをサポート。
- [SPARK-4131]: クエリからファイルシステムに直接データを書き込むため
INSERT OVERWRITE DIRECTORYをサポート。 - [SPARK-19285][SPARK-22945][SPARK-21499][SPARK-20586][SPARK-20416][SPARK-20668]: UDF の機能強化。
- [SPARK-20463][SPARK-19951][SPARK-22934][SPARK-21055][SPARK-17729][SPARK-20962][SPARK-20963][SPARK-20841][SPARK-17642][SPARK-22475][SPARK-22934]: ANSI SQL のコンプライアンスと Hive の互換性が改善。
- [SPARK-20746]: より包括的な SQL 組み込み関数。
- [SPARK-21485]: 組み込み関数の Spark SQL ドキュメント作成。
- [SPARK-19810]: Scala
2.10のサポートを削除。 - [SPARK-22324]: Arrow を
0.8.0に、Netty を4.1.17にアップグレード。
構造化ストリーミング
継続的処理
- ユーザー コードを 1 行だけ変更することで、ミリ秒未満のエンドツーエンド待機時間でストリーミング クエリを実行できる新しい実行エンジン。 詳細については、プログラミング ガイドを参照してください。
ストリーム同士の結合
- 2 つのデータ ストリームを結合し、一致するタプルが他のストリームに到着するまで行をバッファリングする機能。 述語は、保持する必要がある状態の量をバインドするために、イベント時間列に対して使用できます。
ストリーミング API V2
- バッチ、マイクロバッチ、継続的実行に対応する新しいソースとシンクを接続する試験的な API。 この API はまだアクティブに開発中であり、破壊的変更が予測されます。
MLlib
ハイライト
- ML 予測が、更新された API を使用して、Structured Streaming と連携するようになりました。 以下に詳細を説明します。
新しく改善された API
- [SPARK-21866]: DataFrame (Scala/Java/Python) に画像を読み込むサポートが組み込まれています。
- [SPARK-19634]: ベクター列に対する説明的な概要統計のための DataFrame 関数 (Scala/Java)。
- [SPARK-14516]: クラスタリング アルゴリズムのチューニング、コサイン シルエットと二乗ユークリッド シルエット メトリック (Scala/Java/Python) のサポート用の
ClusteringEvaluator。 - [SPARK-3181]: Huber 損失による堅牢な線形回帰 (Scala/Java/Python)。
- [SPARK-13969]:
FeatureHasherトランスフォーマー (Scala/Java/Python)。 - 複数の機能トランスフォーマーに対する複数列のサポート:
- [SPARK-13030]:
OneHotEncoderEstimator(Scala/Java/Python) - [SPARK-22397]:
QuantileDiscretizer(Scala/Java) - [SPARK-20542]:
Bucketizer(Scala/Java/Python)
- [SPARK-13030]:
- [SPARK-21633] と [SPARK-21542]: Python でのカスタム パイプライン コンポーネントのサポート強化。
新機能
- [SPARK-21087]:
CrossValidatorとTrainValidationSplitは、適合時にすべてのモデルを収集できます (Scala/Java)。 これにより、適合しているすべてのモデルを検査または保存できます。 - [SPARK-19357]: メタアルゴリズム
CrossValidator、TrainValidationSplit、OneVsRestは、複数のサブモデルを並列 Spark ジョブに適合するための並列処理 Param をサポートします。 - [SPARK-17139]: 多項ロジスティック回帰のモデルの概要 (Scala/Java/Python)
- [SPARK-18710]: GLM にオフセットを追加。
- [SPARK-20199]:
featureSubsetStrategyParam をGBTClassifierとGBTRegressorに追加。 これを使用してサブサンプル機能を使用すると、トレーニング速度を大幅に向上させることができます。このオプションは、xgboostのキーの強さです。
その他の注目すべき変更点
- [SPARK-22156]:
numの繰り返しでの、Word2Vecの学習速度スケーリングを修正しました。 新しい学習速度は元のWord2VecC コードに合わせて設定され、トレーニングによってより良い結果が得られるはずです。 - [SPARK-22289]: マトリックス パラメーターに
JSONのサポートを追加しました (これにより、係数で境界を使用する場合にLogisticRegressionModelで発生する ML の永続化に対するバグが修正されます)。 - [SPARK-22700]:
Bucketizer.transformで、NaNを含む行が誤って削除されます。 ParamhandleInvalidが "スキップ" に設定されていた場合、Bucketizerでは、別の (無関係な) 列にNaN値がある場合に、入力列に有効な値を持つ行が削除されます。 - [SPARK-22446]:
handleInvalidが "エラー" に設定されていたときに、Catalyst オプティマイザーによってStringIndexerModelが "未確認のラベル" の例外を誤ってスローする場合があります。 これは、無効な行が入力データセットから既にフィルター処理された後でも、述語のプッシュダウンが原因で、フィルター処理されたデータに対して発生する可能性があります。 - [SPARK-21681]: 一部の機能の変性がゼロの場合に正しくない係数が発生する、多項ロジスティック回帰のエッジ ケース バグを修正しました。
- 主な最適化:
- [SPARK-22707]:
CrossValidatorのメモリ消費量が削減されました。 - [SPARK-22949]:
TrainValidationSplitのメモリ消費量が削減されました。 - [SPARK-21690]:
Imputerは、データに対してシングル パスを使用してトレーニングします。 - [SPARK-14371]:
OnlineLDAOptimizerは、ミニバッチごとにドライバーに統計を収集しないようにします。
- [SPARK-22707]:
SparkR
2.3.0 リリースの SparkR の主な焦点は、UDF の安定性を向上し、既存の API にいくつかの新しい SparkR ラッパーを追加することでした。
主な機能
- SQL と R 間の関数パリティの向上
- [SPARK-22933]:
withWatermark、trigger、partitionBy、ストリーム同士の結合用の Structured Streaming API。 - [SPARK-21266]: DDL 形式のスキーマをサポートする SparkR UDF。
- [SPARK-20726][SPARK-22924][SPARK-22843]: いくつかの新しい Dataframe API ラッパー。
- [SPARK-15767][SPARK-21622][SPARK-20917][SPARK-20307][SPARK-20906]: いくつかの新しい SparkML API ラッパー。
GraphX
最適化
- [SPARK-5484]:
StackOverflowErrorsを回避するために、Pregel で定期的にチェックポイントを作成。 - [SPARK-21491]: 複数の場所での小規模なパフォーマンスの向上。
非推奨事項
Python
- [SPARK-23122]: PySpark の
SQLContextとCatalogの UDF に向けたregister*の非推奨
MLlib
- [SPARK-13030]:
OneHotEncoderは非推奨になり、3.0 では削除されます。 新しくOneHotEncoderEstimatorに置き換えられました。OneHotEncoderEstimatorは 3.0 でOneHotEncoderに名前が変更されます (ただしOneHotEncoderEstimatorはエイリアスとして保持されます)。
動作の変更
SparkSQL
- [SPARK-22036]: 既定では、小数点間の算術演算では、正確な表現ができない場合には、(以前のバージョンのように
NULLを返す代わりに) 丸められた値が返されます - [SPARK-22937]: すべての入力がバイナリの場合、SQL
elt()で出力がバイナリとして返されます。 それ以外の場合は、文字列として返されます。 以前のバージョンでは、入力の種類に関係なく、常に文字列として返されていました。 - [SPARK-22895]: 最初の非決定論的述語の後にある結合/フィルターの非決定論的述語も、可能であれば子演算子を介してプッシュダウンされます。 以前のバージョンでは、これらのフィルターは述語プッシュダウンの対象外でした。
- [SPARK-22771]: すべての入力がバイナリの場合、
functions.concat()で出力がバイナリとして返されます。 それ以外の場合は、文字列として返されます。 以前のバージョンでは、入力の種類に関係なく、常に文字列として返されます。 - [SPARK-22489]: いずれかの結合側がブロードキャスト可能な場合は、ブロードキャスト ヒントで明示的に指定されたテーブルをブロードキャストします。
- [SPARK-22165]: パーティション列の推論で、推論された型が異なる場合に間違った共通型が検出されましたた。 たとえば、以前は
double型とdate型の共通型としてdouble型になっていました。 このような競合に対して正しい共通型が検出されるようになりました。 詳細については、移行ガイドを参照してください。 - [SPARK-22100]:
percentile_approxは、以前はnumeric型の入力を受け入れて、double型の結果を出力しました。 入力型としてdate型、timestamp型、numeric型がサポートされるようになりました。 結果の型も入力型と同じに変更されます。これは、パーセンタイルの方が妥当です。 - [SPARK-21610]: 参照先の列が内部破損レコード列のみの場合に加工されていない JSON ファイルや CSV ファイルからのクエリが許可されません (既定では
_corrupt_recordという名前になります)。 代わりに、解析された結果をキャッシュまたは保存し、同じクエリを送信できます。 - [SPARK-23421]: Spark 2.2.1 と 2.3.0 以降、データ ソース テーブルにパーティション スキーマとデータ スキーマの両方に存在する列がある場合、スキーマは常に実行時に推論されます。 推論されたスキーマには、パーティション分割された列が含まれません。 テーブルを読み取るときに、Spark は、データ ソース ファイルに保存されている値ではなく、これらの重複する列のパーティション値を尊重します。 2.2.0 と 2.1.x リリースでは、推論されたスキーマはパーティション分割されますが、テーブルのデータはユーザーには表示されません (つまり、結果セットは空です)。
PySpark
- [SPARK-19732]:
na.fill()またはfillnaもブール値を受け取り、null 値をブール値に置き換えます。 以前のバージョンの Spark では、PySpark はこれを無視し、元の Dataset/DataFrame を返します。 - [SPARK-22395]:
toPandas、pandas DataFrame のcreateDataFrameなどの pandas 関連の機能を使用するために、pandas0.19.2またはそれ以降が必要です。 - [SPARK-22395]: pandas 関連の機能のタイムスタンプ値の動作は、以前のバージョンでは無視されるセッション タイムゾーンを尊重するために変更されました。
- [SPARK-23328]:
df.replaceは、to_replaceがディクショナリではない場合は、valueの省略を許可しません。 以前は、他のケースではvalueが省略され、既定でNoneとなっていましたが、これは、直感的でなくエラーが発生しやすくなっていました。
MLlib
- API の破壊的変更: ロジスティック回帰モデル概要のクラスと特性階層が、よりクリーンで、多クラス概要の追加に対応するように変更されました。 これは、
LogisticRegressionTrainingSummaryをBinaryLogisticRegressionTrainingSummaryにキャストするユーザー コードの破壊的変更です。 ユーザーは、代わりにmodel.binarySummaryメソッドを使用する必要があります。 詳細については、[SPARK-17139] を参照してください (これは@ExperimentalAPI であることに注意します)。 これは Python の概要メソッドには影響せず、多項とバイナリの両方のケースで引き続き正しく機能します。 - [SPARK-21806]:
BinaryClassificationMetrics.pr(): 最初の点 (0.0, 1.0) は誤解を招くため、(0.0, p) に置き換えました。ここでは、精度 p が最も低いリコール ポイントと一致します。 - [SPARK-16957]: 分割値を選択するときに、デシジョン ツリーで重み付けされた中間点が使用されるようになりました。 これにより、モデル トレーニングの結果が変わる可能性があります。
- [SPARK-14657]: インターセプトを使用しない
RFormulaで、ネイティブの R 動作と一致するために、文字列用語をエンコードするときに参照カテゴリが出力されるようになりました。 これにより、モデル トレーニングの結果が変わる可能性があります。 - [SPARK-21027]:
OneVsRestで使用される既定の並列処理が 1 (シリアル) に設定されるようになりました。 2.2 以前のバージョンでは、並列処理のレベルが Scala の既定のスレッドプール サイズに設定されました。 これにより、パフォーマンスが変わる可能性があります。 - [SPARK-21523]: Breeze が
0.13.2にアップグレードされました。 これには、L-BFGS の強力な Wolfe 行検索の重要なバグ修正が含まれていました。 - [SPARK-15526]: JPMML の依存関係がシェーディングされるようになりました。
- バグの修正による動作の変更については、バグ修正のセクションも参照してください。
既知の問題
- [SPARK-23523][SQL]: ルール
OptimizeMetadataOnlyQueryによって正しくない結果になります。 - [SPARK-23406]: ストリーム間の自己結合にバグがあります。
メンテナンスの更新
Databricks Runtime 4.0 メンテナンス更新プログラムに関するページを参照してください。
システム環境
- オペレーティング システム: Ubuntu 16.04.4 LTS
- Java: 1.8.0_151
- Scala: 2.11.8
- Python: 2.7.12 (または Python 3 を使用する場合は 3.5.2)
- R: R バージョン 3.4.3 (2017-11-30)
- GPU クラスター: 次の NVIDIA GPU ライブラリがインストールされます。
- Tesla ドライバー 375.66
- CUDA 8.0
- CUDNN 6.0
インストールされている Python ライブラリ
| ライブラリ | Version | ライブラリ | Version | ライブラリ | Version |
|---|---|---|---|---|---|
| ansi2html | 1.1.1 | argparse | 1.2.1 | backports-abc | 0.5 |
| boto | 2.42.0 | boto3 | 1.4.1 | botocore | 1.4.70 |
| brewer2mpl | 1.4.1 | certifi | 2016.2.28 | cffi | 1.7.0 |
| chardet | 2.3.0 | colorama | 0.3.7 | configobj | 5.0.6 |
| cryptography | 1.5 | cycler | 0.10.0 | Cython | 0.24.1 |
| decorator | 4.0.10 | docutils | 0.14 | enum34 | 1.1.6 |
| et-xmlfile | 1.0.1 | freetype-py | 1.0.2 | funcsigs | 1.0.2 |
| fusepy | 2.0.4 | futures | 3.2.0 | ggplot | 0.6.8 |
| html5lib | 0.999 | idna | 2.1 | ipaddress | 1.0.16 |
| ipython | 2.2.0 | ipython-genutils | 0.1.0 | jdcal | 1.2 |
| Jinja2 | 2.8 | jmespath | 0.9.0 | llvmlite | 0.13.0 |
| lxml | 3.6.4 | MarkupSafe | 0.23 | matplotlib | 1.5.3 |
| mpld3 | 0.2 | msgpack-python | 0.4.7 | ndg-httpsclient | 0.3.3 |
| numba | 0.28.1 | numpy | 1.11.1 | openpyxl | 2.3.2 |
| pandas | 0.19.2 | pathlib2 | 2.1.0 | patsy | 0.4.1 |
| pexpect | 4.0.1 | pickleshare | 0.7.4 | Pillow | 3.3.1 |
| pip | 9.0.1 | ply | 3.9 | prompt-toolkit | 1.0.7 |
| psycopg2 | 2.6.2 | ptyprocess | 0.5.1 | py4j | 0.10.3 |
| pyarrow | 0.8.0 | pyasn1 | 0.1.9 | pycparser | 2.14 |
| Pygments | 2.1.3 | PyGObject | 3.20.0 | pyOpenSSL | 16.0.0 |
| pyparsing | 2.2.0 | pypng | 0.0.18 | Python | 2.7.12 |
| python-dateutil | 2.5.3 | python-geohash | 0.8.5 | pytz | 2016.6.1 |
| requests | 2.11.1 | s3transfer | 0.1.9 | scikit-learn | 0.18.1 |
| scipy | 0.18.1 | scour | 0.32 | seaborn | 0.7.1 |
| setuptools | 38.5.1 | simplejson | 3.8.2 | simples3 | 1.0 |
| singledispatch | 3.4.0.3 | 6 | 1.10.0 | statsmodels | 0.6.1 |
| tornado | 4.5.3 | traitlets | 4.3.0 | urllib3 | 1.19.1 |
| virtualenv | 15.0.1 | wcwidth | 0.1.7 | wheel | 0.30.0 |
| wsgiref | 0.1.2 |
インストールされている R ライブラリ
| ライブラリ | Version | ライブラリ | Version | ライブラリ | Version |
|---|---|---|---|---|---|
| abind | 1.4-5 | assertthat | 0.2.0 | backports | 1.1.1 |
| base | 3.4.3 | BH | 1.65.0-1 | bindr | 0.1 |
| bindrcpp | 0.2 | bit | 1.1-12 | bit64 | 0.9-7 |
| bitops | 1.0-6 | blob (blob) | 1.1.0 | boot | 1.3-20 |
| brew | 1.0-6 | broom | 0.4.3 | car | 2.1-6 |
| キャレット | 6.0-77 | chron | 2.3-51 | class | 7.3-14 |
| cluster | 2.0.6 | codetools | 0.2-15 | colorspace | 1.3-2 |
| commonmark | 1.4 | compiler | 3.4.3 | crayon | 1.3.4 |
| curl | 3.0 | CVST | 0.2-1 | data.table | 1.10.4-3 |
| datasets | 3.4.3 | DBI | 0.7 | ddalpha | 1.3.1 |
| DEoptimR | 1.0 から 8 | desc | 1.1.1 | devtools | 1.13.4 |
| dichromat | 2.0-0 | digest | 0.6.12 | dimRed | 0.1.0 |
| doMC | 1.3.4 | dplyr | 0.7.4 | DRR | 0.0.2 |
| foreach | 1.4.3 | foreign | 0.8-69 | gbm | 2.1.3 |
| ggplot2 | 2.2.1 | git2r | 0.19.0 | glmnet | 2.0-13 |
| glue | 1.2.0 | gower | 0.1.2 | graphics | 3.4.3 |
| grDevices | 3.4.3 | grid | 3.4.3 | gsubfn | 0.6-6 |
| gtable | 0.2.0 | h2o | 3.16.0.1 | httr | 1.3.1 |
| hwriter | 1.3.2 | hwriterPlus | 1.0-3 | ipred | 0.9-6 |
| iterators | 1.0.8 | jsonlite | 1.5 | kernlab | 0.9-25 |
| KernSmooth | 2.23-15 | labeling | 0.3 | lattice | 0.20-35 |
| lava | 1.5.1 | lazyeval | 0.2.1 | littler | 0.3.2 |
| lme4 | 1.1-14 | lubridate | 1.7.1 | magrittr | 1.5 |
| mapproj | 1.2-5 | maps | 3.2.0 | MASS | 7.3-48 |
| Matrix | 1.2-11 | MatrixModels | 0.4-1 | memoise | 1.1.0 |
| methods | 3.4.3 | mgcv | 1.8-23 | mime | 0.5 |
| minqa | 1.2.4 | mnormt | 1.5-5 | ModelMetrics | 1.1.0 |
| munsell | 0.4.3 | mvtnorm | 1.0-6 | nlme | 3.1-131 |
| nloptr | 1.0.4 | nnet | 7.3-12 | numDeriv | 2016.8-1 |
| openssl | 0.9.9 | parallel | 3.4.3 | pbkrtest | 0.4-7 |
| pkgconfig | 2.0.1 | pkgKitten | 0.1.4 | plogr | 0.1-1 |
| plyr | 1.8.4 | praise | 1.0.0 | pROC | 1.10.0 |
| prodlim | 1.6.1 | proto | 1.0.0 | psych | 1.7.8 |
| purrr | 0.2.4 | quantreg | 5.34 | R.methodsS3 | 1.7.1 |
| R.oo | 1.21.0 | R.utils | 2.6.0 | R6 | 2.2.2 |
| randomForest | 4.6-12 | RColorBrewer | 1.1-2 | Rcpp | 0.12.14 |
| RcppEigen | 0.3.3.3.1 | RcppRoll | 0.2.2 | RCurl | 1.95-4.8 |
| recipes | 0.1.1 | reshape2 | 1.4.2 | rlang | 0.1.4 |
| robustbase | 0.92-8 | RODBC | 1.3-15 | roxygen2 | 6.0.1 |
| rpart | 4.1-12 | rprojroot | 1.2 | Rserve | 1.7-3 |
| RSQLite | 2.0 | rstudioapi | 0.7 | scales | 0.5.0 |
| sfsmisc | 1.1-1 | sp | 1.2-5 | SparkR | 2.3.0 |
| SparseM | 1.77 | spatial | 7.3-11 | splines | 3.4.3 |
| sqldf | 0.4-11 | statmod | 1.4.30 | stats | 3.4.3 |
| stats4 | 3.4.3 | stringi | 1.1.6 | stringr | 1.2.0 |
| survival | 2.41-3 | tcltk | 3.4.3 | TeachingDemos | 2.10 |
| testthat | 1.0.2 | tibble | 1.3.4 | tidyr | 0.7.2 |
| tidyselect | 0.2.3 | timeDate | 3042.101 | tools | 3.4.3 |
| utils | 3.4.3 | viridisLite | 0.2.0 | whisker | 0.3-2 |
| withr | 2.1.0 | xml2 | 1.1.1 |
インストールされている Java および Scala ライブラリ (Scala 2.11 クラスター バージョン)
| グループ ID | 成果物 ID | Version |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.7.3 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.253 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.253 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.253 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.253 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.253 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.253 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.253 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.253 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.253 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.253 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.253 |
| com.amazonaws | aws-java-sdk-config | 1.11.253 |
| com.amazonaws | aws-java-sdk-core | 1.11.253 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.253 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.253 |
| com.amazonaws | aws-java-sdk-directory | 1.11.253 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.253 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.253 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.253 |
| com.amazonaws | aws-java-sdk-efs | 1.11.253 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.253 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.253 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.253 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.253 |
| com.amazonaws | aws-java-sdk-emr | 1.11.253 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.253 |
| com.amazonaws | aws-java-sdk-iam | 1.11.253 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.253 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.253 |
| com.amazonaws | aws-java-sdk-kms | 1.11.253 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.253 |
| com.amazonaws | aws-java-sdk-logs | 1.11.253 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.253 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.253 |
| com.amazonaws | aws-java-sdk-rds | 1.11.253 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.253 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.253 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.253 |
| com.amazonaws | aws-java-sdk-ses | 1.11.253 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.253 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.253 |
| com.amazonaws | aws-java-sdk-sns | 1.11.253 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.253 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.253 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.253 |
| com.amazonaws | aws-java-sdk-sts | 1.11.253 |
| com.amazonaws | aws-java-sdk-support | 1.11.253 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.253 |
| com.amazonaws | jmespath-java | 1.11.253 |
| com.carrotsearch | hppc | 0.7.2 |
| com.chuusai | shapeless_2.11 | 2.3.2 |
| com.clearspring.analytics | ストリーム (stream) | 2.7.0 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | dbml-local_2.11 | 0.3.0-db1-spark2.3 |
| com.databricks | dbml-local_2.11-tests | 0.3.0-db1-spark2.3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.11 | 0.4.15-9 |
| com.databricks.scalapb | scalapb-runtime_2.11 | 0.4.15-9 |
| com.esotericsoftware | kryo-shaded | 3.0.3 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.0.0 |
| com.fasterxml.jackson.core | jackson-annotations | 2.6.7 |
| com.fasterxml.jackson.core | jackson-core | 2.6.7 |
| com.fasterxml.jackson.core | jackson-databind | 2.6.7.1 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.6.7 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-scala_2.11 | 2.6.7.1 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | core | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.luben | zstd-jni | 1.3.2-2 |
| com.github.rwl | jtransforms | 2.4.0 |
| com.google.code.findbugs | jsr305 | 2.0.1 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.googlecode.javaewah | JavaEWAH | 0.3.2 |
| com.h2database | h2 | 1.3.174 |
| com.jamesmurty.utils | java-xmlbuilder | 1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.mchange | c3p0 | 0.9.5.1 |
| com.mchange | mchange-commons-java | 0.2.10 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.0.11 |
| com.microsoft.sqlserver | mssql-jdbc | 6.2.2.jre8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.11 | 0.3 |
| com.twitter | chill-java | 0.8.4 |
| com.twitter | chill_2.11 | 0.8.4 |
| com.twitter | parquet-hadoop-bundle | 1.6.0 |
| com.twitter | util-app_2.11 | 6.23.0 |
| com.twitter | util-core_2.11 | 6.23.0 |
| com.twitter | util-jvm_2.11 | 6.23.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging-api_2.11 | 2.1.2 |
| com.typesafe.scala-logging | scala-logging-slf4j_2.11 | 2.1.2 |
| com.univocity | univocity-parsers | 2.5.9 |
| com.vlkan | flatbuffers | 1.2.0-3f79e055 |
| com.zaxxer | HikariCP | 2.4.1 |
| commons-beanutils | commons-beanutils | 1.7.0 |
| commons-beanutils | commons-beanutils-core | 1.8.0 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1.10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 2.2 |
| commons-pool | commons-pool | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.7 |
| io.airlift | aircompressor | 0.8 |
| io.dropwizard.metrics | metrics-core | 3.1.5 |
| io.dropwizard.metrics | metrics-ganglia | 3.1.5 |
| io.dropwizard.metrics | metrics-graphite | 3.1.5 |
| io.dropwizard.metrics | metrics-healthchecks | 3.1.5 |
| io.dropwizard.metrics | metrics-jetty9 | 3.1.5 |
| io.dropwizard.metrics | metrics-json | 3.1.5 |
| io.dropwizard.metrics | metrics-jvm | 3.1.5 |
| io.dropwizard.metrics | metrics-log4j | 3.1.5 |
| io.dropwizard.metrics | metrics-servlets | 3.1.5 |
| io.netty | netty | 3.9.9.Final |
| io.netty | netty-all | 4.1.17.Final |
| io.prometheus | simpleclient | 0.0.16 |
| io.prometheus | simpleclient_common | 0.0.16 |
| io.prometheus | simpleclient_dropwizard | 0.0.16 |
| io.prometheus | simpleclient_servlet | 0.0.16 |
| io.prometheus.jmx | コレクタ | 0.7 |
| javax.activation | activation | 1.1.1 |
| javax.annotation | javax.annotation-api | 1.2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1.1 |
| javax.validation | validation-api | 1.1.0.Final |
| javax.ws.rs | javax.ws.rs-api | 2.0.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.11 |
| joda-time | joda-time | 2.9.3 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| net.hydromatic | eigenbase-properties | 1.1.5 |
| net.iharder | base64 | 2.3.8 |
| net.java.dev.jets3t | jets3t | 0.9.4 |
| net.razorvine | pyrolite | 4.13 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt | oncrpc | 1.0.7 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.4 |
| org.antlr | antlr4-runtime | 4.7 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | arrow-format | 0.8.0 |
| org.apache.arrow | arrow-memory | 0.8.0 |
| org.apache.arrow | arrow-vector | 0.8.0 |
| org.apache.avro | avro | 1.7.7 |
| org.apache.avro | avro-ipc | 1.7.7 |
| org.apache.avro | avro-ipc-tests | 1.7.7 |
| org.apache.avro | avro-mapred-hadoop2 | 1.7.7 |
| org.apache.calcite | calcite-avatica | 1.2.0-incubating |
| org.apache.calcite | calcite-core | 1.2.0-incubating |
| org.apache.calcite | calcite-linq4j | 1.2.0-incubating |
| org.apache.commons | commons-compress | 1.4.1 |
| org.apache.commons | commons-crypto | 1.0.0 |
| org.apache.commons | commons-lang3 | 3.5 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.curator | curator-client | 2.7.1 |
| org.apache.curator | curator-framework | 2.7.1 |
| org.apache.curator | curator-recipes | 2.7.1 |
| org.apache.derby | derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-annotations | 2.7.3 |
| org.apache.hadoop | hadoop-auth | 2.7.3 |
| org.apache.hadoop | hadoop-client | 2.7.3 |
| org.apache.hadoop | hadoop-common | 2.7.3 |
| org.apache.hadoop | hadoop-hdfs | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.3 |
| org.apache.htrace | htrace-core | 3.1.0-incubating |
| org.apache.httpcomponents | httpclient | 4.5.4 |
| org.apache.httpcomponents | httpcore | 4.4.8 |
| org.apache.ivy | ivy | 2.4.0 |
| org.apache.orc | orc-core-nohive | 1.4.1 |
| org.apache.orc | orc-mapreduce-nohive | 1.4.1 |
| org.apache.parquet | parquet-column | 1.8.2-databricks1 |
| org.apache.parquet | parquet-common | 1.8.2-databricks1 |
| org.apache.parquet | parquet-encoding | 1.8.2-databricks1 |
| org.apache.parquet | parquet-format | 2.3.1 |
| org.apache.parquet | parquet-hadoop | 1.8.2-databricks1 |
| org.apache.parquet | parquet-jackson | 1.8.2-databricks1 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.9.3 |
| org.apache.xbean | xbean-asm5-shaded | 4.4. |
| org.apache.zookeeper | zookeeper | 3.4.6 |
| org.bouncycastle | bcprov-jdk15on | 1.58 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.8 |
| org.codehaus.janino | janino | 3.0.8 |
| org.datanucleus | datanucleus-api-jdo | 3.2.6 |
| org.datanucleus | datanucleus-core | 3.2.10 |
| org.datanucleus | datanucleus-rdbms | 3.2.9 |
| org.eclipse.jetty | jetty-client | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-continuation | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-http | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-io | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-jndi | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-plus | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-proxy | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-security | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-server | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-servlet | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-servlets | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-util | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-webapp | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-xml | 9.3.20.v20170531 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-locator | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-utils | 2.4.0-b34 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.1 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.4.0-b34 |
| org.glassfish.hk2.external | javax.inject | 2.4.0-b34 |
| org.glassfish.jersey.bundles.repackaged | jersey-guava | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.22.2 |
| org.glassfish.jersey.core | jersey-client | 2.22.2 |
| org.glassfish.jersey.core | jersey-common | 2.22.2 |
| org.glassfish.jersey.core | jersey-server | 2.22.2 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.22.2 |
| org.hibernate | hibernate-validator | 5.1.1.Final |
| org.iq80.snappy | snappy | 0.2 |
| org.javassist | javassist | 3.18.1-GA |
| org.jboss.logging | jboss-logging | 3.1.3.GA |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.11 | 3.2.11 |
| org.json4s | json4s-core_2.11 | 3.2.11 |
| org.json4s | json4s-jackson_2.11 | 3.2.11 |
| org.lz4 | lz4-java | 1.4.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.1.2 |
| org.mockito | mockito-all | 1.9.5 |
| org.objenesis | objenesis | 2.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.5.11 |
| org.rocksdb | rocksdbjni | 5.2.1 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.11 | 2.11.8 |
| org.scala-lang | scala-library_2.11 | 2.11.8 |
| org.scala-lang | scala-reflect_2.11 | 2.11.8 |
| org.scala-lang | scalap_2.11 | 2.11.8 |
| org.scala-lang.modules | scala-parser-combinators_2.11 | 1.0.2 |
| org.scala-lang.modules | scala-xml_2.11 | 1.0.5 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.11 | 1.12.5 |
| org.scalanlp | breeze-macros_2.11 | 0.13.2 |
| org.scalanlp | breeze_2.11 | 0.13.2 |
| org.scalatest | scalatest_2.11 | 2.2.6 |
| org.slf4j | jcl-over-slf4j | 1.7.16 |
| org.slf4j | jul-to-slf4j | 1.7.16 |
| org.slf4j | slf4j-api | 1.7.16 |
| org.slf4j | slf4j-log4j12 | 1.7.16 |
| org.spark-project.hive | hive-beeline | 1.2.1.spark2 |
| org.spark-project.hive | hive-cli | 1.2.1.spark2 |
| org.spark-project.hive | hive-exec | 1.2.1.spark2 |
| org.spark-project.hive | hive-jdbc | 1.2.1.spark2 |
| org.spark-project.hive | hive-metastore | 1.2.1.spark2 |
| org.spark-project.spark | 未使用 | 1.0.0 |
| org.spire-math | spire-macros_2.11 | 0.13.0 |
| org.spire-math | spire_2.11 | 0.13.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | spring-test | 4.1.4.RELEASE |
| org.tukaani | xz | 1.0 |
| org.typelevel | machinist_2.11 | 0.6.1 |
| org.typelevel | macro-compat_2.11 | 1.1.1 |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.2.6 |
| org.yaml | snakeyaml | 1.16 |
| oro | oro | 2.0.8 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0.52 |