Databricks Runtime 4.1 ML (サポート対象外)
Databricks Runtime 4.1 ML は、機械学習とデータ サイエンスにすぐに利用できる環境を提供します。 TensorFlow、Keras、XGBoost など、複数の一般的なライブラリが含まれています。 Horovod を使用した TensorFlow 分散トレーニングもサポートします。
注意
このリリースは、2019 年 1 月 17 日に非推奨となりました。 使用するライブラリのバージョンに応じて、新しいバージョンの Databricks Runtime ML を使用することをお勧めします。
Databricks Runtime ML クラスターを作成する手順などの詳細については、「Databricks Machine Learning の概要」を参照してください。
Note
Databricks Runtime ML リリースでは、Databricks Runtime の基本リリースのすべてのメンテナンス更新プログラムが取得されます。 すべてのメンテナンス更新プログラムのリストについては、Databricks Runtime のメンテナンス更新プログラム (アーカイブ済み) に関する記事を参照してください。
ライブラリ
Databricks Runtime 4.1 ML は Databricks Runtime 4.1 の上に構築されています。 Databricks Runtime 4.1 の新機能については、「Databricks Runtime 4.1 (サポート対象外)」のリリース ノートをご覧ください。 Databricks Runtime 4.1 の新機能に加えて、Databricks Runtime 4.1 ML には、機械学習をサポートする次のライブラリが含まれています。 これらの一部はベース Databricks Runtime 4.1 にも含まれており、そのように記載されています。
Category | ライブラリ |
---|---|
分散型ディープ ラーニング | Horovod と Spark を使用した分散型トレーニング: * HorovodEstimator * horovod 0.12.1 * openmpi 3.0.0 * paramiko 2.4.1 * cloudpickle 0.5.2 分散型 TensorFlow と Keras 予測: * spark-deep-learning 1.0 pre-release * tensorframes 0.3.0 |
ディープ ラーニング | [Keras]: * keras 2.1.5 * h5py 2.7.1 TensorFlow: * (CPU クラスター) tensorflow 1.7.1 * (GPU クラスター) tensorflow-gpu 1.7.1 GPU ライブラリ: * CUDA 9.0 (ベース Databricks Runtime にもインストールされています) * cuDNN 7.0 (ベース Databricks Runtime にもインストールされています) * NCCL 2.0.5-3 |
XGBoost | * XGBoost4j 0.8-spark2.3-s_2.11 |
その他の機械学習ライブラリ | * numpy 1.14.2 (ベース Databricks Runtime にもインストールされます。バージョンは異なる場合があります) * scikit-learn 0.18.1 (ベース Databricks Runtime にもインストールされます) * scipy (ベース Databricks Runtime にもインストールされます) |