注
この Databricks Runtime バージョンのサポートは終了しました。 サポート終了日については、「サポート終了の履歴」を参照してください。 サポートされている Databricks Runtime のすべてのバージョンについては、「Databricks Runtime リリース ノートのバージョンと互換性」を参照してください。
Databricks は、2018 年 11 月にこのバージョンをリリースしました。
Databricks Runtime 5.0 ML は、機械学習とデータ サイエンスにすぐに利用できる環境を提供します。 TensorFlow、Keras、XGBoost など、多くの一般的なライブラリが含まれています。 Horovod を使用した TensorFlow 分散トレーニングもサポートします。
Databricks Runtime ML クラスターを作成する手順などの詳細については、「Databricks での AI と Machine Learning」を参照してください。
新機能
Databricks Runtime 5.0 ML は Databricks Runtime 5.0 の上に構築されています。 Databricks Runtime 5.0 の新機能については、 Databricks Runtime 5.0 (EoS) リリース ノートを参照してください。 Databricks Runtime 5.0 の新機能に加えて、Databricks Runtime 5.0 ML には次の新機能が含まれています。
- HorovodRunner: Horovod を使用して分散ディープ ラーニング トレーニング ジョブを実行します。
- Conda: パッケージ管理のサポート。
- MLeap: 統合。
- GraphFrames: 統合。
注
Databricks Runtime ML リリースでは、Databricks Runtime の基本リリースのすべてのメンテナンス更新プログラムが取得されます。 すべてのメンテナンス更新プログラムのリストについては、「Databricks ランタイムのメンテナンス更新プログラム (アーカイブ済み)」を参照してください。
システム環境
Databricks Runtime 5.0 と Databricks Runtime 5.0 ML のシステム環境の違いは次のとおりです。
- Python: Python 2 クラスターの場合は 2.7.15、Python 3 クラスターの場合は 3.6.5。
- GPU クラスターの場合、NVIDIA GPU ライブラリは次のとおりです。
- Tesla ドライバー 396.44
- CUDA 9.2
- CUDNN 7.2.1
ライブラリ
このセクションでは、Databricks Runtime 5.0 に含まれるライブラリと Databricks Runtime 5.0 ML に含まれているライブラリの違いを示します。
Python ライブラリ
Databricks Runtime 5.0 ML では Python パッケージ管理に Conda を使用します。 Conda パッケージ マネージャーを使用してインストールされた Python パッケージとバージョンの完全な一覧を次に示します。
| ライブラリ | バージョン | ライブラリ | バージョン | ライブラリ | バージョン |
|---|---|---|---|---|---|
| absl-py | 0.6.1 | argparse | 1.4.0 | asn1crypto | 0.24.0 |
| アスター | 0.7.1 | backports-abc | 0.5 | backports.functools-lru-cache | 1.5 |
| backports.weakref | 1.0.post1 | bcrypt | 3.1.4 | 漂白剤 | 2.1.3 |
| boto | 2.48.0 | boto3 | 1.7.62 | botocore | 1.10.62 |
| サーティフィ | 2018.04.16 | cffi | 1.11.5 | チャーデット | 3.0.4 |
| クラウドピックル | 0.5.3 | colorama | 0.3.9 | configparser (コンフィグパーサー) | 3.5.0 |
| 暗号 | 2.2.2 | サイクリスト | 0.10.0 | Cython | 0.28.2 |
| デコレータ | 4.3.0 | docutils (ドキュメントユーティリティ) | 0.14 | 入口点 | 0.2.3 |
| enum34 | 1.1.6 | et-xmlfile | 1.0.1 | funcsigs | 1.0.2 |
| functools32 | 3.2.3-2 | fusepy | 2.0.4 | 先物 | 3.2.0 |
| ガスト | 0.2.0 | grpcio | 1.12.1 | h5py | 2.8.0 |
| ホロヴォド | 0.15.0 | html5lib | 1.0.1 | idna | 2.6 |
| IPアドレス | 1.0.22 | ipython | 5.7.0 | ipython_genutils | 0.2.0 |
| jdcal | 1.4 | ジンジャ2 | 2.10 | jmespath | 0.9.3 |
| JSONスキーマ | 2.6.0 | ジュピタークライアント | 5.2.3 | ジュピター・コア | 4.4.0 |
| Keras | 2.2.4 | Keras-Applications | 1.0.6 | Keras-Preprocessing | 1.0.5 |
| キウィソルバー | 1.0.1 | linecache2 | 1.0.0 | llvmlite | 0.23.1 |
| lxml | 4.2.1 | Markdown | 3.0.1 | マークアップセーフ | 1.0 |
| matplotlib | 2.2.2 | ミスチューン | 0.8.3 | mleap | 0.8.1 |
| 嘲る | 2.0.0 | msgpack (メッセージパック) | 0.5.6 | NBコンバート | 5.3.1 |
| nbフォーマット | 4.4.0 | 鼻 | 1.3.7 | ノーズ除外 | 0.5.0 |
| numba | 0.38.0+0.g2a2b772fc.dirty | NumPy (数値計算ライブラリ) | 1.14.3 | オレファイル | 0.45.1 |
| openpyxl | 2.5.3 | パンダ | 0.23.0 | パンドックフィルターズ | 1.4.2 |
| paramiko | 2.4.1 | pathlib2 | 2.3.2 | パッツィ | 0.5.0 |
| ピー・ビー・アール | 5.1.0 | ペキスペクト | 4.5.0 | ピクルシェア | 0.7.4 |
| 枕 | 5.1.0 | 種 | 10.0.1 | 運行する | 3.11 |
| prompt-toolkit（プロンプトツールキット） | 1.0.15 | プロトバフ | 3.6.1 | psycopg2 | 2.7.5 |
| ptyprocess | 0.5.2 | pyarrow (パイアロー) | 0.8.0 | pyasn1 | 0.4.4 |
| pycparser（パイシーパーサー） | 2.18 | Pygments | 2.2.0 | PyNaCl | 1.3.0 |
| pyOpenSSL（PythonのSSL/TLSライブラリ） | 18.0.0 | パイパーシング (Pyparsing) | 2.2.0 | PySocks | 1.6.8 |
| Python | 2.7.15 | python-dateutil (Python用の日付処理ライブラリ) | 2.7.3 | pytz | 2018.4 |
| PyYAML | 3.12 | pyzmq | 17.0.0 | リクエスト | 2.18.4 |
| s3transfer | 0.1.13 | scandir（ディレクトリをスキャンする関数） | 1.7 | scikit-learn（サイキット・ラーン） | 0.19.1 |
| scipy | 1.1.0 | seaborn（シーボーン） | 0.8.1 | setuptools（セットアップツール） | 39.1.0 |
| simplegeneric | 0.8.1 | シングルディスパッチ | 3.4.0.3 | 6 | 1.11.0 |
| statsmodels（スタッツモデルズ） | 0.9.0 | subprocess32 | 3.5.3 | TensorBoard | 1.10.0 |
| テンソルフロー | 1.10.0 | termcolor | 1.1.0 | テストパス (testpath) | 0.3.1 |
| 竜巻 | 5.0.2 | traceback2 | 1.4.0 | traitlets（トレイトレット） | 4.3.2 |
| unittest2 | 1.1.0 | urllib3 | 1.22 | virtualenv | 16.0.0 |
| wcwidth（文字の幅を測定するプログラム関数） | 0.1.7 | ウェブエンコーディングス | 0.5.1 | Werkzeug | 0.14.1 |
| ホイール | 0.31.1 | 包まれた | 1.10.11 | wsgiref | 0.1.2 |
さらに、次の Spark パッケージには Python モジュールが含まれています。
| Spark パッケージ | Python モジュール | バージョン |
|---|---|---|
| tensorframes | tensorframes | 0.5.0-s_2.11 |
| graphframes | graphframes | 0.6.0-db3-spark2.4 |
| spark-deep-learning | sparkdl | 1.3.0-db2-spark2.4 |
R ライブラリ
R ライブラリは Databricks Runtime 5.0 の R ライブラリと同じです。
Java と Scala のライブラリ (Scala 2.11 クラスター)
Databricks Runtime 5.0 ML には、Databricks Runtime 5.0 の Java と Scala のライブラリに加え、次の JAR が含まれています。
| グループ ID | 成果物 ID | バージョン |
|---|---|---|
| com.databricks | spark-deep-learning | 1.3.0-db2-spark2.4 |
| org.tensorframes | tensorframes | 0.5.0-s_2.11 |
| org.graphframes | graphframes_2.11 | 0.6.0-db3-spark2.4 |
| org.tensorflow | libtensorflow | 1.10.0 |
| org.tensorflow | libtensorflow_jni | 1.10.0 |
| org.tensorflow | spark-tensorflow-connector_2.11 | 1.10.0-spark2.4-001 |
| org.tensorflow | テンソルフロー | 1.10.0 |
| ml.dmlc | xgboost4j | 0.80 |
| ml.dmlc | xgboost4j-spark | 0.80 |
| ml.combust.mleap | mleap-databricks-runtime_2.11 | 0.13.0-SNAPSHOT |