注
この Databricks Runtime バージョンのサポートは終了しました。 サポート終了日については、「サポート終了の履歴」を参照してください。 サポートされている Databricks Runtime のすべてのバージョンについては、「Databricks Runtime リリース ノートのバージョンと互換性」を参照してください。
Databricks は、2018 年 12 月にこのバージョンをリリースしました。
Databricks Runtime 5.1 ML では、Databricks Runtime 5.1 (サポート期間終了) に基づく機械学習とデータ サイエンス向けのすぐに使用できる環境を提供します。 Databricks Runtime for ML には、TensorFlow、PyTorch、Keras、XGBoost など、多くの一般的な機械学習ライブラリが含まれています。 Horovod を使用した TensorFlow 分散トレーニングもサポートします。
Databricks Runtime ML クラスターを作成する手順などの詳細については、「Databricks での AI と Machine Learning」を参照してください。
新機能
Databricks Runtime 5.1 ML は Databricks Runtime 5.1 上に構築されています。 Databricks Runtime 5.1 の新機能については、 Databricks Runtime 5.1 (EoS) リリース ノートを参照してください。 ライブラリの既存のライブラリに対する更新プログラムに加えて、Databricks Runtime 5.1 ML には、次の新機能が含まれています。
- ディープ ラーニング ネットワークを構築するための PyTorch。
注
Databricks Runtime ML リリースでは、Databricks Runtime の基本リリースのすべてのメンテナンス更新プログラムが取得されます。 すべてのメンテナンス更新プログラムのリストについては、「Databricks ランタイムのメンテナンス更新プログラム (アーカイブ済み)」を参照してください。
システム環境
Databricks Runtime 5.1 と Databricks Runtime 5.1 ML のシステム環境の違いは次のとおりです。
- Python: Python 2 クラスターの場合は 2.7.15、Python 3 クラスターの場合は 3.6.5。
- DBUtils: Databricks Runtime 5.1 ML には、ライブラリ ユーティリティ (dbutils.library) (レガシ) が含まれていません。
- GPU クラスターの場合、NVIDIA GPU ライブラリは次のとおりです。
- Tesla ドライバー 396.44
- CUDA 9.2
- CUDNN 7.2.1
ライブラリ
このセクションでは、Databricks Runtime 5.1 に含まれるライブラリと Databricks Runtime 5.1 ML に含まれているライブラリの違いを示します。
Python ライブラリ
Databricks Runtime 5.1 ML では Python パッケージ管理に Conda を使用します。 そのため、プリインストールされている Python ライブラリには Databricks Runtime と大きな違いがあります。 Conda パッケージ マネージャーを使用してインストールされた Python パッケージとバージョンの完全な一覧を次に示します。
| ライブラリ | バージョン | ライブラリ | バージョン | ライブラリ | バージョン |
|---|---|---|---|---|---|
| absl-py | 0.6.1 | argparse | 1.4.0 | asn1crypto | 0.24.0 |
| アスター | 0.7.1 | backports-abc | 0.5 | backports.functools-lru-cache | 1.5 |
| backports.weakref | 1.0.post1 | bcrypt | 3.1.4 | 漂白剤 | 2.1.3 |
| boto | 2.48.0 | boto3 | 1.7.62 | botocore | 1.10.62 |
| サーティフィ | 2018.04.16 | cffi | 1.11.5 | チャーデット | 3.0.4 |
| クラウドピックル | 0.5.3 | colorama | 0.3.9 | configparser (コンフィグパーサー) | 3.5.0 |
| 暗号 | 2.2.2 | サイクリスト | 0.10.0 | Cython | 0.28.2 |
| デコレータ | 4.3.0 | docutils (ドキュメントユーティリティ) | 0.14 | 入口点 | 0.2.3 |
| enum34 | 1.1.6 | et-xmlfile | 1.0.1 | funcsigs | 1.0.2 |
| functools32 | 3.2.3-2 | fusepy | 2.0.4 | 先物 | 3.2.0 |
| ガスト | 0.2.0 | grpcio | 1.12.1 | h5py | 2.8.0 |
| ホロヴォド | 0.15.0 | html5lib | 1.0.1 | idna | 2.6 |
| IPアドレス | 1.0.22 | ipython | 5.7.0 | ipython_genutils | 0.2.0 |
| jdcal | 1.4 | ジンジャ2 | 2.10 | jmespath | 0.9.3 |
| JSONスキーマ | 2.6.0 | ジュピタークライアント | 5.2.3 | ジュピター・コア | 4.4.0 |
| Keras | 2.2.4 | Keras-Applications | 1.0.6 | Keras-Preprocessing | 1.0.5 |
| キウィソルバー | 1.0.1 | linecache2 | 1.0.0 | llvmlite | 0.23.1 |
| lxml | 4.2.1 | Markdown | 3.0.1 | マークアップセーフ | 1.0 |
| matplotlib | 2.2.2 | ミスチューン | 0.8.3 | mleap | 0.8.1 |
| 嘲る | 2.0.0 | msgpack (メッセージパック) | 0.5.6 | NBコンバート | 5.3.1 |
| nbフォーマット | 4.4.0 | 鼻 | 1.3.7 | ノーズ除外 | 0.5.0 |
| numba | 0.38.0+0.g2a2b772fc.dirty | NumPy (数値計算ライブラリ) | 1.14.3 | オレファイル | 0.45.1 |
| openpyxl | 2.5.3 | パンダ | 0.23.0 | パンドックフィルターズ | 1.4.2 |
| paramiko | 2.4.1 | pathlib2 | 2.3.2 | パッツィ | 0.5.0 |
| ピー・ビー・アール | 5.1.1 | ペキスペクト | 4.5.0 | ピクルシェア | 0.7.4 |
| 枕 | 5.1.0 | 種 | 10.0.1 | 運行する | 3.11 |
| prompt-toolkit（プロンプトツールキット） | 1.0.15 | プロトバフ | 3.6.1 | psycopg2 | 2.7.5 |
| ptyprocess | 0.5.2 | pyarrow (パイアロー) | 0.8.0 | pyasn1 | 0.4.4 |
| pycparser（パイシーパーサー） | 2.18 | Pygments | 2.2.0 | PyNaCl | 1.3.0 |
| pyOpenSSL（PythonのSSL/TLSライブラリ） | 18.0.0 | パイパーシング (Pyparsing) | 2.2.0 | PySocks | 1.6.8 |
| Python | 2.7.15 | python-dateutil (Python用の日付処理ライブラリ) | 2.7.3 | pytz | 2018.4 |
| PyYAML | 3.12 | pyzmq | 17.0.0 | リクエスト | 2.18.4 |
| s3transfer | 0.1.13 | scandir（ディレクトリをスキャンする関数） | 1.7 | scikit-learn（サイキット・ラーン） | 0.19.1 |
| scipy | 1.1.0 | seaborn（シーボーン） | 0.8.1 | setuptools（セットアップツール） | 39.1.0 |
| simplegeneric | 0.8.1 | シングルディスパッチ | 3.4.0.3 | 6 | 1.11.0 |
| statsmodels（スタッツモデルズ） | 0.9.0 | subprocess32 | 3.5.3 | TensorBoard | 1.12.0 |
| tensorboardX | 1.4 | テンソルフロー | 1.12.0 | termcolor | 1.1.0 |
| テストパス (testpath) | 0.3.1 | 電灯 | 0.4.1 | torchvision 라이브러리 | 0.2.1 |
| 竜巻 | 5.0.2 | traceback2 | 1.4.0 | traitlets（トレイトレット） | 4.3.2 |
| unittest2 | 1.1.0 | urllib3 | 1.22 | virtualenv | 16.0.0 |
| wcwidth（文字の幅を測定するプログラム関数） | 0.1.7 | ウェブエンコーディングス | 0.5.1 | Werkzeug | 0.14.1 |
| ホイール | 0.31.1 | 包まれた | 1.10.11 | wsgiref | 0.1.2 |
さらに、次の Spark パッケージには Python モジュールが含まれています。
| Spark パッケージ | Python モジュール | バージョン |
|---|---|---|
| tensorframes | tensorframes | 0.6.0-s_2.11 |
| graphframes | graphframes | 0.6.0-db3-spark2.4 |
| spark-deep-learning | sparkdl | 1.4.0-db2-spark2.4 |
R ライブラリ
R ライブラリは Databricks Runtime 5.1 の R ライブラリと同じです。
Java と Scala のライブラリ (Scala 2.11 クラスター)
Databricks Runtime 5.1 ML には、Databricks Runtime 5.1 の Java および Scala ライブラリに加え、次の JAR が含まれています。
| グループ ID | 成果物 ID | バージョン |
|---|---|---|
| com.databricks | spark-deep-learning | 1.4.0-db2-spark2.4 |
| org.tensorframes | tensorframes | 0.6.0-s_2.11 |
| org.graphframes | graphframes_2.11 | 0.6.0-db3-spark2.4 |
| org.tensorflow | libtensorflow | 1.12.0 |
| org.tensorflow | libtensorflow_jni | 1.12.0 |
| org.tensorflow | spark-tensorflow-connector_2.11 | 1.12.0 |
| org.tensorflow | テンソルフロー | 1.12.0 |
| ml.dmlc | xgboost4j | 0.81 |
| ml.dmlc | xgboost4j-spark | 0.81 |
| ml.combust.mleap | mleap-databricks-runtime_2.11 | 0.13.0 |