Databricks Runtime 5.2 ML
Databricks 於 2019 年 1 月發行此版本。
Databricks Runtime 5.2 ML 提供以 Databricks Runtime 5.2 (EoS) 為基礎的機器學習及資料科學現成環境。 適用於 ML 的 Databricks Runtime 包含許多熱門的機器學習程式庫，包括 TensorFlow、PyTorch、Keras 及 XGBoost。 它也支援使用 Horovod 的分散式 TensorFlow 訓練。
如需詳細資訊，包括建立 Databricks Runtime ML 叢集的指示，請參閱 Databricks 上的 AI 和機器學習。
新功能
Databricks Runtime 5.2 ML 是以 Databricks Runtime 5.2 為基礎而建置。 如需 Databricks Runtime 5.2 新增功能的相關資訊，請參閱 Databricks Runtime 5.2 (EoS) 版本資訊。 除了程式庫更新之外，Databricks Runtime 5.2 ML 還引進了下列新功能：
- GraphFrames 現在透過 Databricks 的效能最佳化支援 Pregel API (Python)。
- HorovodRunner 新增：
- 在 GPU 叢集方面，訓練過程對應到 GPU 而不是工作節點，以簡化對多 GPU 執行個體類型的支援。 這項內建支援可讓您無需自訂程式碼，即可分發至多 GPU 機器上的所有 GPU。
HorovodRunner.run()現在傳回第一個訓練過程的回傳值。
注意
Databricks Runtime ML 版本會挑選基本 Databricks Runtime 版本的所有維護更新。 如需所有維護更新的清單，請參閱 Databricks Runtime 的維護更新 (封存)。
系統環境
如下所示，Databricks Runtime 5.2 ML 中的系統環境與 Databricks Runtime 5.2 有所不同：
- Python ：2.7.15 用於 Python 2 叢集，3.6.5 用於 Python 3 叢集。
- DBUtils：Databricks Runtime 5.2 ML 不包含程式庫公用程式 (dbutils.library) (舊版)。
- 針對 GPU 叢集，包含下列 NVIDIA GPU 程式庫：
- Tesla 驅動程式 396.44
- CUDA 9.2
- CUDNN 7.2.1
程式庫
下列各節列出 Databricks Runtime 5.2 ML 中，與 Databricks Runtime 5.2 所包含程式庫有所不同的程式庫。
Python 程式庫
Databricks Runtime 5.2 ML 使用 Conda 進行 Python 套件管理。 因此，與 Databricks Runtime 相比，預先安裝的 Python 程式庫存在重大差異。 以下是使用 Conda 套件管理員所安裝的 Python 套件和及本的完整清單。
| 程式庫 | 版本 | 程式庫 | 版本 | 程式庫 | 版本 |
|---|---|---|---|---|---|
| absl-py | 0.6.1 | argparse | 1.4.0 | asn1crypto | 0.24.0 |
| astor | 0.7.1 | backports-abc | 0.5 | backports.functools-lru-cache | 1.5 |
| backports.weakref | 1.0.post1 | bcrypt | 3.1.5 | bleach | 2.1.3 |
| boto | 2.48.0 | boto3 | 1.7.62 | botocore | 1.10.62 |
| certifi | 2018.04.16 | cffi | 1.11.5 | chardet | 3.0.4 |
| cloudpickle | 0.5.3 | colorama | 0.3.9 | configparser | 3.5.0 |
| 密碼編譯 | 2.2.2 | cycler | 0.10.0 | Cython | 0.28.2 |
| decorator | 4.3.0 | docutils | 0.14 | entrypoints | 0.2.3 |
| enum34 | 1.1.6 | et-xmlfile | 1.0.1 | funcsigs | 1.0.2 |
| functools32 | 3.2.3-2 | fusepy | 2.0.4 | futures | 3.2.0 |
| gast | 0.2.0 | grpcio | 1.12.1 | h5py | 2.8.0 |
| horovod | 0.15.2 | html5lib | 1.0.1 | idna | 2.6 |
| ipaddress | 1.0.22 | ipython | 5.7.0 | ipython_genutils | 0.2.0 |
| jdcal | 1.4 | Jinja2 | 2.10 | jmespath | 0.9.3 |
| jsonschema | 2.6.0 | jupyter-client | 5.2.3 | jupyter-core | 4.4.0 |
| Keras | 2.2.4 | Keras-Applications | 1.0.6 | Keras-Preprocessing | 1.0.5 |
| kiwisolver | 1.0.1 | linecache2 | 1.0.0 | llvmlite | 0.23.1 |
| lxml | 4.2.1 | Markdown | 3.0.1 | MarkupSafe | 1.0 |
| matplotlib | 2.2.2 | mistune | 0.8.3 | mleap | 0.8.1 |
| mock | 2.0.0 | msgpack | 0.5.6 | nbconvert | 5.3.1 |
| nbformat | 4.4.0 | nose | 1.3.7 | nose-exclude | 0.5.0 |
| numba | 0.38.0+0.g2a2b772fc.dirty | numpy | 1.14.3 | olefile | 0.45.1 |
| openpyxl | 2.5.3 | pandas | 0.23.0 | pandocfilters | 1.4.2 |
| paramiko | 2.4.1 | pathlib2 | 2.3.2 | patsy | 0.5.0 |
| pbr | 5.1.1 | pexpect | 4.5.0 | pickleshare | 0.7.4 |
| Pillow | 5.1.0 | pip | 10.0.1 | ply | 3.11 |
| prompt-toolkit | 1.0.15 | protobuf | 3.6.1 | psycopg2 | 2.7.5 |
| ptyprocess | 0.5.2 | pyarrow | 0.8.0 | pyasn1 | 0.4.4 |
| pycparser | 2.18 | Pygments | 2.2.0 | PyNaCl | 1.3.0 |
| pyOpenSSL | 18.0.0 | pyparsing | 2.2.0 | PySocks | 1.6.8 |
| Python | 2.7.15 | python-dateutil | 2.7.3 | pytz | 2018.4 |
| PyYAML | 3.12 | pyzmq | 17.0.0 | requests | 2.18.4 |
| s3transfer | 0.1.13 | scandir | 1.7 | scikit-learn | 0.19.1 |
| scipy | 1.1.0 | seaborn | 0.8.1 | setuptools | 39.1.0 |
| simplegeneric | 0.8.1 | singledispatch | 3.4.0.3 | six | 1.11.0 |
| statsmodels | 0.9.0 | subprocess32 | 3.5.3 | tensorboard | 1.12.2 |
| tensorboardX | 1.4 | tensorflow | 1.12.0 | termcolor | 1.1.0 |
| testpath | 0.3.1 | torch | 0.4.1 | torchvision | 0.2.1 |
| tornado | 5.0.2 | traceback2 | 1.4.0 | traitlets | 4.3.2 |
| unittest2 | 1.1.0 | urllib3 | 1.22 | virtualenv | 16.0.0 |
| wcwidth | 0.1.7 | webencodings | 0.5.1 | Werkzeug | 0.14.1 |
| wheel | 0.31.1 | wrapt | 1.10.11 | wsgiref | 0.1.2 |
此外，下列 Spark 套件包含 Python 模組：
| Spark 封裝 | Python 模組 | 版本 |
|---|---|---|
| graphframes | graphframes | 0.7.0-db1-spark2.4 |
| spark-deep-learning | sparkdl | 1.5.0-db1-spark2.4 |
| tensorframes | tensorframes | 0.6.0-s_2.11 |
R 程式庫
R 程式庫與 Databricks Runtime 5.2 中的 R 程式庫相同。
Java 和 Scala 程式庫 (Scala 2.11 叢集)
除了 Databricks Runtime 5.2 中的 Java 和 Scala 程式庫之外，Databricks Runtime 5.2 ML 還包含下列 JAR：
| 群組識別碼 | 成品識別碼 | 版本 |
|---|---|---|
| com.databricks | spark-deep-learning | 1.5.0-db1-spark2.4 |
| com.typesafe.akka | akka-actor_2.11 | 2.3.11 |
| ml.combust.mleap | mleap-databricks-runtime_2.11 | 0.13.0 |
| ml.dmlc | xgboost4j | 0.81 |
| ml.dmlc | xgboost4j-spark | 0.81 |
| org.graphframes | graphframes_2.11 | 0.7.0-db1-spark2.4 |
| org.tensorflow | libtensorflow | 1.12.0 |
| org.tensorflow | libtensorflow_jni | 1.12.0 |
| org.tensorflow | spark-tensorflow-connector_2.11 | 1.12.0 |
| org.tensorflow | tensorflow | 1.12.0 |
| org.tensorframes | tensorframes | 0.6.0-s_2.11 |