適用於機器學習的 Databricks Runtime 11.1 (EoS)
注意
針對此 Databricks Runtime 版本的支援已結束。 如需瞭解終止支援日期，請參閱終止支援歷程記錄。 如需所有支援的 Databricks Runtime 版本，請參閱 Databricks Runtime 版本資訊版本和相容性 (機器翻譯)。
適用於機器學習的 Databricks Runtime 11.1 提供以 Databricks Runtime 11.1 (EoS) 為基礎的機器學習和資料科學現成環境。 Databricks Runtime ML 含有許多熱門的機器學習程式庫，包括 TensorFlow、PyTorch 以及 XGBoost。 Databricks Runtime ML 包含 AutoML，這是可自動訓練機器學習管線的工具。 Databricks Runtime ML 也支援使用 Horovod 的分散式深度學習訓練。
如需詳細資訊，包括建立 Databricks Runtime ML 叢集的指示，請參閱 Databricks 上的 AI 和機器學習。
新功能和改進
Databricks Runtime 11.1 ML 是以 Databricks Runtime 11.1 為基礎而建置。 如需 Databricks Runtime 11.1 新增功能的相關資訊，包括 Apache Spark MLlib 和 SparkR，請參閱 Databricks Runtime 11.1 (EoS) 版本資訊。
Databricks AutoML 的增強
我們已對 Databricks AutoML 進行下列增強。
- 當 AutoML 偵測到分類問題是二進位的，它會計算二元分類計量，並推斷問題的正類別。 您也可以使用新的
pos_label參數來指定正類別。 如需詳細資訊，請參閱 Azure Databricks AutoML Python API 參考。 - 針對預測問題，AutoML 現在可以處理範圍相對於訓練資料的時間跨度較長的情況。
Databricks 功能存放區的增強
我們已對 Databricks 功能存放區進行下列增強。
您現在可以使用功能存放區 Python API 手動更新功能資料表的資料來源。
您現在可以將離線功能資料表發佈至 Azure Cosmos DB，以進行低延遲線上查閱。 請參閱將功能發佈至線上商店和將時間序列功能發佈至線上商店。
系統環境
如下所示，Databricks Runtime 11.1 ML 中的系統環境與 Databricks Runtime 11.1 有所不同：
- DBUtils：Databricks Runtime ML 不包括程式庫公用程式 (dbutils.library) (舊版)。
請改為使用
%pip命令。 請參閱筆記本範圍的 Python 程式庫。 - 對於 GPU 叢集，Databricks Runtime ML 包含下列 NVIDIA GPU 程式庫：
- CUDA 11.3
- cuDNN 8.0.5.39
- NCCL 2.9.9
- TensorRT 7.2.2
程式庫
下列各節列出 Databricks Runtime 11.1 ML 中，與 Databricks Runtime 11.1 所包含程式庫有所不同的程式庫。
本節內容：
頂層程式庫
Databricks Runtime 11.1 ML 包含下列頂層程式庫：
- GraphFrames
- Horovod 及 HorovodRunner
- MLflow
- PyTorch
- spark-tensorflow-connector
- TensorFlow
- TensorBoard
Python 程式庫
Databricks Runtime 11.1 ML 使用 Virtualenv 進行 Python 套件管理，且包括許多熱門 ML 套件。
除了下列各章節中指定的套件之外，Databricks Runtime 11.1 ML 也包括下列套件：
- hyperopt 0.2.7.db1
- sparkdl 2.2.0-db6
- feature_store 0.5.0
- automl 1.11.0
CPU 叢集上的 Python 程式庫
| 程式庫 | 版本 | 程式庫 | 版本 | 程式庫 | 版本 |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | Antergos Linux | 2015.10 (ISO-Rolling) | argon2-cffi | 20.1.0 |
| astor | 0.8.1 | astunparse | 1.6.3 | async-generator | 1.10 |
| attrs | 21.2.0 | azure-core | 1.22.1 | azure-cosmos | 4.2.0 |
| backcall | 0.2.0 | backports.entry-points-selectable | 1.1.1 | bcrypt | 3.2.2 |
| bleach | 4.0.0 | blis | 0.7.8 | boto3 | 1.21.18 |
| botocore | 1.24.18 | cachetools | 5.2.0 | 目錄 | 2.0.7 |
| certifi | 2021.10.8 | cffi | 1.14.6 | chardet | 4.0.0 |
| charset-normalizer | 2.0.4 | 按一下 | 8.0.3 | cloudpickle | 2.0.0 |
| cmdstanpy | 0.9.68 | configparser | 5.2.0 | convertdate | 2.4.0 |
| 密碼編譯 | 3.4.8 | cycler | 0.10.0 | cymem | 2.0.6 |
| Cython | 0.29.24 | databricks-automl-runtime | 0.2.9.1 | databricks-cli | 0.16.8 |
| dbl-tempo | 0.1.12 | dbus-python | 1.2.16 | debugpy | 1.4.1 |
| decorator | 5.1.0 | defusedxml | 0.7.1 | dill | 0.3.4 |
| diskcache | 5.4.0 | distlib | 0.3.4 | distro-info | 0.23ubuntu1 |
| entrypoints | 0.3 | ephem | 4.1.3 | facets-overview | 1.0.0 |
| fasttext | 0.9.2 | filelock | 3.3.1 | Flask | 1.1.2 |
| flatbuffers | 1.12 | fsspec | 2021.8.1 | future | 0.18.2 |
| gast | 0.4.0 | gitdb | 4.0.9 | GitPython | 3.1.27 |
| google-auth | 2.6.0 | google-auth-oauthlib | 0.4.6 | google-pasta | 0.2.0 |
| grpcio | 1.44.0 | gunicorn | 20.1.0 | gviz-api | 1.10.0 |
| h5py | 3.3.0 | hijri-converter | 2.2.4 | 假日 | 0.14.2 |
| horovod | 0.24.3 | htmlmin | 0.1.12 | huggingface-hub | 0.8.1 |
| idna | 3.2 | ImageHash | 4.2.1 | imbalanced-learn | 0.8.1 |
| importlib-metadata | 4.8.1 | ipykernel | 6.12.1 | ipython | 7.32.0 |
| ipython-genutils | 0.2.0 | ipywidgets | 7.7.0 | isodate | 0.6.1 |
| itsdangerous | 2.0.1 | jedi | 0.18.0 | Jinja2 | 2.11.3 |
| jmespath | 0.10.0 | joblib | 1.0.1 | joblibspark | 0.5.0 |
| jsonschema | 3.2.0 | jupyter-client | 6.1.12 | jupyter-core | 4.8.1 |
| jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 | keras | 2.9.0 |
| Keras-Preprocessing | 1.1.2 | kiwisolver | 1.3.1 | korean-lunar-calendar | 0.2.1 |
| langcodes | 3.3.0 | libclang | 14.0.1 | lightgbm | 3.3.2 |
| llvmlite | 0.38.1 | LunarCalendar | 0.0.9 | Mako | 1.2.0 |
| Markdown | 3.3.6 | MarkupSafe | 2.0.1 | matplotlib | 3.4.3 |
| matplotlib-inline | 0.1.2 | missingno | 0.5.1 | mistune | 0.8.4 |
| mleap | 0.20.0 | mlflow-skinny | 1.27.0 | multimethod | 1.8 |
| murmurhash | 1.0.7 | nbclient | 0.5.3 | nbconvert | 6.1.0 |
| nbformat | 5.1.3 | nest-asyncio | 1.5.1 | networkx | 2.6.3 |
| nltk | 3.6.5 | notebook | 6.4.5 | numba | 0.55.2 |
| numpy | 1.20.3 | oauthlib | 3.2.0 | opt-einsum | 3.3.0 |
| 封裝 | 21.0 | pandas | 1.3.4 | pandas-profiling | 3.1.0 |
| pandocfilters | 1.4.3 | paramiko | 2.9.2 | parso | 0.8.2 |
| pathy | 0.6.2 | patsy | 0.5.2 | petastorm | 0.11.4 |
| pexpect | 4.8.0 | phik | 0.12.2 | pickleshare | 0.7.5 |
| Pillow | 8.4.0 | pip | 21.2.4 | platformdirs | 2.5.2 |
| plotly | 5.8.2 | pmdarima | 1.8.5 | preshed | 3.0.6 |
| prometheus-client | 0.11.0 | prompt-toolkit | 3.0.20 | prophet | 1.0.1 |
| protobuf | 3.19.4 | psutil | 5.8.0 | psycopg2 | 2.9.3 |
| ptyprocess | 0.7.0 | pyarrow | 7.0.0 | pyasn1 | 0.4.8 |
| pyasn1-modules | 0.2.8 | pybind11 | 2.9.2 | pycparser | 2.20 |
| pydantic | 1.8.2 | Pygments | 2.10.0 | PyGObject | 3.36.0 |
| PyJWT | 2.4.0 | PyMeeus | 0.5.11 | PyNaCl | 1.5.0 |
| pyodbc | 4.0.31 | pyparsing | 3.0.4 | pyrsistent | 0.18.0 |
| pystan | 2.19.1.1 | python-apt | 2.0.0+ubuntu0.20.4.7 | python-dateutil | 2.8.2 |
| python-editor | 1.0.4 | pytz | 2021.3 | PyWavelets | 1.1.1 |
| PyYAML | 6.0 | pyzmq | 22.2.1 | RegEx | 2021.8.3 |
| requests | 2.26.0 | requests-oauthlib | 1.3.1 | requests-unixsocket | 0.2.0 |
| rsa | 4.8 | s3transfer | 0.5.2 | scikit-learn | 0.24.2 |
| scipy | 1.7.1 | seaborn | 0.11.2 | Send2Trash | 1.8.0 |
| setuptools | 58.0.4 | setuptools-git | 1.2 | shap | 0.40.0 |
| simplejson | 3.17.6 | 六次 | 1.16.0 | slicer | 0.0.7 |
| smart-open | 5.2.1 | smmap | 5.0.0 | spacy | 3.3.1 |
| spacy-legacy | 3.0.9 | spacy-loggers | 1.0.2 | spark-tensorflow-distributor | 1.0.0 |
| sqlparse | 0.4.2 | srsly | 2.4.3 | ssh-import-id | 5.10 |
| statsmodels | 0.12.2 | tabulate | 0.8.9 | tangled-up-in-unicode | 0.1.0 |
| tenacity | 8.0.1 | tensorboard | 2.9.1 | tensorboard-data-server | 0.6.1 |
| tensorboard-plugin-profile | 2.8.0 | tensorboard-plugin-wit | 1.8.1 | tensorflow-cpu | 2.9.1 |
| tensorflow-estimator | 2.9.0 | tensorflow-io-gcs-filesystem | 0.26.0 | termcolor | 1.1.0 |
| terminado | 0.9.4 | testpath | 0.5.0 | thinc | 8.0.17 |
| threadpoolctl | 2.2.0 | tokenizers | 0.12.1 | torch | 1.11.0+cpu |
| torchvision | 0.12.0+cpu | tornado | 6.1 | tqdm | 4.62.3 |
| traitlets | 5.1.0 | transformers | 4.20.0 | typer | 0.4.2 |
| typing-extensions | 3.10.0.2 | ujson | 4.0.2 | unattended-upgrades | 0.1 |
| urllib3 | 1.26.7 | virtualenv | 20.8.0 | visions | 0.7.4 |
| wasabi | 0.9.1 | wcwidth | 0.2.5 | webencodings | 0.5.1 |
| websocket-client | 1.3.1 | Werkzeug | 2.0.2 | wheel | 0.37.0 |
| widgetsnbextension | 3.6.0 | wrapt | 1.12.1 | xgboost | 1.5.2 |
| zipp | 3.6.0 |
GPU 叢集上的 Python 程式庫
| 程式庫 | 版本 | 程式庫 | 版本 | 程式庫 | 版本 |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | Antergos Linux | 2015.10 (ISO-Rolling) | argon2-cffi | 20.1.0 |
| astor | 0.8.1 | astunparse | 1.6.3 | async-generator | 1.10 |
| attrs | 21.2.0 | azure-core | 1.22.1 | azure-cosmos | 4.2.0 |
| backcall | 0.2.0 | backports.entry-points-selectable | 1.1.1 | bcrypt | 3.2.2 |
| bleach | 4.0.0 | blis | 0.7.8 | boto3 | 1.21.18 |
| botocore | 1.24.18 | cachetools | 5.2.0 | 目錄 | 2.0.7 |
| certifi | 2021.10.8 | cffi | 1.14.6 | chardet | 4.0.0 |
| charset-normalizer | 2.0.4 | 按一下 | 8.0.3 | cloudpickle | 2.0.0 |
| cmdstanpy | 0.9.68 | configparser | 5.2.0 | convertdate | 2.4.0 |
| 密碼編譯 | 3.4.8 | cycler | 0.10.0 | cymem | 2.0.6 |
| Cython | 0.29.24 | databricks-automl-runtime | 0.2.9.1 | databricks-cli | 0.16.8 |
| dbl-tempo | 0.1.12 | dbus-python | 1.2.16 | debugpy | 1.4.1 |
| decorator | 5.1.0 | defusedxml | 0.7.1 | dill | 0.3.4 |
| diskcache | 5.4.0 | distlib | 0.3.4 | distro-info | 0.23ubuntu1 |
| entrypoints | 0.3 | ephem | 4.1.3 | facets-overview | 1.0.0 |
| fasttext | 0.9.2 | filelock | 3.3.1 | Flask | 1.1.2 |
| flatbuffers | 1.12 | fsspec | 2021.8.1 | future | 0.18.2 |
| gast | 0.4.0 | gitdb | 4.0.9 | GitPython | 3.1.27 |
| google-auth | 2.6.0 | google-auth-oauthlib | 0.4.6 | google-pasta | 0.2.0 |
| grpcio | 1.44.0 | gunicorn | 20.1.0 | gviz-api | 1.10.0 |
| h5py | 3.3.0 | hijri-converter | 2.2.4 | 假日 | 0.14.2 |
| horovod | 0.24.3 | htmlmin | 0.1.12 | huggingface-hub | 0.8.1 |
| idna | 3.2 | ImageHash | 4.2.1 | imbalanced-learn | 0.8.1 |
| importlib-metadata | 4.8.1 | ipykernel | 6.12.1 | ipython | 7.32.0 |
| ipython-genutils | 0.2.0 | ipywidgets | 7.7.0 | isodate | 0.6.1 |
| itsdangerous | 2.0.1 | jedi | 0.18.0 | Jinja2 | 2.11.3 |
| jmespath | 0.10.0 | joblib | 1.0.1 | joblibspark | 0.5.0 |
| jsonschema | 3.2.0 | jupyter-client | 6.1.12 | jupyter-core | 4.8.1 |
| jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 | keras | 2.9.0 |
| Keras-Preprocessing | 1.1.2 | kiwisolver | 1.3.1 | korean-lunar-calendar | 0.2.1 |
| langcodes | 3.3.0 | libclang | 14.0.1 | lightgbm | 3.3.2 |
| llvmlite | 0.38.1 | LunarCalendar | 0.0.9 | Mako | 1.2.0 |
| Markdown | 3.3.6 | MarkupSafe | 2.0.1 | matplotlib | 3.4.3 |
| matplotlib-inline | 0.1.2 | missingno | 0.5.1 | mistune | 0.8.4 |
| mleap | 0.20.0 | mlflow-skinny | 1.27.0 | multimethod | 1.8 |
| murmurhash | 1.0.7 | nbclient | 0.5.3 | nbconvert | 6.1.0 |
| nbformat | 5.1.3 | nest-asyncio | 1.5.1 | networkx | 2.6.3 |
| nltk | 3.6.5 | notebook | 6.4.5 | numba | 0.55.2 |
| numpy | 1.20.3 | oauthlib | 3.2.0 | opt-einsum | 3.3.0 |
| 封裝 | 21.0 | pandas | 1.3.4 | pandas-profiling | 3.1.0 |
| pandocfilters | 1.4.3 | paramiko | 2.9.2 | parso | 0.8.2 |
| pathy | 0.6.2 | patsy | 0.5.2 | petastorm | 0.11.4 |
| pexpect | 4.8.0 | phik | 0.12.2 | pickleshare | 0.7.5 |
| Pillow | 8.4.0 | pip | 21.2.4 | platformdirs | 2.5.2 |
| plotly | 5.8.2 | pmdarima | 1.8.5 | preshed | 3.0.6 |
| prompt-toolkit | 3.0.20 | prophet | 1.0.1 | protobuf | 3.19.4 |
| psutil | 5.8.0 | psycopg2 | 2.9.3 | ptyprocess | 0.7.0 |
| pyarrow | 7.0.0 | pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 |
| pybind11 | 2.9.2 | pycparser | 2.20 | pydantic | 1.8.2 |
| Pygments | 2.10.0 | PyGObject | 3.36.0 | PyJWT | 2.4.0 |
| PyMeeus | 0.5.11 | PyNaCl | 1.5.0 | pyodbc | 4.0.31 |
| pyparsing | 3.0.4 | pyrsistent | 0.18.0 | pystan | 2.19.1.1 |
| python-apt | 2.0.0+ubuntu0.20.4.7 | python-dateutil | 2.8.2 | python-editor | 1.0.4 |
| pytz | 2021.3 | PyWavelets | 1.1.1 | PyYAML | 6.0 |
| pyzmq | 22.2.1 | RegEx | 2021.8.3 | requests | 2.26.0 |
| requests-oauthlib | 1.3.1 | requests-unixsocket | 0.2.0 | rsa | 4.8 |
| s3transfer | 0.5.2 | scikit-learn | 0.24.2 | scipy | 1.7.1 |
| seaborn | 0.11.2 | Send2Trash | 1.8.0 | setuptools | 58.0.4 |
| setuptools-git | 1.2 | shap | 0.40.0 | simplejson | 3.17.6 |
| 六次 | 1.16.0 | slicer | 0.0.7 | smart-open | 5.2.1 |
| smmap | 5.0.0 | spacy | 3.3.1 | spacy-legacy | 3.0.9 |
| spacy-loggers | 1.0.2 | spark-tensorflow-distributor | 1.0.0 | sqlparse | 0.4.2 |
| srsly | 2.4.3 | ssh-import-id | 5.10 | statsmodels | 0.12.2 |
| tabulate | 0.8.9 | tangled-up-in-unicode | 0.1.0 | tenacity | 8.0.1 |
| tensorboard | 2.9.1 | tensorboard-data-server | 0.6.1 | tensorboard-plugin-profile | 2.8.0 |
| tensorboard-plugin-wit | 1.8.1 | tensorflow | 2.9.1 | tensorflow-estimator | 2.9.0 |
| tensorflow-io-gcs-filesystem | 0.26.0 | termcolor | 1.1.0 | terminado | 0.9.4 |
| testpath | 0.5.0 | thinc | 8.0.17 | threadpoolctl | 2.2.0 |
| tokenizers | 0.12.1 | torch | 1.11.0+cu113 | torchvision | 0.12.0+cu113 |
| tornado | 6.1 | tqdm | 4.62.3 | traitlets | 5.1.0 |
| transformers | 4.20.0 | typer | 0.4.2 | typing-extensions | 3.10.0.2 |
| ujson | 4.0.2 | unattended-upgrades | 0.1 | urllib3 | 1.26.7 |
| virtualenv | 20.8.0 | visions | 0.7.4 | wasabi | 0.9.1 |
| wcwidth | 0.2.5 | webencodings | 0.5.1 | websocket-client | 1.3.1 |
| Werkzeug | 2.0.2 | wheel | 0.37.0 | widgetsnbextension | 3.6.0 |
| wrapt | 1.12.1 | xgboost | 1.5.2 | zipp | 3.6.0 |
包含 Python 模組的 Spark 套件
| Spark 套件 | Python 模組 | 版本 |
|---|---|---|
| graphframes | graphframes | 0.8.2-db1-spark3.2 |
R 程式庫
R 程式庫與 Databricks Runtime 11.1 中的 R 程式庫相同。
Java 和 Scala 程式庫 (Scala 2.12 叢集)
除了 Databricks Runtime 11.1 中的 Java 和 Scala 程式庫之外，Databricks Runtime 11.1 ML 還包含下列 JAR：
CPU 叢集
| 群組識別碼 | 工藝品 ID | 版本 |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.combust.mleap | mleap-databricks-runtime_2.12 | 0.20.0-db1 |
| ml.dmlc | xgboost4j-spark_2.12 | 1.5.2 |
| ml.dmlc | xgboost4j_2.12 | 1.5.2 |
| org.graphframes | graphframes_2.12 | 0.8.2-db1-spark3.2 |
| org.mlflow | mlflow-client | 1.27.0 |
| org.mlflow | mlflow-spark | 1.27.0 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |
GPU 叢集
| 群組識別碼 | 工藝品 ID | 版本 |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.combust.mleap | mleap-databricks-runtime_2.12 | 0.20.0-db1 |
| ml.dmlc | xgboost4j-spark_2.12 | 1.5.2 |
| ml.dmlc | xgboost4j_2.12 | 1.5.2 |
| org.graphframes | graphframes_2.12 | 0.8.2-db1-spark3.2 |
| org.mlflow | mlflow-client | 1.27.0 |
| org.mlflow | mlflow-spark | 1.27.0 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |