共用方式為


適用於機器學習的 Databricks Runtime 13.1 (EoS)

注意

針對此 Databricks Runtime 版本的支援已結束。 如需瞭解終止支援日期,請參閱終止支援歷程記錄。 如需所有支援的 Databricks Runtime 版本,請參閱 Databricks Runtime 版本資訊版本和相容性 (機器翻譯)。

適用於機器學習的 Databricks Runtime 13.1 提供以 Databricks Runtime 13.1 (EoS) 為基礎的機器學習和資料科學現成環境。 Databricks Runtime ML 含有許多熱門的機器學習程式庫,包括 TensorFlow、PyTorch 以及 XGBoost。 Databricks Runtime ML 包含 AutoML,這是可自動訓練機器學習管線的工具。 Databricks Runtime ML 也支援使用 Horovod 的分散式深度學習訓練。

如需詳細資訊,包括建立 Databricks Runtime ML 叢集的指示,請參閱 Databricks 上的 AI 和機器學習

新功能和改進

Databricks Runtime 13.1 ML 是以 Databricks Runtime 13.1 為基礎而建置。 如需 Databricks Runtime 13.1 新增功能的相關資訊,包括 Apache Spark MLlib 和 SparkR,請參閱 Databricks Runtime 13.1 (EoS) 版本資訊。

Databricks 功能存放區的變更

在 Databricks Runtime 13.1 ML 及更新版本,在 MySQL 存放區,在 MySQL 儲存區,publish_table 對功能資料表的字串資料使用 LONGTEXT 類型。 如果您使用 Databricks Runtime 13.1 ML 發佈資料表,然後需要使用 Databricks Runtime 13.0 或以下版本來寫入資料表,則必須在覆寫模式使用 publish_table ,或卸除並重新發佈在線資料表。

系統環境

如下所示,Databricks Runtime 13.1 ML 中的系統環境與 Databricks Runtime 13.1 有所不同:

Databricks Runtime 13.1 ML 包含 XGBoost 1.7.5,其不支援具有計算功能 5.2 和以下的 GPU 叢集。

程式庫

下列各節列出 Databricks Runtime 13.1 ML 中,與 Databricks Runtime 13.1 所包含程式庫有所不同的程式庫。

本節內容:

頂層程式庫

Databricks Runtime 13.1 ML 包含下列頂層程式庫

Python 程式庫

Databricks Runtime 13.1 ML 使用 Virtualenv 進行 Python 套件管理,且包括許多熱門 ML 套件。

Databricks Runtime 13.1 ML 引進了下列 Python 程式庫:

  • langchain
  • librosa
  • pytesseract
  • sentencepiece
  • sentence-transformers
  • soundfile
  • tiktoken

除了下列各章節中指定的套件之外,Databricks Runtime 13.1 ML 也包括下列套件:

  • hyperopt 0.2.7+db3
  • sparkdl 3.0.0_db1
  • automl 1.18.0

若要在本機 Python 虛擬環境中重現 Databricks Runtime ML Python 環境,請下載 requirements-13.1.txt 檔案並執行 pip install -r requirements-13.1.txt。 此命令會安裝 Databricks Runtime ML 使用的所有開放原始碼程式庫,但不會安裝 Databricks 所開發的程式庫,例如 databricks-automldatabricks-feature-storehyperopt 的 Databricks 派生。

CPU 叢集上的 Python 程式庫

程式庫 版本 程式庫 版本 程式庫 版本
absl-py 1.0.0 加速 0.18.0 aiohttp 3.8.4
aiosignal 1.3.1 appdirs 1.4.4 argon2-cffi 21.3.0
argon2-cffi-bindings 21.2.0 astor 0.8.1 asttokens 2.2.1
astunparse 1.6.3 async-timeout 4.0.2 attrs 21.4.0
audioread 3.0.0 azure-core 1.26.4 azure-cosmos 4.3.1b1
azure-storage-blob 12.16.0 azure-storage-file-datalake 12.11.0 backcall 0.2.0
bcrypt 3.2.0 beautifulsoup4 4.11.1 black 22.6.0
bleach 4.1.0 blinker 1.4 blis 0.7.9
boto3 1.24.28 botocore 1.27.28 cachetools 4.2.4
目錄 2.0.8 category-encoders 2.6.0 certifi 2022.9.14
cffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
按一下 8.0.4 cloudpickle 2.0.0 cmdstanpy 1.1.0
confection 0.0.4 configparser 5.2.0 convertdate 2.4.0
密碼編譯 37.0.1 cycler 0.11.0 cymem 2.0.7
Cython 0.29.32 databricks-automl-runtime 0.2.16 databricks-cli 0.17.6
databricks-feature-store 0.12.0 dataclasses-json 0.5.7 datasets 2.12.0
dbl-tempo 0.1.23 dbus-python 1.2.18 debugpy 1.5.1
decorator 5.1.1 defusedxml 0.7.1 dill 0.3.4
diskcache 5.6.1 distlib 0.3.6 docstring-to-markdown 0.12
entrypoints 0.4 ephem 4.1.4 evaluate 0.4.0
executing 1.2.0 facets-overview 1.0.3 fastjsonschema 2.16.3
fasttext 0.9.2 filelock 3.6.0 Flask 1.1.2
flatbuffers 23.3.3 fonttools 4.25.0 frozenlist 1.3.3
fsspec 2022.7.1 future 0.18.2 gast 0.4.0
gitdb 4.0.10 GitPython 3.1.27 google-api-core 2.8.2
google-auth 1.33.0 google-auth-oauthlib 0.4.6 google-cloud-core 2.3.2
google-cloud-storage 2.8.0 google-crc32c 1.5.0 google-pasta 0.2.0
google-resumable-media 2.5.0 googleapis-common-protos 1.56.4 greenlet 1.1.1
grpcio 1.48.1 grpcio-status 1.48.1 gunicorn 20.1.0
gviz-api 1.10.0 h5py 3.7.0 hijri-converter 2.3.1
假日 0.22 horovod 0.27.0 htmlmin 0.1.12
httplib2 0.20.2 huggingface-hub 0.14.1 idna 3.3
ImageHash 4.3.1 imbalanced-learn 0.8.1 importlib-metadata 4.11.3
ipykernel 6.17.1 ipython 8.10.0 ipython-genutils 0.2.0
ipywidgets 7.7.2 isodate 0.6.1 itsdangerous 2.0.1
jedi 0.18.1 jeepney 0.7.1 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.2.0 joblibspark 0.5.1
jsonschema 4.16.0 jupyter-client 7.3.4 jupyter_core 4.11.2
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 keras 2.11.0
keyring 23.5.0 kiwisolver 1.4.2 korean-lunar-calendar 0.3.1
langchain 0.0.152 langcodes 3.3.0 launchpadlib 1.10.16
lazr.restfulclient 0.14.4 lazr.uri 1.0.6 lazy_loader 0.2
libclang 15.0.6.1 librosa 0.10.0 lightgbm 3.3.5
llvmlite 0.38.0 LunarCalendar 0.0.9 Mako 1.2.0
Markdown 3.3.4 MarkupSafe 2.0.1 marshmallow 3.19.0
marshmallow-enum 1.5.1 matplotlib 3.5.2 matplotlib-inline 0.1.6
mccabe 0.7.0 mistune 0.8.4 mleap 0.20.0
mlflow-skinny 2.3.1 more-itertools 8.10.0 msgpack 1.0.5
multidict 6.0.4 multimethod 1.9.1 multiprocess 0.70.12.2
murmurhash 1.0.9 mypy-extensions 0.4.3 nbclient 0.5.13
nbconvert 6.4.4 nbformat 5.5.0 nest-asyncio 1.5.5
networkx 2.8.4 nltk 3.7 nodeenv 1.7.0
notebook 6.4.12 numba 0.55.1 numexpr 2.8.4
numpy 1.21.5 oauthlib 3.2.0 openai 0.27.4
openapi-schema-pydantic 1.2.4 opt-einsum 3.3.0 封裝 21.3
pandas 1.4.4 pandocfilters 1.5.0 paramiko 2.9.2
parso 0.8.3 pathspec 0.9.0 pathy 0.10.1
patsy 0.5.2 petastorm 0.12.1 pexpect 4.8.0
phik 0.12.3 pickleshare 0.7.5 Pillow 9.2.0
pip 22.2.2 platformdirs 2.5.2 plotly 5.9.0
pluggy 1.0.0 pmdarima 2.0.3 pooch 1.7.0
preshed 3.0.8 prometheus-client 0.14.1 prompt-toolkit 3.0.36
prophet 1.1.2 protobuf 3.19.4 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 8.0.0 pyasn1 0.4.8 pyasn1-modules 0.2.8
pybind11 2.10.4 pycparser 2.21 pydantic 1.10.6
pyflakes 3.0.1 Pygments 2.11.2 PyGObject 3.42.1
PyJWT 2.3.0 PyMeeus 0.5.12 PyNaCl 1.5.0
pyodbc 4.0.32 pyparsing 3.0.9 pyright 1.1.294
pyrsistent 0.18.0 pytesseract 0.3.10 python-dateutil 2.8.2
python-editor 1.0.4 python-lsp-jsonrpc 1.0.0 python-lsp-server 1.7.1
pytoolconfig 1.2.2 pytz 2022.1 PyWavelets 1.3.0
PyYAML 6.0 pyzmq 23.2.0 RegEx 2022.7.9
requests 2.28.1 requests-oauthlib 1.3.1 responses 0.18.0
rope 1.7.0 rsa 4.9 s3transfer 0.6.0
scikit-learn 1.1.1 scipy 1.9.1 seaborn 0.11.2
SecretStorage 3.3.1 Send2Trash 1.8.0 sentence-transformers 2.2.2
sentencepiece 0.1.97 setuptools 63.4.1 shap 0.41.0
simplejson 3.17.6 六次 1.16.0 slicer 0.0.7
smart-open 5.2.1 smmap 5.0.0 soundfile 0.12.1
soupsieve 2.3.1 soxr 0.3.5 spacy 3.5.1
spacy-legacy 3.0.12 spacy-loggers 1.0.4 spark-tensorflow-distributor 1.0.0
SQLAlchemy 1.4.39 sqlparse 0.4.2 srsly 2.4.6
ssh-import-id 5.11 stack-data 0.6.2 statsmodels 0.13.2
tabulate 0.8.10 tangled-up-in-unicode 0.2.0 tenacity 8.1.0
tensorboard 2.11.0 tensorboard-data-server 0.6.1 tensorboard-plugin-profile 2.11.2
tensorboard-plugin-wit 1.8.1 tensorflow-cpu 2.11.0 tensorflow-estimator 2.11.0
tensorflow-io-gcs-filesystem 0.32.0 termcolor 2.3.0 terminado 0.13.1
testpath 0.6.0 thinc 8.1.9 threadpoolctl 2.2.0
tiktoken 0.3.3 tokenize-rt 4.2.1 tokenizers 0.13.3
tomli 2.0.1 torch 1.13.1+cpu torchvision 0.14.1+cpu
tornado 6.1 tqdm 4.64.1 traitlets 5.1.1
transformers 4.28.1 typeguard 2.13.3 typer 0.7.0
typing-inspect 0.8.0 typing_extensions 4.3.0 ujson 5.4.0
unattended-upgrades 0.1 urllib3 1.26.11 virtualenv 20.16.3
visions 0.7.5 wadllib 1.3.6 wasabi 1.1.1
wcwidth 0.2.5 webencodings 0.5.1 websocket-client 0.58.0
Werkzeug 2.0.3 whatthepatch 1.0.2 wheel 0.37.1
widgetsnbextension 3.6.1 wrapt 1.14.1 xgboost 1.7.5
xxhash 3.2.0 yapf 0.31.0 yarl 1.9.2
ydata-profiling 4.1.2 zipp 3.8.0

GPU 叢集上的 Python 程式庫

程式庫 版本 程式庫 版本 程式庫 版本
absl-py 1.0.0 加速 0.18.0 aiohttp 3.8.4
aiosignal 1.3.1 appdirs 1.4.4 argon2-cffi 21.3.0
argon2-cffi-bindings 21.2.0 astor 0.8.1 asttokens 2.2.1
astunparse 1.6.3 async-timeout 4.0.2 attrs 21.4.0
audioread 3.0.0 azure-core 1.26.4 azure-cosmos 4.3.1b1
azure-storage-blob 12.16.0 azure-storage-file-datalake 12.11.0 backcall 0.2.0
bcrypt 3.2.0 beautifulsoup4 4.11.1 black 22.6.0
bleach 4.1.0 blinker 1.4 blis 0.7.9
boto3 1.24.28 botocore 1.27.28 cachetools 4.2.4
目錄 2.0.8 category-encoders 2.6.0 certifi 2022.9.14
cffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
按一下 8.0.4 cloudpickle 2.0.0 cmdstanpy 1.1.0
confection 0.0.4 configparser 5.2.0 convertdate 2.4.0
密碼編譯 37.0.1 cycler 0.11.0 cymem 2.0.7
Cython 0.29.32 databricks-automl-runtime 0.2.16 databricks-cli 0.17.6
databricks-feature-store 0.12.0 dataclasses-json 0.5.7 datasets 2.12.0
dbl-tempo 0.1.23 dbus-python 1.2.18 debugpy 1.5.1
decorator 5.1.1 defusedxml 0.7.1 dill 0.3.4
diskcache 5.6.1 distlib 0.3.6 docstring-to-markdown 0.12
entrypoints 0.4 ephem 4.1.4 evaluate 0.4.0
executing 1.2.0 facets-overview 1.0.3 fastjsonschema 2.16.3
fasttext 0.9.2 filelock 3.6.0 Flask 1.1.2
flatbuffers 23.3.3 fonttools 4.25.0 frozenlist 1.3.3
fsspec 2022.7.1 future 0.18.2 gast 0.4.0
gitdb 4.0.10 GitPython 3.1.27 google-api-core 2.8.2
google-auth 1.33.0 google-auth-oauthlib 0.4.6 google-cloud-core 2.3.2
google-cloud-storage 2.8.0 google-crc32c 1.5.0 google-pasta 0.2.0
google-resumable-media 2.5.0 googleapis-common-protos 1.56.4 greenlet 1.1.1
grpcio 1.48.1 grpcio-status 1.48.1 gunicorn 20.1.0
gviz-api 1.10.0 h5py 3.7.0 hijri-converter 2.3.1
假日 0.22 horovod 0.27.0 htmlmin 0.1.12
httplib2 0.20.2 huggingface-hub 0.14.1 idna 3.3
ImageHash 4.3.1 imbalanced-learn 0.8.1 importlib-metadata 4.11.3
ipykernel 6.17.1 ipython 8.10.0 ipython-genutils 0.2.0
ipywidgets 7.7.2 isodate 0.6.1 itsdangerous 2.0.1
jedi 0.18.1 jeepney 0.7.1 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.2.0 joblibspark 0.5.1
jsonschema 4.16.0 jupyter-client 7.3.4 jupyter_core 4.11.2
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 keras 2.11.0
keyring 23.5.0 kiwisolver 1.4.2 korean-lunar-calendar 0.3.1
langchain 0.0.152 langcodes 3.3.0 launchpadlib 1.10.16
lazr.restfulclient 0.14.4 lazr.uri 1.0.6 lazy_loader 0.2
libclang 15.0.6.1 librosa 0.10.0 lightgbm 3.3.5
llvmlite 0.38.0 LunarCalendar 0.0.9 Mako 1.2.0
Markdown 3.3.4 MarkupSafe 2.0.1 marshmallow 3.19.0
marshmallow-enum 1.5.1 matplotlib 3.5.2 matplotlib-inline 0.1.6
mccabe 0.7.0 mistune 0.8.4 mleap 0.20.0
mlflow-skinny 2.3.1 more-itertools 8.10.0 msgpack 1.0.5
multidict 6.0.4 multimethod 1.9.1 multiprocess 0.70.12.2
murmurhash 1.0.9 mypy-extensions 0.4.3 nbclient 0.5.13
nbconvert 6.4.4 nbformat 5.5.0 nest-asyncio 1.5.5
networkx 2.8.4 nltk 3.7 nodeenv 1.7.0
notebook 6.4.12 numba 0.55.1 numexpr 2.8.4
numpy 1.21.5 oauthlib 3.2.0 openai 0.27.4
openapi-schema-pydantic 1.2.4 opt-einsum 3.3.0 封裝 21.3
pandas 1.4.4 pandocfilters 1.5.0 paramiko 2.9.2
parso 0.8.3 pathspec 0.9.0 pathy 0.10.1
patsy 0.5.2 petastorm 0.12.1 pexpect 4.8.0
phik 0.12.3 pickleshare 0.7.5 Pillow 9.2.0
pip 22.2.2 platformdirs 2.5.2 plotly 5.9.0
pluggy 1.0.0 pmdarima 2.0.3 pooch 1.7.0
preshed 3.0.8 prompt-toolkit 3.0.36 prophet 1.1.2
protobuf 3.19.4 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 pyarrow 8.0.0
pyasn1 0.4.8 pyasn1-modules 0.2.8 pybind11 2.10.4
pycparser 2.21 pydantic 1.10.6 pyflakes 3.0.1
Pygments 2.11.2 PyGObject 3.42.1 PyJWT 2.3.0
PyMeeus 0.5.12 PyNaCl 1.5.0 pyodbc 4.0.32
pyparsing 3.0.9 pyright 1.1.294 pyrsistent 0.18.0
pytesseract 0.3.10 python-dateutil 2.8.2 python-editor 1.0.4
python-lsp-jsonrpc 1.0.0 python-lsp-server 1.7.1 pytoolconfig 1.2.2
pytz 2022.1 PyWavelets 1.3.0 PyYAML 6.0
pyzmq 23.2.0 RegEx 2022.7.9 requests 2.28.1
requests-oauthlib 1.3.1 responses 0.18.0 rope 1.7.0
rsa 4.9 s3transfer 0.6.0 scikit-learn 1.1.1
scipy 1.9.1 seaborn 0.11.2 SecretStorage 3.3.1
Send2Trash 1.8.0 sentence-transformers 2.2.2 sentencepiece 0.1.97
setuptools 63.4.1 shap 0.41.0 simplejson 3.17.6
六次 1.16.0 slicer 0.0.7 smart-open 5.2.1
smmap 5.0.0 soundfile 0.12.1 soupsieve 2.3.1
soxr 0.3.5 spacy 3.5.1 spacy-legacy 3.0.12
spacy-loggers 1.0.4 spark-tensorflow-distributor 1.0.0 sqlparse 0.4.2
srsly 2.4.6 ssh-import-id 5.11 stack-data 0.6.2
statsmodels 0.13.2 tabulate 0.8.10 tangled-up-in-unicode 0.2.0
tenacity 8.1.0 tensorboard 2.11.0 tensorboard-data-server 0.6.1
tensorboard-plugin-profile 2.11.2 tensorboard-plugin-wit 1.8.1 tensorflow 2.11.0
tensorflow-estimator 2.11.0 tensorflow-io-gcs-filesystem 0.32.0 termcolor 2.3.0
terminado 0.13.1 testpath 0.6.0 thinc 8.1.9
threadpoolctl 2.2.0 tiktoken 0.3.3 tokenize-rt 4.2.1
tokenizers 0.13.3 tomli 2.0.1 torch 1.13.1+cu117
torchvision 0.14.1+cu117 tornado 6.1 tqdm 4.64.1
traitlets 5.1.1 transformers 4.28.1 typeguard 2.13.3
typer 0.7.0 typing-inspect 0.8.0 typing_extensions 4.3.0
ujson 5.4.0 unattended-upgrades 0.1 urllib3 1.26.11
virtualenv 20.16.3 visions 0.7.5 wadllib 1.3.6
wasabi 1.1.1 wcwidth 0.2.5 webencodings 0.5.1
websocket-client 0.58.0 Werkzeug 2.0.3 whatthepatch 1.0.2
wheel 0.37.1 widgetsnbextension 3.6.1 wrapt 1.14.1
xgboost 1.7.5 xxhash 3.2.0 yapf 0.31.0
yarl 1.9.2 ydata-profiling 4.1.2 zipp 3.8.0

R 程式庫

R 程式庫與 Databricks Runtime 13.1 中的 R 程式庫相同。

Java 和 Scala 程式庫 (Scala 2.12 叢集)

除了 Databricks Runtime 13.1 中的 Java 和 Scala 程式庫之外,Databricks Runtime 13.1 ML 還包含下列 JAR:

CPU 叢集

群組識別碼 工藝品 ID 版本
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-spark_2.12 1.7.3
ml.dmlc xgboost4j_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-db2-spark3.4
org.mlflow mlflow-client 2.3.1
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

GPU 叢集

群組識別碼 工藝品 ID 版本
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-gpu_2.12 1.7.3
ml.dmlc xgboost4j-spark-gpu_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-db2-spark3.4
org.mlflow mlflow-client 2.3.1
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0