databricks Runtime 15.1 for 機器學習
Databricks Runtime 15.1 for 機器學習 提供以 Databricks Runtime 15.1 為基礎的機器學習和數據科學的現成環境。 Databricks Runtime ML 包含許多熱門的機器學習連結庫,包括 TensorFlow、PyTorch 和 XGBoost。 Databricks Runtime ML 包含 AutoML,這是自動定型機器學習管線的工具。 Databricks Runtime ML 也支援使用 Horovod 的分散式深度學習訓練。
新功能和改善
Databricks Runtime 15.1 ML 建置在 Databricks Runtime 15.1 之上。 如需 Databricks Runtime 15.1 新功能的相關信息,包括 Apache Spark MLlib 和 SparkR,請參閱 Databricks Runtime 15.1 版本資訊。
重大變更
預設不會再安裝舊版 Databricks CLI
在 Databricks Runtime 14.3 LTS ML 和以下版本中,因為預安裝版本的 MLflow 需要舊版 Databricks CLI,所以它會自動安裝在 中 $PATH
。 Databricks Runtime 15.1 ML 包含 MLflow 2.10.2 版,不需要舊版 CLI。
從 Databricks Runtime 15.1 ML 開始,舊版 Databricks CLI 不再自動安裝在 中 $PATH
。 對於相依於運行時間中安裝舊版 CLI 的使用者而言,這是一項重大變更。 像是在 Databricks Runtime 15.1 ML 和更新版本中不再運作的 %sh databricks ...
命令。
若要從筆記本繼續使用舊版 Databricks CLI,請將其安裝為叢集或筆記本連結庫。 新的 Databricks CLI 可從 Web 終端機取得。 如需詳細資訊,請參閱 使用Web終端機和 Databricks CLI。
從 Databricks Runtime 15.1 ML 開始,不再提供 MLeap
Databricks Runtime 15.1 ML 和更新版本已不再提供 MLeap。 若要封裝部署至 JVM 架構的模型,Databricks 建議使用 ONNX 格式。
取代 Horovod 和 HorovodRunner
Horovod 和 HorovodRunner 現在已被取代。 針對分散式深度學習,Databricks 建議使用 TorchDistributor 搭配 PyTorch 進行分散式定型,或使用 tf.distribute.Strategy
TensorFlow 進行分散式定型的 API。 Horovod 和 HorovodRunner 會在 Databricks Runtime 15.1 ML 中預安裝,但將在下一個主要 Databricks Runtime ML 版本中移除。
注意
horovod.spark
不支援 pyarrow 11.0 版和更新版本(請參閱相關的 GitHub 問題)。 Databricks Runtime 15.1 ML 包含 pyarrow 14.0.1 版。 若要搭配 Databricks Runtime 15.1 ML 或更新版本使用 horovod.spark
,您必須手動安裝 pyarrow,並指定低於 11.0 的版本。
系統環境
Databricks Runtime 15.1 ML 中的系統環境與 Databricks Runtime 15.1 不同,如下所示:
- 針對 GPU 叢集,Databricks Runtime ML 包含下列 NVIDIA GPU 連結庫:
- CUDA 12.1
- cuDNN 8.9.0.131-1
- NCCL 2.17.1
- TensorRT 8.6.1.6-1
程式庫
下列各節列出 Databricks Runtime 15.1 ML 中包含的連結庫,與 Databricks Runtime 15.1 中包含的連結庫不同。
本節內容:
頂層連結庫
Databricks Runtime 15.1 ML 包含下列最上層 連結庫:
- GraphFrames
- MLflow
- PyTorch
- spark-tensorflow-connector
- TensorFlow
- TensorBoard
- Scikit-learn
- (已淘汰) Horovod 和 HorovodRunner
Python 程式庫
Databricks Runtime 15.1 ML virtualenv
用於 Python 套件管理,並包含許多熱門 ML 套件。
除了下列各節中指定的套件之外,Databricks Runtime 15.1 ML 也包含下列套件:
- hyperopt 0.2.7+db4
- sparkdl 3.0.0_db1
- automl 1.25.0
若要在本機 Python 虛擬環境中重現 Databricks Runtime ML Python 環境,請下載 requirements-15.1.txt 檔案並執行 pip install -r requirements-15.1.txt
。 此命令會安裝 Databricks Runtime ML 使用的所有 開放原始碼 連結庫,但不會安裝 Databricks 所開發的連結庫,例如 databricks-automl
、 databricks-feature-store
或 的 Databricks 分支hyperopt
。
CPU 叢集上的 Python 連結庫
程式庫 | 版本 | 程式庫 | 版本 | 程式庫 | 版本 |
---|---|---|---|---|---|
absl-py | 1.0.0 | 加速 | 0.25.0 | aiohttp | 3.8.5 |
aiohttp-cors | 0.7.0 | aiosignal | 1.2.0 | anyio | 3.5.0 |
argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 | astor | 0.8.1 |
asttokens | 2.0.5 | astunparse | 1.6.3 | async-timeout | 4.0.2 |
attrs | 22.1.0 | audioread | 3.0.1 | azure-core | 1.30.1 |
azure-cosmos | 4.3.1 | azure-storage-blob | 12.19.0 | azure-storage-file-datalake | 12.14.0 |
backcall | 0.2.0 | bcrypt | 3.2.0 | beautifulsoup4 | 4.12.2 |
black | 23.3.0 | bleach | 4.1.0 | 祝福 | 1.20.0 |
blinker | 1.4 | 幸福 | 0.7.11 | boto3 | 1.34.39 |
botocore | 1.34.39 | cachetools | 5.3.3 | 目錄 | 2.0.10 |
category-encoders | 2.6.3 | certifi | 2023.7.22 | cffi | 1.15.1 |
chardet | 4.0.0 | charset-normalizer | 2.0.4 | 按一下 | 8.0.4 |
cloudpathlib | 0.16.0 | cloudpickle | 2.2.1 | cmdstanpy | 1.2.1 |
色彩繽紛 | 0.5.6 | 通訊 | 0.1.2 | 甜點 | 0.1.4 |
configparser | 5.2.0 | contourpy | 1.0.5 | 密碼編譯 | 41.0.3 |
cycler | 0.11.0 | cymem | 2.0.8 | Cython | 0.29.32 |
dacite | 1.8.1 | databricks-automl-runtime | 0.2.21 | databricks-feature-engineering | 0.3.0 |
databricks-sdk | 0.20.0 | dataclasses-json | 0.6.4 | datasets | 2.16.1 |
dbl-tempo | 0.1.26 | dbus-python | 1.2.18 | debugpy | 1.6.7 |
decorator | 5.1.1 | deepspeed | 0.13.1 | defusedxml | 0.7.1 |
dill | 0.3.6 | diskcache | 5.6.3 | distlib | 0.3.8 |
dm-tree | 0.1.8 | entrypoints | 0.4 | evaluate | 0.4.1 |
執行 | 0.8.3 | facets-overview | 1.1.1 | Farama-Notifications | 0.0.4 |
fastjsonschema | 2.19.1 | fasttext | 0.9.2 | filelock | 3.9.0 |
Flask | 2.2.5 | flatbuffers | 23.5.26 | fonttools | 4.25.0 |
frozenlist | 1.3.3 | fsspec | 2023.5.0 | future | 0.18.3 |
gast | 0.4.0 | gitdb | 4.0.11 | GitPython | 3.1.27 |
google-api-core | 2.17.1 | google-auth | 2.21.0 | google-auth-oauthlib | 1.0.0 |
google-cloud-core | 2.4.1 | google-cloud-storage | 2.11.0 | google-crc32c | 1.5.0 |
google-pasta | 0.2.0 | google-resumable-media | 2.7.0 | googleapis-common-protos | 1.62.0 |
gpustat | 1.1.1 | greenlet | 2.0.1 | grpcio | 1.60.0 |
grpcio-status | 1.60.0 | gunicorn | 20.1.0 | gviz-api | 1.10.0 |
體育館 | 0.28.1 | h11 | 0.14.0 | h5py | 3.9.0 |
hjson | 3.1.0 | 假日 | 0.38 | horovod | 0.28.1+db1 |
htmlmin | 0.1.12 | httpcore | 1.0.4 | httplib2 | 0.20.2 |
httpx | 0.27.0 | huggingface-hub | 0.20.2 | idna | 3.4 |
ImageHash | 4.3.1 | imageio | 2.31.1 | 不平衡學習 | 0.11.0 |
importlib-metadata | 6.0.0 | importlib_resources | 6.1.2 | ipyflow-core | 0.0.198 |
ipykernel | 6.25.1 | ipython | 8.15.0 | ipython-genutils | 0.2.0 |
ipywidgets | 8.0.4 | isodate | 0.6.1 | itsdangerous | 2.0.1 |
jax-jumpy | 1.0.0 | jedi | 0.18.1 | jeepney | 0.7.1 |
Jinja2 | 3.1.2 | jmespath | 0.10.0 | joblib | 1.2.0 |
joblibspark | 0.5.1 | jsonpatch | 1.33 | jsonpointer | 2.4 |
jsonschema | 4.17.3 | jupyter-server | 1.23.4 | jupyter_client | 7.4.9 |
jupyter_core | 5.3.0 | jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 3.0.5 |
keras | 2.15.0 | keyring | 23.5.0 | kiwisolver | 1.4.4 |
langchain | 0.1.3 | langchain-community | 0.0.20 | langchain-core | 0.1.23 |
langcodes | 3.3.0 | langsmith | 0.0.87 | launchpadlib | 1.10.16 |
lazr.restfulclient | 0.14.4 | lazr.uri | 1.0.6 | lazy_loader | 0.2 |
libclang | 16.0.6 | librosa | 0.10.1 | lightgbm | 4.2.0 |
llvmlite | 0.40.0 | lxml | 4.9.2 | lz4 | 4.3.2 |
Mako | 1.2.0 | Markdown | 3.4.1 | Markdown-it-py | 2.2.0 |
MarkupSafe | 2.1.1 | 棉花 | 3.21.1 | matplotlib | 3.7.2 |
matplotlib-inline | 0.1.6 | mdurl | 0.1.0 | mistune | 0.8.4 |
ml-dtypes | 0.2.0 | mlflow-skinny | 2.10.2 | more-itertools | 8.10.0 |
mpmath | 1.3.0 | msgpack | 1.0.8 | multidict | 6.0.2 |
multimethod | 1.11.2 | multiprocess | 0.70.14 | murmurhash | 1.0.10 |
mypy-extensions | 0.4.3 | nbclassic | 0.5.5 | nbclient | 0.5.13 |
nbconvert | 6.5.4 | nbformat | 5.7.0 | nest-asyncio | 1.5.6 |
networkx | 3.1 | ninja | 1.11.1.1 | nltk | 3.8.1 |
notebook | 6.5.4 | notebook_shim | 0.2.2 | numba | 0.57.1 |
numpy | 1.23.5 | nvidia-ml-py | 12.535.133 | oauthlib | 3.2.0 |
openai | 1.9.0 | opencensus | 0.11.4 | opencensus-context | 0.1.3 |
opt-einsum | 3.3.0 | 封裝 | 23.2 | pandas | 1.5.3 |
pandocfilters | 1.5.0 | paramiko | 2.9.2 | parso | 0.8.3 |
pathspec | 0.10.3 | patsy | 0.5.3 | petastorm | 0.12.1 |
pexpect | 4.8.0 | phik | 0.12.4 | pickleshare | 0.7.5 |
Pillow | 9.4.0 | pip | 23.2.1 | platformdirs | 3.10.0 |
plotly | 5.9.0 | pmdarima | 2.0.4 | pooch | 1.8.1 |
preshed | 3.0.9 | prometheus-client | 0.14.1 | prompt-toolkit | 3.0.36 |
prophet | 1.1.5 | protobuf | 4.24.1 | psutil | 5.9.0 |
psycopg2 | 2.9.3 | ptyprocess | 0.7.0 | pure-eval | 0.2.2 |
py-cpuinfo | 8.0.0 | py-spy | 0.3.14 | pyarrow | 14.0.1 |
pyarrow-Hotfix | 0.6 | pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 |
pybind11 | 2.11.1 | pyccolo | 0.0.52 | pycparser | 2.21 |
pydantic | 1.10.6 | Pygments | 2.15.1 | PyGObject | 3.42.1 |
PyJWT | 2.3.0 | PyNaCl | 1.5.0 | pynvml | 11.5.0 |
pyodbc | 4.0.38 | pyparsing | 3.0.9 | 火熱 | 0.18.0 |
pytesseract | 0.3.10 | python-dateutil | 2.8.2 | python-editor | 1.0.4 |
python-lsp-jsonrpc | 1.1.1 | pytz | 2022.7 | PyWavelets | 1.4.1 |
PyYAML | 6.0 | pyzmq | 23.2.0 | 射線 | 2.9.3 |
RegEx | 2022.7.9 | requests | 2.31.0 | requests-oauthlib | 1.3.1 |
反應 | 0.13.3 | 佛羅里達州 | 13.7.1 | rsa | 4.9 |
s3transfer | 0.10.0 | safetensors | 0.3.2 | scikit-image | 0.20.0 |
scikit-learn | 1.3.0 | scipy | 1.11.1 | seaborn | 0.12.2 |
秘密 儲存體 | 3.3.1 | Send2Trash | 1.8.0 | 句子轉換器 | 2.2.2 |
sentencepiece | 0.1.99 | setuptools | 68.0.0 | shap | 0.44.0 |
simplejson | 3.17.6 | 六次 | 1.16.0 | slicer | 0.0.7 |
smart-open | 5.2.1 | smmap | 5.0.0 | sniffio | 1.2.0 |
soundfile | 0.12.1 | soupsieve | 2.4 | soxr | 0.3.7 |
spacy | 3.7.2 | spacy-legacy | 3.0.12 | spacy-loggers | 1.0.5 |
spark-tensorflow-distributor | 1.0.0 | SQLAlchemy | 1.4.39 | sqlparse | 0.4.2 |
srsly | 2.4.8 | ssh-import-id | 5.11 | stack-data | 0.2.0 |
stanio | 0.3.0 | statsmodels | 0.14.0 | sympy | 1.11.1 |
tangled-up-in-unicode | 0.2.0 | tenacity | 8.2.2 | tensorboard | 2.15.1 |
tensorboard-data-server | 0.7.2 | tensorboard-plugin-profile | 2.15.0 | tensorboardX | 2.6.2.2 |
tensorflow-cpu | 2.15.0 | tensorflow-estimator | 2.15.0 | tensorflow-io-gcs-filesystem | 0.36.0 |
termcolor | 2.4.0 | terminado | 0.17.1 | thinc | 8.2.3 |
threadpoolctl | 2.2.0 | tifffile | 2021.7.2 | tiktoken | 0.5.2 |
tinycss2 | 1.2.1 | tokenize-rt | 4.2.1 | tokenizers | 0.15.0 |
火炬 | 2.1.2+cpu | torcheval | 0.0.7 | torchvision | 0.16.2+cpu |
tornado | 6.3.2 | tqdm | 4.65.0 | traitlets | 5.7.1 |
變壓器 | 4.36.2 | typeguard | 2.13.3 | typer | 0.9.0 |
typing-inspect | 0.9.0 | typing_extensions | 4.7.1 | tzdata | 2022.1 |
ujson | 5.4.0 | 自動升級 | 0.1 | urllib3 | 1.26.16 |
virtualenv | 20.21.0 | 願景 | 0.7.5 | wadllib | 1.3.6 |
芥末 | 1.1.2 | wcwidth | 0.2.5 | 黃鼠狼 | 0.3.4 |
webencodings | 0.5.1 | websocket-client | 0.58.0 | Werkzeug | 2.2.3 |
wheel | 0.38.4 | widgetsnbextension | 4.0.5 | wordcloud | 1.9.3 |
wrapt | 1.14.1 | xgboost | 2.0.3 | xxhash | 3.4.1 |
yarl | 1.8.1 | ydata 分析 | 4.5.1 | zipp | 3.11.0 |
GPU 叢集上的 Python 連結庫
程式庫 | 版本 | 程式庫 | 版本 | 程式庫 | 版本 |
---|---|---|---|---|---|
absl-py | 1.0.0 | 加速 | 0.25.0 | aiohttp | 3.8.5 |
aiohttp-cors | 0.7.0 | aiosignal | 1.2.0 | anyio | 3.5.0 |
argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 | astor | 0.8.1 |
asttokens | 2.0.5 | astunparse | 1.6.3 | async-timeout | 4.0.2 |
attrs | 22.1.0 | audioread | 3.0.1 | azure-core | 1.30.1 |
azure-cosmos | 4.3.1 | azure-storage-blob | 12.19.0 | azure-storage-file-datalake | 12.14.0 |
backcall | 0.2.0 | bcrypt | 3.2.0 | beautifulsoup4 | 4.12.2 |
black | 23.3.0 | bleach | 4.1.0 | 祝福 | 1.20.0 |
blinker | 1.4 | 幸福 | 0.7.11 | boto3 | 1.34.39 |
botocore | 1.34.39 | cachetools | 5.3.3 | 目錄 | 2.0.10 |
category-encoders | 2.6.3 | certifi | 2023.7.22 | cffi | 1.15.1 |
chardet | 4.0.0 | charset-normalizer | 2.0.4 | 按一下 | 8.0.4 |
cloudpathlib | 0.16.0 | cloudpickle | 2.2.1 | cmdstanpy | 1.2.1 |
色彩繽紛 | 0.5.6 | 通訊 | 0.1.2 | 甜點 | 0.1.4 |
configparser | 5.2.0 | contourpy | 1.0.5 | 密碼編譯 | 41.0.3 |
cycler | 0.11.0 | cymem | 2.0.8 | Cython | 0.29.32 |
dacite | 1.8.1 | databricks-automl-runtime | 0.2.21 | databricks-feature-engineering | 0.3.0 |
databricks-sdk | 0.20.0 | dataclasses-json | 0.6.4 | datasets | 2.16.1 |
dbl-tempo | 0.1.26 | dbus-python | 1.2.18 | debugpy | 1.6.7 |
decorator | 5.1.1 | deepspeed | 0.13.1 | defusedxml | 0.7.1 |
dill | 0.3.6 | diskcache | 5.6.3 | distlib | 0.3.8 |
dm-tree | 0.1.8 | einops | 0.7.0 | entrypoints | 0.4 |
evaluate | 0.4.1 | 執行 | 0.8.3 | facets-overview | 1.1.1 |
Farama-Notifications | 0.0.4 | fastjsonschema | 2.19.1 | fasttext | 0.9.2 |
filelock | 3.9.0 | flash-attn | 2.5.0 | Flask | 2.2.5 |
flatbuffers | 23.5.26 | fonttools | 4.25.0 | frozenlist | 1.3.3 |
fsspec | 2023.5.0 | future | 0.18.3 | gast | 0.4.0 |
gitdb | 4.0.11 | GitPython | 3.1.27 | google-api-core | 2.17.1 |
google-auth | 2.21.0 | google-auth-oauthlib | 1.0.0 | google-cloud-core | 2.4.1 |
google-cloud-storage | 2.11.0 | google-crc32c | 1.5.0 | google-pasta | 0.2.0 |
google-resumable-media | 2.7.0 | googleapis-common-protos | 1.62.0 | gpustat | 1.1.1 |
greenlet | 2.0.1 | grpcio | 1.60.0 | grpcio-status | 1.60.0 |
gunicorn | 20.1.0 | gviz-api | 1.10.0 | 體育館 | 0.28.1 |
h11 | 0.14.0 | h5py | 3.9.0 | hjson | 3.1.0 |
假日 | 0.38 | horovod | 0.28.1+db1 | htmlmin | 0.1.12 |
httpcore | 1.0.4 | httplib2 | 0.20.2 | httpx | 0.27.0 |
huggingface-hub | 0.20.2 | idna | 3.4 | ImageHash | 4.3.1 |
imageio | 2.31.1 | 不平衡學習 | 0.11.0 | importlib-metadata | 6.0.0 |
importlib_resources | 6.1.2 | ipyflow-core | 0.0.198 | ipykernel | 6.25.1 |
ipython | 8.15.0 | ipython-genutils | 0.2.0 | ipywidgets | 8.0.4 |
isodate | 0.6.1 | itsdangerous | 2.0.1 | jax-jumpy | 1.0.0 |
jedi | 0.18.1 | jeepney | 0.7.1 | Jinja2 | 3.1.2 |
jmespath | 0.10.0 | joblib | 1.2.0 | joblibspark | 0.5.1 |
jsonpatch | 1.33 | jsonpointer | 2.4 | jsonschema | 4.17.3 |
jupyter-server | 1.23.4 | jupyter_client | 7.4.9 | jupyter_core | 5.3.0 |
jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 3.0.5 | keras | 2.15.0 |
keyring | 23.5.0 | kiwisolver | 1.4.4 | langchain | 0.1.3 |
langchain-community | 0.0.20 | langchain-core | 0.1.23 | langcodes | 3.3.0 |
langsmith | 0.0.87 | launchpadlib | 1.10.16 | lazr.restfulclient | 0.14.4 |
lazr.uri | 1.0.6 | lazy_loader | 0.2 | libclang | 16.0.6 |
librosa | 0.10.1 | lightgbm | 4.2.0 | llvmlite | 0.40.0 |
lxml | 4.9.2 | lz4 | 4.3.2 | Mako | 1.2.0 |
Markdown | 3.4.1 | Markdown-it-py | 2.2.0 | MarkupSafe | 2.1.1 |
棉花 | 3.21.1 | matplotlib | 3.7.2 | matplotlib-inline | 0.1.6 |
mdurl | 0.1.0 | mistune | 0.8.4 | ml-dtypes | 0.2.0 |
mlflow-skinny | 2.10.2 | more-itertools | 8.10.0 | mpmath | 1.3.0 |
msgpack | 1.0.8 | multidict | 6.0.2 | multimethod | 1.11.2 |
multiprocess | 0.70.14 | murmurhash | 1.0.10 | mypy-extensions | 0.4.3 |
nbclassic | 0.5.5 | nbclient | 0.5.13 | nbconvert | 6.5.4 |
nbformat | 5.7.0 | nest-asyncio | 1.5.6 | networkx | 3.1 |
ninja | 1.11.1.1 | nltk | 3.8.1 | notebook | 6.5.4 |
notebook_shim | 0.2.2 | numba | 0.57.1 | numpy | 1.23.5 |
nvidia-ml-py | 12.535.133 | oauthlib | 3.2.0 | openai | 1.9.0 |
opencensus | 0.11.4 | opencensus-context | 0.1.3 | opt-einsum | 3.3.0 |
封裝 | 23.2 | pandas | 1.5.3 | pandocfilters | 1.5.0 |
paramiko | 2.9.2 | parso | 0.8.3 | pathspec | 0.10.3 |
patsy | 0.5.3 | petastorm | 0.12.1 | pexpect | 4.8.0 |
phik | 0.12.4 | pickleshare | 0.7.5 | Pillow | 9.4.0 |
pip | 23.2.1 | platformdirs | 3.10.0 | plotly | 5.9.0 |
pmdarima | 2.0.4 | pooch | 1.8.1 | preshed | 3.0.9 |
prompt-toolkit | 3.0.36 | prophet | 1.1.5 | protobuf | 4.24.1 |
psutil | 5.9.0 | psycopg2 | 2.9.3 | ptyprocess | 0.7.0 |
pure-eval | 0.2.2 | py-cpuinfo | 8.0.0 | py-spy | 0.3.14 |
pyarrow | 14.0.1 | pyarrow-Hotfix | 0.6 | pyasn1 | 0.4.8 |
pyasn1-modules | 0.2.8 | pybind11 | 2.11.1 | pyccolo | 0.0.52 |
pycparser | 2.21 | pydantic | 1.10.6 | Pygments | 2.15.1 |
PyGObject | 3.42.1 | PyJWT | 2.3.0 | PyNaCl | 1.5.0 |
pynvml | 11.5.0 | pyodbc | 4.0.38 | pyparsing | 3.0.9 |
火熱 | 0.18.0 | pytesseract | 0.3.10 | python-dateutil | 2.8.2 |
python-editor | 1.0.4 | python-lsp-jsonrpc | 1.1.1 | pytz | 2022.7 |
PyWavelets | 1.4.1 | PyYAML | 6.0 | pyzmq | 23.2.0 |
射線 | 2.9.3 | RegEx | 2022.7.9 | requests | 2.31.0 |
requests-oauthlib | 1.3.1 | 反應 | 0.13.3 | 佛羅里達州 | 13.7.1 |
rsa | 4.9 | s3transfer | 0.10.0 | safetensors | 0.3.2 |
scikit-image | 0.20.0 | scikit-learn | 1.3.0 | scipy | 1.11.1 |
seaborn | 0.12.2 | 秘密 儲存體 | 3.3.1 | Send2Trash | 1.8.0 |
句子轉換器 | 2.2.2 | sentencepiece | 0.1.99 | setuptools | 68.0.0 |
shap | 0.44.0 | simplejson | 3.17.6 | 六次 | 1.16.0 |
slicer | 0.0.7 | smart-open | 5.2.1 | smmap | 5.0.0 |
sniffio | 1.2.0 | soundfile | 0.12.1 | soupsieve | 2.4 |
soxr | 0.3.7 | spacy | 3.7.2 | spacy-legacy | 3.0.12 |
spacy-loggers | 1.0.5 | spark-tensorflow-distributor | 1.0.0 | SQLAlchemy | 1.4.39 |
sqlparse | 0.4.2 | srsly | 2.4.8 | ssh-import-id | 5.11 |
stack-data | 0.2.0 | stanio | 0.3.0 | statsmodels | 0.14.0 |
sympy | 1.11.1 | tangled-up-in-unicode | 0.2.0 | tenacity | 8.2.2 |
tensorboard | 2.15.1 | tensorboard-data-server | 0.7.2 | tensorboard-plugin-profile | 2.15.0 |
tensorboardX | 2.6.2.2 | tensorflow | 2.15.0 | tensorflow-estimator | 2.15.0 |
tensorflow-io-gcs-filesystem | 0.36.0 | termcolor | 2.4.0 | terminado | 0.17.1 |
thinc | 8.2.3 | threadpoolctl | 2.2.0 | tifffile | 2021.7.2 |
tiktoken | 0.5.2 | tinycss2 | 1.2.1 | tokenize-rt | 4.2.1 |
tokenizers | 0.15.0 | 火炬 | 2.1.2+cu121 | torcheval | 0.0.7 |
torchvision | 0.16.2+cu121 | tornado | 6.3.2 | tqdm | 4.65.0 |
traitlets | 5.7.1 | 變壓器 | 4.36.2 | triton | 2.1.0 |
typeguard | 2.13.3 | typer | 0.9.0 | typing-inspect | 0.9.0 |
typing_extensions | 4.7.1 | tzdata | 2022.1 | ujson | 5.4.0 |
自動升級 | 0.1 | urllib3 | 1.26.16 | virtualenv | 20.21.0 |
願景 | 0.7.5 | wadllib | 1.3.6 | 芥末 | 1.1.2 |
wcwidth | 0.2.5 | 黃鼠狼 | 0.3.4 | webencodings | 0.5.1 |
websocket-client | 0.58.0 | Werkzeug | 2.2.3 | wheel | 0.38.4 |
widgetsnbextension | 4.0.5 | wordcloud | 1.9.3 | wrapt | 1.14.1 |
xgboost | 2.0.3 | xxhash | 3.4.1 | yarl | 1.8.1 |
ydata 分析 | 4.5.1 | zipp | 3.11.0 |
R 程式庫
R 連結庫與 Databricks Runtime 15.1 中的 R 連結庫 相同。
Java 和 Scala 連結庫 (Scala 2.12 叢集)
除了 Databricks Runtime 15.1 中的 Java 和 Scala 連結庫之外,Databricks Runtime 15.1 ML 還包含下列 JAR:
CPU 叢集
群組識別碼 | 成品標識碼 | 版本 |
---|---|---|
com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
ml.dmlc | xgboost4j-spark_2.12 | 1.7.3 |
ml.dmlc | xgboost4j_2.12 | 1.7.3 |
org.graphframes | graphframes_2.12 | 0.8.2-db2-spark3.4 |
org.mlflow | mlflow-client | 2.10.2 |
org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |
GPU 叢集
群組識別碼 | 成品標識碼 | 版本 |
---|---|---|
com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
ml.dmlc | xgboost4j-gpu_2.12 | 1.7.3 |
ml.dmlc | xgboost4j-spark-gpu_2.12 | 1.7.3 |
org.graphframes | graphframes_2.12 | 0.8.2-db2-spark3.4 |
org.mlflow | mlflow-client | 2.10.2 |
org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |