共用方式為


適用於 Machine Learning 的 Databricks Runtime 17.0

Databricks Runtime 17.0 for Machine Learning 提供以 Databricks Runtime 17.0 為基礎的機器學習和數據科學就緒to-go 環境。 Databricks Runtime ML 含有許多熱門的機器學習程式庫,包括 TensorFlow、PyTorch 以及 XGBoost。 Databricks Runtime ML 包含 AutoML,這是可自動訓練機器學習管線的工具。 Databricks Runtime ML 也支援使用 TorchDistributor、DeepSpeed 和 Ray 的分散式深度學習訓練。

小提示

若要查看已達到終止支援 (EoS) 之 Databricks Runtime 版本的版本資訊,請參閱終止支援 Databricks Runtime 版本資訊。 EoS Databricks Runtime 版本已淘汰,且可能未更新。

新功能和改善

Databricks Runtime 17.0 ML 建置在 Databricks Runtime 17.0 之上。 如需 Databricks Runtime 17.0 新功能的相關信息,包括 Apache Spark MLlib 和 SparkR,請參閱 Databricks Runtime 17.0 版本資訊。

標準叢集現在支援 SparkML

Databricks Runtime 17.0 ML 支援 SparkML 在標準叢集(先前稱為共用叢集)上運行。 如需標準叢集的相關信息,請參閱 存取模式

在標準叢集上執行 SparkML 時,適用下列限制:

  • 模型大小上限為 1GB。
  • 每個會話的模型快取大小上限為 10GB。
  • 如果模型大小即將超過 1GB,樹狀結構模型訓練會提前停止。
  • 不支援下列 SparkML 模型:
    • DistributedLDAModel
    • FPGrowthModel

其他變更

已移除 XGBoost4J-Spark

包含在舊版 Databricks Runtime ML 中的 XGBoost4J-Spark 不包含在 Databricks Runtime 17.0 ML 中。 Databricks 建議針對 xgboost.spark使用 Python API。 請參閱使用xgboost.spark的 XGBoost 模型的分散式定型

不再支援 Cosmos DB 線上商店供應商

Cosmos DB 在線商店提供者與 Databricks Runtime 17.0 ML 或更新版本不相容。

系統環境

Databricks Runtime 17.0 ML 中的系統環境與 Databricks Runtime 17.0 不同,如下所示。

  • 針對 GPU 叢集,Databricks Runtime ML 包括下列 NVIDIA GPU 程式庫:
    • 庫達 12.6
    • 庫布拉斯 12.6.4.1-1
    • 庫索弗 11.7.1.2-1
    • 庫提 12.6.80-1
    • 尖瓣 12.5.4.2-1
    • cuDNN 9.5.1.17-1
    • NCCL 2.26.2
    • 張量RT 10.2.0.19-1

圖書館

下列各節列出 Databricks Runtime 17.0 ML 中包含的連結庫,與 Databricks Runtime 17.0 中包含的連結庫不同。

本節內容:

頂級圖書館

Databricks Runtime 17.0 ML 包含下列最上層 連結庫

Python 程式庫

Databricks Runtime 17.0 ML virtualenv 用於 Python 套件管理,並包含許多熱門 ML 套件。

除了下列各節中指定的套件之外,Databricks Runtime 17.0 ML 也包含下列套件:

  • 自動 1.30.0

若要在本機 Python 虛擬環境中重現 Databricks Runtime ML Python 環境,請下載 requirements-17.0.txt 檔案並執行 pip install -r requirements-17.0.txt。 此命令會安裝 Databricks Runtime ML 使用的所有開放原始碼連結庫,但不會安裝 Databricks 所開發的連結庫,例如 databricks-automl 或 的 hyperoptDatabricks 分支。

CPU 叢集上的 Python 函式庫

圖書館 版本 圖書館 版本 圖書館 版本
absl-py 1.0.0 加速 1.5.2 aiohappyeyeballs 2.4.4
aiohttp 3.11.10 aiohttp-cors 0.8.1 aiosignal 1.2.0
alembic 1.15.2 標註類型 0.7.0 anyio 4.6.2
argcomplete 3.6.2 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
箭頭 1.3.0 阿斯托 0.8.1 asttokens(Python 資源分析與處理庫) 2.0.5
astunparse 1.6.3 async-lru 2.0.4 屬性 (attrs) 24.3.0
音訊閱讀 (audioread) 3.0.1 自動指令 2.2.2 天青色-常見 1.1.28
Azure 核心功能 (azure-core) 1.33.0 azure-cosmos 4.3.1 azure-identity(Azure 身份驗證服務) 1.20.0
azure-mgmt-core 1.5.0 azure-mgmt-web (Azure 管理網站) 8.0.0 azure-storage-blob (Azure 儲存服務 Blob) 12.23.0
微軟 Azure 儲存檔案資料湖 (Azure Storage File Data Lake) 12.17.0 巴別塔 2.16.0 退避 2.2.1
backports.tarfile 1.2.0 bcrypt(密碼加密算法) 3.2.0 beautifulsoup4 4.12.3
黑色 24.10.0 漂白劑 6.2.0 閃爍器 1.7.0
極樂 0.7.11 boto3 1.36.2 botocore(AWS的Python程式庫) 1.36.3
Brotli 1.1.0 cachetools(緩存工具) 5.5.1 目錄 2.0.10
類別編碼器 (category-encoders) 2.6.3 certifi 2025年1月31日 cffi 1.17.1
chardet 4.0.0 charset-normalizer(字符集正規化器) 3.3.2 斷路器 2.1.3
點選 8.1.7 cloudpathlib 0.21.0 cloudpickle(Python 程式庫) 3.0.0
cmdstanpy 1.2.5 色彩繽紛 0.5.6 colorlog 6.9.0
通訊 0.2.1 作曲家 0.29.0 糖果 0.1.5
configparser 5.2.0 「contourpy」 1.3.1 coolname 2.2.0
cramjam 2.10.0 加密 43.0.3 騎車者 0.11.0
cymem 2.0.11 Cython 3.0.12 粗面岩 1.9.2
databricks-automl-runtime 0.2.21 Databricks 開發人員工具集 (SDK) 0.49.0 數據集 2.20.0
dbl-tempo 0.1.26 dbus-python 1.3.2 debugpy 1.8.11
裝飾項目 5.1.1 deepspeed 0.14.4 defusedxml(安全解析XML的Python函式庫) 0.7.1
已被棄用 1.2.13 蒔蘿 0.3.8 distlib 0.3.9
dm-tree 0.1.9 將Docstring轉換為Markdown 0.11 入口點 0.4
評估 0.4.2 執行中 0.8.3 facets概覽 1.1.1
Farama-通知 0.0.4 fastapi 0.115.12 fastjsonschema 2.21.1
fasttext-wheel 0.9.2 文件鎖 3.13.1 Flask 2.2.5
FlatBuffers 25.2.10 fonttools (字體工具庫) 4.55.3 FQDN 1.5.1
凍結清單 1.5.0 fsspec 2023.5.0 未來 0.18.3
gast 0.4.0 gitdb (Git分散式版本控制資料庫) 4.0.11 GitPython 3.1.43
google-api-core (Google API 核心庫) 2.20.0 google-auth(谷歌身份驗證) 2.38.0 google-auth-oauthlib 1.0.0
google-cloud-core 2.4.3 Google雲端儲存(Google Cloud Storage) 2.10.0 google-crc32c 1.7.1
google-pasta 0.2.0 Google可續媒體 2.7.2 googleapis-common-protos 1.65.0
gql 3.5.2 graphql-core 3.2.4 greenlet (綠線程) 3.1.1
grpcio 1.67.0 grpcio-status 1.67.0 gunicorn 20.1.0
體育館 0.28.1 h11 0.14.0 h5py 3.12.1
hjson 3.1.0 假期 0.54 htmlmin(HTML最小化工具) 0.1.12
httpcore 1.0.2 httplib2 0.20.4 httpx 0.27.0
HuggingFace-Hub 平台 0.30.2 IDNA 3.7 圖像哈希 (ImageHash) 4.3.1
imageio 2.37.0 不平衡學習(imbalanced-learn) 0.13.0 importlib-metadata (匯入庫-元資料) 6.0.0
importlib_resources(Python 資源庫) 6.5.2 變調 7.3.1 iniconfig 1.1.1
ipyflow核心组件 0.0.209 ipykernel 6.29.5 ipython 8.30.0
ipython-genutils(IPython 工具程式庫) 0.2.0 ipywidgets (互動插件) 7.8.1 isodate 0.6.1
isoduration 20.11.0 這很危險 2.2.0 jaraco.context 5.3.0
jaraco.functools 4.0.1 jaraco.text(文字處理工具) 3.12.1 jax-jumpy 1.0.0
jedi 0.19.2 Jinja2 3.1.5 抖動 0.9.0
jmespath 1.0.1 joblib 1.4.2 joblibspark 0.5.1
json5 0.9.25 jsonpatch 1.33 jsonpointer 3.0.0
jsonschema 4.23.0 JSON Schema 規範 2023年7月1日 Jupyter 事件 0.10.0
jupyter-lsp 2.2.0 jupyter 客戶端 8.6.3 Jupyter核心 5.7.2
jupyter伺服器 2.14.1 Jupyter服務器終端 0.4.4 jupyterlab 4.3.4
jupyterlab-pygments 0.1.2 jupyterlab-widgets(JupyterLab 元件) 1.0.0 jupyterlab伺服器 2.27.3
keras 3.5.0 kiwisolver(開源程式庫) 1.4.8 langchain 0.3.21
langchain-core 0.3.55 Langchain 文字分割器 0.3.8 語言代碼 3.5.0
langsmith 0.1.133 語言數據 1.3.0 launchpadlib 1.11.0
lazr.restfulclient 0.14.6 lazr.uri 1.0.6 lazy_loader 0.4
libclang 15.0.6.1 librosa 0.10.2 lightgbm 4.5.0
閃電工具 0.14.3 linkify-it-py 2.0.0 llvmlite 0.44.0
lz4 4.3.2 Mako 1.2.0 marisa-trie 1.2.0
Markdown 3.4.1 markdown-it-py 2.2.0 MarkupSafe 3.0.2
matplotlib 3.10.0 matplotlib-inline 0.1.7 麥卡貝 0.7.0
mdit-py-plugins 0.3.0 mdurl 0.1.0 memray 1.17.1
米斯圖恩 2.0.4 ml_dtypes 0.5.1 mlflow-skinny 2.21.3
mmh3 5.1.0 more-itertools 10.3.0 馬賽克ml-cli 0.6.41
mosaicml串流 0.8.0 mpmath(Python數學計算庫) 1.3.0 MSAL(Microsoft身份驗證庫) 1.32.0
msal-extensions 1.3.1 msgpack 1.1.0 multidict 6.1.0
多元方法 1.12 多流程 0.70.16 MurmurHash(穆默爾哈希) 1.0.12
mypy-extensions(MyPy 擴充套件) 1.0.0 namex 0.0.8 「nbclient」 0.8.0
nbconvert(文件轉換工具) 7.16.4 nbformat 5.10.4 nest-asyncio 1.6.0
networkx(網路結構處理工具庫) 3.4.2 忍者 1.11.1.1 自然語言工具包 (NLTK) 3.9.1
nodeenv 1.9.1 筆記本 7.3.2 筆記本支架 0.2.3
Numba(Python效能提升函式庫) 0.61.0 numpy(數值計算套件) 2.1.3 nvidia-ml-py 12.570.86
oauthlib (OAuth程式庫) 3.2.0 oci 2.150.2 OpenAI公司 1.40.2
opencensus 0.11.4 opencensus-context 0.1.3 opentelemetry-api 1.32.1
opentelemetry-sdk(OpenTelemetry 軟體開發工具包) 1.32.1 OpenTelemetry語意規範 0.53b1 opt_einsum 3.4.0
optree 0.15.0 optuna 3.6.1 Optuna 整合工具 3.6.0
orjson 3.10.16 覆蓋 7.4.0 包裝 24.1
熊貓 2.2.3 pandocfilters (潘多克過濾器) 1.5.0 paramiko 3.4.0
帕爾索 0.8.4 路徑規格 (pathspec) 0.10.3 替罪羊 1.0.1
pexpect (一個用於程序自動化和測試的軟體庫) 4.8.0 菲克 0.12.4 枕頭 11.1.0
pip(Python 軟體包管理工具) 25.0 platformdirs 3.10.0 plotly(數據可視化工具) 5.24.1
Pluggy(外掛管理工具) 1.5.0 pmdarima 2.0.4 狗狗 1.8.2
預處理 3.0.9 prometheus_client 0.21.0 prompt-toolkit(提示工具組) 3.0.43
propcache 0.2.0 先知 1.1.6 proto-plus 1.26.1
協議緩衝區 (Protocol Buffers) 5.29.4 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 puremagic 1.28
py-cpuinfo 9.0.0 py-spy(Python 程式碼分析工具) 0.4.0 pyarrow 19.0.1
pyarrow-熱修正 0.6 pyasn1 0.4.8 pyasn1-modules 0.2.8
pybind11 2.13.6 派克羅 0.0.71 pycparser(Python 的 C 語法分析器) 2.21
pydantic(Python 數據驗證工具) 2.10.6 pydantic_core 2.27.2 pyflakes (Python 代碼分析工具) 3.2.0
Pygments 2.15.1 PyGObject 3.48.2 pyiceberg 0.9.0
PyJWT 2.10.1 PyNaCl 1.5.0 pyodbc 5.2.0
pyOpenSSL 24.2.1 pyparsing(Python 字符串解析库) 3.2.0 pyright 1.1.394
pytesseract 0.3.10 pytest(Python程式語言的測試工具) 8.3.5 python-dateutil 2.9.0.post0
Python 編輯器 (python-editor) 1.0.4 python-json-logger (Python JSON 日誌記錄器) 3.2.1 python-lsp-jsonrpc 1.1.2
python-lsp-server 1.12.0 python-snappy(Python 的 Snappy 算法壓縮庫) 0.7.3 pytoolconfig 1.2.6
pytorch-ranger 0.1.1 pytz(Python 的時區計算函式庫) 2024.1 PyWavelets 1.8.0
PyYAML 6.0.2 pyzmq 26.2.0 問卷 2.1.0
射線 2.37.0 參考 0.30.2 Regex 2024.11.6
要求 2.32.3 requests-oauthlib 1.3.1 requests-toolbelt 1.0.0
rfc3339-validator(RFC 3339 格式驗證器) 0.1.4 RFC 3986 驗證器 0.1.1 富有 13.9.4
繩子 1.12.0 rpds-py 0.22.3 RSA加密算法 4.9.1
ruamel.yaml 0.18.10 ruamel.yaml.clib 0.2.12 s3transfer 0.11.3
safetensors 0.5.3 scikit-image(影像處理套件) 0.25.0 scikit-learn(機器學習套件) 1.6.1
scipy科學計算庫 1.15.1 海上出生 0.13.2 Send2Trash 1.8.2
句子轉換器 3.0.1 句子片段 0.2.0 setuptools 74.0.0
沙普 0.46.0 社靈漢 (Shellingham) 1.5.4 simplejson 3.17.6
1.16.0 sklearn-compat 0.1.3 交叉分析篩選器 0.0.8
smart-open 7.1.0 smmap 5.0.0 sniffio 1.3.0
sortedcontainers(排序容器) 2.4.0 音效檔 0.12.1 湯篩 2.5
soxr 0.5.0.post1 寬敞 3.7.5 spacy-legacy 3.0.12
spacy-loggers 1.0.5 SQLAlchemy 2.0.37 sqlparse(資料庫語法解析器) 0.4.2
認真? 2.5.1 ssh-import-id(匯入 SSH ID) 5.11 堆疊數據 0.2.0
斯坦尼奧 0.5.1 starlette 0.46.2 statsmodels (統計模型庫) 0.14.4
strictyaml 1.7.3 sympy 1.13.3 整理成表格 0.9.0
堅韌性 9.0.0 TensorBoard(張量計算板) 2.19.0 TensorBoard資料伺服器 0.7.2
tensorboardX 2.6.2.2 TensorFlow 2.19.0 TensorFlow 估計器 2.15.0
termcolor 3.0.1 結束了 0.17.1 文字的 3.1.1
tf_keras 2.19.0 thinc 8.2.4 threadpoolctl 3.5.0
tifffile 2024年12月12日 tiktoken 0.7.0 tinycss2 1.4.0
tokenize_rt 6.1.0 分詞器 (tokenizers) 0.21.1 tomli 2.0.1
手電筒 2.4.0+cpu 火炬優化器 0.3.0 torcheval 0.0.7
torchmetrics 1.4.0.post0 torchvision 視覺工具庫 0.19.0+cpu 龍捲風 6.4.2
tqdm 4.67.1 特性 5.14.3 變壓器 4.49.0
typeguard (類型保護) 4.4.2 打字員 0.15.2 types-python-dateutil 2.9.0.20241206
typing_extensions(打字擴充套件) 4.12.2 tzdata 2024.1 uc-micro-py 1.0.1
ujson(超快速 JSON 解析庫) 5.10.0 無人看管自動升級 0.1 URI 樣板 1.3.0
urllib3 2.3.0 uvicorn 0.34.2 驗證者 0.34.0
virtualenv 20.29.3 願景 0.8.1 wadllib 1.3.6
山葵 1.1.3 wcwidth(字符寬度函數) 0.2.5 黃鼠狼 0.4.1
網頁顏色 24.11.1 網路編碼 0.5.1 WebSocket 客戶端 1.8.0
websockets 11.0.3 Werkzeug 3.1.3 何謂補丁 1.0.2
Wheel 0.45.1 widgetsnbextension 3.6.6 文字雲 1.9.4
包裹著 1.17.0 xgboost 2.0.3 xgboost-ray 0.1.19
xxhash 3.5.0 yapf (Python 程式碼格式化工具) 0.33.0 雅爾 1.18.0
ydata 概況分析 4.16.1 拉鏈 3.21.0 zstd 1.5.5.1

GPU 叢集上的 Python 程式庫

備註

PyTorch 會使用 CUDA PyPI 相依性來提供 CUDA 支援,而不是內建於 Databricks Runtime 17.0 ML 中的 CUDA 程式庫版本。

圖書館 版本 圖書館 版本 圖書館 版本
absl-py 1.0.0 加速 1.5.2 aiohappyeyeballs 2.4.4
aiohttp 3.11.10 aiohttp-cors 0.8.1 aiosignal 1.2.0
alembic 1.15.2 標註類型 0.7.0 anyio 4.6.2
argcomplete 3.6.2 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
箭頭 1.3.0 阿斯托 0.8.1 asttokens(Python 資源分析與處理庫) 2.0.5
astunparse 1.6.3 async-lru 2.0.4 屬性 (attrs) 24.3.0
音訊閱讀 (audioread) 3.0.1 自動指令 2.2.2 天青色-常見 1.1.28
Azure 核心功能 (azure-core) 1.33.0 azure-cosmos 4.3.1 azure-identity(Azure 身份驗證服務) 1.20.0
azure-mgmt-core 1.5.0 azure-mgmt-web (Azure 管理網站) 8.0.0 azure-storage-blob (Azure 儲存服務 Blob) 12.23.0
微軟 Azure 儲存檔案資料湖 (Azure Storage File Data Lake) 12.17.0 巴別塔 2.16.0 退避 2.2.1
backports.tarfile 1.2.0 bcrypt(密碼加密算法) 3.2.0 beautifulsoup4 4.12.3
黑色 24.10.0 漂白劑 6.2.0 閃爍器 1.7.0
極樂 0.7.11 boto3 1.36.2 botocore(AWS的Python程式庫) 1.36.3
Brotli 1.1.0 cachetools(緩存工具) 5.5.1 目錄 2.0.10
類別編碼器 (category-encoders) 2.6.3 certifi 2025年1月31日 cffi 1.17.1
chardet 4.0.0 charset-normalizer(字符集正規化器) 3.3.2 斷路器 2.1.3
點選 8.1.7 cloudpathlib 0.21.0 cloudpickle(Python 程式庫) 3.0.0
cmdstanpy 1.2.5 色彩繽紛 0.5.6 colorlog 6.9.0
通訊 0.2.1 作曲家 0.29.0 糖果 0.1.5
configparser 5.2.0 「contourpy」 1.3.1 coolname 2.2.0
cramjam 2.10.0 加密 43.0.3 騎車者 0.11.0
cymem 2.0.11 Cython 3.0.12 粗面岩 1.9.2
databricks-automl-runtime 0.2.21 Databricks 開發人員工具集 (SDK) 0.49.0 數據集 2.20.0
dbl-tempo 0.1.26 dbus-python 1.3.2 debugpy 1.8.11
裝飾項目 5.1.1 deepspeed 0.14.4 defusedxml(安全解析XML的Python函式庫) 0.7.1
已被棄用 1.2.13 蒔蘿 0.3.8 distlib 0.3.9
dm-tree 0.1.9 將Docstring轉換為Markdown 0.11 入口點 0.4
評估 0.4.2 執行中 0.8.3 facets概覽 1.1.1
Farama-通知 0.0.4 fastapi 0.115.12 fastjsonschema 2.21.1
fasttext-wheel 0.9.2 文件鎖 3.13.1 Flask 2.2.5
FlatBuffers 25.2.10 fonttools (字體工具庫) 4.55.3 FQDN 1.5.1
凍結清單 1.5.0 fsspec 2023.5.0 未來 0.18.3
gast 0.4.0 gitdb (Git分散式版本控制資料庫) 4.0.11 GitPython 3.1.43
google-api-core (Google API 核心庫) 2.20.0 google-auth(谷歌身份驗證) 2.38.0 google-auth-oauthlib 1.0.0
google-cloud-core 2.4.3 Google雲端儲存(Google Cloud Storage) 2.10.0 google-crc32c 1.7.1
google-pasta 0.2.0 Google可續媒體 2.7.2 googleapis-common-protos 1.65.0
gql 3.5.2 graphql-core 3.2.4 greenlet (綠線程) 3.1.1
grpcio 1.67.0 grpcio-status 1.67.0 gunicorn 20.1.0
體育館 0.28.1 h11 0.14.0 h5py 3.12.1
hjson 3.1.0 假期 0.54 htmlmin(HTML最小化工具) 0.1.12
httpcore 1.0.2 httplib2 0.20.4 httpx 0.27.0
HuggingFace-Hub 平台 0.30.2 IDNA 3.7 圖像哈希 (ImageHash) 4.3.1
imageio 2.37.0 不平衡學習(imbalanced-learn) 0.13.0 importlib-metadata (匯入庫-元資料) 6.0.0
importlib_resources(Python 資源庫) 6.5.2 變調 7.3.1 iniconfig 1.1.1
ipyflow核心组件 0.0.209 ipykernel 6.29.5 ipython 8.30.0
ipython-genutils(IPython 工具程式庫) 0.2.0 ipywidgets (互動插件) 7.8.1 isodate 0.6.1
isoduration 20.11.0 這很危險 2.2.0 jaraco.context 5.3.0
jaraco.functools 4.0.1 jaraco.text(文字處理工具) 3.12.1 jax-jumpy 1.0.0
jedi 0.19.2 Jinja2 3.1.5 抖動 0.9.0
jmespath 1.0.1 joblib 1.4.2 joblibspark 0.5.1
json5 0.9.25 jsonpatch 1.33 jsonpointer 3.0.0
jsonschema 4.23.0 JSON Schema 規範 2023年7月1日 Jupyter 事件 0.10.0
jupyter-lsp 2.2.0 jupyter 客戶端 8.6.3 Jupyter核心 5.7.2
jupyter伺服器 2.14.1 Jupyter服務器終端 0.4.4 jupyterlab 4.3.4
jupyterlab-pygments 0.1.2 jupyterlab-widgets(JupyterLab 元件) 1.0.0 jupyterlab伺服器 2.27.3
keras 3.5.0 kiwisolver(開源程式庫) 1.4.8 langchain 0.3.21
langchain-core 0.3.55 Langchain 文字分割器 0.3.8 語言代碼 3.5.0
langsmith 0.1.133 語言數據 1.3.0 launchpadlib 1.11.0
lazr.restfulclient 0.14.6 lazr.uri 1.0.6 lazy_loader 0.4
libclang 15.0.6.1 librosa 0.10.2 lightgbm 4.5.0
閃電工具 0.14.3 linkify-it-py 2.0.0 llvmlite 0.44.0
lz4 4.3.2 Mako 1.2.0 marisa-trie 1.2.0
Markdown 3.4.1 markdown-it-py 2.2.0 MarkupSafe 3.0.2
matplotlib 3.10.0 matplotlib-inline 0.1.7 麥卡貝 0.7.0
mdit-py-plugins 0.3.0 mdurl 0.1.0 memray 1.17.1
米斯圖恩 2.0.4 ml_dtypes 0.5.1 mlflow-skinny 2.21.3
mmh3 5.1.0 more-itertools 10.3.0 馬賽克ml-cli 0.6.41
mosaicml串流 0.8.0 mpmath(Python數學計算庫) 1.3.0 MSAL(Microsoft身份驗證庫) 1.32.0
msal-extensions 1.3.1 msgpack 1.1.0 multidict 6.1.0
多元方法 1.12 多流程 0.70.16 MurmurHash(穆默爾哈希) 1.0.12
mypy-extensions(MyPy 擴充套件) 1.0.0 namex 0.0.8 「nbclient」 0.8.0
nbconvert(文件轉換工具) 7.16.4 nbformat 5.10.4 nest-asyncio 1.6.0
networkx(網路結構處理工具庫) 3.4.2 忍者 1.11.1.1 自然語言工具包 (NLTK) 3.9.1
nodeenv 1.9.1 筆記本 7.3.2 筆記本支架 0.2.3
Numba(Python效能提升函式庫) 0.61.0 numpy(數值計算套件) 2.1.3 nvidia-ml-py 12.570.86
oauthlib (OAuth程式庫) 3.2.0 oci 2.150.2 OpenAI公司 1.40.2
opencensus 0.11.4 opencensus-context 0.1.3 opentelemetry-api 1.32.1
opentelemetry-sdk(OpenTelemetry 軟體開發工具包) 1.32.1 OpenTelemetry語意規範 0.53b1 opt_einsum 3.4.0
optree 0.15.0 optuna 3.6.1 Optuna 整合工具 3.6.0
orjson 3.10.16 覆蓋 7.4.0 包裝 24.1
熊貓 2.2.3 pandocfilters (潘多克過濾器) 1.5.0 paramiko 3.4.0
帕爾索 0.8.4 路徑規格 (pathspec) 0.10.3 替罪羊 1.0.1
pexpect (一個用於程序自動化和測試的軟體庫) 4.8.0 菲克 0.12.4 枕頭 11.1.0
pip(Python 軟體包管理工具) 25.0 platformdirs 3.10.0 plotly(數據可視化工具) 5.24.1
Pluggy(外掛管理工具) 1.5.0 pmdarima 2.0.4 狗狗 1.8.2
預處理 3.0.9 prometheus_client 0.21.0 prompt-toolkit(提示工具組) 3.0.43
propcache 0.2.0 先知 1.1.6 proto-plus 1.26.1
協議緩衝區 (Protocol Buffers) 5.29.4 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 puremagic 1.28
py-cpuinfo 9.0.0 py-spy(Python 程式碼分析工具) 0.4.0 pyarrow 19.0.1
pyarrow-熱修正 0.6 pyasn1 0.4.8 pyasn1-modules 0.2.8
pybind11 2.13.6 派克羅 0.0.71 pycparser(Python 的 C 語法分析器) 2.21
pydantic(Python 數據驗證工具) 2.10.6 pydantic_core 2.27.2 pyflakes (Python 代碼分析工具) 3.2.0
Pygments 2.15.1 PyGObject 3.48.2 pyiceberg 0.9.0
PyJWT 2.10.1 PyNaCl 1.5.0 pyodbc 5.2.0
pyOpenSSL 24.2.1 pyparsing(Python 字符串解析库) 3.2.0 pyright 1.1.394
pytesseract 0.3.10 pytest(Python程式語言的測試工具) 8.3.5 python-dateutil 2.9.0.post0
Python 編輯器 (python-editor) 1.0.4 python-json-logger (Python JSON 日誌記錄器) 3.2.1 python-lsp-jsonrpc 1.1.2
python-lsp-server 1.12.0 python-snappy(Python 的 Snappy 算法壓縮庫) 0.7.3 pytoolconfig 1.2.6
pytorch-ranger 0.1.1 pytz(Python 的時區計算函式庫) 2024.1 PyWavelets 1.8.0
PyYAML 6.0.2 pyzmq 26.2.0 問卷 2.1.0
射線 2.37.0 參考 0.30.2 Regex 2024.11.6
要求 2.32.3 requests-oauthlib 1.3.1 requests-toolbelt 1.0.0
rfc3339-validator(RFC 3339 格式驗證器) 0.1.4 RFC 3986 驗證器 0.1.1 富有 13.9.4
繩子 1.12.0 rpds-py 0.22.3 RSA加密算法 4.9.1
ruamel.yaml 0.18.10 ruamel.yaml.clib 0.2.12 s3transfer 0.11.3
safetensors 0.5.3 scikit-image(影像處理套件) 0.25.0 scikit-learn(機器學習套件) 1.6.1
scipy科學計算庫 1.15.1 海上出生 0.13.2 Send2Trash 1.8.2
句子轉換器 3.0.1 句子片段 0.2.0 setuptools 74.0.0
沙普 0.46.0 社靈漢 (Shellingham) 1.5.4 simplejson 3.17.6
1.16.0 sklearn-compat 0.1.3 交叉分析篩選器 0.0.8
smart-open 7.1.0 smmap 5.0.0 sniffio 1.3.0
sortedcontainers(排序容器) 2.4.0 音效檔 0.12.1 湯篩 2.5
soxr 0.5.0.post1 寬敞 3.7.5 spacy-legacy 3.0.12
spacy-loggers 1.0.5 SQLAlchemy 2.0.37 sqlparse(資料庫語法解析器) 0.4.2
認真? 2.5.1 ssh-import-id(匯入 SSH ID) 5.11 堆疊數據 0.2.0
斯坦尼奧 0.5.1 starlette 0.46.2 statsmodels (統計模型庫) 0.14.4
strictyaml 1.7.3 sympy 1.13.3 整理成表格 0.9.0
堅韌性 9.0.0 TensorBoard(張量計算板) 2.19.0 TensorBoard資料伺服器 0.7.2
tensorboardX 2.6.2.2 TensorFlow 2.19.0 TensorFlow 估計器 2.15.0
termcolor 3.0.1 結束了 0.17.1 文字的 3.1.1
tf_keras 2.19.0 thinc 8.2.4 threadpoolctl 3.5.0
tifffile 2024年12月12日 tiktoken 0.7.0 tinycss2 1.4.0
tokenize_rt 6.1.0 分詞器 (tokenizers) 0.21.1 tomli 2.0.1
手電筒 2.4.0+cpu 火炬優化器 0.3.0 torcheval 0.0.7
torchmetrics 1.4.0.post0 torchvision 視覺工具庫 0.19.0+cpu 龍捲風 6.4.2
tqdm 4.67.1 特性 5.14.3 變壓器 4.49.0
typeguard (類型保護) 4.4.2 打字員 0.15.2 types-python-dateutil 2.9.0.20241206
typing_extensions(打字擴充套件) 4.12.2 tzdata 2024.1 uc-micro-py 1.0.1
ujson(超快速 JSON 解析庫) 5.10.0 無人看管自動升級 0.1 URI 樣板 1.3.0
urllib3 2.3.0 uvicorn 0.34.2 驗證者 0.34.0
virtualenv 20.29.3 願景 0.8.1 wadllib 1.3.6
山葵 1.1.3 wcwidth(字符寬度函數) 0.2.5 黃鼠狼 0.4.1
網頁顏色 24.11.1 網路編碼 0.5.1 WebSocket 客戶端 1.8.0
websockets 11.0.3 Werkzeug 3.1.3 何謂補丁 1.0.2
Wheel 0.45.1 widgetsnbextension 3.6.6 文字雲 1.9.4
包裹著 1.17.0 xgboost 2.0.3 xgboost-ray 0.1.19
xxhash 3.5.0 yapf (Python 程式碼格式化工具) 0.33.0 雅爾 1.18.0
ydata 概況分析 4.16.1 拉鏈 3.21.0 zstd 1.5.5.1

R 程式庫

R 連結庫與 Databricks Runtime 17.0 中的 R 連結庫 相同。

Java 和 Scala 函式庫(Scala 2.12 集群)

除了 Databricks Runtime 17.0 中的 Java 和 Scala 連結庫之外,Databricks Runtime 17.0 ML 還包含下列 JAR:

CPU 叢集

群組識別碼 文物識別碼 版本
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-spark_2.12 1.7.3
ml.dmlc xgboost4j_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.4-db1-spark3.5
org.mlflow mlflow-client 2.15.1
org.tensorflow spark-tensorflow-connector_2.12 連接器 1.15.0

圖形處理器集群

群組識別碼 文物識別碼 版本
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-gpu_2.12 1.7.3
ml.dmlc xgboost4j-spark-gpu_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.4-db1-spark3.5
org.mlflow mlflow-client 2.15.1
org.tensorflow spark-tensorflow-connector_2.12 連接器 1.15.0