共用方式為


適用於機器學習 (EoS) 的 Databricks Runtime 16.2

備註

此 Databricks Runtime 版本的支援已結束。 如需終止支援日期,請參閱 終止支援歷程記錄。 如需所有支援的 Databricks Runtime 版本,請參閱 Databricks Runtime 版本資訊版本和相容性

Databricks Runtime 16.2 for Machine Learning 提供以 Databricks Runtime 16.2 (EoS) 為基礎的機器學習和數據科學的現成to-go 環境。 Databricks Runtime ML 含有許多熱門的機器學習程式庫,包括 TensorFlow、PyTorch 和 XGBoost。 Databricks Runtime ML 包含 AutoML,這是可自動訓練機器學習管線的工具。 Databricks Runtime ML 也支援使用 TorchDistributor、DeepSpeed 和 Ray 進行分散式深度學習定型。

新功能和改進

Databricks Runtime 16.2 ML 是以 Databricks Runtime 16.2 為基礎所建置。 如需 Databricks Runtime 16.2 中新功能的相關資訊,包括 Apache Spark MLlib 和 SparkR,請參閱 Databricks Runtime 16.2 (EoS) 版本資訊。

其他變更

TensorFlow 2.17.x 無法載入 cuDNN 程式庫

Databricks Runtime 16.2 ML 中的已知問題是 TensorFlow 2.17.x (預設版本) 由於 cuDNN 程式庫載入錯誤而無法存取 GPU 裝置。 若要修正此問題,請將 TensorFlow 升級至 2.18.x 以上版本。

系統環境

Databricks Runtime 16.2 ML 中的系統環境與 Databricks Runtime 16.2 不同,如下所示。

  • 針對 GPU 叢集,Databricks Runtime ML 包括下列 NVIDIA GPU 程式庫:
    • 庫達 12.6
    • 庫布拉斯 12.6.0.22-1
    • 庫索弗 11.6.4.38-1
    • 庫提 12.6.37-1
    • 卡斯帕斯 12.5.2.23-1
    • cuDNN 9.3.0.75-1
    • NCCL 2.22.3
    • 張量RT 10.2.0.19-1

Libraries

下列各節列出 Databricks Runtime 16.2 ML 中包含的程式庫,這些程式庫與 Databricks Runtime 16.2 中包含的程式庫不同。

本節內容:

頂層程式庫

Databricks Runtime 16.2 ML 包含下列最上層 程式庫

Python 程式庫

Databricks Runtime 16.2 ML 用於 virtualenv Python 套件管理,並包含許多熱門的 ML 套件。

除了下列各節中指定的套件之外,Databricks Runtime 16.2 ML 也包含下列套件:

  • Hyperopt 0.2.8+DB1
  • 自動 1.30.0

若要在本機 Python 虛擬環境中重現 Databricks Runtime ML Python 環境,請下載 requirements-16.2.txt 檔案並執行 pip install -r requirements-16.2.txt。 此命令會安裝 Databricks Runtime ML 使用的所有開放原始碼程式庫,但不會安裝 Databricks 所開發的程式庫,例如 databricks-automldatabricks-feature-engineeringhyperopt 的 Databricks 派生。

CPU 叢集的 Python 程式庫

程式庫 版本 程式庫 版本 程式庫 版本
absl-py 1.0.0 加速 1.2.1 aiohttp 3.9.5
aiohttp-cors 0.7.0 aiosignal 1.2.0 蒸餾器 1.14.0
註釋類型 0.7.0 anyio 4.2.0 argcomplete 3.5.3
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 1.2.3
阿斯托 0.8.1 asttokens(Python 資源分析與處理庫) 2.0.5 astunparse 1.6.3
非同步 LRU 2.0.4 屬性 (attrs) 23.1.0 音訊閱讀 (audioread) 3.0.1
自動命令 2.2.2 Azure 核心功能 (azure-core) 1.32.0 azure-cosmos 4.3.1
azure-identity(Azure 身份驗證服務) 1.19.0 azure-storage-blob (Azure 儲存服務 Blob) 12.23.0 微軟 Azure 儲存檔案資料湖 (Azure Storage File Data Lake) 12.17.0
巴別塔 2.11.0 退避 2.2.1 backports.tar檔案 1.2.0
bcrypt(密碼加密算法) 3.2.0 beautifulsoup4 4.12.3 黑色 24.4.2
漂白劑 4.1.0 閃爍器 1.7.0 極樂 0.7.11
boto3 1.34.69 botocore(AWS的Python程式庫) 1.34.69 布羅特利 1.0.9
cachetools(緩存工具) 5.3.3 目錄 2.0.10 類別編碼器 (category-encoders) 2.6.3
證書 2024.6.2 cffi 1.16.0 chardet 4.0.0
charset-normalizer(字符集正規化器) 2.0.4 斷路器 2.0.0 點選 8.1.7
cloudpathlib 0.20.0 cloudpickle(Python 程式庫) 2.2.1 cmdstanpy 1.2.5
色彩繽紛 0.5.6 顏色日誌 6.9.0 通訊 0.2.1
作曲家 0.28.0 糖果 0.1.5 configparser 5.2.0
輪廓 1.2.0 酷名 2.2.0 加密 42.0.5
騎車者 0.11.0 cymem 2.0.11 Cython 3.0.11
粗面岩 1.8.1 databricks-automl-runtime 0.2.21 databricks-功能工程 0.8.0
Databricks 開發人員工具集 (SDK) 0.30.0 數據集 3.2.0 dbl-tempo 0.1.26
dbus-python 1.3.2 debugpy 1.6.7 裝飾項目 5.1.1
深速 0.16.2 defusedxml(安全解析XML的Python函式庫) 0.7.1 Deprecated 1.2.15
蒔蘿 0.3.8 distlib 0.3.8 dm-樹 0.1.8
將Docstring轉換為Markdown 0.11 einops 0.8.0 入口點 0.4
評估 0.4.3 正在執行 0.8.3 facets概覽 1.1.1
Farama-Notifications 0.0.4 fastjsonschema 2.21.1 快速文字輪 0.9.2
文件鎖 3.13.1 Flask 2.2.5 FlatBuffers 24.12.23
fonttools (字體工具庫) 4.51.0 FQDN 1.5.1 凍結清單 1.4.0
fsspec 2023.5.0 未來 0.18.3 gast 0.4.0
gitdb (Git分散式版本控制資料庫) 4.0.11 GitPython 3.1.37 google-api-core (Google API 核心庫) 2.20.0
google-auth(谷歌身份驗證) 2.21.0 google-auth-oauthlib 1.2.1 google-cloud-core 2.4.1
Google雲端儲存(Google Cloud Storage) 2.10.0 google-crc32c 1.6.0 google-pasta 0.2.0
Google可續媒體 2.7.2 googleapis-common-protos 1.66.0 GQL 3.5.0
graphql-core 3.2.4 greenlet (綠線程) 3.0.1 grpcio 1.60.0
grpcio-status 1.60.0 gunicorn 20.1.0 gviz-api 1.10.0
健身房 0.28.1 h11 0.14.0 h5py 3.11.0
hjson 3.1.0 假期 0.54 htmlmin(HTML最小化工具) 0.1.12
httpcore 1.0.7 httplib2 0.20.4 網址 0.28.1
HuggingFace-Hub 平台 0.27.1 IDNA 3.7 圖像哈希 (ImageHash) 4.3.1
圖像IO 2.33.1 不平衡學習(imbalanced-learn) 0.12.3 importlib-metadata (匯入庫-元資料) 6.0.0
importlib_resources 6.5.2 屈折 7.3.1 ipyflow-core 0.0.201
ipykernel 6.28.0 ipython 8.25.0 ipython-genutils(IPython 工具程式庫) 0.2.0
ipywidgets 7.7.2 isodate 0.6.1 等持續時間 20.11.0
這很危險 2.2.0 賈拉科.context 5.3.0 賈拉科.functools 4.0.1
賈拉科.text 3.12.1 賈克斯跳躍 1.0.0 絕地武士 0.19.1
Jinja2 3.1.4 抖動 0.8.2 jmespath 1.0.1
joblib 1.4.2 joblibspark 0.5.1 json5 0.9.6
jsonpatch 1.33 json指標 3.0.0 jsonschema 4.19.2
jsonschema-specifications 2023.7.1 Jupyter-事件 0.10.0 jupyter-lsp 2.2.0
jupyter_client 8.6.0 Jupyter核心 5.7.2 jupyter_server 2.14.1
jupyter_server_terminals 0.4.4 木星實驗室 4.0.11 jupyterlab-pygments 0.1.2
jupyterlab_server 2.25.1 keras 3.8.0 kiwisolver(開源程式庫) 1.4.4
langchain 0.3.14 lang鏈核心 0.3.30 langchain-text-splitters 0.3.5
語言代碼 3.5.0 蘭史密斯 0.1.133 language_data 1.3.0
launchpadlib 1.11.0 lazr.restfulclient 0.14.6 lazr.uri 1.0.6
lazy_loader 0.4 libclang 15.0.6.1 librosa 0.10.2
lightgbm 4.5.0 閃電公用程式 0.11.9 linkify-it-py 2.0.0
llvmlite 0.42.0 lz4 4.3.2 Mako 1.2.0
瑪麗莎·特里 1.2.0 Markdown 3.4.1 降價-it-py 2.2.0
MarkupSafe 2.1.3 matplotlib 3.8.4 matplotlib-inline 0.1.6
麥卡貝 0.7.0 mdit-py-plugins 0.3.0 mdurl 0.1.0
梅姆雷 1.15.0 米斯圖恩 2.0.4 ml-d類型 0.4.1
mlflow-skinny 2.15.1 more-itertools 10.3.0 馬賽克ML-CLI 0.6.41
mosaicml-streaming 0.10.0 MPMATH 1.3.0 MSAL 1.31.1
MSAL 延伸模組 1.2.0 msgpack 1.1.0 multidict 6.0.4
多元方法 1.12 多流程 0.70.16 MurmurHash(穆默爾哈希) 1.0.12
mypy 1.10.0 mypy-extensions(MyPy 擴充套件) 1.0.0 那美克斯 0.0.8
「nbclient」 0.8.0 nbconvert(文件轉換工具) 7.10.0 nbformat 5.9.2
nest-asyncio 1.6.0 networkx(網路結構處理工具庫) 3.2.1 忍者 1.11.1.1
自然語言工具包 (NLTK) 3.8.1 nodeenv 1.9.1 筆記本 7.0.8
notebook_shim 0.2.3 Numba(Python效能提升函式庫) 0.59.1 numpy(數值計算套件) 1.26.4
oauthlib (OAuth程式庫) 3.2.0 OCI 2.142.0 OpenAI公司 1.59.6
開放人口普查 0.11.4 opencensus-context 0.1.3 開放遙測-API 1.29.0
opentelemetry-SDK 1.29.0 opentelemetry-semantic-conventions 0.50b0 opt_einsum 3.4.0
optree 0.14.0 奧圖納 3.6.1 optuna-integration 3.6.0
orjson 3.10.14 覆寫 7.4.0 包裝 24.1
熊貓 1.5.3 pandocfilters (潘多克過濾器) 1.5.0 paramiko 3.4.0
帕爾索 0.8.3 路徑規格 (pathspec) 0.10.3 替罪羊 0.5.6
pexpect (一個用於程序自動化和測試的軟體庫) 4.8.0 菲克 0.12.4 枕頭 10.3.0
pip(Python 軟體包管理工具) 24.2 platformdirs 3.10.0 plotly(數據可視化工具) 5.22.0
Pluggy(外掛管理工具) 1.0.0 pmdarima 2.0.4 狗狗 1.8.2
波塔洛克 2.10.1 預處理 3.0.9 prometheus-client 0.14.1
prompt-toolkit(提示工具組) 3.0.43 先知 1.1.5 原型加 1.25.0
協議緩衝區 (Protocol Buffers) 4.24.1 psutil 5.9.0 psycopg2 2.9.3
pty進程 0.7.0 pure-eval 0.2.2 py-cpuinfo 9.0.0
py-間諜 0.4.0 pyarrow 15.0.2 pyasn1 0.4.8
pyasn1-modules 0.2.8 pybind11 2.13.6 皮科洛 0.0.65
pycparser(Python 的 C 語法分析器) 2.21 pydantic(Python 數據驗證工具) 2.8.2 pydantic_core 2.20.1
pyflakes (Python 代碼分析工具) 3.2.0 Pygments 2.15.1 PyGObject 3.48.2
PyJWT 2.7.0 PyNaCl 1.5.0 pyodbc 5.0.1
pyOpenSSL 24.0.0 pyparsing(Python 字符串解析库) 3.0.9 pyright 1.1.294
pytesseract 0.3.10 python-dateutil 2.9.0.post0 Python 編輯器 (python-editor) 1.0.4
python-json-logger 2.0.7 python-lsp-jsonrpc 1.1.2 python-lsp-server 1.10.0
蟒蛇-活潑 0.6.1 pytoolconfig 1.2.6 火炬遊俠 0.1.1
pytz(Python 的時區計算函式庫) 2024.1 PyWavelets 1.5.0 PyYAML 6.0.1
pyzmq 25.1.2 問卷 2.1.0 2.37.0
參考 0.30.2 Regex 2023.10.3 要求 2.32.2
requests-oauthlib 1.3.1 請求工具帶 1.0.0 rfc3339-驗證器 0.1.4
rfc3986-驗證器 0.1.1 13.3.5 繩子 1.12.0
rpds-py 0.10.6 RSA加密算法 4.9 魯阿梅爾.yaml 0.18.10
ruamel.yaml.clib 0.2.12 s3transfer 0.10.2 safetensors 0.4.4
scikit-圖片 0.23.2 scikit-learn(機器學習套件) 1.4.2 scipy科學計算庫 1.13.1
海上出生 0.13.2 Send2Trash 1.8.2 句子轉換器 3.3.1
句子片段 0.2.0 setuptools 74.0.0 沙普 0.46.0
謝林厄姆 1.5.4 simplejson 3.17.6 1.16.0
交叉分析篩選器 0.0.8 smart-open 5.2.1 smmap 5.0.0
sniffio 1.3.0 音效檔 0.12.1 湯篩 2.5
soxr 0.5.0.post1 寬敞 3.7.5 spacy-legacy 3.0.12
spacy-loggers 1.0.5 SQLAlchemy 2.0.30 sqlparse(資料庫語法解析器) 0.4.2
認真? 2.5.1 ssh-import-id(匯入 SSH ID) 5.11 堆疊數據 0.2.0
斯坦尼奧 0.5.1 statsmodels (統計模型庫) 0.14.2 同聲 1.13.1
整理成表格 0.9.0 困在Unicode裡 0.2.0 堅韌性 8.2.2
TensorBoard(張量計算板) 2.18.0 TensorBoard資料伺服器 0.7.2 TensorBoard-插件-配置文件 2.18.0
tensorboardX 2.6.2.2 TensorFlow 2.18.0 TensorFlow 估計器 2.15.0
termcolor 2.5.0 結束了 0.17.1 文字 1.0.0
tf_keras 2.18.0 倪識 8.2.5 線程池控制器 2.2.0
蒂夫檔案 2023.4.12 tiktoken 0.7.0 小 css2 1.2.1
tokenize-rt 4.2.1 分詞器 (tokenizers) 0.21.0 tomli 2.0.1
手電筒 2.5.1+CPU 手電筒優化器 0.3.0 火炬 0.0.7
手電筒計量 1.6.0 torchvision 視覺工具庫 0.20.1+CPU 龍捲風 6.4.1
tqdm 4.66.4 特性 5.14.3 轉換器 4.48.0
typeguard (類型保護) 4.4.1 打字員 0.15.1 類型-protobuf 3.20.3
類型-psutil 5.9.0 類型-pytz 2023.3.1.1 類型-PyYAML 6.0.0
類型請求 2.31.0.0 類型設定工具 68.0.0.0 類型-六 1.16.0
類型-urllib3 1.26.25.14 typing_extensions(打字擴充套件) 4.11.0 UC-微 1.0.1
ujson(超快速 JSON 解析庫) 5.10.0 無人看管自動升級 0.1 uri 模板 1.3.0
urllib3 1.26.16 驗證者 0.34.0 virtualenv 20.26.2
願景 0.7.5 wadllib 1.3.6 山葵 1.1.3
wcwidth(字符寬度函數) 0.2.5 0.4.1 網頁顏色 24.11.1
網路編碼 0.5.1 WebSocket 客戶端 1.8.0 WebSocket 11.0.3
Werkzeug 3.0.3 何謂補丁 1.0.2 Wheel 0.43.0
文字雲 1.9.4 包裹著 1.14.1 xgboost 2.0.3
xgboost-射線 0.1.19 xxhash 3.4.1 yapf (Python 程式碼格式化工具) 0.33.0
雅爾 1.9.3 ydata 概況分析 4.9.0 拉鏈 3.17.0
zstd 1.5.5.1

GPU 叢集上的 Python 程式庫

備註

PyTorch 會使用 CUDA PyPI 相依性來提供 CUDA 支援,而不是內建於 Databricks Runtime 16.2 ML 中的 CUDA 程式庫版本。

程式庫 版本 程式庫 版本 程式庫 版本
absl-py 1.0.0 加速 1.2.1 aiohttp 3.9.5
aiohttp-cors 0.7.0 aiosignal 1.2.0 註釋類型 0.7.0
anyio 4.2.0 argcomplete 3.5.3 argon2-cffi 21.3.0
argon2-cffi-bindings 21.2.0 1.2.3 阿斯托 0.8.1
asttokens(Python 資源分析與處理庫) 2.0.5 astunparse 1.6.3 非同步 LRU 2.0.4
屬性 (attrs) 23.1.0 音訊閱讀 (audioread) 3.0.1 自動命令 2.2.2
Azure 核心功能 (azure-core) 1.32.0 azure-cosmos 4.3.1 azure-identity(Azure 身份驗證服務) 1.19.0
azure-storage-blob (Azure 儲存服務 Blob) 12.23.0 微軟 Azure 儲存檔案資料湖 (Azure Storage File Data Lake) 12.17.0 巴別塔 2.11.0
退避 2.2.1 backports.tar檔案 1.2.0 bcrypt(密碼加密算法) 3.2.0
beautifulsoup4 4.12.3 黑色 24.4.2 漂白劑 4.1.0
閃爍器 1.7.0 極樂 0.7.11 boto3 1.34.69
botocore(AWS的Python程式庫) 1.34.69 布羅特利 1.0.9 cachetools(緩存工具) 5.3.3
目錄 2.0.10 類別編碼器 (category-encoders) 2.6.3 證書 2024.6.2
cffi 1.16.0 chardet 4.0.0 charset-normalizer(字符集正規化器) 2.0.4
斷路器 2.0.0 點選 8.1.7 cloudpathlib 0.20.0
cloudpickle(Python 程式庫) 2.2.1 cmdstanpy 1.2.5 色彩繽紛 0.5.6
顏色日誌 6.9.0 通訊 0.2.1 作曲家 0.28.0
糖果 0.1.5 configparser 5.2.0 輪廓 1.2.0
酷名 2.2.0 加密 42.0.5 騎車者 0.11.0
cymem 2.0.11 Cython 3.0.11 粗面岩 1.8.1
databricks-automl-runtime 0.2.21 databricks-功能工程 0.8.0 Databricks 開發人員工具集 (SDK) 0.30.0
數據集 3.2.0 dbl-tempo 0.1.26 dbus-python 1.3.2
debugpy 1.6.7 裝飾項目 5.1.1 深速 0.16.2
defusedxml(安全解析XML的Python函式庫) 0.7.1 Deprecated 1.2.15 蒔蘿 0.3.8
distlib 0.3.8 dm-樹 0.1.8 將Docstring轉換為Markdown 0.11
einops 0.8.0 入口點 0.4 評估 0.4.3
正在執行 0.8.3 facets概覽 1.1.1 Farama-Notifications 0.0.4
fastjsonschema 2.21.1 快速文字輪 0.9.2 文件鎖 3.13.1
flash-attn 2.7.2.帖子1 Flask 2.2.5 FlatBuffers 24.12.23
fonttools (字體工具庫) 4.51.0 FQDN 1.5.1 凍結清單 1.4.0
fsspec 2023.5.0 未來 0.18.3 gast 0.4.0
gitdb (Git分散式版本控制資料庫) 4.0.11 GitPython 3.1.37 google-api-core (Google API 核心庫) 2.20.0
google-auth(谷歌身份驗證) 2.21.0 google-auth-oauthlib 1.2.1 google-cloud-core 2.4.1
Google雲端儲存(Google Cloud Storage) 2.10.0 google-crc32c 1.6.0 google-pasta 0.2.0
Google可續媒體 2.7.2 googleapis-common-protos 1.66.0 GQL 3.5.0
graphql-core 3.2.4 greenlet (綠線程) 3.0.1 grpcio 1.60.0
grpcio-status 1.60.0 gunicorn 20.1.0 gviz-api 1.10.0
健身房 0.28.1 h11 0.14.0 h5py 3.11.0
hjson 3.1.0 假期 0.54 htmlmin(HTML最小化工具) 0.1.12
httpcore 1.0.7 httplib2 0.20.4 網址 0.28.1
HuggingFace-Hub 平台 0.27.1 IDNA 3.7 圖像哈希 (ImageHash) 4.3.1
圖像IO 2.33.1 不平衡學習(imbalanced-learn) 0.12.3 importlib-metadata (匯入庫-元資料) 6.0.0
importlib_resources 6.5.2 屈折 7.3.1 ipyflow-core 0.0.201
ipykernel 6.28.0 ipython 8.25.0 ipython-genutils(IPython 工具程式庫) 0.2.0
ipywidgets 7.7.2 isodate 0.6.1 等持續時間 20.11.0
這很危險 2.2.0 賈拉科.context 5.3.0 賈拉科.functools 4.0.1
賈拉科.text 3.12.1 賈克斯跳躍 1.0.0 絕地武士 0.19.1
Jinja2 3.1.4 抖動 0.8.2 jmespath 1.0.1
joblib 1.4.2 joblibspark 0.5.1 json5 0.9.6
jsonpatch 1.33 json指標 3.0.0 jsonschema 4.19.2
jsonschema-specifications 2023.7.1 Jupyter-事件 0.10.0 jupyter-lsp 2.2.0
jupyter_client 8.6.0 Jupyter核心 5.7.2 jupyter_server 2.14.1
jupyter_server_terminals 0.4.4 木星實驗室 4.0.11 jupyterlab-pygments 0.1.2
jupyterlab_server 2.25.1 keras 3.8.0 kiwisolver(開源程式庫) 1.4.4
langchain 0.3.14 lang鏈核心 0.3.30 langchain-text-splitters 0.3.5
語言代碼 3.5.0 蘭史密斯 0.1.133 language_data 1.3.0
launchpadlib 1.11.0 lazr.restfulclient 0.14.6 lazr.uri 1.0.6
lazy_loader 0.4 libclang 15.0.6.1 librosa 0.10.2
lightgbm 4.5.0 閃電公用程式 0.11.9 linkify-it-py 2.0.0
llvmlite 0.42.0 lz4 4.3.2 Mako 1.2.0
瑪麗莎·特里 1.2.0 Markdown 3.4.1 降價-it-py 2.2.0
MarkupSafe 2.1.3 matplotlib 3.8.4 matplotlib-inline 0.1.6
麥卡貝 0.7.0 mdit-py-plugins 0.3.0 mdurl 0.1.0
梅姆雷 1.15.0 米斯圖恩 2.0.4 ml-d類型 0.4.1
mlflow-skinny 2.15.1 more-itertools 10.3.0 馬賽克ML-CLI 0.6.41
mosaicml-streaming 0.10.0 MPMATH 1.3.0 MSAL 1.31.1
MSAL 延伸模組 1.2.0 msgpack 1.1.0 multidict 6.0.4
多元方法 1.12 多流程 0.70.16 MurmurHash(穆默爾哈希) 1.0.12
mypy 1.10.0 mypy-extensions(MyPy 擴充套件) 1.0.0 那美克斯 0.0.8
「nbclient」 0.8.0 nbconvert(文件轉換工具) 7.10.0 nbformat 5.9.2
nest-asyncio 1.6.0 networkx(網路結構處理工具庫) 3.2.1 忍者 1.11.1.1
自然語言工具包 (NLTK) 3.8.1 nodeenv 1.9.1 筆記本 7.0.8
notebook_shim 0.2.3 Numba(Python效能提升函式庫) 0.59.1 numpy(數值計算套件) 1.26.4
英偉達-庫布拉斯-CU12 12.4.5.8 英偉達-庫達-庫蒂-CU12 12.4.127 英偉達-庫達-NVRTC-CU12 12.4.127
nvidia-cuda-運行時-cu12 12.4.127 英偉達-cudnn-cu12 9.1.0.70 英偉達手鐲-CU12 11.2.1.3
英偉達-curand-cu12 10.3.5.147 nvidia-cusolver-cu12 11.6.1.9 nvidia-cusparse-cu12 12.3.1.170
英偉達-NCCL-CU12 2.21.5 英偉達-NVJITLINK-CU12 12.4.127 英偉達-NVTX-CU12 12.4.127
oauthlib (OAuth程式庫) 3.2.0 OCI 2.142.0 OpenAI公司 1.59.6
開放人口普查 0.11.4 opencensus-context 0.1.3 開放遙測-API 1.29.0
opentelemetry-SDK 1.29.0 opentelemetry-semantic-conventions 0.50b0 opt_einsum 3.4.0
optree 0.14.0 奧圖納 3.6.1 optuna-integration 3.6.0
orjson 3.10.14 覆寫 7.4.0 包裝 24.1
熊貓 1.5.3 pandocfilters (潘多克過濾器) 1.5.0 paramiko 3.4.0
帕爾索 0.8.3 路徑規格 (pathspec) 0.10.3 替罪羊 0.5.6
pexpect (一個用於程序自動化和測試的軟體庫) 4.8.0 菲克 0.12.4 枕頭 10.3.0
pip(Python 軟體包管理工具) 24.2 platformdirs 3.10.0 plotly(數據可視化工具) 5.22.0
Pluggy(外掛管理工具) 1.0.0 pmdarima 2.0.4 狗狗 1.8.2
波塔洛克 2.10.1 預處理 3.0.9 prometheus-client 0.14.1
prompt-toolkit(提示工具組) 3.0.43 先知 1.1.5 原型加 1.25.0
協議緩衝區 (Protocol Buffers) 4.24.1 psutil 5.9.0 psycopg2 2.9.3
pty進程 0.7.0 pure-eval 0.2.2 py-cpuinfo 9.0.0
py-間諜 0.4.0 pyarrow 15.0.2 pyasn1 0.4.8
pyasn1-modules 0.2.8 pybind11 2.13.6 皮科洛 0.0.65
pycparser(Python 的 C 語法分析器) 2.21 pydantic(Python 數據驗證工具) 2.8.2 pydantic_core 2.20.1
pyflakes (Python 代碼分析工具) 3.2.0 Pygments 2.15.1 PyGObject 3.48.2
PyJWT 2.7.0 PyNaCl 1.5.0 pyodbc 5.0.1
pyOpenSSL 24.0.0 pyparsing(Python 字符串解析库) 3.0.9 pyright 1.1.294
pytesseract 0.3.10 python-dateutil 2.9.0.post0 Python 編輯器 (python-editor) 1.0.4
python-json-logger 2.0.7 python-lsp-jsonrpc 1.1.2 python-lsp-server 1.10.0
蟒蛇-活潑 0.6.1 pytoolconfig 1.2.6 火炬遊俠 0.1.1
pytz(Python 的時區計算函式庫) 2024.1 PyWavelets 1.5.0 PyYAML 6.0.1
pyzmq 25.1.2 問卷 2.1.0 2.37.0
參考 0.30.2 Regex 2023.10.3 要求 2.32.2
requests-oauthlib 1.3.1 請求工具帶 1.0.0 rfc3339-驗證器 0.1.4
rfc3986-驗證器 0.1.1 13.3.5 繩子 1.12.0
rpds-py 0.10.6 RSA加密算法 4.9 魯阿梅爾.yaml 0.18.10
ruamel.yaml.clib 0.2.12 s3transfer 0.10.2 safetensors 0.4.4
scikit-圖片 0.23.2 scikit-learn(機器學習套件) 1.4.2 scipy科學計算庫 1.13.1
海上出生 0.13.2 Send2Trash 1.8.2 句子轉換器 3.3.1
句子片段 0.2.0 setuptools 74.0.0 沙普 0.46.0
謝林厄姆 1.5.4 simplejson 3.17.6 1.16.0
交叉分析篩選器 0.0.8 smart-open 5.2.1 smmap 5.0.0
sniffio 1.3.0 音效檔 0.12.1 湯篩 2.5
soxr 0.5.0.post1 寬敞 3.7.5 spacy-legacy 3.0.12
spacy-loggers 1.0.5 SQLAlchemy 2.0.30 sqlparse(資料庫語法解析器) 0.4.2
認真? 2.5.1 ssh-import-id(匯入 SSH ID) 5.11 堆疊數據 0.2.0
斯坦尼奧 0.5.1 statsmodels (統計模型庫) 0.14.2 同聲 1.13.1
整理成表格 0.9.0 困在Unicode裡 0.2.0 堅韌性 8.2.2
TensorBoard(張量計算板) 2.18.0 TensorBoard資料伺服器 0.7.2 TensorBoard-插件-配置文件 2.18.0
tensorboardX 2.6.2.2 TensorFlow 2.18.0 TensorFlow 估計器 2.15.0
termcolor 2.5.0 結束了 0.17.1 文字 1.0.0
tf_keras 2.18.0 倪識 8.2.5 線程池控制器 2.2.0
蒂夫檔案 2023.4.12 tiktoken 0.7.0 小 css2 1.2.1
tokenize-rt 4.2.1 分詞器 (tokenizers) 0.21.0 tomli 2.0.1
手電筒 2.5.1+銅124 手電筒優化器 0.3.0 火炬 0.0.7
手電筒計量 1.6.0 torchvision 視覺工具庫 0.20.1+銅124 龍捲風 6.4.1
tqdm 4.66.4 特性 5.14.3 轉換器 4.48.0
海衛一 3.1.0 typeguard (類型保護) 4.4.1 打字員 0.15.1
類型-protobuf 3.20.3 類型-psutil 5.9.0 類型-pytz 2023.3.1.1
類型-PyYAML 6.0.0 類型請求 2.31.0.0 類型設定工具 68.0.0.0
類型-六 1.16.0 類型-urllib3 1.26.25.14 typing_extensions(打字擴充套件) 4.11.0
UC-微 1.0.1 ujson(超快速 JSON 解析庫) 5.10.0 無人看管自動升級 0.1
uri 模板 1.3.0 urllib3 1.26.16 驗證者 0.34.0
virtualenv 20.26.2 願景 0.7.5 wadllib 1.3.6
山葵 1.1.3 wcwidth(字符寬度函數) 0.2.5 0.4.1
網頁顏色 24.11.1 網路編碼 0.5.1 WebSocket 客戶端 1.8.0
WebSocket 11.0.3 Werkzeug 3.0.3 何謂補丁 1.0.2
Wheel 0.43.0 文字雲 1.9.4 包裹著 1.14.1
xgboost 2.0.3 xgboost-射線 0.1.19 xxhash 3.4.1
yapf (Python 程式碼格式化工具) 0.33.0 雅爾 1.9.3 ydata 概況分析 4.9.0
拉鏈 3.17.0 zstd 1.5.5.1

R 程式庫

R 程式庫與 Databricks Runtime 16.2 中的 R 程式庫 相同。

Java 和 Scala 程式庫 (Scala 2.12 叢集)

除了 Databricks Runtime 16.2 中的 Java 和 Scala 程式庫之外,Databricks Runtime 16.2 ML 還包含下列 JAR:

CPU 叢集

群組識別碼 成品識別碼 版本
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-spark_2.12 1.7.3
ml.dmlc xgboost4j_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.4-db1-火花3.5
org.mlflow mlflow-client 2.15.1
org.tensorflow spark-tensorflow-connector_2.12 連接器 1.15.0

圖形處理器集群

群組識別碼 成品識別碼 版本
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-gpu_2.12 1.7.3
ml.dmlc xgboost4j-spark-gpu_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.4-db1-火花3.5
org.mlflow mlflow-client 2.15.1
org.tensorflow spark-tensorflow-connector_2.12 連接器 1.15.0