共用方式為


Databricks Runtime 16.1 for 機器學習 (EoS)

注意

針對此 Databricks Runtime 版本的支援已結束。 關於停止支援日期,請參見停止支援及終止服務歷史。 如需查看所有支援的 Databricks Runtime 版本,請參閱 Databricks Runtime 版本說明和相容性

Databricks Runtime 16.1 for 機器學習 提供基於Databricks Runtime 16.1 (EoS)的即用型環境,用於機器學習和資料科學。 Databricks Runtime ML 包含許多熱門的機器學習連結庫,包括 TensorFlow、PyTorch 和 XGBoost。 Databricks Runtime ML 包含 AutoML,這是自動定型機器學習管線的工具。 Databricks Runtime ML 也支援使用 TorchDistributor、DeepSpeed 和 Ray 的分散式深度學習訓練。

新功能和改善

Databricks Runtime 16.1 ML 建置在 Databricks Runtime 16.1 之上。 如需 Databricks Runtime 16.1 中新功能的相關資訊,包括 Apache Spark MLlib 和 SparkR,請參閱 Databricks Runtime 16.1 (EoS) 版本資訊。

系統環境

Databricks Runtime 16.1 ML 中的系統環境與 Databricks Runtime 16.1 不同,如下所示。

  • 針對 GPU 叢集,Databricks Runtime ML 包含下列 NVIDIA GPU 連結庫:
    • 庫達 12.6
    • 庫布拉斯 12.6.0.22-1
    • cusolver 11.6.4.38-1
    • 庫提 12.6.37-1
    • cusparse 12.5.2.23-1
    • cuDNN 9.3.0.75-1
    • NCCL 2.22.3
    • TensorRT 10.2.0.19-1

圖書館

下列各節列出 Databricks Runtime 16.1 ML 中包含的連結庫,與 Databricks Runtime 16.1 中包含的連結庫不同。

在本節中:

頂級圖書館

Databricks Runtime 16.1 ML 包含下列頂尖 函式庫

Python 函式庫

Databricks Runtime 16.1 ML 使用 virtualenv 進行Python套件管理,並包含許多熱門的機器學習套件。

除了下列各節中指定的套件之外,Databricks Runtime 16.1 ML 也包含下列套件:

  • Hyperopt 0.2.9+DB5
  • 自動化機器學習 1.29.0

若要在本地Python虛擬環境中重現 Databricks Runtime ML Python 環境,請下載 requirements-16.1.txt 檔案並執行 pip install -r requirements-16.1.txt。 此指令安裝 Databricks 執行時機器學習所使用的所有 開放原始碼 函式庫,但不會安裝由 Databricks 開發的函式庫,例如 databricks-automldatabricks-feature-engineering,或 Databricks 分支的 hyperopt

CPU 叢集上的 Python 函式庫

圖書館 版本 圖書館 版本 圖書館 版本
absl-py 1.0.0 加速 1.1.1 aiohttp 3.9.5
aiohttp-cors 0.7.0 aiosignal 1.2.0 alembic 1.13.3
註解類型 0.7.0 anyio 4.2.0 argcomplete 3.5.0
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 1.2.3
阿斯特 0.8.1 asttokens(Python 資源分析與處理庫) 2.0.5 astunparse 1.6.3
async-lru 2.0.4 屬性 23.1.0 音訊閱讀 (audioread) 3.0.1
自動指令 2.2.2 Azure 核心功能 (azure-core) 1.31.0 azure-cosmos 4.3.1
azure-identity(Azure 身份驗證服務) 1.18.0 Azure Blob 儲存空間 12.23.1 Azure 儲存檔案數據湖 12.17.0
巴別塔 2.11.0 退避 2.2.1 backports.tarfile 1.2.0
bcrypt(密碼加密算法) 3.2.0 beautifulsoup4 4.12.3 24.4.2
漂白劑 4.1.0 閃爍器 1.7.0 極樂 0.7.11
boto3 1.34.69 botocore(AWS的Python程式庫) 1.34.69 Brotli 1.0.9
cachetools(緩存工具) 5.3.3 目錄 2.0.10 類別編碼器 (category-encoders) 2.6.3
證書 2024年6月2日 cffi 1.16.0 chardet 4.0.0
charset-normalizer(字符集正規化器) 2.0.4 斷路器 2.0.0 點擊 8.1.7
cloudpathlib 0.19.0 雲平台序列化庫 (cloudpickle) 2.2.1 cmdstanpy 1.2.4
豐富多彩 0.5.6 colorlog 6.8.2 通訊 0.2.1
作曲家 0.27.0 糖果 0.1.5 configparser 5.2.0
「contourpy」 1.2.0 coolname 2.2.0 加密 42.0.5
單車騎士 0.11.0 cymem 2.0.10 Cython 3.0.11
英安岩 1.8.1 databricks-automl-runtime 0.2.21 Databricks 特徵工程 0.7.0
Databricks 開發人員工具集 (SDK) 0.30.0 數據集 3.1.0 dbl-tempo 0.1.26
dbus-python 1.3.2 debugpy 1.6.7 裝飾項目 5.1.1
deepspeed 0.16.0 defusedxml(安全解析XML的Python函式庫) 0.7.1 荒廢的 1.2.14
蒔蘿 0.3.8 distlib 0.3.8 dm-tree 0.1.8
文件字符串轉Markdown 0.11 入口點 0.4 評估 0.4.3
執行 0.8.3 面向概覽 1.1.1 Farama-通知 0.0.4
fastjsonschema 2.21.1 fasttext-wheel 0.9.2 檔案鎖定 3.13.1
Flask 2.2.5 FlatBuffers 24.3.25 fonttools (字體工具庫) 4.51.0
FQDN 1.5.1 凍結清單 1.4.0 fsspec 2023.5.0
未來 0.18.3 gast 0.4.0 gitdb (Git分散式版本控制資料庫) 4.0.11
GitPython 3.1.37 google-api-core (Google API 核心庫) 2.20.0 Google 認證 2.21.0
google-auth-oauthlib 1.0.0 google-cloud-core 2.4.1 Google雲端儲存(Google Cloud Storage) 2.10.0
google-crc32c 1.6.0 google-pasta 0.2.0 Google可續媒體 2.7.2
googleapis-common-protos 1.65.0 gql 3.5.0 graphql-core 3.2.4
greenlet (綠線程) 3.0.1 grpcio 1.60.0 grpcio-status 1.60.0
gunicorn 20.1.0 gviz-api 1.10.0 體育館 0.28.1
h11 0.14.0 h5py 3.11.0 hjson 3.1.0
假期 0.54 htmlmin(HTML最小化工具) 0.1.12 httpcore 1.0.5
httplib2 0.20.4 httpx 0.28.0 HuggingFace-Hub 平台 0.24.5
IDNA 3.7 圖像哈希 (ImageHash) 4.3.1 imageio 2.33.1
不平衡學習 0.12.3 importlib-metadata (匯入庫-元資料) 6.0.0 importlib_resources(Python 資源庫) 6.4.5
屈折 7.3.1 ipyflow核心组件 0.0.201 ipykernel 6.28.0
ipython 8.25.0 ipython-genutils(IPython 工具程式庫) 0.2.0 ipywidgets (互動插件) 7.7.2
isodate 0.6.1 isoduration 20.11.0 itsdangerous (若為品牌名或專有名稱,通常保留英文) 2.2.0
jaraco.context 5.3.0 jaraco.functools 4.0.1 jaraco.text(文字處理工具) 3.12.1
jax-jumpy 1.0.0 絕地武士 0.19.1 Jinja2 3.1.4
抖動 0.8.0 jmespath 1.0.1 joblib 1.4.2
joblibspark 0.5.1 json5 0.9.6 jsonpatch 1.33
jsonpointer 3.0.0 jsonschema 4.19.2 JSON Schema 規範 2023年7月1日
Jupyter 事件 0.10.0 jupyter-lsp 2.2.0 jupyter 客戶端 8.6.0
Jupyter核心 5.7.2 jupyter伺服器 2.14.1 Jupyter服務器終端 0.4.4
jupyterlab 4.0.11 jupyterlab-pygments 0.1.2 jupyterlab伺服器 2.25.1
keras 3.6.0 kiwisolver(開源程式庫) 1.4.4 langchain 0.3.8
langchain-core 0.2.41 langchain 文本切分工具 0.2.4 語言代碼 3.4.1
langsmith 0.1.129 語言資料 1.2.0 launchpadlib 1.11.0
lazr.restfulclient 0.14.6 lazr.uri 1.0.6 lazy_loader 0.4
libclang 15.0.6.1 librosa 0.10.2 lightgbm 4.5.0
閃電工具 0.11.9 linkify-it-py 2.0.0 llvmlite 0.42.0
lz4 4.3.2 Mako 1.2.0 marisa-trie 1.2.0
Markdown 3.4.1 markdown-it-py 2.2.0 MarkupSafe 2.1.3
matplotlib 3.8.4 matplotlib-inline 0.1.6 麥卡貝 0.7.0
mdit-py-plugins 0.3.0 mdurl 0.1.0 memray 1.14.0
調音不當 2.0.4 ml-dtypes 0.4.1 mlflow-skinny 2.15.1
more-itertools 10.3.0 mosaicml-cli 0.6.41 莫塞克ML串流 0.8.0
mpmath(Python數學計算庫) 1.3.0 MSAL(Microsoft身份驗證庫) 1.31.1 msal-extensions 1.2.0
msgpack 1.1.0 multidict 6.0.4 多元方法 1.12
多程序 0.70.16 MurmurHash(哈希函數) 1.0.11 mypy 1.10.0
mypy-extensions(MyPy 擴充套件) 1.0.0 namex 0.0.8 「nbclient」 0.8.0
nbconvert(文件轉換工具) 7.10.0 nbformat 5.9.2 nest-asyncio 1.6.0
networkx(網路結構處理工具庫) 3.2.1 忍者 1.11.1.1 自然語言工具包 (NLTK) 3.8.1
nodeenv 1.9.1 筆記本 7.0.8 筆記本支架 0.2.3
Numba(Python效能提升函式庫) 0.59.1 numpy(數值計算套件) 1.26.4 nvidia-ml-py 12.560.30
oauthlib (OAuth程式庫) 3.2.0 oci 2.139.0 OpenAI公司 1.55.1
opencensus 0.11.4 opencensus-context 0.1.3 opentelemetry-api 1.28.2
opentelemetry-sdk(OpenTelemetry 軟體開發工具包) 1.28.2 OpenTelemetry語意規範 0.49b2 opt_einsum 3.4.0
optree 0.12.1 optuna 3.6.1 Optuna 整合工具 3.6.0
orjson 3.10.12 覆蓋 7.4.0 包裝 24.1
熊貓 1.5.3 pandocfilters (潘多克過濾器) 1.5.0 paramiko 3.4.0
帕爾索 0.8.3 路徑規格 (pathspec) 0.10.3 替罪羊 0.5.6
pexpect (一個用於程序自動化和測試的軟體庫) 4.8.0 菲克 0.12.4 枕頭 10.3.0
果仁 24.2 platformdirs 3.10.0 plotly(數據可視化工具) 5.22.0
插入式 1.0.0 pmdarima 2.0.4 狗狗 1.8.2
portalocker 2.10.1 預處理 3.0.9 prometheus-client 0.14.1
prompt-toolkit(提示工具組) 3.0.43 先知 1.1.5 proto-plus 1.24.0
協議緩衝區 (Protocol Buffers) 4.24.1 psutil 5.9.0 psycopg2 2.9.3
pty進程 0.7.0 pure-eval 0.2.2 py-cpuinfo 9.0.0
py-spy(Python 程式碼分析工具) 0.3.14 pyarrow 15.0.2 pyarrow-Hotfix 0.6
pyasn1 0.4.8 pyasn1-modules 0.2.8 pybind11 2.13.6
派克羅 0.0.65 pycparser(Python 的 C 語法分析器) 2.21 pydantic(Python 數據驗證工具) 2.8.2
pydantic_core 2.20.1 pyflakes (Python 代碼分析工具) 3.2.0 Pygments 2.15.1
PyGObject 3.48.2 PyJWT 2.7.0 PyNaCl 1.5.0
pyodbc 5.0.1 pyOpenSSL 24.0.0 pyparsing(Python 字符串解析库) 3.0.9
pyright 1.1.294 pytesseract 0.3.10 python-dateutil 2.9.0.post0
Python 編輯器 1.0.4 python-json-logger (Python JSON 日誌記錄器) 2.0.7 python-lsp-jsonrpc 1.1.2
python-lsp-server 1.10.0 python-snappy(Python 的 Snappy 算法壓縮庫) 0.6.1 pytoolconfig 1.2.6
pytorch-ranger 0.1.1 pytz(Python 的時區計算函式庫) 2024.1 PyWavelets 1.5.0
PyYAML 6.0.1 pyzmq 25.1.2 問卷 1.10.0
射線 2.35.0 引用 0.30.2 Regex 2023/10/03
要求 2.32.2 requests-oauthlib 1.3.1 rfc3339-validator(RFC 3339 格式驗證器) 0.1.4
RFC 3986 驗證器 0.1.1 13.3.5 1.12.0
rpds-py 0.10.6 RSA加密算法 4.9 ruamel.yaml 0.18.6
ruamel.yaml.clib 0.2.8 s3transfer 0.10.2 safetensors 0.4.4
scikit-image(影像處理套件) 0.23.2 scikit-learn(機器學習套件) 1.4.2 scipy科學計算庫 1.13.1
海上出生 0.13.2 Send2Trash 1.8.2 句子轉換器 3.3.1
句子片段 0.2.0 setuptools 74.0.0 沙普 0.46.0
社靈漢 (Shellingham) 1.5.4 simplejson 3.17.6 1.16.0
交叉分析篩選器 0.0.8 smart-open 5.2.1 smmap 5.0.0
sniffio 1.3.0 音效檔 0.12.1 濾湯器 2.5
soxr 0.5.0.post1 恍神 3.7.5 spacy-legacy 3.0.12
spacy-loggers 1.0.5 SQLAlchemy 2.0.30 sqlparse(資料庫語法解析器) 0.4.2
認真嗎 2.4.8 ssh-import-id(匯入 SSH ID) 5.11 堆疊資料 0.2.0
斯坦尼奧 0.5.1 statsmodels(統計模型工具) 0.14.2 sympy(Python 符號運算庫) 1.13.1
製成表格 0.9.0 混亂-up-in-unicode 0.2.0 韌性 8.2.2
TensorBoard(張量計算板) 2.18.0 tensorboard-data-server(張量板數據伺服器) 0.7.2 TensorBoard 外掛程式分析工具 2.18.0
tensorboardX 2.6.2.2 TensorFlow 2.18.0 TensorFlow 估算器 2.15.0
termcolor 2.4.0 完成 0.17.1 文字的 0.87.1
tf_keras 2.18.0 倪識 8.2.5 線程池控制器 2.2.0
tifffile 2023.4.12 tiktoken 0.7.0 tinycss2 1.2.1
tokenize-rt 4.2.1 詞元分詞器 0.20.0 tomli 2.0.1
火炬 2.5.0+cpu 火炬優化器 0.3.0 torcheval 0.0.7
torchmetrics 1.4.0.post0 torchvision 視覺工具庫 0.20.0+cpu 龍捲風 6.4.1
tqdm 4.66.4 特性 5.14.3 變壓器 4.46.3
typeguard (類型保護) 4.3.0 打字員 0.12.5 types-protobuf 3.20.3
types-psutil 5.9.0 types-pytz 2023.3.1.1 types-PyYAML 6.0.0
類型要求 2.31.0.0 types-setuptools 68.0.0.0 類型六 1.16.0
types-urllib3 1.26.25.14 typing_extensions(打字擴充套件) 4.11.0 uc-micro-py 1.0.1
ujson(超快速 JSON 解析庫) 5.10.0 無人看管自動升級 0.1 URI 樣板 1.3.0
urllib3 1.26.16 驗證工具 0.34.0 virtualenv 20.26.2
願景 0.7.5 wadllib 1.3.6 山葵 1.1.3
wcwidth(字符寬度函數) 0.2.5 黃鼠狼 0.4.1 網頁顏色 24.8.0
網頁編碼格式 0.5.1 WebSocket 客戶端 1.8.0 websockets 11.0.3
Werkzeug 3.0.3 何謂補丁 1.0.2 Wheel 0.43.0
文字雲 1.9.3 包裹 1.14.1 xgboost 2.0.3
xgboost-ray 0.1.19 xxhash 3.4.1 yapf (Python 程式碼格式化工具) 0.33.0
雅爾 1.9.3 ydata 分析概況 4.9.0 拉鏈 3.17.0
zstd 1.5.5.1

GPU 叢集上的 Python 函式庫

注意

PyTorch 會使用 CUDA PyPI 相依性來提供 CUDA 支援,而不是內建於 Databricks Runtime 16.1 ML 中的 CUDA 程式庫版本。

圖書館 版本 圖書館 版本 圖書館 版本
absl-py 1.0.0 加速 1.1.1 aiohttp 3.9.5
aiohttp-cors 0.7.0 aiosignal 1.2.0 註解類型 0.7.0
anyio 4.2.0 argcomplete 3.5.0 argon2-cffi 21.3.0
argon2-cffi-bindings 21.2.0 1.2.3 阿斯特 0.8.1
asttokens(Python 資源分析與處理庫) 2.0.5 astunparse 1.6.3 async-lru 2.0.4
屬性 23.1.0 音訊閱讀 (audioread) 3.0.1 自動指令 2.2.2
Azure 核心功能 (azure-core) 1.31.0 azure-cosmos 4.3.1 azure-identity(Azure 身份驗證服務) 1.18.0
Azure Blob 儲存空間 12.23.1 Azure 儲存檔案數據湖 12.17.0 巴別塔 2.11.0
退避 2.2.1 backports.tarfile 1.2.0 bcrypt(密碼加密算法) 3.2.0
beautifulsoup4 4.12.3 24.4.2 漂白劑 4.1.0
閃爍器 1.7.0 極樂 0.7.11 boto3 1.34.69
botocore(AWS的Python程式庫) 1.34.69 Brotli 1.0.9 cachetools(緩存工具) 5.3.3
目錄 2.0.10 類別編碼器 (category-encoders) 2.6.3 證書 2024年6月2日
cffi 1.16.0 chardet 4.0.0 charset-normalizer(字符集正規化器) 2.0.4
斷路器 2.0.0 點擊 8.1.7 cloudpathlib 0.19.0
雲平台序列化庫 (cloudpickle) 2.2.1 cmdstanpy 1.2.4 豐富多彩 0.5.6
colorlog 6.8.2 通訊 0.2.1 作曲家 0.27.0
糖果 0.1.5 configparser 5.2.0 「contourpy」 1.2.0
coolname 2.2.0 加密 42.0.5 單車騎士 0.11.0
cymem 2.0.10 Cython 3.0.11 英安岩 1.8.1
databricks-automl-runtime 0.2.21 Databricks 特徵工程 0.7.0 Databricks 開發人員工具集 (SDK) 0.30.0
數據集 3.1.0 dbl-tempo 0.1.26 dbus-python 1.3.2
debugpy 1.6.7 裝飾項目 5.1.1 deepspeed 0.16.0
defusedxml(安全解析XML的Python函式庫) 0.7.1 荒廢的 1.2.14 蒔蘿 0.3.8
distlib 0.3.8 dm-tree 0.1.8 文件字符串轉Markdown 0.11
einops 0.8.0 入口點 0.4 評估 0.4.3
執行 0.8.3 面向概覽 1.1.1 Farama-通知 0.0.4
fastjsonschema 2.21.1 fasttext-wheel 0.9.2 檔案鎖定 3.13.1
flash_attn 2.7.0 Flask 2.2.5 FlatBuffers 24.3.25
fonttools (字體工具庫) 4.51.0 FQDN 1.5.1 凍結清單 1.4.0
fsspec 2023.5.0 未來 0.18.3 gast 0.4.0
gitdb (Git分散式版本控制資料庫) 4.0.11 GitPython 3.1.37 google-api-core (Google API 核心庫) 2.20.0
Google 認證 2.21.0 google-auth-oauthlib 1.0.0 google-cloud-core 2.4.1
Google雲端儲存(Google Cloud Storage) 2.10.0 google-crc32c 1.6.0 google-pasta 0.2.0
Google可續媒體 2.7.2 googleapis-common-protos 1.65.0 gql 3.5.0
graphql-core 3.2.4 greenlet (綠線程) 3.0.1 grpcio 1.60.0
grpcio-status 1.60.0 gunicorn 20.1.0 gviz-api 1.10.0
體育館 0.28.1 h11 0.14.0 h5py 3.11.0
hjson 3.1.0 假期 0.54 htmlmin(HTML最小化工具) 0.1.12
httpcore 1.0.5 httplib2 0.20.4 httpx 0.27.2
HuggingFace-Hub 平台 0.24.5 IDNA 3.7 圖像哈希 (ImageHash) 4.3.1
imageio 2.33.1 不平衡學習 0.12.3 importlib-metadata (匯入庫-元資料) 6.0.0
importlib_resources(Python 資源庫) 6.4.5 屈折 7.3.1 ipyflow核心组件 0.0.201
ipykernel 6.28.0 ipython 8.25.0 ipython-genutils(IPython 工具程式庫) 0.2.0
ipywidgets (互動插件) 7.7.2 isodate 0.6.1 isoduration 20.11.0
itsdangerous (若為品牌名或專有名稱,通常保留英文) 2.2.0 jaraco.context 5.3.0 jaraco.functools 4.0.1
jaraco.text(文字處理工具) 3.12.1 jax-jumpy 1.0.0 絕地武士 0.19.1
Jinja2 3.1.4 抖動 0.8.0 jmespath 1.0.1
joblib 1.4.2 joblibspark 0.5.1 json5 0.9.6
jsonpatch 1.33 jsonpointer 3.0.0 jsonschema 4.19.2
JSON Schema 規範 2023年7月1日 Jupyter 事件 0.10.0 jupyter-lsp 2.2.0
jupyter 客戶端 8.6.0 Jupyter核心 5.7.2 jupyter伺服器 2.14.1
Jupyter服務器終端 0.4.4 jupyterlab 4.0.11 jupyterlab-pygments 0.1.2
jupyterlab伺服器 2.25.1 keras 3.6.0 kiwisolver(開源程式庫) 1.4.4
langchain 0.3.8 langchain-core 0.2.41 langchain 文本切分工具 0.2.4
語言代碼 3.4.1 langsmith 0.1.129 語言資料 1.2.0
launchpadlib 1.11.0 lazr.restfulclient 0.14.6 lazr.uri 1.0.6
lazy_loader 0.4 libclang 15.0.6.1 librosa 0.10.2
lightgbm 4.5.0 閃電工具 0.11.9 linkify-it-py 2.0.0
llvmlite 0.42.0 lz4 4.3.2 Mako 1.2.0
marisa-trie 1.2.0 Markdown 3.4.1 markdown-it-py 2.2.0
MarkupSafe 2.1.3 matplotlib 3.8.4 matplotlib-inline 0.1.6
麥卡貝 0.7.0 mdit-py-plugins 0.3.0 mdurl 0.1.0
memray 1.14.0 調音不當 2.0.4 ml-dtypes 0.4.1
mlflow-skinny 2.15.1 more-itertools 10.3.0 mosaicml-cli 0.6.41
莫塞克ML串流 0.8.0 mpmath(Python數學計算庫) 1.3.0 MSAL(Microsoft身份驗證庫) 1.31.1
msal-extensions 1.2.0 msgpack 1.1.0 multidict 6.0.4
多元方法 1.12 多程序 0.70.16 MurmurHash(哈希函數) 1.0.11
mypy 1.10.0 mypy-extensions(MyPy 擴充套件) 1.0.0 namex 0.0.8
「nbclient」 0.8.0 nbconvert(文件轉換工具) 7.10.0 nbformat 5.9.2
nest-asyncio 1.6.0 networkx(網路結構處理工具庫) 3.2.1 忍者 1.11.1.1
自然語言工具包 (NLTK) 3.8.1 nodeenv 1.9.1 筆記本 7.0.8
筆記本支架 0.2.3 Numba(Python效能提升函式庫) 0.59.1 numpy(數值計算套件) 1.26.4
nvidia-cublas-cu12 12.4.5.8 nvidia-cuda-cupti-cu12(NVIDIA CUDA 工具包的 CUPTI 庫,版本 cu12) 12.4.127 nvidia-cuda-nvrtc-cu12 12.4.127
nvidia-cuda-runtime-cu12 12.4.127 nvidia-cudnn-cu12 9.1.0.70 nvidia-cufft-cu12 11.2.1.3
nvidia-curand-cu12 10.3.5.147 nvidia-cusolver-cu12 11.6.1.9 nvidia-cusparse-cu12 12.3.1.170
nvidia-ml-py 12.560.30 nvidia-nccl-cu12 2.21.5 nvidia-nvjitlink-cu12 12.4.127
nvidia-nvtx-cu12 12.4.127 oauthlib (OAuth程式庫) 3.2.0 oci 2.139.0
OpenAI公司 1.55.1 opencensus 0.11.4 opencensus-context 0.1.3
opentelemetry-api 1.28.2 opentelemetry-sdk(OpenTelemetry 軟體開發工具包) 1.28.2 OpenTelemetry語意規範 0.49b2
opt_einsum 3.4.0 optree 0.12.1 optuna 3.6.1
Optuna 整合工具 3.6.0 orjson 3.10.12 覆蓋 7.4.0
包裝 24.1 熊貓 1.5.3 pandocfilters (潘多克過濾器) 1.5.0
paramiko 3.4.0 帕爾索 0.8.3 路徑規格 (pathspec) 0.10.3
替罪羊 0.5.6 pexpect (一個用於程序自動化和測試的軟體庫) 4.8.0 菲克 0.12.4
枕頭 10.3.0 果仁 24.2 platformdirs 3.10.0
plotly(數據可視化工具) 5.22.0 插入式 1.0.0 pmdarima 2.0.4
狗狗 1.8.2 portalocker 2.10.1 預處理 3.0.9
prometheus-client 0.14.1 prompt-toolkit(提示工具組) 3.0.43 先知 1.1.5
proto-plus 1.24.0 協議緩衝區 (Protocol Buffers) 4.24.1 psutil 5.9.0
psycopg2 2.9.3 pty進程 0.7.0 pure-eval 0.2.2
py-cpuinfo 9.0.0 py-spy(Python 程式碼分析工具) 0.3.14 pyarrow 15.0.2
pyarrow-Hotfix 0.6 pyasn1 0.4.8 pyasn1-modules 0.2.8
pybind11 2.13.6 派克羅 0.0.65 pycparser(Python 的 C 語法分析器) 2.21
pydantic(Python 數據驗證工具) 2.8.2 pydantic_core 2.20.1 pyflakes (Python 代碼分析工具) 3.2.0
Pygments 2.15.1 PyGObject 3.48.2 PyJWT 2.7.0
PyNaCl 1.5.0 pyodbc 5.0.1 pyOpenSSL 24.0.0
pyparsing(Python 字符串解析库) 3.0.9 pyright 1.1.294 pytesseract 0.3.10
python-dateutil 2.9.0.post0 Python 編輯器 1.0.4 python-json-logger (Python JSON 日誌記錄器) 2.0.7
python-lsp-jsonrpc 1.1.2 python-lsp-server 1.10.0 python-snappy(Python 的 Snappy 算法壓縮庫) 0.6.1
pytoolconfig 1.2.6 pytorch-ranger 0.1.1 pytz(Python 的時區計算函式庫) 2024.1
PyWavelets 1.5.0 PyYAML 6.0.1 pyzmq 25.1.2
問卷 1.10.0 射線 2.35.0 引用 0.30.2
Regex 2023/10/03 要求 2.32.2 requests-oauthlib 1.3.1
rfc3339-validator(RFC 3339 格式驗證器) 0.1.4 RFC 3986 驗證器 0.1.1 13.3.5
1.12.0 rpds-py 0.10.6 RSA加密算法 4.9
ruamel.yaml 0.18.6 ruamel.yaml.clib 0.2.8 s3transfer 0.10.2
safetensors 0.4.4 scikit-image(影像處理套件) 0.23.2 scikit-learn(機器學習套件) 1.4.2
scipy科學計算庫 1.13.1 海上出生 0.13.2 Send2Trash 1.8.2
句子轉換器 3.3.1 句子片段 0.2.0 setuptools 74.0.0
沙普 0.46.0 社靈漢 (Shellingham) 1.5.4 simplejson 3.17.6
1.16.0 交叉分析篩選器 0.0.8 smart-open 5.2.1
smmap 5.0.0 sniffio 1.3.0 音效檔 0.12.1
濾湯器 2.5 soxr 0.5.0.post1 恍神 3.7.5
spacy-legacy 3.0.12 spacy-loggers 1.0.5 SQLAlchemy 2.0.30
sqlparse(資料庫語法解析器) 0.4.2 認真嗎 2.4.8 ssh-import-id(匯入 SSH ID) 5.11
堆疊資料 0.2.0 斯坦尼奧 0.5.1 statsmodels(統計模型工具) 0.14.2
sympy(Python 符號運算庫) 1.13.1 製成表格 0.9.0 混亂-up-in-unicode 0.2.0
韌性 8.2.2 TensorBoard(張量計算板) 2.17.0 tensorboard-data-server(張量板數據伺服器) 0.7.2
TensorBoard 外掛程式分析工具 2.18.0 tensorboardX 2.6.2.2 TensorFlow 2.18.0
TensorFlow 估算器 2.15.0 termcolor 2.4.0 完成 0.17.1
文字的 0.87.1 tf_keras 2.17.0 倪識 8.2.5
線程池控制器 2.2.0 tifffile 2023.4.12 tiktoken 0.7.0
tinycss2 1.2.1 tokenize-rt 4.2.1 詞元分詞器 0.20.0
tomli 2.0.1 火炬 2.5.0+cu124 火炬優化器 0.3.0
torcheval 0.0.7 torchmetrics 1.4.0.post0 torchvision 視覺工具庫 0.20.0+cu124
龍捲風 6.4.1 tqdm 4.66.4 特性 5.14.3
變壓器 4.46.3 氚核 3.1.0 typeguard (類型保護) 4.3.0
打字員 0.14.0 types-protobuf 3.20.3 types-psutil 5.9.0
types-pytz 2023.3.1.1 types-PyYAML 6.0.0 類型要求 2.31.0.0
types-setuptools 68.0.0.0 類型六 1.16.0 types-urllib3 1.26.25.14
typing_extensions(打字擴充套件) 4.11.0 uc-micro-py 1.0.1 ujson(超快速 JSON 解析庫) 5.10.0
無人看管自動升級 0.1 URI 樣板 1.3.0 urllib3 1.26.16
驗證工具 0.34.0 virtualenv 20.26.2 願景 0.7.5
wadllib 1.3.6 山葵 1.1.3 wcwidth(字符寬度函數) 0.2.5
黃鼠狼 0.4.1 網頁顏色 24.8.0 網頁編碼格式 0.5.1
WebSocket 客戶端 1.8.0 websockets 11.0.3 Werkzeug 3.0.3
何謂補丁 1.0.2 Wheel 0.43.0 文字雲 1.9.3
包裹 1.14.1 xgboost 2.0.3 xgboost-ray 0.1.19
xxhash 3.4.1 yapf (Python 程式碼格式化工具) 0.33.0 雅爾 1.9.3
ydata 分析概況 4.9.0 拉鏈 3.17.0 zstd 1.5.5.1

R 函式庫

R 連結庫與 Databricks Runtime 16.1 中的 R 連結庫 相同。

Java 與 Scala 函式庫(Scala 2.12 叢集)

除了 Databricks Runtime 16.1 中的 Java 和 Scala 函式庫外,Databricks Runtime 16.1 ML 還包含以下 JAR:

CPU 叢集

群組標識碼 工件標識碼 版本
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-spark_2.12 1.7.3
ml.dmlc xgboost4j_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.4-db1-spark3.5
org.mlflow mlflow-client 2.15.1
org.tensorflow spark-tensorflow-connector_2.12 連接器 1.15.0

GPU 叢集

群組標識碼 工件標識碼 版本
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-gpu_2.12 1.7.3
ml.dmlc xgboost4j-spark-gpu_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.4-db1-spark3.5
org.mlflow mlflow-client 2.15.1
org.tensorflow spark-tensorflow-connector_2.12 連接器 1.15.0