共用方式為


適用於機器學習的 Databricks Runtime 15.2(EoS)

注意

對此 Databricks 執行時間版本的支援已經結束。 如需終止支援日期,請參閱 終止支援歷程記錄。 如需所有支援的 Databricks Runtime 版本,請參閱 Databricks Runtime 版本資訊和相容性

Databricks Runtime 15.2 for Machine Learning 基於 Databricks Runtime 15.2 (EoS),為機器學習和數據科學提供已配置的現成to-go 環境。 Databricks Runtime ML 包含許多熱門的機器學習連結庫,包括 TensorFlow、PyTorch 和 XGBoost。 Databricks Runtime ML 包含 AutoML,這是自動定型機器學習管線的工具。 Databricks Runtime ML 也支援使用 Horovod 的分散式深度學習訓練。

新功能和改善

Databricks Runtime 15.2 ML 建置在 Databricks Runtime 15.2 之上。 如需 Databricks Runtime 15.2 新功能的相關信息,包括 Apache Spark MLlib 和 SparkR,請參閱 Databricks Runtime 15.2 (EoS) 版本資訊。

新增 StreamingDataset

StreamingDataset 可用來快速、廉價且具延展性地從雲端儲存處理大型數據集的訓練。 它會預安裝在 Databricks Runtime 15.2 ML 中。

Databricks Runtime ML CPU 叢集的 Photon 支援

從 Databricks Runtime 15.2 ML 開始,您可以在 CPU 叢集上啟用 photon,以加速 Spark SQL 和 Spark DataFrame 工作負載。

針對機器學習應用程式,Photon 為使用案例提供更快的效能,例如:

Photon 不會增強 Python 連結庫的效能,例如 TensorFlow、PyTorch 和 XGBoost。

Spark RDD API 和 Spark MLlib 與 Photon 的相容性有限。 使用 Spark RDD 或 Spark MLlib 處理大型資料集時,可能會遇到 Spark 記憶體問題。 請參閱 Spark 記憶體問題

系統環境

Databricks Runtime 15.2 ML 中的系統環境與 Databricks Runtime 15.2 不同,如下所示:

  • 針對 GPU 叢集,Databricks Runtime ML 包含下列 NVIDIA GPU 連結庫:
    • CUDA 12.1 版本
    • 庫索弗 11.4.5.107-1
    • 庫蒂 12.1
    • cuDNN 8.9.0.131-1
    • NCCL 2.17.1
    • TensorRT 8.6.1.6-1

圖書館

下列各節列出了 Databricks Runtime 15.2 ML 中包含的函式庫,這些函式庫與 Databricks Runtime 15.2 所包含的有所不同。

在本節中:

頂級圖書館

Databricks Runtime 15.2 ML 包含下列頂級的 程式庫

Python 函式庫

Databricks Runtime 15.2 ML 使用 virtualenv 進行 Python 套件管理,並包含許多熱門 ML 套件。

除了下列各節中指定的套件之外,Databricks Runtime 15.2 ML 也包含下列套件:

  • Hyperopt 0.2.7+DB3
  • SparkDL 3.0.0_db1
  • 自動機器學習 1.26.0

若要在本機 Python 虛擬環境中重現 Databricks Runtime ML Python 環境,請下載 requirements-15.2.txt 檔案並執行 pip install -r requirements-15.2.txt。 此命令會安裝 Databricks Runtime ML 使用的所有開放原始碼連結庫,但不會安裝 Databricks 所開發的連結庫,例如 databricks-automldatabricks-feature-engineeringhyperopt的 Databricks 分支。

CPU 叢集上的 Python 函式庫

圖書館 版本 圖書館 版本 圖書館 版本
absl-py 1.0.0 加速 0.28.0 aiohttp 3.8.5
aiohttp-cors 0.7.0 aiosignal 1.2.0 anyio 3.5.0
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 阿斯特 0.8.1
asttokens(Python 資源分析與處理庫) 2.0.5 astunparse 1.6.3 非同步逾時 (async-timeout) 4.0.2
屬性 22.1.0 音訊閱讀 (audioread) 3.0.1 Azure 核心功能 (azure-core) 1.30.1
azure-cosmos 4.3.1 azure-identity(Azure 身份驗證服務) 1.16.0 azure-storage-blob (Azure 儲存服務 Blob) 12.19.1
Azure 儲存檔案資料湖 12.14.0 呼叫回應 0.2.0 bcrypt(密碼加密算法) 3.2.0
beautifulsoup4 4.12.2 23.3.0 漂白劑 4.1.0
閃爍器 1.4 極樂 0.7.11 boto3 1.34.39
botocore(AWS的Python程式庫) 1.34.39 Brotli 1.0.9 cachetools(緩存工具) 5.3.3
目錄 2.0.10 類別編碼器 2.6.3 證書 2023.7.22
cffi 1.15.1 chardet 4.0.0 charset-normalizer(字符集正規化器) 2.0.4
斷路器 1.4.0 點擊 8.0.4 cloudpathlib 0.16.0
cloudpickle(Python 程式庫) 2.2.1 cmdstanpy 1.2.2 豐富多彩 0.5.6
通訊 0.1.2 糖果 0.1.4 configparser 5.2.0
「contourpy」 1.0.5 加密 41.0.3 自行車騎士 0.11.0
cymem 2.0.8 Cython 0.29.32 英安岩 1.8.1
databricks-automl-runtime 0.2.21 Databricks 特徵工程 0.4.0 Databricks 開發人員工具集 (SDK) 0.20.0
dataclasses-json 0.6.4 數據集 2.18.0 dbl-tempo 0.1.26
dbus-python 1.2.18 debugpy 1.6.7 裝飾項目 5.1.1
deepspeed 0.14.0 defusedxml(安全解析XML的Python函式庫) 0.7.1 蒔蘿 0.3.6
磁碟緩存 5.6.3 distlib 0.3.8 dm-tree 0.1.8
入口點 0.4 評估 0.4.1 執行 0.8.3
面向概述 1.1.1 Farama-通知 0.0.4 fastjsonschema 2.19.1
fasttext 0.9.2 檔案鎖定 3.9.0 Flask 2.2.5
FlatBuffers 24.3.25 fonttools (字體工具庫) 4.25.0 凍結清單 1.3.3
fsspec 2023.5.0 未來 0.18.3 gast 0.4.0
gitdb (Git分散式版本控制資料庫) 4.0.11 GitPython 3.1.27 google-api-core (Google API 核心庫) 2.18.0
谷歌驗證 2.21.0 google-auth-oauthlib 1.0.0 google-cloud-core 2.4.1
谷歌雲端儲存 2.10.0 google-crc32c 1.5.0 google-pasta 0.2.0
Google可續媒體 2.7.0 googleapis-common-protos 1.63.0 greenlet (綠線程) 2.0.1
grpcio 1.60.0 grpcio-status 1.60.0 gunicorn 20.1.0
gviz-api 1.10.0 體育館 0.28.1 h11 0.14.0
h5py 3.10.0 hjson 3.1.0 假期 0.45
Horovod 0.28.1+db1 htmlmin(HTML最小化工具) 0.1.12 httpcore 1.0.5
httplib2 0.20.2 httpx 0.27.0 HuggingFace-Hub 平台 0.20.2
IDNA 3.4 圖像哈希 (ImageHash) 4.3.1 imageio 2.31.1
不平衡學習 0.11.0 importlib-metadata (匯入庫-元資料) 6.0.0 importlib_resources(Python 資源庫) 6.4.0
ipyflow核心组件 0.0.198 ipykernel 6.25.1 ipython 8.15.0
ipython-genutils(IPython 工具程式庫) 0.2.0 ipywidgets (互動插件) 8.0.4 isodate 0.6.1
itsdangerous(Python庫) 2.0.1 jax-jumpy 1.0.0 絕地武士 0.18.1
吉普尼 0.7.1 Jinja2 3.1.2 jmespath 0.10.0
joblib 1.2.0 joblibspark 0.5.1 jsonpatch 1.33
jsonpointer 2.4 jsonschema 4.17.3 Jupyter伺服器 1.23.4
jupyter 客戶端 7.4.9 Jupyter核心 5.3.0 jupyterlab-pygments 0.1.2
jupyterlab-widgets(JupyterLab 元件) 3.0.5 keras 3.1.1 鑰匙圈 23.5.0
kiwisolver(開源程式庫) 1.4.4 langchain 0.1.13 langchain-community (LangChain社群) 0.0.32
langchain-core 0.1.41 Langchain 文字分割器 0.0.1 語言代碼 3.3.0
langsmith 0.1.45 launchpadlib 1.10.16 lazr.restfulclient 0.14.4
lazr.uri 1.0.6 lazy_loader 0.2 libclang 15.0.6.1
librosa 0.10.1 lightgbm 4.3.0 llvmlite 0.40.0
lxml 4.9.2 lz4 4.3.2 Mako 1.2.0
Markdown 3.4.1 markdown-it-py 2.2.0 MarkupSafe 2.1.1
棉花糖 3.21.1 matplotlib 3.7.2 matplotlib-inline 0.1.6
mdurl 0.1.0 米斯圖恩 0.8.4 ml-dtypes 0.3.2
mlflow-skinny 2.11.3 more-itertools 8.10.0 莫塞克ML串流 0.7.4
mpmath(Python數學計算庫) 1.3.0 MSAL(Microsoft身份驗證庫) 1.28.0 msal-extensions 1.1.0
msgpack 1.0.8 multidict 6.0.2 多元方法 1.11.2
多重處理 0.70.14 MurmurHash(穆默爾哈希) 1.0.10 mypy-extensions(MyPy 擴充套件) 0.4.3
namex 0.0.7 nbclassic 0.5.5 「nbclient」 0.5.13
nbconvert(文件轉換工具) 6.5.4 nbformat 5.7.0 nest-asyncio 1.5.6
networkx(網路結構處理工具庫) 3.1 忍者 1.11.1.1 自然語言工具包 (NLTK) 3.8.1
筆記本 6.5.4 筆記本支架 0.2.2 Numba(Python效能提升函式庫) 0.57.1
numpy(數值計算套件) 1.23.5 oauthlib (OAuth程式庫) 3.2.0 oci 2.125.2
OpenAI公司 1.14.3 opencensus 0.11.4 opencensus-context 0.1.3
opt-einsum 3.3.0 optree 0.11.0 orjson 3.10.0
包裝 23.2 熊貓 1.5.3 pandocfilters (潘多克過濾器) 1.5.0
paramiko 3.4.0 帕爾索 0.8.3 路徑規格 (pathspec) 0.10.3
替罪羊 0.5.3 Petastorm 0.12.1 pexpect (一個用於程序自動化和測試的軟體庫) 4.8.0
菲克 0.12.4 皮克爾共享 (Pickleshare) 0.7.5 枕頭 9.4.0
果仁 23.2.1 platformdirs 3.10.0 plotly(數據可視化工具) 5.9.0
pmdarima 2.0.4 狗狗 1.8.1 portalocker 2.8.2
预分割 3.0.9 prometheus-client 0.14.1 prompt-toolkit(提示工具組) 3.0.36
先知 1.1.5 proto-plus 1.23.0 協議緩衝區 (Protocol Buffers) 4.24.1
psutil 5.9.0 psycopg2 2.9.3 pty進程 0.7.0
pure-eval 0.2.2 py-cpuinfo 8.0.0 py-spy(Python 程式碼分析工具) 0.3.14
pyarrow 14.0.1 pyarrow-Hotfix 0.6 pyasn1 0.4.8
pyasn1-modules 0.2.8 pybind11 2.12.0 派克羅 0.0.52
pycparser(Python 的 C 語法分析器) 2.21 pydantic(Python 數據驗證工具) 1.10.6 Pygments 2.15.1
PyGObject 3.42.1 PyJWT 2.3.0 PyNaCl 1.5.0
pynvml 11.5.0 pyodbc 4.0.38 pyOpenSSL 23.2.0
pyparsing(Python 字符串解析库) 3.0.9 pyrsistent(持續性資料庫的Python函式庫) 0.18.0 pytesseract 0.3.10
python-dateutil 2.8.2 Python 編輯器 1.0.4 python-lsp-jsonrpc 1.1.1
python-snappy(Python 的 Snappy 算法壓縮庫) 0.6.1 pytz(Python 的時區計算函式庫) 2022年7月 PyWavelets 1.4.1
PyYAML 6.0 pyzmq 23.2.0 射線 2.10.0
Regex 2022.7.9 要求 2.31.0 requests-oauthlib 1.3.1
反應 0.13.3 13.7.1 RSA加密算法 4.9
s3transfer 0.10.1 safetensors 0.4.2 scikit-image(影像處理套件) 0.20.0
scikit-learn(機器學習套件) 1.3.0 scipy科學計算庫 1.11.1 海上出生 0.12.2
SecretStorage 3.3.1 Send2Trash 1.8.0 句子轉換器 2.6.1
句子片段 0.1.99 setuptools 68.0.0 沙普 0.44.0
simplejson 3.17.6 1.16.0 交叉分析篩選器 0.0.7
smart-open 5.2.1 smmap 5.0.0 sniffio 1.2.0
音訊檔案 0.12.1 濾湯器 2.4 soxr 0.3.7
空間感十足 3.7.2 spacy-legacy 3.0.12 spacy-loggers 1.0.5
spark-tensorflow-distributor (Spark TensorFlow 分發工具) 1.0.0 SQLAlchemy 1.4.39 sqlparse(資料庫語法解析器) 0.4.2
認真 2.4.8 ssh-import-id(匯入 SSH ID) 5.11 堆疊資料 0.2.0
斯坦尼奧 0.5.0 statsmodels(統計模型) 0.14.0 sympy 1.11.1
困在Unicode裡 0.2.0 韌性 8.2.2 TensorBoard(張量計算板) 2.16.2
TensorBoard資料伺服器 (tensorboard-data-server) 0.7.2 tensorboard_plugin_profile(張量板插件配置文件) 2.15.1 tensorboardX 2.6.2.2
tensorflow-cpu 2.16.1 TensorFlow 估計器 2.15.0 tensorflow-io-gcs-filesystem 0.36.0
termcolor 2.4.0 結束 0.17.1 倪識 8.2.3
線程池控制器 2.2.0 tifffile 2021年7月2日 tiktoken 0.5.2
tinycss2 1.2.1 tokenize-rt 4.2.1 分詞器 0.15.0
火炬 / 手電筒 2.2.2+cpu torcheval 0.0.7 torchvision 視覺工具庫 0.17.2+cpu
龍捲風 6.3.2 tqdm 4.65.0 Traitlets(特性管理模組) 5.7.1
變壓器 4.39.2 typeguard(類型守衛) 2.13.3 打字員 0.9.4
輸入檢查 0.9.0 typing_extensions(打字擴充套件) 4.10.0 tzdata 2022年1月
ujson(超快速 JSON 解析庫) 5.4.0 無人值守升級 0.1 urllib3 1.26.16
virtualenv 20.21.0 願景 0.7.5 wadllib 1.3.6
山葵 1.1.2 wcwidth(字符寬度函數) 0.2.5 黃鼠狼 0.3.4
web編碼 0.5.1 WebSocket 客戶端 0.58.0 Werkzeug 2.2.3
Wheel 0.38.4 widgetsnbextension 4.0.5 文字雲 1.9.3
包裹著 1.14.1 xgboost 2.0.3 xxhash 3.4.1
雅爾 1.8.1 ydata 概況分析 4.5.1 拉鏈 3.11.0

GPU 叢集上的 Python 函式庫

圖書館 版本 圖書館 版本 圖書館 版本
absl-py 1.0.0 加速 0.28.0 aiohttp 3.8.5
aiohttp-cors 0.7.0 aiosignal 1.2.0 anyio 3.5.0
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 阿斯特 0.8.1
asttokens(Python 資源分析與處理庫) 2.0.5 astunparse 1.6.3 非同步逾時 (async-timeout) 4.0.2
屬性 22.1.0 音訊閱讀 (audioread) 3.0.1 Azure 核心功能 (azure-core) 1.30.1
azure-cosmos 4.3.1 azure-identity(Azure 身份驗證服務) 1.16.0 azure-storage-blob (Azure 儲存服務 Blob) 12.19.1
Azure 儲存檔案資料湖 12.14.0 呼叫回應 0.2.0 bcrypt(密碼加密算法) 3.2.0
beautifulsoup4 4.12.2 23.3.0 漂白劑 4.1.0
閃爍器 1.4 極樂 0.7.11 boto3 1.34.39
botocore(AWS的Python程式庫) 1.34.39 Brotli 1.0.9 cachetools(緩存工具) 5.3.3
目錄 2.0.10 類別編碼器 2.6.3 證書 2023.7.22
cffi 1.15.1 chardet 4.0.0 charset-normalizer(字符集正規化器) 2.0.4
斷路器 1.4.0 點擊 8.0.4 cloudpathlib 0.16.0
cloudpickle(Python 程式庫) 2.2.1 cmdstanpy 1.2.2 豐富多彩 0.5.6
通訊 0.1.2 糖果 0.1.4 configparser 5.2.0
「contourpy」 1.0.5 加密 41.0.3 自行車騎士 0.11.0
cymem 2.0.8 Cython 0.29.32 英安岩 1.8.1
databricks-automl-runtime 0.2.21 Databricks 特徵工程 0.4.0 Databricks 開發人員工具集 (SDK) 0.20.0
dataclasses-json 0.6.4 數據集 2.18.0 dbl-tempo 0.1.26
dbus-python 1.2.18 debugpy 1.6.7 裝飾項目 5.1.1
deepspeed 0.14.0 defusedxml(安全解析XML的Python函式庫) 0.7.1 蒔蘿 0.3.6
磁碟緩存 5.6.3 distlib 0.3.8 dm-tree 0.1.8
einops 0.7.0 入口點 0.4 評估 0.4.1
執行 0.8.3 面向概述 1.1.1 Farama-通知 0.0.4
fastjsonschema 2.19.1 fasttext 0.9.2 檔案鎖定 3.9.0
flash-attn 2.5.6 Flask 2.2.5 FlatBuffers 24.3.25
fonttools (字體工具庫) 4.25.0 凍結清單 1.3.3 fsspec 2023.5.0
未來 0.18.3 gast 0.4.0 gitdb (Git分散式版本控制資料庫) 4.0.11
GitPython 3.1.27 google-api-core (Google API 核心庫) 2.18.0 谷歌驗證 2.21.0
google-auth-oauthlib 1.0.0 google-cloud-core 2.4.1 谷歌雲端儲存 2.10.0
google-crc32c 1.5.0 google-pasta 0.2.0 Google可續媒體 2.7.0
googleapis-common-protos 1.63.0 greenlet (綠線程) 2.0.1 grpcio 1.60.0
grpcio-status 1.60.0 gunicorn 20.1.0 gviz-api 1.10.0
體育館 0.28.1 h11 0.14.0 h5py 3.10.0
hjson 3.1.0 假期 0.45 Horovod 0.28.1+db1
htmlmin(HTML最小化工具) 0.1.12 httpcore 1.0.5 httplib2 0.20.2
httpx 0.27.0 HuggingFace-Hub 平台 0.20.2 IDNA 3.4
圖像哈希 (ImageHash) 4.3.1 imageio 2.31.1 不平衡學習 0.11.0
importlib-metadata (匯入庫-元資料) 6.0.0 importlib_resources(Python 資源庫) 6.4.0 ipyflow核心组件 0.0.198
ipykernel 6.25.1 ipython 8.15.0 ipython-genutils(IPython 工具程式庫) 0.2.0
ipywidgets (互動插件) 8.0.4 isodate 0.6.1 itsdangerous(Python庫) 2.0.1
jax-jumpy 1.0.0 絕地武士 0.18.1 吉普尼 0.7.1
Jinja2 3.1.2 jmespath 0.10.0 joblib 1.2.0
joblibspark 0.5.1 jsonpatch 1.33 jsonpointer 2.4
jsonschema 4.17.3 Jupyter伺服器 1.23.4 jupyter 客戶端 7.4.9
Jupyter核心 5.3.0 jupyterlab-pygments 0.1.2 jupyterlab-widgets(JupyterLab 元件) 3.0.5
keras 3.1.1 鑰匙圈 23.5.0 kiwisolver(開源程式庫) 1.4.4
langchain 0.1.13 langchain-community (LangChain社群) 0.0.32 langchain-core 0.1.41
Langchain 文字分割器 0.0.1 語言代碼 3.3.0 langsmith 0.1.45
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
lazy_loader 0.2 libclang 15.0.6.1 librosa 0.10.1
lightgbm 4.3.0 llvmlite 0.40.0 lxml 4.9.2
lz4 4.3.2 Mako 1.2.0 Markdown 3.4.1
markdown-it-py 2.2.0 MarkupSafe 2.1.1 棉花糖 3.21.1
matplotlib 3.7.2 matplotlib-inline 0.1.6 mdurl 0.1.0
米斯圖恩 0.8.4 ml-dtypes 0.3.2 mlflow-skinny 2.11.3
more-itertools 8.10.0 莫塞克ML串流 0.7.4 mpmath(Python數學計算庫) 1.3.0
MSAL(Microsoft身份驗證庫) 1.28.0 msal-extensions 1.1.0 msgpack 1.0.8
multidict 6.0.2 多元方法 1.11.2 多重處理 0.70.14
MurmurHash(穆默爾哈希) 1.0.10 mypy-extensions(MyPy 擴充套件) 0.4.3 namex 0.0.7
nbclassic 0.5.5 「nbclient」 0.5.13 nbconvert(文件轉換工具) 6.5.4
nbformat 5.7.0 nest-asyncio 1.5.6 networkx(網路結構處理工具庫) 3.1
忍者 1.11.1.1 自然語言工具包 (NLTK) 3.8.1 筆記本 6.5.4
筆記本支架 0.2.2 Numba(Python效能提升函式庫) 0.57.1 numpy(數值計算套件) 1.23.5
nvidia-cublas-cu12 12.1.3.1 nvidia-cuda-cupti-cu12(NVIDIA CUDA 工具包的 CUPTI 庫,版本 cu12) 12.1.105 nvidia-cuda-nvrtc-cu12 12.1.105
nvidia-cuda-runtime-cu12 12.1.105 nvidia-cudnn-cu12 8.9.2.26 nvidia-cufft-cu12 11.0.2.54
nvidia-curand-cu12 10.3.2.106 nvidia-cusolver-cu12 11.4.5.107 nvidia-cusparse-cu12 12.1.0.106
nvidia-nccl-cu12 2.19.3 nvidia-nvjitlink-cu12 12.4.127 nvidia-nvtx-cu12 12.1.105
oauthlib (OAuth程式庫) 3.2.0 oci 2.125.2 OpenAI公司 1.14.3
opencensus 0.11.4 opencensus-context 0.1.3 opt-einsum 3.3.0
optree 0.11.0 orjson 3.10.0 包裝 23.2
熊貓 1.5.3 pandocfilters (潘多克過濾器) 1.5.0 paramiko 3.4.0
帕爾索 0.8.3 路徑規格 (pathspec) 0.10.3 替罪羊 0.5.3
Petastorm 0.12.1 pexpect (一個用於程序自動化和測試的軟體庫) 4.8.0 菲克 0.12.4
皮克爾共享 (Pickleshare) 0.7.5 枕頭 9.4.0 果仁 23.2.1
platformdirs 3.10.0 plotly(數據可視化工具) 5.9.0 pmdarima 2.0.4
狗狗 1.8.1 portalocker 2.8.2 预分割 3.0.9
prometheus-client 0.14.1 prompt-toolkit(提示工具組) 3.0.36 先知 1.1.5
proto-plus 1.23.0 協議緩衝區 (Protocol Buffers) 4.24.1 psutil 5.9.0
psycopg2 2.9.3 pty進程 0.7.0 pure-eval 0.2.2
py-cpuinfo 8.0.0 py-spy(Python 程式碼分析工具) 0.3.14 pyarrow 14.0.1
pyarrow-Hotfix 0.6 pyasn1 0.4.8 pyasn1-modules 0.2.8
pybind11 2.12.0 派克羅 0.0.52 pycparser(Python 的 C 語法分析器) 2.21
pydantic(Python 數據驗證工具) 1.10.6 Pygments 2.15.1 PyGObject 3.42.1
PyJWT 2.3.0 PyNaCl 1.5.0 pynvml 11.5.0
pyodbc 4.0.38 pyOpenSSL 23.2.0 pyparsing(Python 字符串解析库) 3.0.9
pyrsistent(持續性資料庫的Python函式庫) 0.18.0 pytesseract 0.3.10 python-dateutil 2.8.2
Python 編輯器 1.0.4 python-lsp-jsonrpc 1.1.1 python-snappy(Python 的 Snappy 算法壓縮庫) 0.6.1
pytz(Python 的時區計算函式庫) 2022年7月 PyWavelets 1.4.1 PyYAML 6.0
pyzmq 23.2.0 射線 2.10.0 Regex 2022.7.9
要求 2.31.0 requests-oauthlib 1.3.1 反應 0.13.3
13.7.1 RSA加密算法 4.9 s3transfer 0.10.1
safetensors 0.4.2 scikit-image(影像處理套件) 0.20.0 scikit-learn(機器學習套件) 1.3.0
scipy科學計算庫 1.11.1 海上出生 0.12.2 SecretStorage 3.3.1
Send2Trash 1.8.0 句子轉換器 2.6.1 句子片段 0.1.99
setuptools 68.0.0 沙普 0.44.0 simplejson 3.17.6
1.16.0 交叉分析篩選器 0.0.7 smart-open 5.2.1
smmap 5.0.0 sniffio 1.2.0 音訊檔案 0.12.1
濾湯器 2.4 soxr 0.3.7 空間感十足 3.7.2
spacy-legacy 3.0.12 spacy-loggers 1.0.5 spark-tensorflow-distributor (Spark TensorFlow 分發工具) 1.0.0
SQLAlchemy 1.4.39 sqlparse(資料庫語法解析器) 0.4.2 認真 2.4.8
ssh-import-id(匯入 SSH ID) 5.11 堆疊資料 0.2.0 斯坦尼奧 0.5.0
statsmodels(統計模型) 0.14.0 sympy 1.11.1 困在Unicode裡 0.2.0
韌性 8.2.2 TensorBoard(張量計算板) 2.16.2 TensorBoard資料伺服器 (tensorboard-data-server) 0.7.2
tensorboard_plugin_profile(張量板插件配置文件) 2.15.1 tensorboardX 2.6.2.2 TensorFlow 機器學習庫 2.16.1
TensorFlow 估計器 2.15.0 tensorflow-io-gcs-filesystem 0.36.0 termcolor 2.4.0
結束 0.17.1 倪識 8.2.3 線程池控制器 2.2.0
tifffile 2021年7月2日 tiktoken 0.5.2 tinycss2 1.2.1
tokenize-rt 4.2.1 分詞器 0.15.0 火炬 / 手電筒 2.2.2+cu121
torcheval 0.0.7 torchvision 視覺工具庫 0.17.2+cu121 龍捲風 6.3.2
tqdm 4.65.0 Traitlets(特性管理模組) 5.7.1 變壓器 4.39.2
氚核 2.2.0 typeguard(類型守衛) 2.13.3 打字員 0.9.4
輸入檢查 0.9.0 typing_extensions(打字擴充套件) 4.10.0 tzdata 2022年1月
ujson(超快速 JSON 解析庫) 5.4.0 無人值守升級 0.1 urllib3 1.26.16
virtualenv 20.21.0 願景 0.7.5 wadllib 1.3.6
山葵 1.1.2 wcwidth(字符寬度函數) 0.2.5 黃鼠狼 0.3.4
web編碼 0.5.1 WebSocket 客戶端 0.58.0 Werkzeug 2.2.3
Wheel 0.38.4 widgetsnbextension 4.0.5 文字雲 1.9.3
包裹著 1.14.1 xgboost 2.0.3 xxhash 3.4.1
雅爾 1.8.1 ydata 概況分析 4.5.1 拉鏈 3.11.0
zstd 1.5.5.1

R 函式庫

R 連結庫與 Databricks Runtime 15.2 中 R 連結庫 相同。

Java 和 Scala 函式庫(Scala 2.12 集群)

除了 Databricks Runtime 15.2 中的 Java 和 Scala 連結庫之外,Databricks Runtime 15.2 ML 還包含下列 JAR:

CPU 叢集

群組標識碼 工件識別碼 版本
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-spark_2.12 1.7.3
ml.dmlc xgboost4j_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.3-db1-spark3.5
org.mlflow mlflow-client 2.11.1
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 連接器 1.15.0

GPU 叢集

群組標識碼 工件識別碼 版本
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-gpu_2.12 1.7.3
ml.dmlc xgboost4j-spark-gpu_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.3-db1-spark3.5
org.mlflow mlflow-client 2.11.1
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 連接器 1.15.0