無伺服器 GPU 環境版本 6（預覽版）

Important

這項功能目前處於 公開預覽版。

本頁概述了無伺服器 GPU 環境第 6 版的系統環境資訊。 此計算服務屬於 AI 執行時（AI Runtime）的一部分，專為現代 AI 與深度學習工作負載設計。

無伺服器 GPU 環境 6 是以無伺服器環境 6（CPU）為基礎建置而成。 看看 無伺服器環境6（CPU）有哪些新動態。 它包含以下環境：

  • 標準環境：一個擁有穩定客戶端 API 的最小化環境。
  • Databricks AI 環境：一個包含常見執行時套件及專門針對 GPU 機器學習套件的環境。

為了確保應用程式的相容性，無伺服器 GPU 工作負載使用版本化 API，稱為環境版本，該 API 與較新的伺服器版本保持相容。

你可以在無伺服器筆記本的 環境 側面板中選擇包含此環境版本的基礎環境。 請參見 「連接到筆記本」。

新功能和改善

在第 6 版中，CUDA 函式庫升級至 NVIDIA CUDA 13，相關相依性也升級以匹配，包括 MLflow 與 Serverless GPU Python API。 Databricks AI 環境中的常用機器學習與 AI 函式庫已更新以相容新版 CUDA 版本，並新增數個新興的函式庫。

CUDA 13 與 PyTorch 2.11

Databricks AI 環境

版本 6 將 Databricks AI 環境升級為 NVIDIA CUDA 13 工具包與執行時堆疊。 PyTorch 已更新至 torch 2.11.0（為 CUDA 13.0 建置，+cu130），並採用 torchvision 0.26.0；隨附的 NVIDIA 函式庫（cuBLAS、cuDNN、NCCL、cuFFT、cuSPARSE 及相關執行階段元件）也已升級為其 CUDA 13 組建版本。

已更新的深度學習與大型語言模型函式庫

Databricks AI 環境

Databricks AI 環境中升級了關鍵的機器學習函式庫，包括：

  • transformers 5.8.1
  • vllm 0.24.0
  • ray 2.56.0
  • langchain 1.3.11
  • sentence-transformers 5.5.1
  • openai 2.37.0
  • scikit-learn 1.7.2
  • scipy 1.16.3
  • trl 0.24.0

無伺服器 GPU Python API

此環境中包含無伺服器 GPU Python API0.5.25。 關於環境版本 6 之前的 Serverless GPU Python API 變更，請參閱版本 5 的釋出說明。

2026 年 9 月 14 日

Serverless GPU Python API 已升級至 0.5.25

Serverless GPU Python API 0.5.25 包含以下 API 更新：

  • 新功能：
    • 使用 @distributed 和 @ray_launch 的本機執行現在會在套用裝飾器時記錄實際生效的 wall-clock timeout（預設為 3 小時上限），因此一開始就能看見這個限制。 按一下 timeout=<seconds> 以變更，或按一下 timeout=None 以停用。

新增至 Databricks AI 環境的套件

以下重要套件在 Databricks AI 6 版中被加入：

  • langgraph 1.2.8（包含 langgraph-checkpoint、langgraph-prebuilt 和 langgraph-sdk）
  • langchain-classic 1.0.8
  • lightning 2.5.5
  • polars 1.42.1
  • ultralytics 8.4.90
  • flash_attn_3 3.0.0 與 flash-attn-4 4.0.0b18
  • flashinfer-cubin 0.6.12
  • liger_kernel 0.8.1
  • fastsafetensors 0.3.2
  • tilelang 0.1.9
  • xgboost-cu13 3.2.0（CUDA 13 建置版本，取代 xgboost）
  • tabfm 1.0.1

此外，CUDA 13 工具包與執行時函式庫（例如 cuda-toolkit 13.0.2、 nvidia-cudnn-cu13、 、 nvidia-nccl-cu13及相關 nvidia-* 套件）也隨 CUDA 13 升級而加入。

從 Databricks AI 環境中移除的套件

以下幾個重要套件已在 Databricks AI 6 版本中移除：

  • unsloth （以及 unsloth_zoo）
  • xformers
  • diffusers
  • bitsandbytes
  • torchao
  • litellm
  • langchain-openai
  • cupy-cuda12x
  • mosaicml-streaming
  • gguf
  • seaborn
  • xgboost （替換為 xgboost-cu13）以及 xgboost-ray

CUDA 12 的執行時函式庫（套件 nvidia-*-cu12 ）在 CUDA 13 升級中被移除。 JupyterLab 與筆記本開發堆疊（例如，nbformat、python-lsp-server、python-lsp-jsonrpc、yapf、rope）以及 Python LSP 開發工具（nbclient、nbconvert、notebook、jupyterlab）也不再隨附於 Databricks AI 環境中。

未包含於基礎環境的套件

以下套件未包含在基礎環境中，但仍可在 Databricks AI 環境中提供：

  • flash_attn
  • torch
  • torchvision
  • scikit-learn
  • scipy

根據客戶回饋中提出希望能控制 PyTorch 版本的需求，在第 6 版的基礎環境中不包含 torch。 這樣你就能安裝最適合你工作負載的版本。 若要使用經 Databricks 測試過的版本，請在筆記本儲存格中執行%pip install torch==2.11.0，或透過環境側面板的相依性區域來安裝torch==2.11.0。

系統環境

  • 作業系統：Ubuntu 24.04 LTS
  • Python： 3.12.3
  • Databricks Connect：19.0.0
  • NVIDIA CUDA 工具包：13.0

已安裝的 Python 程式庫

標準環境

若要在本地Python虛擬環境中重現無伺服器 GPU 環境 6，請下載 requirements-env-gpu-6.txt 檔案並執行 pip install -r requirements-env-gpu-6.txt。 此指令可安裝無伺服器環境 6 中的所有函式庫。

Library 版本 Library 版本 Library 版本
註解文檔 0.0.4 annotated-types 0.7.0 anyio 4.10.0
arro3-core 0.8.0 asttokens 3.0.0 astunparse 1.6.3
azure-core 1.41.0 azure-identity 1.25.3 azure-mgmt-core 1.6.0
azure-mgmt-web 10.1.0 azure-storage-blob 12.29.0 azure-storage-file-datalake 12.24.0
black 25.9.0 blinker 1.7.0 boto3 1.40.46
botocore 1.40.46 cachetools 5.5.1 certifi 2025.11.12
cffi 2.0.0 charset-normalizer 3.4.4 click 8.2.1
cloudpickle 3.1.1 comm 0.2.3 contourpy 1.3.3
加密 46.0.3 cycler 0.11.0 Databricks-代理程式 1.11.0
databricks-connect 19.0.0 databricks-sdk 0.122.0 databricks.serverless_gpu 0.5.25
dataclasses-json 0.6.7 dbus-python 1.3.2 debugpy 1.8.16
裝飾項目 5.2.1 Delta Lake 1.5.1 已被棄用 1.3.1
distlib 0.4.0 executing 2.2.1 fastapi 0.136.3
filelock 3.29.0 fonttools 4.60.1 fsspec 2025.9.0
future 1.0.0 gitdb 4.0.11 GitPython 3.1.45
google-api-core 2.30.3 google-auth 2.53.0 google-cloud-core 2.6.0
google-cloud-storage 3.10.1 google-crc32c 1.8.0 google-resumable-media 2.9.0
googleapis-common-protos 1.71.0 grpcio 1.76.0 grpcio-status 1.76.0
h11 0.16.0 httplib2 0.20.4 idna 3.11
importlib_metadata 8.7.0 iniconfig 2.1.0 ipyflow-core 0.0.227
ipykernel 6.31.0 ipython 9.7.0 ipython_pygments_lexers 1.1.1
ipywidgets 8.1.7 isodate 0.7.2 jedi 0.19.2
Jinja2 3.1.6 jmespath 1.0.1 joblib 1.5.2
jupyter_client 8.6.3 jupyter_core 5.8.1 jupyterlab_widgets 3.0.15
kiwisolver 1.4.8 launchpadlib 1.11.0 lazr.restfulclient 0.14.6
lazr.uri 1.0.6 markdown-it-py 2.2.0 MarkupSafe 3.0.2
棉花糖 3.26.2 matplotlib 3.10.6 matplotlib-inline 0.2.1
mccabe 0.7.0 mdurl 0.1.2 mlflow-skinny 3.12.0
mmh3 5.2.1 msal 1.36.0 msal-extensions 1.3.1
msrest 0.7.1 mypy-extensions 1.0.0 nest-asyncio 1.6.0
nodeenv 1.10.0 numpy 2.3.4 nvidia-ml-py 13.590.44
oauthlib 3.2.2 opencv_python_headless 5.0.0.93 opentelemetry-api 1.42.1
opentelemetry-proto 1.42.1 opentelemetry-sdk 1.42.1 opentelemetry-semantic-conventions 0.63b1
packaging 25.0 pandas 2.3.3 參數-列車-通訊 0.0.0
parso 0.8.5 pathspec 0.12.1 pexpect 4.9.0
pillow 12.0.0 管道 25.3 platformdirs 4.5.0
pluggy 1.5.0 prompt_toolkit 3.0.52 proto-plus 1.28.0
protobuf 6.33.5 psutil 7.0.0 ptyprocess 0.7.0
純評估 0.2.3 py4j 0.10.9.9 pyarrow 21.0.0
pyasn1 0.6.1 pyasn1_modules 0.4.2 pyccolo 0.0.83
pycparser 2.23 pydantic 2.13.3 pydantic_core 2.46.3
pydot 4.0.0 pyflakes 3.2.0 Pygments 2.19.2
PyGObject 3.48.2 pyiceberg 0.11.1 PyJWT 2.10.1
pyparsing 3.2.5 pyright 1.1.409 火燒 1.1.0
pyspark 4.3.0.dev0+databricks.connect.19.0.0 pytest 8.4.2 python-dateutil 2.9.0.post0
python-dotenv 1.2.2 pytokens 0.2.0 pytz 2025.2
PyYAML 6.0.3 pyzmq 27.1.0 Regex 2025.9.1
requests 2.32.5 requests-oauthlib 2.0.0 rich 14.2.0
s3transfer 0.14.0 setuptools 80.9.0 six 1.17.0
smmap 5.0.0 sniffio 1.3.0 sqlparse 0.5.5
ssh-import-id 5.11 stack-data 0.6.3 starlette 0.52.1
strictyaml 1.7.3 tenacity 9.1.2 threadpoolctl 3.5.0
tiktoken 0.13.0 tokenize_rt 6.2.0 tomli 2.0.1
tornado 6.5.1 tqdm 4.67.1 Traitlets 5.14.3
打字檢查 0.9.0 打字檢查 0.4.2 typing_extensions 4.15.0
tzdata 2026.2 unattended-upgrades 0.1 urllib3 2.5.0
uvicorn 0.48.0 virtualenv 20.35.4 wadllib 1.3.6
wcwidth 0.2.13 Wheel 0.45.1 不論何時 0.7.3
widgetsnbextension 4.0.14 wrapt 1.17.0 zipp 3.23.0
zstandard 0.25.0

AI 環境

AI 環境包含標準環境的所有套件，以及以下套件。 此環境包含 PyTorch 及完整的機器學習函式庫：

  • torch 2.11.0
  • torchvision 0.26.0
  • flash_attn 2.8.3
  • catboost 1.2.10
  • langchain 1.3.11
  • langgraph 1.2.8
  • lightgbm 4.6.0
  • lightning 2.5.5
  • openai 2.37.0
  • optuna 4.5.0
  • polars 1.42.1
  • pytorch-lightning 2.5.4
  • ray 2.56.0
  • scikit-learn 1.7.2
  • scipy 1.16.3
  • sentence-transformers 5.5.1
  • transformers 5.8.1
  • trl 0.24.0
  • ultralytics 8.4.90
  • vllm 0.24.0
  • xgboost-cu13 3.2.0

若要在本地Python虛擬環境中重現 AI 環境 V6，請下載 requirements-ai-gpu-6.txt 檔案並執行pip install -r requirements-ai-gpu-6.txt。 這個指令會安裝 AI 環境中的所有函式庫。

Library 版本 Library 版本 Library 版本
absl-py 2.4.0 加速 1.13.0 aiohappyeyeballs 2.6.1
aiohttp 3.13.5 aiohttp-cors 0.8.1 aiosignal 1.4.0
alembic 1.18.5 註解文檔 0.0.4 annotated-types 0.7.0
人為 0.116.0 antlr4-python3-runtime 4.9.3 anyio 4.10.0
阿帕契-TVM-FFI 0.1.9 arro3-core 0.8.0 阿斯托 0.8.1
asttokens 3.0.0 astunparse 1.6.3 attrs 25.4.0
音訊閱讀 (audioread) 3.1.0 azure-core 1.41.0 azure-identity 1.25.3
azure-mgmt-core 1.6.0 azure-mgmt-web 10.1.0 azure-storage-blob 12.29.0
azure-storage-file-datalake 12.24.0 black 25.9.0 布雷克3 1.0.9
blinker 1.7.0 boto3 1.40.46 botocore 1.40.46
cachetools 5.5.1 CatBoost 1.2.10 cbor2 6.1.3
certifi 2025.11.12 cffi 2.0.0 charset-normalizer 3.4.4
click 8.4.2 cloudpickle 3.1.1 色彩繽紛 0.5.8
colorlog 6.10.1 comm 0.2.3 壓縮張量 0.17.0
contourpy 1.3.3 加密 44.0.1 CUDA 綁定 13.3.1
Cuda-核心 1.0.1 庫達探路者 1.5.6 Cuda-Python 13.3.1
cuda-tile 1.3.0 CUDA 工具包 13.0.2 cycler 0.11.0
Databricks-代理程式 1.11.0 databricks-sdk 0.122.0 dataclasses-json 0.6.7
datasets 4.8.5 dbus-python 1.3.2 debugpy 1.8.16
裝飾項目 5.2.1 Delta Lake 1.5.1 已被棄用 1.3.1
Depyf 0.20.0 偵測安裝器 0.1.0 dill 0.4.0
磁碟緩存 5.6.3 distlib 0.4.0 dm-tree 0.1.10
dnspython 2.8.0 docstring_parser 0.18.0 einops 0.8.2
電子郵件驗證器 2.3.0 evaluate 0.4.6 executing 2.2.1
Farama-通知 0.0.6 fastapi 0.136.3 FastAPI-CLI 0.0.28
FastAPI-Cloud-CLI 0.22.1 法斯塔爾 0.11.0 fastsafetensors 0.3.2
filelock 3.29.0 flash-attn-4 4.0.0b18 flash_attn 2.8.3
flash_attn_3 3.0.0 flashinfer-cubin 0.6.12 FlashInfer-Python 0.6.12
fonttools 4.60.1 frozenlist 1.8.0 fsspec 2025.9.0
future 1.0.0 gitdb 4.0.11 GitPython 3.1.45
google-api-core 2.30.3 google-auth 2.53.0 google-cloud-core 2.6.0
google-cloud-storage 3.10.1 google-crc32c 1.8.0 google-resumable-media 2.9.0
googleapis-common-protos 1.71.0 Graphviz 0.21 greenlet (綠線程) 3.2.4
grpcio 1.76.0 grpcio-status 1.76.0 健身房 1.2.2
h11 0.16.0 HF-XET 1.5.1 hf_transfer 0.1.9
httpcore 1.0.9 httplib2 0.20.4 httptools 0.8.0
httpx 0.28.1 httpx-sse 0.4.3 huggingface_hub 1.22.0
嗡鳴核心 0.1.6 idna 3.11 ijson 3.5.1
importlib_metadata 8.7.0 iniconfig 2.1.0 內規 (If "interegular" refers to some internal standard or regulatory concept in a given technical context) 0.3.3
ipyflow-core 0.0.227 ipykernel 6.31.0 ipython 9.7.0
ipython_pygments_lexers 1.1.1 ipywidgets 8.1.7 isodate 0.7.2
jedi 0.19.2 Jinja2 3.1.6 抖動 0.16.0
jmespath 1.0.1 joblib 1.5.2 jsonpatch 1.33
jsonpointer 3.1.1 jsonschema 4.25.0 jsonschema-specifications 2025.9.1
jupyter_client 8.6.3 jupyter_core 5.8.1 jupyterlab_widgets 3.0.15
kiwisolver 1.4.8 langchain 1.3.11 langchain-classic 1.0.8
langchain-community (LangChain社群) 0.4.2 langchain-core 1.4.7 langchain-protocol 0.0.18
Langchain 文字分割器 1.1.2 langgraph 1.2.8 langgraph-checkpoint 4.1.1
Langgraph 預先建構 1.1.0 langgraph-sdk 0.4.2 蘭史密斯 0.9.3
百靈鳥 1.2.2 launchpadlib 1.11.0 lazr.restfulclient 0.14.6
lazr.uri 1.0.6 lazy_loader 0.4 librosa 0.11.0
liger_kernel 0.8.1 lightgbm 4.6.0 閃電 2.5.5
閃電工具 0.15.3 指引 1.7.6 llvmlite 0.47.0
語言模型格式強制器 0.11.3 洛古魯 0.7.3 lz4 4.4.5
馬科 1.3.12 markdown-it-py 2.2.0 MarkupSafe 3.0.2
棉花糖 3.26.2 matplotlib 3.10.6 matplotlib-inline 0.2.1
mccabe 0.7.0 MCP 1.28.1 mdurl 0.1.2
mistral_common 1.11.5 ml_dtypes 0.5.4 mlflow-skinny 3.13.0
mmh3 5.2.1 模型-主機容器-標準 0.1.16 mpmath（Python數學計算庫） 1.3.0
msal 1.36.0 msal-extensions 1.3.1 msgpack 1.2.1
msgspec 0.21.1 msrest 0.7.1 multidict 6.7.0
多流程 0.70.16 mypy-extensions 1.0.0 獨角鯨 2.7.0
nest-asyncio 1.6.0 networkx（網路結構處理工具庫） 3.5 忍者 1.13.0
nodeenv 1.10.0 Numba（Python效能提升函式庫） 0.65.0 numpy 2.3.4
Nvidia-Cubl 13.1.0.3 NVIDIA-CUDA-CCCL 13.3.3.4.1 NVIDIA-CUDA-CRT 13.3.73
Nvidia-Cuda-Cupti 13.0.85 NVIDIA-CUDA-NVCC 13.2.78 NVIDIA-CUDA-NVRTC 13.0.88
nvidia-cuda-runtime 13.0.96 nvidia-cuda-tileiras 13.2.78 nvidia-cudnn-cu13 9.19.0.56
NVIDIA-cudnn-frontend 1.25.0 nvidia-cufft 12.0.0.61 Nvidia-CUFILE 1.15.1.6
nvidia-curand 10.4.0.35 Nvidia-Cusolver 12.0.4.66 Nvidia-Cusparse 12.6.3.3
nvidia-cusparselt-cu13 0.8.0 Nvidia-Cutlass-DSL 4.5.2 NVIDIA-CUTLASS-DSL-LIBS-BASE 4.5.2
NVIDIA-CUTLASS-DSL-LIBS-CU13 4.5.2 nvidia-ml-py 13.590.44 nvidia-nccl-cu13 2.28.9
Nvidia-NVJITLINK 13.0.88 NVIDIA-NVSHMEM-CU13 3.4.5 Nvidia-NVTX 13.0.85
NVIDIA-NVVM 13.2.78 oauthlib 3.2.2 omegaconf 2.3.1
OpenAI公司 2.37.0 OpenAI-和諧 0.0.8 opencensus 0.11.4
opencensus-context 0.1.3 opencv-python 5.0.0.93 opencv_python_headless 5.0.0.93
opentelemetry-api 1.42.1 OpenTelemetry-exporter-otlp 1.42.1 Opentelemetry-exporter-otlp-proto-common 1.42.1
OpenTelemetry-exporter-OTLP-Proto-GRPC 1.42.1 opentelemetry-exporter-otlp-proto-http 1.42.1 opentelemetry-exporter-prometheus 0.63b1
opentelemetry-proto 1.42.1 opentelemetry-sdk 1.42.1 opentelemetry-semantic-conventions 0.63b1
Opentelemetry-semantic-conventions-AI 0.5.1 奧圖納 4.5.0 Optuna 整合工具 4.5.0
orjson 3.11.9 ormsgpack 1.12.2 outlines_core 0.2.14
packaging 25.0 pandas 2.3.3 parso 0.8.5
部分JSON解析器 0.2.1.1.post7 pathspec 0.12.1 patsy 1.0.1
佩夫特 0.19.1 pexpect 4.9.0 pillow 12.0.0
管道 25.0.1 platformdirs 4.5.0 plotly 6.8.0
pluggy 1.5.0 極地 1.42.1 polars-runtime-32 1.42.1
狗狗 1.9.0 Prometheus-FastAPI-instrumentator 8.0.2 prometheus_client 0.21.1
prompt_toolkit 3.0.52 propcache 0.3.1 proto-plus 1.28.0
protobuf 6.33.5 psutil 7.0.0 ptyprocess 0.7.0
純評估 0.2.3 py-cpuinfo 9.0.0 py-spy（Python 程式碼分析工具） 0.4.2
pyarrow 21.0.0 pyasn1 0.6.1 pyasn1_modules 0.4.2
pybase64 1.4.3 pyccolo 0.0.83 pycountry 26.2.16
pycparser 2.23 pydantic 2.13.3 擬態-額外類型 2.11.1
pydantic-設定 2.14.2 pydantic_core 2.46.3 pydot 4.0.0
pyelftools 0.33 pyflakes 3.2.0 Pygments 2.19.2
PyGObject 3.48.2 pyiceberg 0.11.1 PyJWT 2.10.1
pynndescent 0.6.0 pynvml 8.0.1 pyparsing 3.2.5
pyright 1.1.409 火燒 1.1.0 pytesseract 0.3.13
pytest 8.4.2 python-dateutil 2.9.0.post0 python-dotenv 1.2.2
python-json-logger 3.2.1 Python 多部分 0.0.32 pytokens 0.2.0
pytorch-閃電 2.5.4 PyTorch Ranger 0.1.1 pytz 2025.2
PyYAML 6.0.3 pyzmq 27.1.0 quack-kernel 0.5.0
射線 2.56.0 referencing 0.37.0 Regex 2025.10.22
requests 2.32.5 requests-oauthlib 2.0.0 請求工具帶 1.0.0
rich 14.2.0 豐富工具包 0.20.1 rignore 0.7.6
rpds-py 0.28.0 s3transfer 0.14.0 safetensors 0.8.0
scikit-learn 1.7.2 scipy 1.16.3 句子轉換器 5.5.1
句子片段 0.2.1 Sentry-SDK 2.64.0 setproctitle 1.3.7
setuptools 80.9.0 沙普 0.51.0 謝林厄姆 1.5.4
six 1.17.0 交叉分析篩選器 0.0.8 智能開啟 8.0.0
smmap 5.0.0 sniffio 1.3.0 音效檔 0.13.1
soxr 1.1.0 SQLAlchemy 2.0.43 sqlparse 0.5.5
sse-starlette 3.4.5 ssh-import-id 5.11 stack-data 0.6.3
starlette 1.3.1 statsmodels 0.14.5 strictyaml 1.7.3
主管 4.3.0 SymPy 1.14.0 整理成表格 0.9.0
tenacity 9.1.2 tensorboardX 2.6.5 threadpoolctl 3.5.0
tiktoken 0.13.0 tilelang 0.1.9 tokenize_rt 6.2.0
分詞器 (tokenizers) 0.22.1 tokenspeed-mla 0.1.2 tokenspeed-triton 3.7.10.post20260531
tomli 2.0.1 手電筒 2.11.0+cu130 火炬優化器 0.3.0
torch_c_dlpack_ext 0.1.5 torchaudio 2.11.0+cu130 torchmetrics 1.9.0
torchvision 視覺工具庫 0.26.0+cu130 tornado 6.5.1 tqdm 4.67.1
Traitlets 5.14.3 變壓器 5.8.1 氚子 3.6.0
TLL 0.24.0 typer（命令行應用構建工具） 0.26.8 打字檢查 0.9.0
打字檢查 0.4.2 typing_extensions 4.15.0 tzdata 2026.2
超解 8.4.90 ultralytics-thop 2.0.20 UMAP-學習 0.5.12
unattended-upgrades 0.1 urllib3 2.5.0 uuid_utils 0.16.2
uvicorn 0.48.0 uvloop 0.22.1 virtualenv 20.35.4
vllm 0.24.0 wadllib 1.3.6 watchFiles 1.2.0
wcwidth 0.2.13 websockets 15.0.1 Wheel 0.45.1
不論何時 0.7.3 widgetsnbextension 4.0.14 wrapt 1.17.0
XGBOOST-CU13 3.2.0 xgrammar 0.2.3 xxhash 3.5.0
雅爾 1.22.0 Z3-求解器 4.15.4.0 zipp 3.23.0
zstandard 0.25.0
  • Last updated on