Databricks Runtime 19 pro Machine Learning (beta verze)

Následující poznámky k verzi obsahují informace o Databricks Runtime 19 ML.

Azure Databricks tuto verzi vydali v červnu 2026.

Important

Databricks Runtime 19 je v beta verzi. Obsah podporovaných prostředí se může během beta verze změnit. Změny můžou zahrnovat seznam balíčků nebo verzí nainstalovaných balíčků.

Databricks Runtime 19 ML je postaven na Databricks Runtime 19. Informace o novinkách v Databricks Runtime 19, včetně Apache Spark MLlib a SparkR, najdete v poznámkách k verzi Databricks Runtime 19 (Beta ).

Změny chování

  • Odebrané balíčky Pythonu: Ve srovnání s Databricks Runtime 18 ML je v Databricks Runtime 19 ML odebráno přibližně 40 balíčků ML runtime navíc k balíčkům odebraným z Databricks Runtime 19. Sada TensorFlow/Keras (tensorflow, keras, tf_keras) je odstraněna. Úlohy, které závisí na těchto balíčcích, je musí nainstalovat explicitně pomocí knihovny clusteru nebo inicializačního skriptu. Úplný seznam balíčků zahrnutých v Databricks Runtime 19 ML najdete v Python knihovnách.

Nové funkce a vylepšení

Mezi aktualizace knihovny patří:

  • Aktualizace CUDA na verzi 13.0
  • flash_attn 2.8.3
  • langchain 1.3.1
  • mlflow-skinny 3.12.0
  • openai 2.37.0
  • torch 2.12.0
  • torchvision 0.27.0
  • transformátory 4.57.6
  • triton 3.7.0
  • xgboost 3.2.0

Systémové prostředí

Systémové prostředí v Databricks Runtime 19 ML se liší od Databricks Runtime 19 následujícím způsobem.

  • Pro clustery GPU zahrnuje Databricks Runtime ML následující knihovny NVIDIA GPU:
    • CUDA 13.0
    • cublas 13.1.1.3-1
    • cusolver 12.0.4.66
    • cupti 13.0.85
    • cusparse 12.6.3.3
    • cuDNN 9.23.0.39
    • NCCL 2.28.3

Libraries

Následující části obsahují seznam knihoven zahrnutých v Databricks Runtime 19 ML, které se liší od knihoven zahrnutých v Databricks Runtime 19.

Knihovny nejvyšší úrovně

Databricks Runtime 19 ML obsahuje následující špičkové knihovny:

Knihovny Pythonu

Databricks Runtime 19 ML používá virtualenv ke správě balíčků Python a obsahuje mnoho oblíbených balíčků ML.

Chcete-li ve vašem místním virtuálním prostředí Pythonu replikovat prostředí Pythonu Databricks Runtime ML, stáhněte si soubor requirements-cpu-19.txt pro clustery CPU nebo requirements-gpu-19.txt pro clustery GPU. Pak spusťte pip install -r requirements-<cpu|gpu>-19.txt. Tento příkaz nainstaluje všechny knihovny open source, které databricks Runtime ML používá, ale neinstaluje knihovny vyvinuté službou Databricks.

Knihovny Pythonu v clusterech procesorů

Library Version Library Version Library Version
absl-py 2.3.1 zrychlit 1.13.0 aiohappyeyeballs 2.6.1
aiohttp 3.13.2 aiohttp-cors 0.8.1 aiosignal 1.4.0
alembik 1.18.4 annotated-doc 0.0.4 annotated-types 0.7.0
anyio 4.10.0 arro3-core 0.8.0 asttokens 3.0.0
astunparse 1.6.3 attrs 25.4.0 zvukové čtení 3.1.0
autocommand 2.2.2 azure-core 1.41.0 azure-cosmos 4.3.1
azure-identity 1.25.3 azure-mgmt-core 1.6.0 azure-mgmt-web 10.1.0
azure-storage-blob 12.29.0 azure-storage-file-datalake 12.24.0 backports.tarfile 1.2.0
black 25.9.0 blinker 1.7.0 blaženost 1.3.3
boto3 1.40.46 botocore 1.40.46 cachetools 5.5.1
katalog 2.0.10 certifi 2025.11.12 cffi 2.0.0
charset-normalizer 3.4.4 click 8.2.1 cloudpathlib 0.24.0
cloudpickle 3.1.1 cmdstanpy 1.3.0 barevný 0.5.8
colorlog 6.10.1 comm 0.2.3 cukroví 1.3.3
contourpy 1.3.3 kryptografie 46.0.3 cycler 0.11.0
cymem 2.0.13 Agenti Databricks 1.10.2 databricks - inženýrství funkcí 0.13.0.1
databricks-sdk 0.108.0 dataclasses-json 0.6.7 datasets 4.8.5
dbl-tempo 0.1.26 dbus-python 1.3.2 debugpy 1.8.16
dekoratér 5.2.1 deepspeed 0.19.0 deltalake 1.5.1
Deprecated 1.3.1 dill 0.4.0 distlib 0.4.0
dm-tree 0.1.10 einops 0.8.2 evaluate 0.4.6
executing 2.2.1 Farama-Notifikace 0.0.6 fastapi 0.136.1
filelock 3.20.0 Flask 2.2.5 fonttools 4.60.1
frozenlist 1.8.0 fsspec 2023.5.0 gitdb 4.0.11
GitPython 3.1.45 google-api-core 2.30.3 google-auth 2.53.0
google-cloud-core 2.6.0 google-cloud-storage 3.10.1 google-crc32c 1.8.0
google-resumable-media 2.9.0 googleapis-common-protos 1.71.0 graphql-core 3.2.4
greenlet 3.2.4 grpcio 1.76.0 grpcio-status 1.76.0
tělocvična 0.28.1 h11 0.16.0 hf-xet 1.5.0
hjson 3.1.0 prázdniny 0.54 httpcore 1.0.9
httplib2 0.20.4 httpx 0.28.1 huggingface_hub 0.36.2
idna 3.11 ImageIO 2.37.2 nerovnovážné učení 0.14.0
importlib_metadata 8.7.0 importlib_resources 7.1.0 inflect 7.3.1
iniconfig 2.1.0 ipyflow-core 0.0.227 ipykernel 6.31.0
ipython 9.7.0 ipython_pygments_lexers 1.1.1 ipywidgets 8.1.7
isodate 0.7.2 je to nebezpečné 2.2.0 jaraco.collections 5.1.0
jaraco.context 5.3.0 jaraco.functools 4.0.1 jaraco.text 3.12.1
jax-jumpy 1.0.0 jedi 0.19.2 Jinja2 3.1.6
chvění 0.15.0 jmespath 1.0.1 joblib 1.5.2
joblibspark 0.6.0 jsonpatch 1.33 jsonpointer 3.1.1
jsonschema 4.25.0 jsonschema-specifications 2025.9.1 jupyter_client 8.6.3
jupyter_core 5.8.1 jupyterlab_widgets 3.0.15 kiwisolver 1.4.8
langchain 1.3.1 langchain-core 1.4.0 langchain-protocol 0.0.15
langgraph 1.2.1 Langgraph-kontrolní bod 4.1.1 Předem připravené langgraph 1.1.0
langgraph-sdk 0.3.15 langsmith 0.4.41 launchpadlib 1.11.0
lazr.restfulclient 0.14.6 lazr.uri 1.0.6 lazy_loader 0.4
librosa 0.11.0 lightgbm 4.6.0 linkify-it-py 2.0.3
llvmlite 0.45.1 lz4 4.4.5 Mako 1.3.12
marisa-trie 1.2.0 Markdown 3.8 markdown-it-py 2.2.0
MarkupSafe 3.0.2 maršmeloun 3.26.2 matplotlib 3.10.6
matplotlib-inline 0.2.1 Mccabe 0.7.0 mdit-py-plugins 0.5.0
mdurl 0.1.2 Memray - nástroj sledování paměti 1.19.3 mlflow-skinny 3.12.0
mmh3 5.2.1 more-itertools 10.3.0 mpmath 1.3.0
msal 1.36.0 msal-extensions 1.3.1 msgpack 1.1.2
msrest 0.7.1 vícejazyčný slovník 6.7.0 víceprocesový 0.70.18
murmurhash 1.0.15 mypy-extensions 1.0.0 nest-asyncio 1.6.0
NetworkX 3.5 ninja 1.13.0 nltk (Natural Language Toolkit) 3.9.2
nodeenv 1.10.0 numba 0.62.1 numpy 2.3.4
nvidia-nccl-cu12 2.30.4 oauthlib 3.2.0 openai 2.37.0
opencensus 0.11.4 opencensus-kontekst 0.1.3 opentelemetry-api 1.42.1
opentelemetry-proto 1.42.1 opentelemetry-sdk 1.42.1 opentelemetry-semantic-conventions 0,63b1
optuna 3.6.1 optuna-integration 3.6.0 orjson 3.11.9
ormsgpack 1.12.2 packaging 25.0 pandas 2.3.3
parso 0.8.5 pathspec 0.12.1 patsy 1.0.1
pexpect 4.9.0 pillow 12.0.0 pip 25,3
platformdirs 4.5.0 pluggy 1.5.0 hafan 1.9.0
předem připravený 3.0.13 prometheus_client 0.21.1 prompt_toolkit 3.0.52
propcache 0.3.1 prorok 1.2.1 proto-plus 1.28.0
protobuf 6.33.5 psutil 7.0.0 ptyprocess 0.7.0
pure_eval 0.2.3 py-cpuinfo (Python balíček pro informace o CPU) 9.0.0 py-spy 0.4.2
pyarrow 21.0.0 pyasn1 0.6.1 pyasn1_modules 0.4.2
pyccolo 0.0.83 pycparser 2.23 pydantic 2.13.3
pydantic_core 2.46.3 pyflakes 3.2.0 Pygments 2.19.2
PyGObject 3.48.2 pyiceberg 0.11.1 PyJWT 2.10.1
pyparsing 3.2.5 pyright 1.1.409 pyroaring 1.1.0
pytesseract 0.3.13 pytest 8.4.2 python-dateutil 2.9.0.post0
python-dotenv 1.2.2 editor jazyka Python 1.0.4 pytokens 0.2.0
pytz 2025.2 PyYAML 6.0.3 pyzmq 27.1.0
paprsek 2.37.0 referencing 0.37.0 regulární výraz 2025.9.1
requests 2.32.5 requests-oauthlib 2.0.0 requests-toolbelt 1.0.0
rich 14.2.0 rpds-py 0.28.0 s3transfer 0.14.0
safetensors 0.7.0 scikit-image 0.25.2 scikit-learn 1.7.2
scipy 1.16.3 transformátory vět v NLP 5.5.1 věta 0.2.1
setuptools 80.9.0 tvar 0.51.0 shellingham 1.5.4
Šest 1.17.0 průřez 0.0.8 smart_open 7.6.1
smmap 5.0.0 sniffio 1.3.0 zvukový soubor 0.13.1
soxr 1.1.0 prostorný 3.8.14 spacy-legacy 3.0.12
spacy-loggers 1.0.5 SQLAlchemy 2.0.43 sqlparse 0.5.5
srsly 2.5.3 ssh-import-id 5.11 stack-data 0.6.3
stanio 0.5.1 Starlette 0.52.1 statsmodels 0.14.5
strictyaml 1.7.3 sympy 1.14.0 tenacity 9.1.2
TensorBoard 2.20.0 tensorboard-data-server (server pro data TensorBoardu) 0.7.2 tensorboardX (knihovna pro vizualizaci dat v Pythonu) 2.6.5
textový 8.2.7 tenká 8.3.13 threadpoolctl 3.5.0
TIFF soubor 2025.10.4 tiktoken 0.13.0 tokenize_rt 6.2.0
tokenizátory 0.22.1 tomli 2.0.1 pochodeň 2.12.0+cpu
torcheval 0.0.7 Torchvision 0.27.0+cpu tornado 6.5.1
tqdm 4.67.1 traitlets 5.14.3 Transformátory 4.57.6
typeguard 4.3.0 Typer 0.25.1 inspekce psaní na klávesnici 0.9.0
kontrola psaní na klávesnici 0.4.2 typing_extensions 4.15.0 tzdata 2026.2
uc-micro-py 1.0.3 bezobslužné aktualizace 0.1 urllib3 2.5.0
uuid_utils 0.16.0 uvicorn 0.47.0 virtualenv 20.35.4
wadllib 1.3.6 wasabi 1.1.3 wcwidth 0.2.13
lasice 1.0.0 Nářadí 3.1.3 wheel 0.45.1
kdykoli 0.7.3 widgetsnbextension 4.0.14 wrapt 1.17.0
xgboost 3.2.0 xgboost-ray 0.1.19 xxhash 3.5.0
yarlif 1.22.0 zipp 3.23.0 zstandard 0.25.0

Knihovny Pythonu v clusterech GPU

Poznámka:

PyTorch využívá závislosti CUDA PyPI k poskytování podpory CUDA místo verzí knihoven CUDA, které jsou integrované do Databricks Runtime 19 ML.

Library Version Library Version Library Version
absl-py 2.3.1 zrychlit 1.13.0 aiohappyeyeballs 2.6.1
aiohttp 3.13.2 aiohttp-cors 0.8.1 aiosignal 1.4.0
annotated-doc 0.0.4 annotated-types 0.7.0 anyio 4.10.0
arro3-core 0.8.0 asttokens 3.0.0 astunparse 1.6.3
attrs 25.4.0 zvukové čtení 3.1.0 autocommand 2.2.2
azure-core 1.41.0 azure-cosmos 4.3.1 azure-identity 1.25.3
azure-mgmt-core 1.6.0 azure-mgmt-web 10.1.0 azure-storage-blob 12.29.0
azure-storage-file-datalake 12.24.0 backports.tarfile 1.2.0 black 25.9.0
blinker 1.7.0 blaženost 1.3.3 boto3 1.40.46
botocore 1.40.46 cachetools 5.5.1 katalog 2.0.10
certifi 2025.11.12 cffi 2.0.0 charset-normalizer 3.4.4
click 8.2.1 cloudpathlib 0.24.0 cloudpickle 3.1.1
cmdstanpy 1.3.0 barevný 0.5.8 colorlog 6.10.1
comm 0.2.3 cukroví 1.3.3 contourpy 1.3.3
kryptografie 46.0.3 cuda-bindings 13.2.0 cuda-pathfinder 1.5.4
nástrojová sada CUDA 13.0.2 cycler 0.11.0 cymem 2.0.13
Agenti Databricks 1.10.2 databricks - inženýrství funkcí 0.13.0.1 databricks-sdk 0.108.0
dataclasses-json 0.6.7 datasets 4.8.5 dbl-tempo 0.1.26
dbus-python 1.3.2 debugpy 1.8.16 dekoratér 5.2.1
deepspeed 0.19.0 deltalake 1.5.1 Deprecated 1.3.1
dill 0.4.0 distlib 0.4.0 dm-tree 0.1.10
einops 0.8.2 evaluate 0.4.6 executing 2.2.1
Farama-Notifikace 0.0.6 fastapi 0.136.3 filelock 3.20.0
flash_attn 2.8.3 Flask 2.2.5 fonttools 4.60.1
frozenlist 1.8.0 fsspec 2023.5.0 gitdb 4.0.11
GitPython 3.1.45 google-api-core 2.30.3 google-auth 2.53.0
google-cloud-core 2.6.0 google-cloud-storage 3.10.1 google-crc32c 1.8.0
google-resumable-media 2.9.0 googleapis-common-protos 1.71.0 graphql-core 3.2.4
greenlet 3.2.4 grpcio 1.76.0 grpcio-status 1.76.0
tělocvična 0.28.1 h11 0.16.0 hf-xet 1.5.0
hjson 3.1.0 prázdniny 0.54 httpcore 1.0.9
httplib2 0.20.4 httpx 0.28.1 huggingface_hub 0.36.2
idna 3.11 ImageIO 2.37.2 nerovnovážné učení 0.14.0
importlib_metadata 8.7.0 importlib_resources 7.1.0 inflect 7.3.1
iniconfig 2.1.0 ipyflow-core 0.0.227 ipykernel 6.31.0
ipython 9.7.0 ipython_pygments_lexers 1.1.1 ipywidgets 8.1.7
isodate 0.7.2 je to nebezpečné 2.2.0 jaraco.collections 5.1.0
jaraco.context 5.3.0 jaraco.functools 4.0.1 jaraco.text 3.12.1
jax-jumpy 1.0.0 jedi 0.19.2 Jinja2 3.1.6
chvění 0.15.0 jmespath 1.0.1 joblib 1.5.2
joblibspark 0.6.0 jsonpatch 1.33 jsonpointer 3.1.1
jsonschema 4.25.0 jsonschema-specifications 2025.9.1 jupyter_client 8.6.3
jupyter_core 5.8.1 jupyterlab_widgets 3.0.15 kiwisolver 1.4.8
langchain 1.3.1 langchain-core 1.4.0 langchain-protocol 0.0.15
langgraph 1.2.1 Langgraph-kontrolní bod 4.1.1 Předem připravené langgraph 1.1.0
langgraph-sdk 0.3.15 langsmith 0.4.41 launchpadlib 1.11.0
lazr.restfulclient 0.14.6 lazr.uri 1.0.6 lazy_loader 0.4
librosa 0.11.0 lightgbm 4.6.0 linkify-it-py 2.0.3
llvmlite 0.45.1 lz4 4.4.5 Mako 1.3.12
marisa-trie 1.2.0 Markdown 3.8 markdown-it-py 2.2.0
MarkupSafe 3.0.2 maršmeloun 3.26.2 matplotlib 3.10.6
matplotlib-inline 0.2.1 Mccabe 0.7.0 mdit-py-plugins 0.5.0
mdurl 0.1.2 Memray - nástroj sledování paměti 1.19.3 mlflow-skinny 3.12.0
mmh3 5.2.1 more-itertools 10.3.0 mpmath 1.3.0
msal 1.36.0 msal-extensions 1.3.1 msgpack 1.1.2
msrest 0.7.1 vícejazyčný slovník 6.7.0 víceprocesový 0.70.18
murmurhash 1.0.15 mypy-extensions 1.0.0 nest-asyncio 1.6.0
NetworkX 3.5 ninja 1.13.0 nltk (Natural Language Toolkit) 3.9.2
nodeenv 1.10.0 numba 0.62.1 numpy 2.3.4
nvidia-cublas 13.1.1.3 nvidia-cuda-cupti 13.0.85 nvidia-cuda-nvrtc 13.0.88
nvidia-cuda-runtime 13.0.96 nvidia-cudnn-cu13 9.20.0.48 nvidia-cufft 12.0.0.61
nvidia-cufile 1.15.1.6 nvidia-curand 10.4.0.35 nvidia-cusolver 12.0.4.66
nvidia-cusparse 12.6.3.3 nvidia-cusparselt-cu13 0.8.1 nvidia-ml-py 13.580.82
nvidia-nccl-cu12 2.30.4 nvidia-nccl-cu13 2.29.7 nvidia-nvjitlink 13.0.88
nvidia-nvshmem-cu13 3.4.5 nvidia-nvtx 13.0.85 oauthlib 3.2.0
openai 2.37.0 opencensus 0.11.4 opencensus-kontekst 0.1.3
opentelemetry-api 1.42.1 opentelemetry-proto 1.42.1 opentelemetry-sdk 1.42.1
opentelemetry-semantic-conventions 0,63b1 optuna 3.6.1 optuna-integration 3.6.0
orjson 3.11.9 ormsgpack 1.12.2 packaging 25.0
pandas 2.3.3 parso 0.8.5 pathspec 0.12.1
patsy 1.0.1 pexpect 4.9.0 pillow 12.0.0
pip 25,3 platformdirs 4.5.0 pluggy 1.5.0
hafan 1.9.0 předem připravený 3.0.13 prometheus_client 0.21.1
prompt_toolkit 3.0.52 propcache 0.3.1 prorok 1.2.1
proto-plus 1.28.0 protobuf 6.33.5 psutil 7.0.0
ptyprocess 0.7.0 pure_eval 0.2.3 py-cpuinfo (Python balíček pro informace o CPU) 9.0.0
py-spy 0.4.2 pyarrow 21.0.0 pyasn1 0.6.1
pyasn1_modules 0.4.2 pyccolo 0.0.83 pycparser 2.23
pydantic 2.13.3 pydantic_core 2.46.3 pyflakes 3.2.0
Pygments 2.19.2 PyGObject 3.48.2 pyiceberg 0.11.1
PyJWT 2.10.1 pyparsing 3.2.5 pyright 1.1.409
pyroaring 1.1.0 pytesseract 0.3.13 pytest 8.4.2
python-dateutil 2.9.0.post0 python-dotenv 1.2.2 editor jazyka Python 1.0.4
pytokens 0.2.0 pytz 2025.2 PyYAML 6.0.3
pyzmq 27.1.0 paprsek 2.37.0 referencing 0.37.0
regulární výraz 2025.9.1 requests 2.32.5 requests-oauthlib 2.0.0
requests-toolbelt 1.0.0 rich 14.2.0 rpds-py 0.28.0
s3transfer 0.14.0 safetensors 0.7.0 scikit-image 0.25.2
scikit-learn 1.7.2 scipy 1.16.3 transformátory vět v NLP 5.5.1
věta 0.2.1 setuptools 80.9.0 tvar 0.51.0
shellingham 1.5.4 Šest 1.17.0 průřez 0.0.8
smart_open 7.6.1 smmap 5.0.0 sniffio 1.3.0
zvukový soubor 0.13.1 soxr 1.1.0 prostorný 3.8.14
spacy-legacy 3.0.12 spacy-loggers 1.0.5 SQLAlchemy 2.0.43
sqlparse 0.5.5 srsly 2.5.3 ssh-import-id 5.11
stack-data 0.6.3 stanio 0.5.1 Starlette 0.52.1
statsmodels 0.14.5 strictyaml 1.7.3 sympy 1.14.0
tenacity 9.1.2 TensorBoard 2.20.0 tensorboard-data-server (server pro data TensorBoardu) 0.7.2
tensorboardX (knihovna pro vizualizaci dat v Pythonu) 2.6.5 textový 8.2.7 tenká 8.3.13
threadpoolctl 3.5.0 TIFF soubor 2025.10.4 tiktoken 0.13.0
tokenize_rt 6.2.0 tokenizátory 0.22.1 tomli 2.0.1
pochodeň 2.12.0 torcheval 0.0.7 Torchvision 0.27.0
tornado 6.5.1 tqdm 4.67.1 traitlets 5.14.3
Transformátory 4.57.6 Tritón 3.7.0 typeguard 4.3.0
Typer 0.25.1 inspekce psaní na klávesnici 0.9.0 kontrola psaní na klávesnici 0.4.2
typing_extensions 4.15.0 tzdata 2026.2 uc-micro-py 1.0.3
bezobslužné aktualizace 0.1 urllib3 2.5.0 uuid_utils 0.16.0
uvicorn 0.47.0 virtualenv 20.35.4 wadllib 1.3.6
wasabi 1.1.3 wcwidth 0.2.13 lasice 1.0.0
Nářadí 3.1.3 wheel 0.45.1 kdykoli 0.7.3
widgetsnbextension 4.0.14 wrapt 1.17.0 xgboost 3.2.0
xgboost-ray 0.1.19 xxhash 3.5.0 yarlif 1.22.0
zipp 3.23.0 zstandard 0.25.0

Knihovny pro R

Knihovny jazyka R jsou identické s knihovnami jazyka R v Databricks Runtime 19.

Knihovny Java a Scala (cluster Scala 2.13)

Kromě Java a knihoven Scala v Databricks Runtime 19 obsahuje Databricks Runtime 19 ML následující jars:

Klustery procesorů

ID skupiny Identifikátor artefaktu Version
ml.dmlc xgboost4j-spark_2.13 2.1.3
ml.dmlc xgboost4j_2.13 2.1.3
org.graphframes graphframes_2.13 0.8.4-db1-spark3.5
org.mlflow mlflow-client 2.15.1
org.scala-lang.modules scala-collection-compat_2.13 2.12.0
org.tensorflow spark-tensorflow-connector_2.13 1.15.0

Klastry GPU

ID skupiny Identifikátor artefaktu Version
ml.dmlc xgboost4j-spark-gpu_2.13 2.1.3
ml.dmlc xgboost4j-gpu_2.13 2.1.3
org.graphframes graphframes_2.13 0.8.4-db1-spark3.5
org.mlflow mlflow-client 2.15.1
org.scala-lang.modules scala-collection-compat_2.13 2.12.0
org.tensorflow spark-tensorflow-connector_2.13 1.15.0

Nepodporované verze

Návod

Poznámky k verzím Databricks Runtime, které dosáhly konce podpory (EoS), najdete v Poznámkách k verzím Databricks Runtime s ukončenou podporou. Verze EoS Databricks Runtime byly vyřazeny a nemusí se aktualizovat.