Databricks Runtime 15.4 LTS pro Machine Learning

Databricks Runtime 15.4 LTS pro strojové učení poskytuje připravené prostředí pro strojové učení a datovou vědu založené na Databricks Runtime 15.4 LTS. Databricks Runtime ML obsahuje mnoho oblíbených knihoven strojového učení, včetně TensorFlow, PyTorch a XGBoost. Databricks Runtime ML zahrnuje AutoML, nástroj pro automatické trénování kanálů strojového učení. Databricks Runtime ML podporuje také distribuované trénování hlubokého učení pomocí TorchDistributoru.

Poznámka:

LTS znamená, že tato verze je dlouhodobě podporována. Viz životní cykly podpory Databricks Runtime.

Návod

Chcete-li zobrazit poznámky k verzi pro verze Databricks Runtime, které dosáhly konce podpory (EoS), podívejte se na Poznámky k verzím Databricks Runtime pro ukončení podpory. Verze EoS Databricks Runtime byly vyřazeny a nemusí se aktualizovat.

Nové funkce a vylepšení

Databricks Runtime 15.4 LTS ML je postaven na Databricks Runtime 15.4 LTS. Informace o novinkách v Databricks Runtime 15.4 LTS, včetně Apache Spark MLlib a SparkR, najdete v poznámkách k verzi Databricks Runtime 15.4 LTS .

Váhy vzorku AutoML pro klasifikaci

AutoML teď podporuje ukázkové váhy pro klasifikaci a umožňuje upravit důležitost každé třídy během trénování klasifikačního modelu. Další informace najdete v parametrech classification pro rozhraní API Python AutoML.

Změny v nástroji pro zpracování vlastností Databricks

Verze databricks-feature-engineering, která byla dodána s Databricks Runtime 15.4 LTS ML, je 0.6.0.

  • Pro výpočty vytvořené 31. března 2025 nebo později, které nejsou povolené pro Photon, je nainstalovaná verze databricks-feature-engineering 0.8.0.
  • Pro výpočty vytvořené po datu 21. července 2025, které jsou aktivované pro Photon nebo používají procesor založený na Arm64, je nainstalovaná verze databricks-feature-engineering 0.8.0.

Informace o novinkách v rozhraní API pro Python funkce Databricks najdete v poznámkách k verzi klienta feature engineering.

Další změny

Petastorm je teď zastaralý

Balíček Petastorm je teď zastaralý. Verze po 15.4 LTS ML nebudou mít tento balíček předinstalovaný.

U velmi velkých datových sad, které se nevejdou do paměti, použijte přístupy ke streamování:

Distributor Tensorflow Spark je nyní zastaralý.

Balíček spark-tensorflow-distributor je teď zastaralý. Verze po 15.4 LTS ML nebudou mít tento balíček předinstalovaný. Ray v Databricks je doporučenou náhradou za distribuované trénování modelu Tensorflow nebo Keras.

Prostředí systému

Systémové prostředí v Databricks Runtime 15.4 LTS ML se liší od Databricks Runtime 15.4 LTS následujícím způsobem:

  • Pro clustery GPU zahrnuje Databricks Runtime ML následující knihovny NVIDIA GPU:
    • CUDA 12.1
    • cusolver 11.4.5.107-1
    • cupti 12.1
    • cuDNN 8.9.0.131-1
    • NCCL 2.17.1
    • TensorRT 8.6.1.6-1

Knihovny

Následující části obsahují seznam knihoven zahrnutých v Databricks Runtime 15.4 LTS ML, které se liší od knihoven zahrnutých v Databricks Runtime 15.4 LTS.

V této části:

Knihovny nejvyšší úrovně

Databricks Runtime 15.4 LTS ML obsahuje následující knihovny nejvyšší úrovně:

knihovny Python

Databricks Runtime 15.4 LTS ML používá virtualenv pro správu balíčků Python a obsahuje mnoho oblíbených balíčků ML.

Kromě balíčků uvedených v následujících částech obsahuje Databricks Runtime 15.4 LTS ML také následující balíčky:

  • hyperopt 0.2.7+db3
  • sparkdl 3.0.0_db1
  • automl 1.28.0

Reprodukování prostředí ML Python Databricks Runtime v místním Python virtuálním prostředí:

  1. Stáhněte příslušný requirements.txt soubor. Viz requirements.txt verze souborů pro Databricks Runtime 15.4 LTS ML.

  2. V systémech Ubuntu spusťte sudo apt-get install libpq-dev libcairo2-dev libdbus-1-dev libgirepository1.0-dev libsnappy-dev instalaci systémových knihoven.

  3. Spusťte pip install -r requirements-<version>.txt> --extra-index-url https://download.pytorch.org/whl/cpu. Například: pip install -r requirements-15.4-v3.txt --extra-index-url https://download.pytorch.org/whl/cpu.

    Tento příkaz nainstaluje všechny knihovny open source, které databricks Runtime ML používá, ale neinstaluje knihovny vyvinuté službou Databricks, například databricks-automl nebo fork Databricks hyperopt nebo horovod.

requirements.txt Verze souborů pro Databricks Runtime 15.4 LTS ML

Některé balíčky byly upgradovány po počáteční verzi Databricks Runtime 15.4 LTS ML. K určení a stažení správného requirements.txt souboru použijte následující tabulku.

Datum vytvoření výpočtu Stav foton Balíčky byly aktualizovány po první vydání Databricks Runtime 15.4 LTS ML. Soubor requirements.txt
Před 11. únorem 2025 Jakýkoliv None requirements-15.4.txt
Mezi 12. únorem 2025 a 30. březnem 2025 Nepovoleno pro Photon mlflow-skinny 2.19.0 requirements-15.4-v2.txt
Mezi 31. březnem 2025 a 20. červencem 2025 Nepovoleno pro Photon mlflow-skinny 2.19.0
databricks-feature-engineering 0.8.0		 requirements-15.4-v3.txt
Dne nebo po 21. červenci 2025 Povoleno pro Photon nebo používá procesor založený na Arm64 mlflow-skinny 2.19.0
databricks-feature-engineering 0.8.0
ray 2.37.0		 requirements-15.4-v4.txt

Python knihovny v clusterech procesoru

Knihovna Verze Knihovna Verze Knihovna Verze
absl-py 1.0.0 zrychlit 0.31.0 aiohttp 3.8.5
aiohttp-cors 0.7.0 aiosignal 1.2.0 anyio 3.5.0
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 Astor 0.8.1
asttokens 2.0.5 astunparse 1.6.3 async-timeout (asynchronní časový limit) 4.0.2
attrs 22.1.0 čtení zvuku 3.0.1 Azure Core 1.30.2
azure-cosmos 4.3.1 azure-identity 1.17.1 azure-storage-blob (služba pro ukládání dat na platformě Azure) 12.19.1
Azure-úložiště-file-jezero dat 12.14.0 zpětné volání 0.2.0 bcrypt 3.2.0
BeautifulSoup4 4.12.2 černý 23.3.0 bělicí prostředek 4.1.0
blinkr 1.4 blaženost 0.7.11 boto3 1.34.39
botocore 1.34.39 Brotli 1.0.9 nástroje pro ukládání do mezipaměti 5.4.0
katalog 2.0.10 kodéry kategorií 2.6.3 certifikát 2023.7.22
cffi 1.15.1 chardet 4.0.0 nástroj pro normalizaci znakové sady 2.0.4
jistič 1.4.0 klikněte 8.0.4 cloudpathlib 0.16.0
cloudpickle 2.2.1 cmdstanpy 1.2.2 barevný 0.5.6
Komunikace 0.1.2 cukroví 0.1.4 configparser 5.2.0
obrysová křivka 1.0.5 kryptografie 41.0.3 cyklista 0.11.0
cymem 2.0.8 Cython 0.29.32 dacit 1.8.1
databricks-automl-runtime 0.2.21 databricks-feature-engineering* 0.6.0 Databricks SDK 0.20.0
dataclasses-json 0.6.7 datové sady 2.19.1 dbl-tempo 0.1.26
dbus-python 1.2.18 debugpy 1.6.7 dekoratér 5.1.1
deepspeed 0.14.4 defusedxml 0.7.1 Zastaralé 1.2.14
kopr 0.3.6 disková mezipaměť 5.6.3 distlib 0.3.8
dm-tree 0.1.8 vstupní body 0,4 hodnotit 0.4.2
provádění 0.8.3 přehled aspektů 1.1.1 Farama-Oznámení 0.0.4
fastjsonschema 2.20.0 fasttext 0.9.2 uzamčení souboru 3.13.4
Flask 2.2.5 FlatBuffers 24.3.25 nástroje pro písma 4.25.0
zmrazený seznam 1.3.3 fsspec 2023.5.0 budoucnost 0.18.3
Gast 0.4.0 gitdb 4.0.11 GitPython 3.1.27
google-api-core 2.18.0 google-auth (autentizace) 2.21.0 google-auth-oauthlib 1.0.0
google-cloud-core 2.4.1 Úložiště Google Cloud 2.10.0 google-crc32c 1.5.0
google-pasta 0.2.0 google-resumable-media (pro snadné stahování/ukládání mediálních dat) 2.7.1 googleapis-common-protos 1.63.0
greenlet 2.0.1 grpcio 1.60.0 grpcio-status 1.60.0
gunicorn 20.1.0 gviz-api 1.10.0 tělocvična 0.28.1
h11 0.14.0 h5py 3.10.0 hjson 3.1.0
prázdniny 0,45 chorovod 0.28.1+db1 htmlmin 0.1.12
httpcore 1.0.5 httplib2 0.20.2 httpx 0.27.0
huggingface-hub 0.23.4 IDNA 3.4 ImageHash 4.3.1
imageio 2.31.1 nevyvážené učení 0.11.0 importlib-metadata 6.0.0
importlib_resources 6.4.0 ipyflow-core je jádrová komponenta systému ipyflow 0.0.198 ipykernel 6.25.1
ipython 8.15.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 jehodangerous 2.0.1 jax-jumpy 1.0.0
Jedi 0.18.1 Jeepney (typický filipínský veřejný dopravní prostředek) 0.7.1 Jinja2 3.1.2
jmespath 0.10.0 joblib 1.2.0 joblibspark 0.5.1
jsonpatch 1,33 JSON ukazatel 3.0.0 jsonschema 4.17.3
Server Jupyter 1.23.4 klient Jupyter 7.4.9 jupyter_core 5.3.0
jupyterlab-pygments 0.1.2 tvrdý 3.2.1 klíčenka 23.5.0
kiwisolver 1.4.4 langchain 0.1.20 langchain-community 0.0.38
langchain-core 0.1.52 langchain-text-splitters (rozdělovače textu langchain) 0.0.2 jazykové kódy 3.4.0
langsmith 0.1.63 jazyková_data 1.2.0 launchpadlib 1.10.16
lazr.restfulclient 0.14.4 lazr.uri 1.0.6 lazy_loader 0,2
libclang 15.0.6.1 librosa 0.10.1 lightgbm 4.3.0
linkify –it-py 2.0.0 llvmlite 0.40.0 lxml 4.9.2
lz4 4.3.2 Žralok mako 1.2.0 marisa-trie 1.1.1
Markdown 3.4.1 markdown:it-py 2.2.0 MarkupSafe 2.1.1
maršmeloun 3.21.2 matplotlib 3.7.2 matplotlib-inline 0.1.6
mdit-py-plugins 0.3.0 mdurl 0.1.0 memray 1.13.3
špatné naladění 0.8.4 ml-dtypes 0.3.2 mlflow-skinny* 2.13.1
more-itertools 8.10.0 mosaicml-streaming 0.7.4 mpmath 1.3.0
MSAL 1.29.0 msal-extensions 1.2.0 msgpack 1.0.8
vícejazyčný slovník 6.0.2 multimetoda 1.12 víceprocesový 0.70.14
murmurhash 1.0.10 mypy-extensions 0.4.3 namex 0.0.8
nbclassic 0.5.5 nbclient 0.5.13 nbconvert 6.5.4
nbformat 5.7.0 nest-asyncio 1.5.6 NetworkX 3.1
ninja 1.11.1.1 nltk (Natural Language Toolkit) 3.8.1 poznámkový blok 6.5.4
notebook_shim 0.2.2 numba 0.57.1 numpy (knihovna pro numerické výpočty v Pythonu) 1.23.5
nvidia-ml-py 12.555.43 oauthlib 3.2.0 Oči 2.126.4
openai 1.35.3 opencensus 0.11.4 opencensus-kontekst 0.1.3
opentelemetry-api 1.25.0 opentelemetry-sdk 1.25.0 opentelemetry-sémantické-konvence 0,46b0
opt-einsum 3.3.0 Optree 0.12.1 orjson 3.10.6
balení 23.2 Pandy 1.5.3 pandocfilters 1.5.0
paramiko 3.4.0 Parso 0.8.3 specifikace cesty 0.10.3
bábovka 0.5.3 petastorm 0.12.1 pexpect 4.8.0
Phik 0.12.4 PickleShare 0.7.5 Polštář 9.4.0
pip 23.2.1 platformdirs 3.10.0 plotly 5.9.0
pmdarima 2.0.4 psisko 1.8.1 portalocker 2.10.1
předshedovaný 3.0.9 prometheus-client 0.14.1 nástroj "prompt-toolkit" 3.0.36
prorok 1.1.5 proto-plus 1.24.0 protobuf 4.24.1
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
čistý eval 0.2.2 py-cpuinfo (Python balíček pro informace o CPU) 8.0.0 py-spy 0.3.14
pyarrow 14.0.1 pyarrow-hotfix 0,6 pyasn1 0.4.8
pyasn1-modules 0.2.8 pybind11 2.13.1 pyccolo 0.0.52
pycparser 2.21 Pydantic (Python knihovna pro validaci a nastavení dat) 1.10.6 Pygments 2.15.1
PyGObject 3.42.1 PyJWT 2.3.0 PyNaCl 1.5.0
pyodbc 4.0.38 pyOpenSSL 23.2.0 pyparsing 3.0.9
pyrsistent 0.18.0 pytesseract 0.3.10 python-dateutil 2.8.2
editor jazyka Python 1.0.4 python-lsp-jsonrpc 1.1.1 python-snappy 0.6.1
knihovna pytz pro zpracování časových zón v Pythonu 2022.7 PyWavelets 1.4.1 PyYAML 6.0
pyzmq 23.2.0 paprsek* 2.20.0 regulární výraz 2022.7.9
žádosti 2.31.0 requests-oauthlib 1.3.1 bohatý 13.7.1
Rsa 4,9 s3transfer 0.10.2 safetensors 0.4.2
scikit-image 0.20.0 scikit-learn 1.3.0 SciPy 1.11.1
narozený v moři 0.12.2 SecretStorage 3.3.1 Send2Trash 1.8.0
transformátory vět v NLP 2.7.0 věta 0.1.99 setuptools (nástroj pro vytváření a distribuci Python projektů) 68.0.0
Shap 0.44.0 simplejson 3.17.6 Šest 1.16.0
průřez 0.0.7 inteligentní otevření 5.2.1 smmap 5.0.0
sniffio 1.2.0 zvukový soubor 0.12.1 cedník na polévku 2,4
soxr 0.3.7 prostorný 3.7.2 spacy-legacy 3.0.12
spacy-loggers 1.0.5 spark-tensorflow-distributor 1.0.0 SQLAlchemy 1.4.39
sqlparse 0.4.2 srsly 2.4.8 ssh-import-id 5,11
datová hromádka 0.2.0 stanio 0.5.1 statsmodels 0.14.0
sympy 1.11.1 zamotaný do unicode 0.2.0 houževnatost 8.2.2
TensorBoard 2.16.2 tensorboard-data-server 0.7.2 tensorboard_plugin_profile 2.15.1
tensorboardX (knihovna pro vizualizaci dat v Pythonu) 2.6.2.2 TensorFlow 2.16.1 TensorFlow Estimator 2.15.0
tensorflow-io-gcs-filesystem 0.37.1 termcolor 2.4.0 dokončeno 0.17.1
textový 0.63.3 tf_keras 2.16.0 tenká 8.2.3
threadpoolctl 2.2.0 TIFF soubor 2021.7.2 tiktoken 0.5.2
tinycss2 1.2.1 tokenize-rt 4.2.1 tokenizátory 0.19.0
pochodeň 2.3.1+cpu torcheval 0.0.7 Torchvision 0.18.1+cpu
tornádo 6.3.2 tqdm 4.65.0 Traitlets 5.7.1
Transformátory 4.41.2 typová ochrana 2.13.3 Typer 0.9.4
kontrola psaní 0.9.0 rozšíření_typingu 4.10.0 tzdata 2022.1
uc-micro-py 1.0.1 ujson 5.4.0 bezobslužné aktualizace 0,1
urllib3 1.26.16 virtualenv 20.24.2 vize 0.7.5
wadllib 1.3.6 wasabi 1.1.2 wcwidth (šířka znaků) 0.2.5
lasice 0.3.4 webová kódování 0.5.1 websocket-klient 0.58.0
Nářadí 2.2.3 wheel 0.38.4 wordcloud 1.9.3
zabalený 1.14.1 xgboost 2.0.3 xxhash 3.4.1
yarlif 1.8.1 Profilace ydata 4.5.1 zipový uzávěr 3.11.0
zstd 1.5.5.1

* Pro výpočty vytvořené 12. února 2025 nebo po tom, co není pro Photon povolené, mlflow-skinny se upgraduje na verzi 2.19.0. U výpočetních prostředků vytvořených dne 21. července 2025 nebo později, které jsou povolené pro Photon nebo používají procesor založený na Arm64, se mlflow-skinny upgraduje na verzi 2.19.0, ray na verzi 2.37.0 a databricks-feature-engineering na verzi 0.8.0.

knihovny Python v clusterech GPU

Knihovna Verze Knihovna Verze Knihovna Verze
absl-py 1.0.0 zrychlit 0.31.0 aiohttp 3.8.5
aiohttp-cors 0.7.0 aiosignal 1.2.0 anyio 3.5.0
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 Astor 0.8.1
asttokens 2.0.5 astunparse 1.6.3 async-timeout (asynchronní časový limit) 4.0.2
attrs 22.1.0 čtení zvuku 3.0.1 Azure Core 1.30.2
azure-cosmos 4.3.1 azure-identity 1.17.1 azure-storage-blob (služba pro ukládání dat na platformě Azure) 12.19.1
Azure-úložiště-file-jezero dat 12.14.0 zpětné volání 0.2.0 bcrypt 3.2.0
BeautifulSoup4 4.12.2 černý 23.3.0 bělicí prostředek 4.1.0
blinkr 1.4 blaženost 0.7.11 boto3 1.34.39
botocore 1.34.39 Brotli 1.0.9 nástroje pro ukládání do mezipaměti 5.4.0
katalog 2.0.10 kodéry kategorií 2.6.3 certifikát 2023.7.22
cffi 1.15.1 chardet 4.0.0 nástroj pro normalizaci znakové sady 2.0.4
jistič 1.4.0 klikněte 8.0.4 cloudpathlib 0.16.0
cloudpickle 2.2.1 cmdstanpy 1.2.2 barevný 0.5.6
Komunikace 0.1.2 cukroví 0.1.4 configparser 5.2.0
obrysová křivka 1.0.5 kryptografie 41.0.3 cyklista 0.11.0
cymem 2.0.8 Cython 0.29.32 dacit 1.8.1
databricks-automl-runtime 0.2.21 databricks-feature-engineering* 0.6.0 Databricks SDK 0.20.0
dataclasses-json 0.6.7 datové sady 2.19.1 dbl-tempo 0.1.26
dbus-python 1.2.18 debugpy 1.6.7 dekoratér 5.1.1
deepspeed 0.14.4 defusedxml 0.7.1 Zastaralé 1.2.14
kopr 0.3.6 disková mezipaměť 5.6.3 distlib 0.3.8
dm-tree 0.1.8 einops 0.8.0 vstupní body 0,4
hodnotit 0.4.2 provádění 0.8.3 přehled aspektů 1.1.1
Farama-Oznámení 0.0.4 fastjsonschema 2.20.0 fasttext 0.9.2
uzamčení souboru 3.13.4 flash-attn 2.5.9.post1 Flask 2.2.5
FlatBuffers 24.3.25 nástroje pro písma 4.25.0 zmrazený seznam 1.3.3
fsspec 2023.5.0 budoucnost 0.18.3 Gast 0.4.0
gitdb 4.0.11 GitPython 3.1.27 google-api-core 2.18.0
google-auth (autentizace) 2.21.0 google-auth-oauthlib 1.0.0 google-cloud-core 2.4.1
Úložiště Google Cloud 2.10.0 google-crc32c 1.5.0 google-pasta 0.2.0
google-resumable-media (pro snadné stahování/ukládání mediálních dat) 2.7.1 googleapis-common-protos 1.63.0 greenlet 2.0.1
grpcio 1.60.0 grpcio-status 1.60.0 gunicorn 20.1.0
gviz-api 1.10.0 tělocvična 0.28.1 h11 0.14.0
h5py 3.10.0 hjson 3.1.0 prázdniny 0,45
chorovod 0.28.1+db1 htmlmin 0.1.12 httpcore 1.0.5
httplib2 0.20.2 httpx 0.27.0 huggingface-hub 0.23.4
IDNA 3.4 ImageHash 4.3.1 imageio 2.31.1
nevyvážené učení 0.11.0 importlib-metadata 6.0.0 importlib_resources 6.4.0
ipyflow-core je jádrová komponenta systému ipyflow 0.0.198 ipykernel 6.25.1 ipython 8.15.0
ipython-genutils 0.2.0 ipywidgets 7.7.2 isodate 0.6.1
jehodangerous 2.0.1 jax-jumpy 1.0.0 Jedi 0.18.1
Jeepney (typický filipínský veřejný dopravní prostředek) 0.7.1 Jinja2 3.1.2 jmespath 0.10.0
joblib 1.2.0 joblibspark 0.5.1 jsonpatch 1,33
JSON ukazatel 3.0.0 jsonschema 4.17.3 Server Jupyter 1.23.4
klient Jupyter 7.4.9 jupyter_core 5.3.0 jupyterlab-pygments 0.1.2
tvrdý 3.2.1 klíčenka 23.5.0 kiwisolver 1.4.4
langchain 0.1.20 langchain-community 0.0.38 langchain-core 0.1.52
langchain-text-splitters (rozdělovače textu langchain) 0.0.2 jazykové kódy 3.4.0 langsmith 0.1.63
jazyková_data 1.2.0 launchpadlib 1.10.16 lazr.restfulclient 0.14.4
lazr.uri 1.0.6 lazy_loader 0,2 libclang 15.0.6.1
librosa 0.10.1 lightgbm 4.3.0 linkify –it-py 2.0.0
llvmlite 0.40.0 lxml 4.9.2 lz4 4.3.2
Žralok mako 1.2.0 marisa-trie 1.1.1 Markdown 3.4.1
markdown:it-py 2.2.0 MarkupSafe 2.1.1 maršmeloun 3.21.2
matplotlib 3.7.2 matplotlib-inline 0.1.6 mdit-py-plugins 0.3.0
mdurl 0.1.0 memray 1.13.4 špatné naladění 0.8.4
ml-dtypes 0.3.2 mlflow-skinny* 2.13.1 more-itertools 8.10.0
mosaicml-streaming 0.7.4 mpmath 1.3.0 MSAL 1.30.0
msal-extensions 1.2.0 msgpack 1.0.8 vícejazyčný slovník 6.0.2
multimetoda 1.12 víceprocesový 0.70.14 murmurhash 1.0.10
mypy-extensions 0.4.3 namex 0.0.8 nbclassic 0.5.5
nbclient 0.5.13 nbconvert 6.5.4 nbformat 5.7.0
nest-asyncio 1.5.6 NetworkX 3.1 ninja 1.11.1.1
nltk (Natural Language Toolkit) 3.8.1 poznámkový blok 6.5.4 notebook_shim 0.2.2
numba 0.57.1 numpy (knihovna pro numerické výpočty v Pythonu) 1.23.5 nvidia-cublas-cu12 12.1.3.1
nvidia-cuda-cupti-cu12 12.1.105 nvidia-cuda-nvrtc-cu12 12.1.105 nvidia-cuda-runtime-cu12 12.1.105
nvidia-cudnn-cu12 8.9.2.26 nvidia-cufft-cu12 11.0.2.54 nvidia-curand-cu12 10.3.2.106
nvidia-cusolver-cu12 11.4.5.107 nvidia-cusparse-cu12 12.1.0.106 nvidia-ml-py 12.555.43
nvidia-nccl-cu12 2.20.5 nvidia-nvjitlink-cu12 12.5.82 nvidia-nvtx-cu12 12.1.105
oauthlib 3.2.0 Oči 2.126.4 openai 1.35.3
opencensus 0.11.4 opencensus-kontekst 0.1.3 opentelemetry-api 1.25.0
opentelemetry-sdk 1.25.0 opentelemetry-sémantické-konvence 0,46b0 opt-einsum 3.3.0
Optree 0.12.1 orjson 3.10.6 balení 23.2
Pandy 1.5.3 pandocfilters 1.5.0 paramiko 3.4.0
Parso 0.8.3 specifikace cesty 0.10.3 bábovka 0.5.3
petastorm 0.12.1 pexpect 4.8.0 Phik 0.12.4
PickleShare 0.7.5 Polštář 9.4.0 pip 23.2.1
platformdirs 3.10.0 plotly 5.9.0 pmdarima 2.0.4
psisko 1.8.1 portalocker 2.10.1 předshedovaný 3.0.9
prometheus-client 0.14.1 nástroj "prompt-toolkit" 3.0.36 prorok 1.1.5
proto-plus 1.24.0 protobuf 4.24.1 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 čistý eval 0.2.2
py-cpuinfo (Python balíček pro informace o CPU) 8.0.0 py-spy 0.3.14 pyarrow 14.0.1
pyarrow-hotfix 0,6 pyasn1 0.4.8 pyasn1-modules 0.2.8
pybind11 2.13.1 pyccolo 0.0.52 pycparser 2.21
Pydantic (Python knihovna pro validaci a nastavení dat) 1.10.6 Pygments 2.15.1 PyGObject 3.42.1
PyJWT 2.3.0 PyNaCl 1.5.0 pyodbc 4.0.38
pyOpenSSL 23.2.0 pyparsing 3.0.9 pyrsistent 0.18.0
pytesseract 0.3.10 python-dateutil 2.8.2 editor jazyka Python 1.0.4
python-lsp-jsonrpc 1.1.1 python-snappy 0.6.1 knihovna pytz pro zpracování časových zón v Pythonu 2022.7
PyWavelets 1.4.1 PyYAML 6.0 pyzmq 23.2.0
paprsek* 2.20.0 regulární výraz 2022.7.9 žádosti 2.31.0
requests-oauthlib 1.3.1 bohatý 13.7.1 Rsa 4,9
s3transfer 0.10.2 safetensors 0.4.2 scikit-image 0.20.0
scikit-learn 1.3.0 SciPy 1.11.1 narozený v moři 0.12.2
SecretStorage 3.3.1 Send2Trash 1.8.0 transformátory vět v NLP 2.7.0
věta 0.1.99 setuptools (nástroj pro vytváření a distribuci Python projektů) 68.0.0 Shap 0.44.0
simplejson 3.17.6 Šest 1.16.0 průřez 0.0.7
inteligentní otevření 5.2.1 smmap 5.0.0 sniffio 1.2.0
zvukový soubor 0.12.1 cedník na polévku 2,4 soxr 0.3.7
prostorný 3.7.2 spacy-legacy 3.0.12 spacy-loggers 1.0.5
spark-tensorflow-distributor 1.0.0 SQLAlchemy 1.4.39 sqlparse 0.4.2
srsly 2.4.8 ssh-import-id 5,11 datová hromádka 0.2.0
stanio 0.5.1 statsmodels 0.14.0 sympy 1.11.1
zamotaný do unicode 0.2.0 houževnatost 8.2.2 TensorBoard 2.16.2
tensorboard-data-server 0.7.2 tensorboard_plugin_profile 2.15.1 tensorboardX (knihovna pro vizualizaci dat v Pythonu) 2.6.2.2
TensorFlow 2.16.1 TensorFlow Estimator 2.15.0 tensorflow-io-gcs-filesystem 0.37.1
termcolor 2.4.0 dokončeno 0.17.1 textový 0.63.3
tf_keras 2.16.0 tenká 8.2.3 threadpoolctl 2.2.0
TIFF soubor 2021.7.2 tiktoken 0.5.2 tinycss2 1.2.1
tokenize-rt 4.2.1 tokenizátory 0.19.0 pochodeň 2.3.1+cu121
torcheval 0.0.7 Torchvision 0.18.1+cu121 tornádo 6.3.2
tqdm 4.65.0 Traitlets 5.7.1 Transformátory 4.41.2
Triton 2.3.1 typová ochrana 2.13.3 Typer 0.9.4
kontrola psaní 0.9.0 rozšíření_typingu 4.10.0 tzdata 2022.1
uc-micro-py 1.0.1 ujson 5.4.0 bezobslužné aktualizace 0,1
urllib3 1.26.16 virtualenv 20.24.2 vize 0.7.5
wadllib 1.3.6 wasabi 1.1.2 wcwidth (šířka znaků) 0.2.5
lasice 0.3.4 webová kódování 0.5.1 websocket-klient 0.58.0
Nářadí 2.2.3 wheel 0.38.4 wordcloud 1.9.3
zabalený 1.14.1 xgboost 2.0.3 xxhash 3.4.1
yarlif 1.8.1 Profilace ydata 4.5.1 zipový uzávěr 3.11.0
zstd 1.5.5.1

* Pro výpočty vytvořené 12. února 2025 nebo po tom, co není pro Photon povolené, mlflow-skinny se upgraduje na verzi 2.19.0. U výpočetních prostředků vytvořených dne 21. července 2025 nebo později, které jsou povolené pro Photon nebo používají procesor založený na Arm64, se mlflow-skinny upgraduje na verzi 2.19.0, ray na verzi 2.37.0 a databricks-feature-engineering na verzi 0.8.0.

R knihovny

Knihovny R jsou stejné jako knihovny R v Databricks Runtime 15.4 LTS.

Java a knihovny Scala (cluster Scala 2.12)

Kromě Java a knihoven Scala v Databricks Runtime 15.4 LTS obsahuje Databricks Runtime 15.4 LTS ML následující jars:

Procesorové clustery

ID skupiny Identifikátor artefaktu Verze
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-spark_2.12 1.7.3
ml.dmlc xgboost4j_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.4-db1-spark3.5
org.mlflow mlflow-client 2.11.1
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

Klastery GPU

ID skupiny Identifikátor artefaktu Verze
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-gpu_2.12 1.7.3
ml.dmlc xgboost4j-spark-gpu_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.4-db1-spark3.5
org.mlflow mlflow-client 2.11.1
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0
  • Last updated on