Sdílet prostřednictvím

Databricks Runtime 16.4 LTS pro Machine Learning

Databricks Runtime 16.4 LTS for Machine Learning poskytuje připravenéto-go prostředí pro strojové učení a datové vědy založené na databricks Runtime 16.4 LTS. Databricks Runtime ML obsahuje mnoho oblíbených knihoven strojového učení, včetně TensorFlow, PyTorch a XGBoost. Databricks Runtime ML zahrnuje AutoML, nástroj pro automatické trénování kanálů strojového učení. Databricks Runtime ML také podporuje distribuovaný tréning hlubokého učení pomocí TorchDistributor, DeepSpeed a Ray.

Návod

Poznámky k verzím Databricks Runtime, které dosáhly konce podpory (EoS), najdete v Poznámkách k verzím Databricks Runtime s ukončenou podporou. Verze EoS Databricks Runtime byly vyřazeny a nemusí se aktualizovat.

Nové funkce a vylepšení

Databricks Runtime 16.4 LTS ML je postaven na Databricks Runtime 16.4 LTS. Informace o novinkách v Databricks Runtime 16.4 LTS, včetně Apache Spark MLlib a SparkR, najdete v poznámkách k verzi Databricks Runtime 16.4 LTS .

Další změny

XGBoost4J-Spark je teď zastaralá

XGBoost4J-Spark je nyní zastaralý a nebude předinstalován v další hlavní verzi Databricks Runtime ML. Databricks doporučuje používat rozhraní PYTHON API pro xgboost.spark. Viz distribuované trénování modelů XGBoost pomocí xgboost.spark.

TensorFlow 2.17.x nemůže načíst knihovnu cuDNN

Jedná se o známý problém v Databricks Runtime 16.4 LTS ML, že TensorFlow 2.17.x (výchozí verze) nemá přístup k zařízením GPU kvůli chybě načítání knihovny cuDNN. Pokud chcete tento problém vyřešit, upgradujte TensorFlow na verzi 2.18.x nebo vyšší.

Systémové prostředí

Systémové prostředí v Databricks Runtime 16.4 LTS ML se liší od Databricks Runtime 16.4 LTS následujícím způsobem.

  • Pro clustery GPU zahrnuje Databricks Runtime ML následující knihovny NVIDIA GPU:
    • CUDA 12.6
    • cublas 12.6.0.22-1
    • cusolver 11.6.4.38-1
    • cupti 12.6.37-1
    • cusparse 12.5.2.23-1
    • cuDNN 9.3.0.75-1
    • NCCL 2.22.3
    • TensorRT 10.2.0.19-1

Knihovny

Následující části obsahují seznam knihoven zahrnutých v Databricks Runtime 16.4 LTS ML, které se liší od knihoven zahrnutých v Databricks Runtime 16.4 LTS.

V této části:

Knihovny nejvyšší úrovně

Databricks Runtime 16.4 LTS ML obsahuje následující špičkové knihovny:

Knihovny Pythonu

Databricks Runtime 16.4 LTS ML používá virtualenv ke správě balíčků Pythonu a obsahuje mnoho oblíbených balíčků ML.

Kromě balíčků uvedených v následujících částech obsahuje Databricks Runtime 16.4 LTS ML také následující balíčky:

  • hyperopt 0.2.8+db1
  • automl 1.30.0

Pokud chcete reprodukovat prostředí Databricks Runtime ML Python v místním virtuálním prostředí Pythonu, stáhněte si souborrequirements-16.4.txt a spusťte pip install -r requirements-16.4.txt. Tento příkaz nainstaluje všechny opensourcové knihovny, které databricks Runtime ML používá, ale neinstaluje knihovny vyvinuté službou Databricks, například databricks-automl nebo fork Databricks hyperopt.

Knihovny Pythonu v clusterech procesorů

Knihovna Verze Knihovna Verze Knihovna Verze
absl-py 1.0.0 zrychlit 1.5.2 aiohttp 3.9.5
aiohttp-cors 0.8.1 aiosignal 1.2.0 alembik 1.14.1
anotované typy 0.7.0 anyio 4.2.0 argcomplete 3.6.2
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 šíp 1.2.3
Astor 0.8.1 asttokens 2.0.5 astunparse 1.6.3
async-lru 2.0.4 attrs 23.1.0 zvukové čtení 3.0.1
automatické příkazy 2.2.2 Azure Core 1.33.0 azure-cosmos 4.3.1
azure-identity 1.21.0 azure-storage-blob (služba pro ukládání dat na platformě Azure) 12.23.0 Služba "Azure Storage File Data Lake" 12.17.0
Babylón 2.11.0 ústup 2.2.1 backports.tarfile 1.2.0
šifra 3.2.0 BeautifulSoup4 4.12.3 černý 24.4.2
bělidlo 4.1.0 blikač 1.7.0 blaženost 0.7.11
boto3 1.34.69 botocore 1.34.69 Brotli 1.0.9
nástroje pro ukládání do mezipaměti 5.3.3 katalog 2.0.10 kodéry kategorií 2.6.3
certifikát 2024.6.2 cffi 1.16.0 chardet 4.0.0
nástroj pro normalizaci znakové sady 2.0.4 jistič 2.1.3 klikni 8.1.7
cloudpathlib 0.21.0 cloudpickle 2.2.1 cmdstanpy 1.2.5
barevný 0.5.6 colorlog 6.9.0 Komunikace 0.2.1
skladatel 0.29.0 cukroví 0.1.5 configparser 5.2.0
ContourPy 1.2.0 coolname 2.2.0 kryptografie 42.0.5
cyklista 0.11.0 cymem 2.0.11 Cython 3.0.11
dacitič 1.9.2 databricks-automl-runtime 0.2.21 databricks - inženýrství funkcí 0.10.2
Databricks SDK 0.30.0 datové sady 3.5.0 dbl-tempo 0.1.26
dbus-python 1.3.2 ladění 1.6.7 dekoratér 5.1.1
deepspeed 0.16.5 defusedxml 0.7.1 Nedoporučované 1.2.18
kopr 0.3.8 distlib 0.3.8 dm-tree 0.1.9
převod docstringu do formátu markdown 0.11 einops 0.8.1 vstupní body 0,4
hodnotit 0.4.3 provedení 0.8.3 přehled aspektů 1.1.1
Farama-Oznámení 0.0.4 fastapi 0.115.12 fastjsonschema 2.21.1
fasttext-wheel 0.9.2 zamykání souborů 3.13.1 Flask 2.2.5
FlatBuffers 25.2.10 nástroje pro písma 4.51.0 Fqdn 1.5.1
zmrazený seznam 1.4.0 fsspec 2023.5.0 budoucnost 0.18.3
Gast 0.4.0 gitdb 4.0.11 GitPython 3.1.37
google-api-core 2.20.0 google-auth (autentizace) 2.21.0 google-auth-oauthlib 1.2.1
google-cloud-core 2.4.3 Úložiště Google Cloud 2.10.0 google-crc32c 1.7.1
google-pasta 0.2.0 google-resumable-media (pro snadné stahování/ukládání mediálních dat) 2.7.2 googleapis-common-protos 1.70.0
gql 3.5.2 graphql-core 3.2.4 zelenálet 3.0.1
grpcio 1.60.0 grpcio-status 1.60.0 gunicorn 20.1.0
gviz-api 1.10.0 tělocvična 0.28.1 h11 0.14.0
h5py 3.11.0 hjson 3.1.0 prázdniny 0.54
htmlmin 0.1.12 httpcore 1.0.8 httplib2 0.20.4
httpx 0.28.1 huggingface-hub 0.29.3 IDNA 3.7
ImageHash 4.3.1 imageio 2.33.1 nerovnovážné učení 0.12.3
importlib-metadata 6.0.0 importlib_resources 6.5.2 časovat/skloňovat 7.3.1
ipyflow-core je jádrová komponenta systému ipyflow 0.0.201 ipykernel 6.28.0 ipython 8.25.0
ipython-genutils 0.2.0 ipywidgets 7.7.2 isodate 0.6.1
isodurace 20.11.0 je to nebezpečné 2.2.0 jaraco.context 5.3.0
jaraco.functools 4.0.1 jaraco.text 3.12.1 jax-jumpy 1.0.0
Jedi 0.19.1 Jinja2 3.1.4 chvění 0.9.0
jmespath 1.0.1 joblib 1.4.2 joblibspark 0.5.3
json5 0.9.6 jsonpatch 1,33 JSON ukazatel 3.0.0
jsonschema 4.19.2 Specifikace JSON schema 2023.7.1 jupyter události 0.10.0
jupyter-lsp 2.2.0 klient Jupyter 8.6.0 jupyter_core 5.7.2
jupyter_server 2.14.1 terminály_jupyter_server 0.4.4 jupyterlab 4.0.11
jupyterlab-pygments 0.1.2 jupyterlab_server 2.25.1 tvrdý 3.9.0
verizonsolver 1.4.4 langchain 0.3.21 langchain-core 0.3.51
langchain-text-splitters (rozdělovače textu langchain) 0.3.8 kódy jazyků 3.5.0 langsmith 0.1.133
jazyková_data 1.3.0 launchpadlib 1.11.0 lazr.restfulclient 0.14.6
lazr.uri 1.0.6 lazy_loader 0,4 libclang 15.0.6.1
librosa 0.10.2 lightgbm 4.5.0 bleskové nástroje 0.14.3
linkify –it-py 2.0.0 llvmlite 0.42.0 lz4 4.3.2
Žralok mako 1.2.0 marisa-trie 1.2.0 Markdown 3.4.1
markdown:it-py 2.2.0 MarkupSafe 2.1.3 matplotlib 3.8.4
matplotlib-inline 0.1.6 Mccabe 0.7.0 mdit-py-plugins 0.3.0
mdurl 0.1.0 memray 1.17.1 špatné naladění 2.0.4
ml-dtypes 0.4.1 mlflow-hubená 2.21.3 more-itertools 10.3.0
mosaicml-cli 0.6.41 mosaicml-streaming 0.11.0 mpmath 1.3.0
MSAL 1.32.0 msal-extensions 1.3.1 msgpack 1.1.0
vícejazyčný slovník 6.0.4 vícero metod 1.12 víceprocesový 0.70.16
murmurhash 1.0.12 mypy 1.10.0 mypy-extensions 1.0.0
namex 0.0.8 nbclient 0.8.0 nbconvert 7.10.0
nbformat 5.9.2 nest-asyncio 1.6.0 NetworkX 3.2.1
ninja 1.11.1.1 nltk (Natural Language Toolkit) 3.8.1 nodeenv 1.9.1
poznámkový blok 7.0.8 notebook_shim 0.2.3 numba 0.59.1
numpy (knihovna pro numerické výpočty v Pythonu) 1.26.4 oauthlib 3.2.0 Oči 2.150.0
openai 1.69.0 opencensus 0.11.4 opencensus-kontekst 0.1.3
opentelemetry-api 1.32.0 opentelemetry-sdk 1.32.0 opentelemetry-sémantické-konvence 0,53b0
opt_einsum 3.4.0 Optree 0.15.0 optuna 3.6.1
optuna-integration 3.6.0 orjson 3.10.16 přepíše 7.4.0
balení 24.1 Pandy 1.5.3 pandocfilters 1.5.0
paramiko 3.4.0 Parso 0.8.3 specifikace cesty 0.10.3
bábovka 0.5.6 pexpect 4.8.0 Phik 0.12.4
polštář 10.3.0 jádro 24,2 platformdirs 3.10.0
plotly 5.22.0 Pluggy (nástroj pro správu pluginů v Pythonu) 1.0.0 pmdarima 2.0.4
hafan 1.8.2 předem připravený 3.0.9 prometheus-client 0.14.1
nástroj "prompt-toolkit" 3.0.43 prorok 1.1.6 proto-plus 1.26.1
protobuf 4.24.1 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 čistý-eval 0.2.2 py-cpuinfo (Python balíček pro informace o CPU) 9.0.0
py-spy 0.4.0 pyarrow 15.0.2 pyasn1 0.4.8
pyasn1-modules 0.2.8 pybind11 2.13.6 pyccolo 0.0.65
pycparser 2.21 Pydantic (Python knihovna pro validaci a nastavení dat) 2.8.2 pydantic_core 2.20.1
pyflakes 3.2.0 Pygments 2.15.1 PyGObject 3.48.2
PyJWT 2.7.0 PyNaCl 1.5.0 pyodbc 5.0.1
pyOpenSSL 24.0.0 pyparsing 3.0.9 pyright 1.1.294
pytesseract 0.3.10 python-dateutil 2.9.0.post0 editor jazyka Python 1.0.4
python-json-logger (Python knihovna pro logování do formátu JSON) 2.0.7 python-lsp-jsonrpc 1.1.2 python-lsp-server 1.10.0
python-snappy 0.6.1 Pytoolconfig 1.2.6 pytorch-ranger 0.1.1
knihovna pytz pro zpracování časových zón v Pythonu 2024.1 PyWavelets 1.5.0 PyYAML 6.0.1
pyzmq 25.1.2 dotazník 2.1.0 paprsek 2.37.0
odkazování 0.30.2 regulární výraz 3. 10. 2023 požadavky 2.32.2
requests-oauthlib 1.3.1 requests-toolbelt 1.0.0 rfc3339-validator (validátor formátu RFC 3339) 0.1.4
rfc3986-validátor 0.1.1 bohatý 13.3.5 lano 1.12.0
rpds-py 0.10.6 Rsa 4,9 ruamel.yaml 0.18.10
ruamel.yaml.clib 0.2.12 s3transfer 0.10.2 safetensors 0.4.4
scikit-image 0.23.2 scikit-learn 1.4.2 SciPy 1.13.1
narozený v moři 0.13.2 Send2Trash 1.8.2 transformátory vět v NLP 3.4.1
věta 0.2.0 setuptools (nástroj pro vytváření a distribuci Python projektů) 74.0.0 tvar 0.46.0
shellingham 1.5.4 simplejson 3.17.6 šest 1.16.0
průřez 0.0.8 Chytré otevření 5.2.1 smmap 5.0.0
sniffio 1.3.0 zvukový soubor 0.12.1 sítko na polévku 2,5
soxr 0.5.0.post1 prostorný 3.7.5 spacy-legacy 3.0.12
spacy-loggers 1.0.5 SQLAlchemy 2.0.30 sqlparse 0.4.2
srsly 2.5.1 ssh-import-id 5.11 datová hromádka 0.2.0
stanio 0.5.1 hvězdička 0.46.2 statsmodels 0.14.2
sympy 1.13.1 sestavit tabulku 0.9.0 zamotaný v Unicode 0.2.0
houževnatost 8.2.2 TensorBoard 2.17.0 tensorboard-data-server 0.7.2
tensorboard-plugin-profil 2.17.0 tensorboardX (knihovna pro vizualizaci dat v Pythonu) 2.6.2.2 TensorFlow 2.17.0
TensorFlow Estimator 2.15.0 termcolor 3.0.1 dokončeno 0.17.1
textový 3.1.0 tf_keras 2.17.0 tenká 8.2.5
threadpoolctl 2.2.0 TIFF soubor 2023.4.12 tiktoken 0.7.0
tinycss2 1.2.1 tokenize-rt 4.2.1 tokenizátory 0.21.0
tomli 2.0.1 pochodeň 2.6.0+cpu Torch-optimalizátor 0.3.0
torcheval 0.0.7 metriky 1.6.0 Torchvision 0.21.0+cpu
tornádo 6.4.1 tqdm 4.66.4 drobné vlastnosti 5.14.3
Transformátory 4.50.2 typová ochrana 4.4.2 Typer 0.15.2
typy–protobuf 3.20.3 types-psutil 5.9.0 types-pytz 2023.3.1.1
types-PyYAML 6.0.0 typy žádostí 2.31.0.0 types-setuptools 68.0.0.0
typy-šest 1.16.0 types-urllib3 1.26.25.14 rozšíření_typingu 4.11.0
uc-micro-py 1.0.1 ujson 5.10.0 bezobslužné aktualizace 0,1
uri-template 1.3.0 urllib3 1.26.16 uvicorn 0.34.1
validátory 0.34.0 virtualenv 20.26.2 vize 0.7.5
wadllib 1.3.6 wasabi 1.1.3 wcwidth (šířka znaků) 0.2.5
lasice 0.4.1 webcolors 24.11.1 webová kódování 0.5.1
websocket-klient 1.8.0 websockets 11.0.3 Nářadí 3.0.3
whatthepatch 1.0.2 wheel 0.43.0 wordcloud 1.9.4
zabalený 1.14.1 xgboost 2.0.3 xgboost-ray 0.1.19
xxhash 3.4.1 yapf 0.33.0 yarlif 1.9.3
Profilace ydata 4.9.0 zipový uzávěr 3.17.0 zstd 1.5.5.1

Knihovny Pythonu v clusterech GPU

Poznámka:

PyTorch využívá závislosti CUDA PyPI k poskytování podpory CUDA místo verzí knihoven CUDA integrovaných do Databricks Runtime 16.4 LTS ML.

Knihovna Verze Knihovna Verze Knihovna Verze
absl-py 1.0.0 zrychlit 1.5.2 aiohttp 3.9.5
aiohttp-cors 0.8.1 aiosignal 1.2.0 anotované typy 0.7.0
anyio 4.2.0 argcomplete 3.6.2 argon2-cffi 21.3.0
argon2-cffi-bindings 21.2.0 šíp 1.2.3 Astor 0.8.1
asttokens 2.0.5 astunparse 1.6.3 async-lru 2.0.4
attrs 23.1.0 zvukové čtení 3.0.1 automatické příkazy 2.2.2
Azure Core 1.33.0 azure-cosmos 4.3.1 azure-identity 1.21.0
azure-storage-blob (služba pro ukládání dat na platformě Azure) 12.23.0 Služba "Azure Storage File Data Lake" 12.17.0 Babylón 2.11.0
ústup 2.2.1 backports.tarfile 1.2.0 šifra 3.2.0
BeautifulSoup4 4.12.3 černý 24.4.2 bělidlo 4.1.0
blikač 1.7.0 blaženost 0.7.11 boto3 1.34.69
botocore 1.34.69 Brotli 1.0.9 nástroje pro ukládání do mezipaměti 5.3.3
katalog 2.0.10 kodéry kategorií 2.6.3 certifikát 2024.6.2
cffi 1.16.0 chardet 4.0.0 nástroj pro normalizaci znakové sady 2.0.4
jistič 2.1.3 klikni 8.1.7 cloudpathlib 0.21.0
cloudpickle 2.2.1 cmdstanpy 1.2.5 barevný 0.5.6
colorlog 6.9.0 Komunikace 0.2.1 skladatel 0.29.0
cukroví 0.1.5 configparser 5.2.0 ContourPy 1.2.0
coolname 2.2.0 kryptografie 42.0.5 cyklista 0.11.0
cymem 2.0.11 Cython 3.0.11 dacitič 1.9.2
databricks-automl-runtime 0.2.21 databricks - inženýrství funkcí 0.10.2 Databricks SDK 0.30.0
datové sady 3.5.0 dbl-tempo 0.1.26 dbus-python 1.3.2
ladění 1.6.7 dekoratér 5.1.1 deepspeed 0.16.5
defusedxml 0.7.1 Nedoporučované 1.2.18 kopr 0.3.8
distlib 0.3.8 dm-tree 0.1.9 převod docstringu do formátu markdown 0.11
einops 0.8.1 vstupní body 0,4 hodnotit 0.4.3
provedení 0.8.3 přehled aspektů 1.1.1 Farama-Oznámení 0.0.4
fastapi 0.115.12 fastjsonschema 2.21.1 fasttext-wheel 0.9.2
zamykání souborů 3.13.1 flash_attn 2.7.4.post1 Flask 2.2.5
FlatBuffers 25.2.10 nástroje pro písma 4.51.0 Fqdn 1.5.1
zmrazený seznam 1.4.0 fsspec 2023.5.0 budoucnost 0.18.3
Gast 0.4.0 gitdb 4.0.11 GitPython 3.1.37
google-api-core 2.20.0 google-auth (autentizace) 2.21.0 google-auth-oauthlib 1.2.1
google-cloud-core 2.4.3 Úložiště Google Cloud 2.10.0 google-crc32c 1.7.1
google-pasta 0.2.0 google-resumable-media (pro snadné stahování/ukládání mediálních dat) 2.7.2 googleapis-common-protos 1.70.0
gql 3.5.2 graphql-core 3.2.4 zelenálet 3.0.1
grpcio 1.60.0 grpcio-status 1.60.0 gunicorn 20.1.0
gviz-api 1.10.0 tělocvična 0.28.1 h11 0.14.0
h5py 3.11.0 hjson 3.1.0 prázdniny 0.54
htmlmin 0.1.12 httpcore 1.0.8 httplib2 0.20.4
httpx 0.28.1 huggingface-hub 0.29.3 IDNA 3.7
ImageHash 4.3.1 imageio 2.33.1 nerovnovážné učení 0.12.3
importlib-metadata 6.0.0 importlib_resources 6.5.2 časovat/skloňovat 7.3.1
ipyflow-core je jádrová komponenta systému ipyflow 0.0.201 ipykernel 6.28.0 ipython 8.25.0
ipython-genutils 0.2.0 ipywidgets 7.7.2 isodate 0.6.1
isodurace 20.11.0 je to nebezpečné 2.2.0 jaraco.context 5.3.0
jaraco.functools 4.0.1 jaraco.text 3.12.1 jax-jumpy 1.0.0
Jedi 0.19.1 Jinja2 3.1.4 chvění 0.9.0
jmespath 1.0.1 joblib 1.4.2 joblibspark 0.5.3
json5 0.9.6 jsonpatch 1,33 JSON ukazatel 3.0.0
jsonschema 4.19.2 Specifikace JSON schema 2023.7.1 jupyter události 0.10.0
jupyter-lsp 2.2.0 klient Jupyter 8.6.0 jupyter_core 5.7.2
jupyter_server 2.14.1 terminály_jupyter_server 0.4.4 jupyterlab 4.0.11
jupyterlab-pygments 0.1.2 jupyterlab_server 2.25.1 tvrdý 3.9.0
verizonsolver 1.4.4 langchain 0.3.21 langchain-core 0.3.51
langchain-text-splitters (rozdělovače textu langchain) 0.3.8 kódy jazyků 3.5.0 langsmith 0.1.133
jazyková_data 1.3.0 launchpadlib 1.11.0 lazr.restfulclient 0.14.6
lazr.uri 1.0.6 lazy_loader 0,4 libclang 15.0.6.1
librosa 0.10.2 lightgbm 4.5.0 bleskové nástroje 0.14.3
linkify –it-py 2.0.0 llvmlite 0.42.0 lz4 4.3.2
Žralok mako 1.2.0 marisa-trie 1.2.0 Markdown 3.4.1
markdown:it-py 2.2.0 MarkupSafe 2.1.3 matplotlib 3.8.4
matplotlib-inline 0.1.6 Mccabe 0.7.0 mdit-py-plugins 0.3.0
mdurl 0.1.0 memray 1.17.1 špatné naladění 2.0.4
ml-dtypes 0.4.1 mlflow-hubená 2.21.3 more-itertools 10.3.0
mosaicml-cli 0.6.41 mosaicml-streaming 0.11.0 mpmath 1.3.0
MSAL 1.32.0 msal-extensions 1.3.1 msgpack 1.1.0
vícejazyčný slovník 6.0.4 vícero metod 1.12 víceprocesový 0.70.16
murmurhash 1.0.12 mypy 1.10.0 mypy-extensions 1.0.0
namex 0.0.8 nbclient 0.8.0 nbconvert 7.10.0
nbformat 5.9.2 nest-asyncio 1.6.0 NetworkX 3.2.1
ninja 1.11.1.1 nltk (Natural Language Toolkit) 3.8.1 nodeenv 1.9.1
poznámkový blok 7.0.8 notebook_shim 0.2.3 numba 0.59.1
numpy (knihovna pro numerické výpočty v Pythonu) 1.26.4 nvidia-cublas-cu12 12.4.5.8 nvidia-cuda-cupti-cu12 12.4.127
nvidia-cuda-nvrtc-cu12 12.4.127 nvidia-cuda-runtime-cu12 12.4.127 nvidia-cudnn-cu12 9.1.0.70
nvidia-cufft-cu12 11.2.1.3 nvidia-curand-cu12 10.3.5.147 nvidia-cusolver-cu12 11.6.1.9
nvidia-cusparse-cu12 12.3.1.170 nvidia-cusparselt-cu12 0.6.2 nvidia-nccl-cu12 2.21.5
nvidia-nvjitlink-cu12 12.4.127 nvidia-nvtx-cu12 12.4.127 oauthlib 3.2.0
Oči 2.150.0 openai 1.69.0 opencensus 0.11.4
opencensus-kontekst 0.1.3 opentelemetry-api 1.32.0 opentelemetry-sdk 1.32.0
opentelemetry-sémantické-konvence 0,53b0 opt_einsum 3.4.0 Optree 0.15.0
optuna 3.6.1 optuna-integration 3.6.0 orjson 3.10.16
přepíše 7.4.0 balení 24.1 Pandy 1.5.3
pandocfilters 1.5.0 paramiko 3.4.0 Parso 0.8.3
specifikace cesty 0.10.3 bábovka 0.5.6 pexpect 4.8.0
Phik 0.12.4 polštář 10.3.0 jádro 24,2
platformdirs 3.10.0 plotly 5.22.0 Pluggy (nástroj pro správu pluginů v Pythonu) 1.0.0
pmdarima 2.0.4 hafan 1.8.2 předem připravený 3.0.9
prometheus-client 0.14.1 nástroj "prompt-toolkit" 3.0.43 prorok 1.1.6
proto-plus 1.26.1 protobuf 4.24.1 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 čistý-eval 0.2.2
py-cpuinfo (Python balíček pro informace o CPU) 9.0.0 py-spy 0.4.0 pyarrow 15.0.2
pyasn1 0.4.8 pyasn1-modules 0.2.8 pybind11 2.13.6
pyccolo 0.0.65 pycparser 2.21 Pydantic (Python knihovna pro validaci a nastavení dat) 2.8.2
pydantic_core 2.20.1 pyflakes 3.2.0 Pygments 2.15.1
PyGObject 3.48.2 PyJWT 2.7.0 PyNaCl 1.5.0
pyodbc 5.0.1 pyOpenSSL 24.0.0 pyparsing 3.0.9
pyright 1.1.294 pytesseract 0.3.10 python-dateutil 2.9.0.post0
editor jazyka Python 1.0.4 python-json-logger (Python knihovna pro logování do formátu JSON) 2.0.7 python-lsp-jsonrpc 1.1.2
python-lsp-server 1.10.0 python-snappy 0.6.1 Pytoolconfig 1.2.6
pytorch-ranger 0.1.1 knihovna pytz pro zpracování časových zón v Pythonu 2024.1 PyWavelets 1.5.0
PyYAML 6.0.1 pyzmq 25.1.2 dotazník 2.1.0
paprsek 2.37.0 odkazování 0.30.2 regulární výraz 3. 10. 2023
požadavky 2.32.2 requests-oauthlib 1.3.1 requests-toolbelt 1.0.0
rfc3339-validator (validátor formátu RFC 3339) 0.1.4 rfc3986-validátor 0.1.1 bohatý 13.3.5
lano 1.12.0 rpds-py 0.10.6 Rsa 4,9
ruamel.yaml 0.18.10 ruamel.yaml.clib 0.2.12 s3transfer 0.10.2
safetensors 0.4.4 scikit-image 0.23.2 scikit-learn 1.4.2
SciPy 1.13.1 narozený v moři 0.13.2 Send2Trash 1.8.2
transformátory vět v NLP 3.4.1 věta 0.2.0 setuptools (nástroj pro vytváření a distribuci Python projektů) 74.0.0
tvar 0.46.0 shellingham 1.5.4 simplejson 3.17.6
šest 1.16.0 průřez 0.0.8 Chytré otevření 5.2.1
smmap 5.0.0 sniffio 1.3.0 zvukový soubor 0.12.1
sítko na polévku 2,5 soxr 0.5.0.post1 prostorný 3.7.5
spacy-legacy 3.0.12 spacy-loggers 1.0.5 SQLAlchemy 2.0.30
sqlparse 0.4.2 srsly 2.5.1 ssh-import-id 5.11
datová hromádka 0.2.0 stanio 0.5.1 hvězdička 0.46.2
statsmodels 0.14.2 sympy 1.13.1 sestavit tabulku 0.9.0
zamotaný v Unicode 0.2.0 houževnatost 8.2.2 TensorBoard 2.17.0
tensorboard-data-server 0.7.2 tensorboard-plugin-profil 2.17.0 tensorboardX (knihovna pro vizualizaci dat v Pythonu) 2.6.2.2
TensorFlow 2.17.0 TensorFlow Estimator 2.15.0 termcolor 3.0.1
dokončeno 0.17.1 textový 3.1.0 tf_keras 2.17.0
tenká 8.2.5 threadpoolctl 2.2.0 TIFF soubor 2023.4.12
tiktoken 0.7.0 tinycss2 1.2.1 tokenize-rt 4.2.1
tokenizátory 0.21.0 tomli 2.0.1 pochodeň 2.6.0+cu124
Torch-optimalizátor 0.3.0 torcheval 0.0.7 metriky 1.6.0
Torchvision 0.21.0+cu124 tornádo 6.4.1 tqdm 4.66.4
drobné vlastnosti 5.14.3 Transformátory 4.50.2 Tritón 3.2.0
typová ochrana 4.4.2 Typer 0.15.2 typy–protobuf 3.20.3
types-psutil 5.9.0 types-pytz 2023.3.1.1 types-PyYAML 6.0.0
typy žádostí 2.31.0.0 types-setuptools 68.0.0.0 typy-šest 1.16.0
types-urllib3 1.26.25.14 rozšíření_typingu 4.11.0 uc-micro-py 1.0.1
ujson 5.10.0 bezobslužné aktualizace 0,1 uri-template 1.3.0
urllib3 1.26.16 uvicorn 0.34.1 validátory 0.34.0
virtualenv 20.26.2 vize 0.7.5 wadllib 1.3.6
wasabi 1.1.3 wcwidth (šířka znaků) 0.2.5 lasice 0.4.1
webcolors 24.11.1 webová kódování 0.5.1 websocket-klient 1.8.0
websockets 11.0.3 Nářadí 3.0.3 whatthepatch 1.0.2
wheel 0.43.0 wordcloud 1.9.4 zabalený 1.14.1
xgboost 2.0.3 xgboost-ray 0.1.19 xxhash 3.4.1
yapf 0.33.0 yarlif 1.9.3 Profilace ydata 4.9.0
zipový uzávěr 3.17.0 zstd 1.5.5.1

Knihovny pro R

Knihovny R jsou stejné jako knihovny R v Databricks Runtime 16.4 LTS.

Knihovny Java a Scala (cluster Scala 2.12)

Kromě knihoven Java a Scala v Databricks Runtime 16.4 LTS obsahuje Databricks Runtime 16.4 LTS ML následující JAR soubory:

Klustery procesorů

ID skupiny Identifikátor artefaktu Verze
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-spark_2.12 1.7.3
ml.dmlc xgboost4j_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.4-db1-spark3.5
org.mlflow mlflow-client 2.15.1
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

Klastry GPU

ID skupiny Identifikátor artefaktu Verze
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-gpu_2.12 1.7.3
ml.dmlc xgboost4j-spark-gpu_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.4-db1-spark3.5
org.mlflow mlflow-client 2.15.1
org.tensorflow spark-tensorflow-connector_2.12 1.15.0
  • Last updated on