Databricks Runtime 15.0 for Machine Edukacja

  • Artykuł

Środowisko Databricks Runtime 15.0 for Machine Edukacja zapewnia gotowe do użycia środowisko do uczenia maszynowego i nauki o danych oparte na środowisku Databricks Runtime 15.0. Środowisko Databricks Runtime ML zawiera wiele popularnych bibliotek uczenia maszynowego, w tym TensorFlow, PyTorch i XGBoost. Środowisko Databricks Runtime ML obejmuje rozwiązanie AutoML— narzędzie do automatycznego trenowania potoków uczenia maszynowego. Środowisko Databricks Runtime ML obsługuje również trenowanie rozproszonego uczenia głębokiego przy użyciu struktury Horovod.

Nowe funkcje i ulepszenia

Środowisko Databricks Runtime 15.0 ML jest oparte na środowisku Databricks Runtime 15.0. Aby uzyskać informacje na temat nowości w środowisku Databricks Runtime 15.0, w tym apache Spark MLlib i SparkR, zobacz informacje o wersji środowiska Databricks Runtime 15.0 .

Zmiany powodujące niezgodność

Starszy interfejs wiersza polecenia usługi Databricks nie jest już instalowany domyślnie

W środowisku Databricks Runtime 14.3 LTS ML i nowszym, ponieważ wstępnie zainstalowana wersja biblioteki MLflow wymagała starszego interfejsu wiersza polecenia usługi Databricks (databricks/databricks-cli), została ona automatycznie zainstalowana w $PATH. Środowisko Databricks Runtime 15.0 ML zawiera bibliotekę MLflow w wersji 2.10.2, która nie wymaga starszego interfejsu wiersza polecenia.

Począwszy od środowiska Databricks Runtime 15.0 ML, starszy interfejs wiersza polecenia usługi Databricks nie jest już automatycznie instalowany w $PATH. Jest to zmiana powodująca niezgodność dla użytkowników, którzy zależą od starszego interfejsu wiersza polecenia instalowanego w środowisku uruchomieniowym. Polecenia takie jak %sh databricks ... nie działają już w środowisku Databricks Runtime 15.0 ML i nowszym.

Aby nadal korzystać ze starszego interfejsu wiersza polecenia usługi Databricks z notesu, zainstaluj go jako klaster lub bibliotekę notesów. Nowy interfejs wiersza polecenia usługi Databricks (databricks/cli) jest dostępny w terminalu internetowym. Aby uzyskać więcej informacji, zobacz Używanie terminalu internetowego i interfejsu wiersza polecenia usługi Databricks.

Rozwiązanie MLeap nie jest już dostępne, począwszy od środowiska Databricks Runtime 15.0 ML

Rozwiązanie MLeap nie jest już dostępne w środowisku Databricks Runtime 15.0 ML i nowszym. Aby spakować modele wdrażania na platformach opartych na maszynach JVM, usługa Databricks zaleca użycie formatu ONNX.

Wycofanie platform Horovod i HorovodRunner

Horovod i HorovodRunner są teraz przestarzałe. W przypadku rozproszonego uczenia głębokiego usługa Databricks zaleca używanie narzędzia TorchDistributor do trenowania rozproszonego za pomocą biblioteki PyTorch lub interfejsu tf.distribute.Strategy API na potrzeby trenowania rozproszonego za pomocą biblioteki TensorFlow. Narzędzia Horovod i HorovodRunner są wstępnie zainstalowane w środowisku Databricks Runtime 15.0 ML, ale zostaną usunięte w następnej głównej wersji uczenia maszynowego środowiska Databricks Runtime.

Uwaga

horovod.spark program nie obsługuje wersji pyarrow w wersji 11.0 lub nowszej (zobacz odpowiedni problem z usługą GitHub). Środowisko Databricks Runtime 15.0 ML zawiera plik pyarrow w wersji 14.0.1. Aby używać z usługą horovod.spark Databricks Runtime 15.0 ML lub nowszą wersją, należy ręcznie zainstalować plik pyarrow, określając wersję poniżej wersji 11.0.

Środowisko systemu

Środowisko systemowe w środowisku Databricks Runtime 15.0 ML różni się od środowiska Databricks Runtime 15.0 w następujący sposób:

  • W przypadku klastrów gpu środowisko Databricks Runtime ML obejmuje następujące biblioteki procesora GPU FIRMY NVIDIA:
    • CUDA 12.1
    • cuDNN 8.9.0.131-1
    • NCCL 2.17.1
    • TensorRT 8.6.1.6-1

Biblioteki

W poniższych sekcjach wymieniono biblioteki zawarte w środowisku Databricks Runtime 15.0 ML, które różnią się od bibliotek zawartych w środowisku Databricks Runtime 15.0.

W tej sekcji:

Biblioteki najwyższego poziomu

Środowisko Databricks Runtime 15.0 ML obejmuje następujące biblioteki najwyższego poziomu:

Biblioteki języka Python

Środowisko Databricks Runtime 15.0 ML używa virtualenv do zarządzania pakietami języka Python i zawiera wiele popularnych pakietów uczenia maszynowego.

Oprócz pakietów określonych w poniższych sekcjach środowisko Databricks Runtime 15.0 ML zawiera również następujące pakiety:

  • hyperopt 0.2.7+db4
  • sparkdl 3.0.0_db1
  • automl 1.25.0

Aby odtworzyć środowisko Języka Python środowiska Databricks Runtime ML w lokalnym środowisku wirtualnym języka Python, pobierz plik requirements-15.0.txt i uruchom polecenie pip install -r requirements-15.0.txt. To polecenie instaluje wszystkie biblioteki typu open source używane przez usługę Databricks Runtime ML, ale nie instaluje bibliotek opracowanych przez usługę Databricks, takich jak databricks-automl, databricks-feature-storelub rozwidlenie usługi Databricks .hyperopt

Biblioteki języka Python w klastrach procesora CPU

Biblioteka Wersja Biblioteka Wersja Biblioteka Wersja
absl-py 1.0.0 Przyspieszyć 0.25.0 aiohttp 3.8.5
aiohttp-cors 0.7.0 aiosignal 1.2.0 anyio 3.5.0
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 Astor 0.8.1
asttokens 2.0.5 astunparse 1.6.3 limit czasu asynchronicznego 4.0.2
attrs 22.1.0 audioread 3.0.1 azure-core 1.30.1
azure-cosmos 4.3.1 azure-storage-blob 12.19.0 azure-storage-file-datalake 12.14.0
backcall 0.2.0 bcrypt 3.2.0 beautifulsoup4 4.12.2
black (czarny) 23.3.0 Bleach 4.1.0 Błogosławiony 1.20.0
migacz 1.4 blis 0.7.11 boto3 1.34.39
botocore 1.34.39 cachetools 5.3.3 Katalog 2.0.10
kodery kategorii 2.6.3 certifi 2023.7.22 cffi 1.15.1
chardet 4.0.0 charset-normalizer 2.0.4 kliknięcie 8.0.4
cloudpathlib 0.16.0 cloudpickle 2.2.1 cmdstanpy 1.2.1
Kolorowe 0.5.6 Comm 0.1.2 Konfekcji 0.1.4
configparser 5.2.0 konturowy 1.0.5 Kryptografii 41.0.3
Cycler 0.11.0 cymem 2.0.8 Cython 0.29.32
dacite 1.8.1 databricks-automl-runtime 0.2.21 databricks-feature-engineering 0.3.0
databricks-sdk 0.20.0 dataclasses-json 0.6.4 usługi Power BI 2.16.1
dbl-tempo 0.1.26 dbus-python 1.2.18 debugpy 1.6.7
Dekorator 5.1.1 deepspeed 0.13.1 defusedxml 0.7.1
Koperek 0.3.6 diskcache 5.6.3 distlib 0.3.8
dm-tree 0.1.8 punkty wejścia 0,4 evaluate 0.4.1
Wykonywanie 0.8.3 aspekty — omówienie 1.1.1 Farama-Notifications 0.0.4
fastjsonschema 2.19.1 fasttext 0.9.2 filelock 3.9.0
Flask 2.2.5 flatbuffers 23.5.26 fonttools 4.25.0
zamrożona lista 1.3.3 fsspec 2023.5.0 Przyszłości 0.18.3
Gast 0.4.0 gitdb 4.0.11 GitPython 3.1.27
google-api-core 2.17.1 google-auth 2.21.0 google-auth-oauthlib 1.0.0
google-cloud-core 2.4.1 google-cloud-storage 2.11.0 google-crc32c 1.5.0
makaron google 0.2.0 google-resumable-media 2.7.0 googleapis-common-protos 1.62.0
gpustat 1.1.1 greenlet 2.0.1 grpcio 1.60.0
stan obiektu grpcio 1.60.0 gunicorn 20.1.0 gviz-api 1.10.0
Gimnazjum 0.28.1 h11 0.14.0 h5py 3.9.0
hjson 3.1.0 Wakacje 0.38 horovod 0.28.1+db1
htmlmin 0.1.12 httpcore 1.0.4 httplib2 0.20.2
httpx 0.27.0 przytulanieface-hub 0.20.2 Idna 3.4
ImageHash 4.3.1 imageio 2.31.1 niezrównoważona nauka 0.11.0
importlib-metadata 6.0.0 importlib_resources 6.1.2 ipyflow-core 0.0.198
ipykernel 6.25.1 Ipython 8.15.0 ipython-genutils 0.2.0
ipywidgets 8.0.4 isodate 0.6.1 jegodangerous 2.0.1
jax-jumpy 1.0.0 Jedi 0.18.1 Jeepney 0.7.1
Jinja2 3.1.2 jmespath 0.10.0 joblib 1.2.0
joblibspark 0.5.1 jsonpatch 1.33 jsonpointer 2,4
jsonschema 4.17.3 jupyter-server 1.23.4 jupyter_client 7.4.9
jupyter_core 5.3.0 jupyterlab-pygments 0.1.2 jupyterlab-widgets 3.0.5
keras 2.15.0 Brelok 23.5.0 kiwisolver 1.4.4
langchain 0.1.3 langchain-community 0.0.20 langchain-core 0.1.23
langcodes 3.3.0 langsmith 0.0.87 launchpadlib 1.10.16
lazr.restfulclient 0.14.4 lazr.uri 1.0.6 lazy_loader 0,2
libclang 16.0.6 librosa 0.10.1 lightgbm 4.2.0
llvmlite 0.40.0 Lxml 4.9.2 lz4 4.3.2
Mako 1.2.0 Znaczniki języka Markdown 3.4.1 markdown-it-py 2.2.0
Znaczniki Sejf 2.1.1 Zefir 3.21.1 matplotlib 3.7.2
biblioteka matplotlib-inline 0.1.6 mdurl 0.1.0 mistune 0.8.4
ml-dtypes 0.2.0 mlflow-skinny 2.10.2 więcej itertools 8.10.0
mpmath 1.3.0 msgpack 1.0.8 multidict 6.0.2
multimethod 1.11.2 przetwarzanie wieloprocesowe 0.70.14 szmurhash 1.0.10
mypy-extensions 0.4.3 nbclassic 0.5.5 nbclient 0.5.13
nbconvert 6.5.4 nbformat 5.7.0 nest-asyncio 1.5.6
networkx 3.1 Ninja 1.11.1.1 nltk 3.8.1
notes 6.5.4 notebook_shim 0.2.2 numba 0.57.1
Numpy 1.23.5 nvidia-ml-py 12.535.133 oauthlib 3.2.0
openai 1.9.0 opencensus 0.11.4 opencensus-context 0.1.3
opt-einsum 3.3.0 Opakowania 23.2 Pandas 2.0.3
pandocfilters 1.5.0 paramiko 2.9.2 parso 0.8.3
pathspec 0.10.3 Patsy 0.5.3 petastorm 0.12.1
pexpect 4.8.0 phik 0.12.4 pickleshare 0.7.5
Poduszkę 9.4.0 Pip 23.2.1 platformdirs 3.10.0
kreślenie 5.9.0 pmdarima 2.0.4 Psisko 1.8.1
preshed 3.0.9 prometheus-client 0.14.1 prompt-toolkit 3.0.36
Proroka 1.1.5 protobuf 4.24.1 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
py-cpuinfo 8.0.0 py-szpieg 0.3.14 pyarrow 14.0.1
pyarrow-hotfix 0,6 pyasn1 0.4.8 pyasn1-modules 0.2.8
pybind11 2.11.1 pyccolo 0.0.52 pycparser 2.21
pydantic 1.10.6 Pygments 2.15.1 PyGObject 3.42.1
PyJWT 2.3.0 PyNaCl 1.5.0 pynvml 11.5.0
pyodbc 4.0.38 pyparsing 3.0.9 pirstent 0.18.0
pytesseract 0.3.10 python-dateutil 2.8.2 Python-editor 1.0.4
python-lsp-jsonrpc 1.1.1 pytz 2022.7 PyWavelets 1.4.1
PyYAML 6.0 pyzmq 23.2.0 Ray 2.9.3
Regex 2022.7.9 żądania 2.31.0 requests-oauthlib 1.3.1
Odpowiedzi 0.13.3 rich 13.7.1 rsa 4.9
s3transfer 0.10.0 bezpiecznetensory 0.3.2 scikit-image 0.20.0
scikit-learn 1.3.0 scipy 1.11.1 seaborn 0.12.2
SecretStorage 3.3.1 Send2Trash 1.8.0 transformatory zdań 2.2.2
element zdania 0.1.99 setuptools 68.0.0 Shap 0.44.0
simplejson 3.17.6 Sześć 1.16.0 Fragmentatora 0.0.7
smart-open 5.2.1 smmap 5.0.0 wąchanie 1.2.0
soundfile 0.12.1 zupy 2,4 soxr 0.3.7
spacy 3.7.2 spacy-legacy 3.0.12 spacy-loggers 1.0.5
spark-tensorflow-distributor 1.0.0 SQLAlchemy 1.4.39 sqlparse 0.4.2
srsly 2.4.8 ssh-import-id 5,11 stack-data 0.2.0
stanio 0.3.0 statsmodels 0.14.0 sympy 1.11.1
splątane-up-in-unicode 0.2.0 Wytrzymałość 8.2.2 tablica tensorboard 2.15.1
tensorboard-data-server 0.7.2 tensorboard-plugin-profile 2.15.0 tensorboardX 2.6.2.2
tensorflow-cpu 2.15.0 tensorflow-estimator 2.15.0 tensorflow-io-gcs-filesystem 0.36.0
termcolor 2.4.0 terminado 0.17.1 cienki 8.2.3
threadpoolctl 2.2.0 tifffile 2021.7.2 tiktoken 0.5.2
tinycss2 1.2.1 tokenize-rt 4.2.1 tokenizatory 0.15.0
Palnika 2.1.2+ procesor torcheval 0.0.7 torchvision 0.16.2+ procesor
Tornado 6.3.2 tqdm 4.65.0 traitlety 5.7.1
Transformatory 4.36.2 osłona typów 2.13.3 typer 0.9.0
inspekcja wpisywania 0.9.0 typing_extensions 4.7.1 tzdata 2022.1
ujson 5.4.0 nienadzorowane uaktualnienia 0.1 urllib3 1.26.16
Virtualenv 20.21.0 Wizje 0.7.5 wadllib 1.3.6
Wasabi 1.1.2 wcwidth 0.2.5 Łasica 0.3.4
webencodings 0.5.1 websocket-client 0.58.0 Werkzeug 2.2.3
Koła 0.38.4 widgetsnbextension 4.0.5 wordcloud 1.9.3
zawijanie 1.14.1 xgboost 2.0.3 xxhash 3.4.1
Yarl 1.8.1 profilowanie danych 4.5.1 zipp 3.11.0

Biblioteki języka Python w klastrach gpu

Biblioteka Wersja Biblioteka Wersja Biblioteka Wersja
absl-py 1.0.0 Przyspieszyć 0.25.0 aiohttp 3.8.5
aiohttp-cors 0.7.0 aiosignal 1.2.0 anyio 3.5.0
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 Astor 0.8.1
asttokens 2.0.5 astunparse 1.6.3 limit czasu asynchronicznego 4.0.2
attrs 22.1.0 audioread 3.0.1 azure-core 1.30.1
azure-cosmos 4.3.1 azure-storage-blob 12.19.0 azure-storage-file-datalake 12.14.0
backcall 0.2.0 bcrypt 3.2.0 beautifulsoup4 4.12.2
black (czarny) 23.3.0 Bleach 4.1.0 Błogosławiony 1.20.0
migacz 1.4 blis 0.7.11 boto3 1.34.39
botocore 1.34.39 cachetools 5.3.3 Katalog 2.0.10
kodery kategorii 2.6.3 certifi 2023.7.22 cffi 1.15.1
chardet 4.0.0 charset-normalizer 2.0.4 kliknięcie 8.0.4
cloudpathlib 0.16.0 cloudpickle 2.2.1 cmdstanpy 1.2.1
Kolorowe 0.5.6 Comm 0.1.2 Konfekcji 0.1.4
configparser 5.2.0 konturowy 1.0.5 Kryptografii 41.0.3
Cycler 0.11.0 cymem 2.0.8 Cython 0.29.32
dacite 1.8.1 databricks-automl-runtime 0.2.21 databricks-feature-engineering 0.3.0
databricks-sdk 0.20.0 dataclasses-json 0.6.4 usługi Power BI 2.16.1
dbl-tempo 0.1.26 dbus-python 1.2.18 debugpy 1.6.7
Dekorator 5.1.1 deepspeed 0.13.1 defusedxml 0.7.1
Koperek 0.3.6 diskcache 5.6.3 distlib 0.3.8
dm-tree 0.1.8 einops 0.7.0 punkty wejścia 0,4
evaluate 0.4.1 Wykonywanie 0.8.3 aspekty — omówienie 1.1.1
Farama-Notifications 0.0.4 fastjsonschema 2.19.1 fasttext 0.9.2
filelock 3.9.0 flash-attn 2.5.0 Flask 2.2.5
flatbuffers 23.5.26 fonttools 4.25.0 zamrożona lista 1.3.3
fsspec 2023.5.0 Przyszłości 0.18.3 Gast 0.4.0
gitdb 4.0.11 GitPython 3.1.27 google-api-core 2.17.1
google-auth 2.21.0 google-auth-oauthlib 1.0.0 google-cloud-core 2.4.1
google-cloud-storage 2.11.0 google-crc32c 1.5.0 makaron google 0.2.0
google-resumable-media 2.7.0 googleapis-common-protos 1.62.0 gpustat 1.1.1
greenlet 2.0.1 grpcio 1.60.0 stan obiektu grpcio 1.60.0
gunicorn 20.1.0 gviz-api 1.10.0 Gimnazjum 0.28.1
h11 0.14.0 h5py 3.9.0 hjson 3.1.0
Wakacje 0.38 horovod 0.28.1+db1 htmlmin 0.1.12
httpcore 1.0.4 httplib2 0.20.2 httpx 0.27.0
przytulanieface-hub 0.20.2 Idna 3.4 ImageHash 4.3.1
imageio 2.31.1 niezrównoważona nauka 0.11.0 importlib-metadata 6.0.0
importlib_resources 6.1.2 ipyflow-core 0.0.198 ipykernel 6.25.1
Ipython 8.15.0 ipython-genutils 0.2.0 ipywidgets 8.0.4
isodate 0.6.1 jegodangerous 2.0.1 jax-jumpy 1.0.0
Jedi 0.18.1 Jeepney 0.7.1 Jinja2 3.1.2
jmespath 0.10.0 joblib 1.2.0 joblibspark 0.5.1
jsonpatch 1.33 jsonpointer 2,4 jsonschema 4.17.3
jupyter-server 1.23.4 jupyter_client 7.4.9 jupyter_core 5.3.0
jupyterlab-pygments 0.1.2 jupyterlab-widgets 3.0.5 keras 2.15.0
Brelok 23.5.0 kiwisolver 1.4.4 langchain 0.1.3
langchain-community 0.0.20 langchain-core 0.1.23 langcodes 3.3.0
langsmith 0.0.87 launchpadlib 1.10.16 lazr.restfulclient 0.14.4
lazr.uri 1.0.6 lazy_loader 0,2 libclang 16.0.6
librosa 0.10.1 lightgbm 4.2.0 llvmlite 0.40.0
Lxml 4.9.2 lz4 4.3.2 Mako 1.2.0
Znaczniki języka Markdown 3.4.1 markdown-it-py 2.2.0 Znaczniki Sejf 2.1.1
Zefir 3.21.1 matplotlib 3.7.2 biblioteka matplotlib-inline 0.1.6
mdurl 0.1.0 mistune 0.8.4 ml-dtypes 0.2.0
mlflow-skinny 2.10.2 więcej itertools 8.10.0 mpmath 1.3.0
msgpack 1.0.8 multidict 6.0.2 multimethod 1.11.2
przetwarzanie wieloprocesowe 0.70.14 szmurhash 1.0.10 mypy-extensions 0.4.3
nbclassic 0.5.5 nbclient 0.5.13 nbconvert 6.5.4
nbformat 5.7.0 nest-asyncio 1.5.6 networkx 3.1
Ninja 1.11.1.1 nltk 3.8.1 notes 6.5.4
notebook_shim 0.2.2 numba 0.57.1 Numpy 1.23.5
nvidia-ml-py 12.535.133 oauthlib 3.2.0 openai 1.9.0
opencensus 0.11.4 opencensus-context 0.1.3 opt-einsum 3.3.0
Opakowania 23.2 Pandas 2.0.3 pandocfilters 1.5.0
paramiko 2.9.2 parso 0.8.3 pathspec 0.10.3
Patsy 0.5.3 petastorm 0.12.1 pexpect 4.8.0
phik 0.12.4 pickleshare 0.7.5 Poduszkę 9.4.0
Pip 23.2.1 platformdirs 3.10.0 kreślenie 5.9.0
pmdarima 2.0.4 Psisko 1.8.1 preshed 3.0.9
prompt-toolkit 3.0.36 Proroka 1.1.5 protobuf 4.24.1
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 py-cpuinfo 8.0.0 py-szpieg 0.3.14
pyarrow 14.0.1 pyarrow-hotfix 0,6 pyasn1 0.4.8
pyasn1-modules 0.2.8 pybind11 2.11.1 pyccolo 0.0.52
pycparser 2.21 pydantic 1.10.6 Pygments 2.15.1
PyGObject 3.42.1 PyJWT 2.3.0 PyNaCl 1.5.0
pynvml 11.5.0 pyodbc 4.0.38 pyparsing 3.0.9
pirstent 0.18.0 pytesseract 0.3.10 python-dateutil 2.8.2
Python-editor 1.0.4 python-lsp-jsonrpc 1.1.1 pytz 2022.7
PyWavelets 1.4.1 PyYAML 6.0 pyzmq 23.2.0
Ray 2.9.3 Regex 2022.7.9 żądania 2.31.0
requests-oauthlib 1.3.1 Odpowiedzi 0.13.3 rich 13.7.1
rsa 4.9 s3transfer 0.10.0 bezpiecznetensory 0.3.2
scikit-image 0.20.0 scikit-learn 1.3.0 scipy 1.11.1
seaborn 0.12.2 SecretStorage 3.3.1 Send2Trash 1.8.0
transformatory zdań 2.2.2 element zdania 0.1.99 setuptools 68.0.0
Shap 0.44.0 simplejson 3.17.6 Sześć 1.16.0
Fragmentatora 0.0.7 smart-open 5.2.1 smmap 5.0.0
wąchanie 1.2.0 soundfile 0.12.1 zupy 2,4
soxr 0.3.7 spacy 3.7.2 spacy-legacy 3.0.12
spacy-loggers 1.0.5 spark-tensorflow-distributor 1.0.0 SQLAlchemy 1.4.39
sqlparse 0.4.2 srsly 2.4.8 ssh-import-id 5,11
stack-data 0.2.0 stanio 0.3.0 statsmodels 0.14.0
sympy 1.11.1 splątane-up-in-unicode 0.2.0 Wytrzymałość 8.2.2
tablica tensorboard 2.15.1 tensorboard-data-server 0.7.2 tensorboard-plugin-profile 2.15.0
tensorboardX 2.6.2.2 tensorflow 2.15.0 tensorflow-estimator 2.15.0
tensorflow-io-gcs-filesystem 0.36.0 termcolor 2.4.0 terminado 0.17.1
cienki 8.2.3 threadpoolctl 2.2.0 tifffile 2021.7.2
tiktoken 0.5.2 tinycss2 1.2.1 tokenize-rt 4.2.1
tokenizatory 0.15.0 Palnika 2.1.2+cu121 torcheval 0.0.7
torchvision 0.16.2+cu121 Tornado 6.3.2 tqdm 4.65.0
traitlety 5.7.1 Transformatory 4.36.2 Triton 2.1.0
osłona typów 2.13.3 typer 0.9.0 inspekcja wpisywania 0.9.0
typing_extensions 4.7.1 tzdata 2022.1 ujson 5.4.0
nienadzorowane uaktualnienia 0.1 urllib3 1.26.16 Virtualenv 20.21.0
Wizje 0.7.5 wadllib 1.3.6 Wasabi 1.1.2
wcwidth 0.2.5 Łasica 0.3.4 webencodings 0.5.1
websocket-client 0.58.0 Werkzeug 2.2.3 Koła 0.38.4
widgetsnbextension 4.0.5 wordcloud 1.9.3 zawijanie 1.14.1
xgboost 2.0.3 xxhash 3.4.1 Yarl 1.8.1
profilowanie danych 4.5.1 zipp 3.11.0

Biblioteki R

Biblioteki języka R są identyczne z bibliotekami języka R w środowisku Databricks Runtime 15.0.

Biblioteki Java i Scala (klaster Scala 2.12)

Oprócz bibliotek Java i Scala w środowisku Databricks Runtime 15.0 środowisko Databricks Runtime 15.0 ML zawiera następujące jednostki JAR:

Klastry procesora CPU

Identyfikator grupy Identyfikator artefaktu Wersja
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-spark_2.12 1.7.3
ml.dmlc xgboost4j_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-db2-spark3.4
org.mlflow mlflow-client 2.10.2
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

Klastry procesora GPU

Identyfikator grupy Identyfikator artefaktu Wersja
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-gpu_2.12 1.7.3
ml.dmlc xgboost4j-spark-gpu_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-db2-spark3.4
org.mlflow mlflow-client 2.10.2
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0