Udostępnij przez

Databricks Runtime 16.4 LTS for Machine Learning

Środowisko Databricks Runtime 16.4 LTS for Machine Learning zapewnia gotowe środowiskoto-go do uczenia maszynowego i nauki o danych oparte na środowisku Databricks Runtime 16.4 LTS. Środowisko Databricks Runtime ML zawiera wiele popularnych bibliotek uczenia maszynowego, w tym TensorFlow, PyTorch i XGBoost. Środowisko Databricks Runtime ML obejmuje rozwiązanie AutoML— narzędzie do automatycznego trenowania potoków uczenia maszynowego. Środowisko Databricks Runtime ML obsługuje również rozproszone trenowanie uczenia głębokiego przy użyciu narzędzi TorchDistributor, DeepSpeed i Ray.

Wskazówka

Aby wyświetlić informacje o wersji środowiska Databricks Runtime, które osiągnęły koniec wsparcia technicznego (EoS), zobacz End-of-support Databricks Runtime release notes (Informacje o wersji środowiska Databricks Runtime). Wersje środowiska Uruchomieniowego usługi EoS Databricks zostały wycofane i mogą nie zostać zaktualizowane.

Nowe funkcje i ulepszenia

Środowisko Databricks Runtime 16.4 LTS ML jest oparte na środowisku Databricks Runtime 16.4 LTS. Aby uzyskać informacje na temat nowości w środowisku Databricks Runtime 16.4 LTS, w tym Apache Spark MLlib i SparkR, zobacz notatki o wydaniu środowiska Databricks Runtime 16.4 LTS.

Inne zmiany

XGBoost4J-Spark jest teraz przestarzała

XGBoost4J-Spark jest teraz przestarzała i nie zostanie wstępnie zainstalowana w następnej głównej wersji środowiska Databricks Runtime ML. Usługa Databricks zaleca używanie interfejsu API języka Python dla programu xgboost.spark. Zobacz Trenowanie rozproszone modeli XGBoost przy użyciu xgboost.spark.

Biblioteka TensorFlow 2.17.x nie może załadować biblioteki cuDNN

Jest to znany problem w środowisku Databricks Runtime 16.4 LTS ML polegający na tym, że TensorFlow 2.17.x (wersja domyślna) nie może uzyskać dostępu do urządzeń GPU z powodu błędu ładowania biblioteki cuDNN. Aby rozwiązać ten problem, uaktualnij bibliotekę TensorFlow do wersji 2.18.x lub nowszej.

Środowisko systemu

Środowisko systemowe w środowisku Databricks Runtime 16.4 LTS ML różni się od środowiska Databricks Runtime 16.4 LTS w następujący sposób.

  • W przypadku klastrów gpu środowisko Databricks Runtime ML obejmuje następujące biblioteki procesora GPU FIRMY NVIDIA:
    • CUDA 12.6
    • cublas 12.6.0.22-1
    • cusolver 11.6.4.38-1
    • cupti 12.6.37-1
    • cusparse 12.5.2.23-1
    • cuDNN 9.3.0.75-1
    • NCCL 2.22.3
    • TensorRT 10.2.0.19-1

Biblioteki

W poniższych sekcjach wymieniono biblioteki zawarte w środowisku Databricks Runtime 16.4 LTS ML, które różnią się od bibliotek zawartych w środowisku Databricks Runtime 16.4 LTS.

W tej sekcji:

Biblioteki najwyższego poziomu

Środowisko Databricks Runtime 16.4 LTS ML obejmuje następujące biblioteki najwyższego poziomu:

Biblioteki języka Python

Środowisko Databricks Runtime 16.4 LTS ML używa virtualenv do zarządzania pakietami języka Python i zawiera wiele popularnych pakietów uczenia maszynowego.

Oprócz pakietów określonych w poniższych sekcjach środowisko Databricks Runtime 16.4 LTS ML zawiera również następujące pakiety:

  • hyperopt 0.2.8+db1
  • automl 1.30.0

Aby odtworzyć środowisko Python Databricks Runtime ML w lokalnym wirtualnym środowisku Python, pobierz plik requirements-16.4.txt i uruchom pip install -r requirements-16.4.txt. To polecenie instaluje wszystkie biblioteki typu open source używane przez usługę Databricks Runtime ML, ale nie instaluje bibliotek opracowanych przez Databricks, takich jak databricks-automl lub wersja Databricks hyperopt.

Biblioteki języka Python w klastrach procesora CPU

Biblioteka wersja Biblioteka wersja Biblioteka wersja
absl-py 1.0.0 przyspieszać 1.5.2 aiohttp 3.9.5
aiohttp-cors 0.8.1 aiosignal 1.2.0 alembic 1.14.1
typy z adnotacjami 0.7.0 anyio 4.2.0 argcomplete 3.6.2
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 strzałka 1.2.3
Astor 0.8.1 asttokens 2.0.5 astunparse 1.6.3
async-lru 2.0.4 attrs 23.1.0 odczyt dźwięku 3.0.1
autokomenda 2.2.2 azure-core 1.33.0 azure-cosmos 4.3.1
azure-identity 1.21.0 Azure Storage Blob 12.23.0 Usługa przechowywania w chmurze Azure (azure-storage-file-datalake) 12.17.0
Babel 2.11.0 wycofywanie 2.2.1 backports.tarfile 1.2.0
bcrypt 3.2.0 beautifulsoup4 4.12.3 czarny 24.4.2
wybielacz 4.1.0 kierunkowskaz 1.7.0 błogość 0.7.11
boto3 1.34.69 botocore 1.34.69 Brotli 1.0.9
cachetools (narzędzia do zarządzania pamięcią podręczną) 5.3.3 katalog 2.0.10 kodery kategorii 2.6.3
certyfikat 2024.6.2 cffi 1.16.0 chardet 4.0.0
normalizator zestawu znaków 2.0.4 wyłącznik obwodowy 2.1.3 kliknij 8.1.7
cloudpathlib 0.21.0 cloudpickle (biblioteka Python do serializacji obiektów) 2.2.1 cmdstanpy 1.2.5
kolorowy 0.5.6 log kolorów 6.9.0 komunikacja 0.2.1
kompozytor 0.29.0 wyrób cukierniczy 0.1.5 configparser 5.2.0
ContourPy 1.2.0 fajna_nazwa 2.2.0 kryptografia 42.0.5
rowerzysta 0.11.0 cymem 2.0.11 Cython 3.0.11
dacyt 1.9.2 databricks-automl-runtime 0.2.21 proces inżynierii cech w Databricks 0.10.2
databricks-sdk 0.30.0 zbiory danych 3.5.0 dbl-tempo 0.1.26
dbus-python 1.3.2 debugpy 1.6.7 dekorator 5.1.1
Deepspeed 0.16.5 defusedxml (biblioteka zabezpieczająca przetwarzanie XML) 0.7.1 Przestarzałe 1.2.18
koper 0.3.8 distlib 0.3.8 dm-tree 0.1.9
Konwertowanie docstringów na markdown 0,11 einops 0.8.1 punkty wejścia 0,4
ocenić 0.4.3 wykonywanie 0.8.3 aspekty — omówienie 1.1.1
Powiadomienia Farama 0.0.4 fastapi 0.115.12 fastjsonschema 2.21.1
koło szybkiego tekstu 0.9.2 blokada plików 3.13.1 Flask 2.2.5
flatbuffers 25.2.10 fonttools 4.51.0 Fqdn 1.5.1
zablokowana lista 1.4.0 fsspec 2023.5.0 przyszłość 0.18.3
Гаст 0.4.0 gitdb (baza danych Git) 4.0.11 GitPython 3.1.37
google-api-core 2.20.0 google-auth (autoryzacja Google) 2.21.0 google-auth-oauthlib (biblioteka uwierzytelniania OAuth dla Google) 1.2.1
google-cloud-core 2.4.3 Google Cloud Storage (usługa przechowywania danych w chmurze od Google) 2.10.0 google-crc32c (biblioteka do obsługi algorytmu crc32c od Google) 1.7.1
Google-pasta 0.2.0 Google Media z Możliwością Wznowienia 2.7.2 googleapis-common-protos 1.70.0
gql 3.5.2 graphql-core 3.2.4 zielona nitka 3.0.1
grpcio 1.60.0 status grpcio 1.60.0 gunicorn 20.1.0
Gviz-API 1.10.0 sala gimnastyczna 0.28.1 h11 0.14.0
h5py 3.11.0 hjson 3.1.0 wakacje 0,54
htmlmin 0.1.12 httpcore 1.0.8 httplib2 0.20.4
httpx 0.28.1 Hugging Face Hub 0.29.3 IDNA 3.7
ImageHash 4.3.1 imageio 2.33.1 niezrównoważona nauka 0.12.3
importlib-metadata 6.0.0 importlib_resources 6.5.2 odchylić 7.3.1
ipyflow-core 0.0.201 ipykernel 6.28.0 ipython 8.25.0
ipython-genutils 0.2.0 ipywidgets 7.7.2 isodate 0.6.1
izoduracja 20.11.0 to jest niebezpieczne 2.2.0 jaraco.context 5.3.0
jaraco.functools 4.0.1 jaraco.text 3.12.1 jax-jumpy 1.0.0
Jedi 0.19.1 Jinja2 3.1.4 drżenie 0.9.0
jmespath 1.0.1 joblib 1.4.2 joblibspark 0.5.3
json5 0.9.6 jsonpatch 1,33 JsonPointer 3.0.0
jsonschema 4.19.2 Specyfikacje schematu JSON 2023.7.1 If the term needs to stay in English, it should remain "jupyter-events". If a translation is needed, it could potentially be "wydarzenia jupyter", depending on the context and recognition among the target audience. 0.10.0
jupyter-lsp 2.2.0 jupyter_client 8.6.0 jupyter_core 5.7.2
jupyter_server 2.14.1 jupyter_server_terminals (terminale serwera Jupyter) 0.4.4 jupyterlab 4.0.11
jupyterlab-pygments 0.1.2 jupyterlab_server 2.25.1 Keras 3.9.0
kiwisolver 1.4.4 langchain 0.3.21 langchain-core 0.3.51
langchain-text-splitters (narzędzie do dzielenia tekstu) 0.3.8 kody językowe 3.5.0 langsmith 0.1.133
dane_językowe 1.3.0 launchpadlib 1.11.0 lazr.restfulclient 0.14.6
lazr.uri 1.0.6 leniwy ładowacz 0,4 libclang 15.0.6.1
librosa 0.10.2 lightgbm 4.5.0 narzędzia błyskawiczne 0.14.3
linkify —it-py 2.0.0 llvmlite 0.42.0 lz4 4.3.2
Mako 1.2.0 marisa-trie 1.2.0 Markdown 3.4.1
markdown —it-py 2.2.0 MarkupSafe 2.1.3 biblioteka matplotlib 3.8.4
biblioteka matplotlib-inline 0.1.6 Mccabe 0.7.0 mdit-py-plugins 0.3.0
mdurl 0.1.0 memray 1.17.1 Mistune 2.0.4
ml-dtypes 0.4.1 mlflow-skinny 2.21.3 więcej itertools 10.3.0
mosaicml-cli 0.6.41 mosaicml-streaming 0.11.0 mpmath 1.3.0
msal 1.32.0 msal-extensions 1.3.1 msgpack 1.1.0
multidict 6.0.4 wielometoda 1.12 wieloprocesowy 0.70.16
MurmurHash 1.0.12 mypy 1.10.0 mypy-extensions 1.0.0
namex 0.0.8 NBClient 0.8.0 nbconvert - narzędzie do konwersji plików Jupyter Notebook 7.10.0
nbformat 5.9.2 nest-asyncio 1.6.0 networkx 3.2.1
Ninja 1.11.1.1 Natural Language Toolkit (nltk) 3.8.1 nodeenv 1.9.1
notes 7.0.8 notebook_shim 0.2.3 numba 0.59.1
numpy 1.26.4 oauthlib 3.2.0 Oci 2.150.0
openai 1.69.0 opencensus 0.11.4 opencensus-context 0.1.3
opentelemetry-api 1.32.0 opentelemetry-sdk 1.32.0 opentelemetry-semantic-conventions (standardowe konwencje semantyczne w OpenTelemetry) 0.53b0
opt_einsum 3.4.0 optree 0.15.0 optuna 3.6.1
integracja Optuna 3.6.0 orjson 3.10.16 Zastępuje 7.4.0
opakowanie 24.1 Pandas 1.5.3 pandocfilters 1.5.0
paramiko - biblioteka do protokołu SSH2 dla języka Python 3.4.0 parso 0.8.3 specyfikacja ścieżki 0.10.3
ofiara 0.5.6 pexpect 4.8.0 phik 0.12.4
poduszka 10.3.0 pip (menedżer pakietów Pythona) 24,2 platformdirs 3.10.0
kreślenie 5.22.0 wtyczkowy 1.0.0 pmdarima 2.0.4
kundel 1.8.2 przeszhetowany 3.0.9 prometheus-client 0.14.1
zestaw narzędzi prompt 3.0.43 prorok 1.1.6 proto-plus 1.26.1
Protobuf (w skrócie od Protocol Buffers) 4.24.1 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 py-cpuinfo 9.0.0
py-szpieg 0.4.0 pyarrow 15.0.2 pyasn1 0.4.8
pyasn1-modules 0.2.8 pybind11 2.13.6 pyccolo 0.0.65
pycparser 2.21 pydantic (biblioteka Python do walidacji danych i zarządzania ustawieniami) 2.8.2 pydantic_core 2.20.1
pyflakes (narzędzie do analizy statycznej kodu Python) 3.2.0 Pygments 2.15.1 PyGObject 3.48.2
PyJWT 2.7.0 PyNaCl 1.5.0 pyodbc 5.0.1
pyOpenSSL 24.0.0 pyparsing – biblioteka do przetwarzania tekstu w Pythonie 3.0.9 pyright 1.1.294
pytesseract 0.3.10 python-dateutil (biblioteka Pythona do zarządzania datami) 2.9.0.post0 Pythonowy edytor 1.0.4
python-json-logger 2.0.7 python-lsp-jsonrpc 1.1.2 python-lsp-server 1.10.0
python-snappy 0.6.1 pytoolconfig 1.2.6 pytorch-ranger 0.1.1
pytz (biblioteka Pythona do obliczeń stref czasowych) 2024.1 PyWavelets 1.5.0 PyYAML 6.0.1
pyzmq 25.1.2 kwestionariusz 2.1.0 promień 2.37.0
odwoływanie się 0.30.2 wyrażenie regularne 2023-10-3 żądania 2.32.2
requests-oauthlib 1.3.1 requests-toolbelt (narzędzie wspomagające dla biblioteki requests w Pythonie) 1.0.0 rfc3339-validator 0.1.4
rfc3986-validator 0.1.1 bogaty 13.3.5 lina 1.12.0
rpds-py 0.10.6 RSA 4.9 ruamel.yaml 0.18.10
ruamel.yaml.clib 0.2.12 s3transfer 0.10.2 bezpiecznetensory 0.4.4
scikit-image 0.23.2 scikit-learn 1.4.2 scipy (biblioteka naukowa dla Pythona) 1.13.1
urodzony na morzu 0.13.2 Send2Trash 1.8.2 transformatory zdań 3.4.1
element zdania 0.2.0 setuptools 74.0.0 kształt 0.46.0
shellingham 1.5.4 simplejson 3.17.6 sześć 1.16.0
fragmentator 0.0.8 inteligentne-otwarcie 5.2.1 smmap 5.0.0
Sniffio 1.3.0 Plik dźwiękowy 0.12.1 sitko do zupy 2,5
soxr 0.5.0.post1 przestronny 3.7.5 spacy-legacy 3.0.12
spacy-loggers 1.0.5 SQLAlchemy 2.0.30 sqlparse 0.4.2
serio 2.5.1 ssh-import-id (narzędzie do importowania kluczy SSH) 5.11 stos danych 0.2.0
cyna 0.5.1 gwiazdka 0.46.2 statsmodels - biblioteka do modelowania statystycznego 0.14.2
sympy 1.13.1 sporządzać tabelę 0.9.0 splątane w Unicode 0.2.0
Wytrzymałość 8.2.2 TensorBoard 2.17.0 serwer danych TensorBoard 0.7.2
wtyczka TensorBoard do profilowania 2.17.0 tensorboardX 2.6.2.2 TensorFlow 2.17.0
tensorflow-estimator (moduł TensorFlow do estymacji) 2.15.0 termcolor (narzędzie do zarządzania kolorami w terminalu) 3.0.1 zakończony 0.17.1
Tekstowy 3.1.0 tf_keras 2.17.0 cienki 8.2.5
threadpoolctl 2.2.0 tifffile 2023.4.12 tiktoken 0.7.0
tinycss2 1.2.1 tokenize-rt 4.2.1 narzędzia tokenizacji 0.21.0
tomli 2.0.1 pochodnia 2.6.0+ procesor optymalizator latarki 0.3.0
torcheval 0.0.7 torchmetrics 1.6.0 TorchVision (Wizja Pochodni 0.21.0 +cpu
tornado 6.4.1 tqdm 4.66.4 traitlety 5.14.3
Transformersi 4.50.2 osłona typów 4.4.2 pisarz 0.15.2
types-protobuf 3.20.3 types-psutil 5.9.0 types-pytz 2023.3.1.1
types-PyYAML 6.0.0 typy-żądań 2.31.0.0 types-setuptools 68.0.0.0
typy-sześć 1.16.0 types-urllib3 1.26.25.14 moduł typing_extensions 4.11.0
uc-micro-py 1.0.1 ujson (szybka biblioteka do obsługi formatu JSON) 5.10.0 nienadzorowane uaktualnienia 0.1
Szablon adresu URI 1.3.0 urllib3 1.26.16 uvicorn 0.34.1
moduły sprawdzania poprawności 0.34.0 virtualenv 20.26.2 Wizje 0.7.5
wadllib 1.3.6 wasabi 1.1.3 szerokość(wcwidth) 0.2.5
łasica 0.4.1 kolory sieci Web 24.11.1 kodowania webowe 0.5.1
websocket-klient 1.8.0 websockets 11.0.3 Narzędzie 3.0.3
czymjestłatka 1.0.2 wheel 0.43.0 wordcloud 1.9.4
zawinięty 1.14.1 xgboost 2.0.3 xgboost-ray 0.1.19
xxhash 3.4.1 yapf (Yet Another Python Formatter - Kolejny Formatator Pythona) 0.33.0 Yarl 1.9.3
ydata-profiling (profilowanie danych) 4.9.0 zamek błyskawiczny 3.17.0 zstd 1.5.5.1

Biblioteki języka Python w klastrach gpu

Uwaga / Notatka

Rozwiązanie PyTorch używa zależności CUDA PyPI, aby zapewnić obsługę CUDA zamiast wersji bibliotek CUDA wbudowanych w środowisko Databricks Runtime 16.4 LTS ML.

Biblioteka wersja Biblioteka wersja Biblioteka wersja
absl-py 1.0.0 przyspieszać 1.5.2 aiohttp 3.9.5
aiohttp-cors 0.8.1 aiosignal 1.2.0 typy z adnotacjami 0.7.0
anyio 4.2.0 argcomplete 3.6.2 argon2-cffi 21.3.0
argon2-cffi-bindings 21.2.0 strzałka 1.2.3 Astor 0.8.1
asttokens 2.0.5 astunparse 1.6.3 async-lru 2.0.4
attrs 23.1.0 odczyt dźwięku 3.0.1 autokomenda 2.2.2
azure-core 1.33.0 azure-cosmos 4.3.1 azure-identity 1.21.0
Azure Storage Blob 12.23.0 Usługa przechowywania w chmurze Azure (azure-storage-file-datalake) 12.17.0 Babel 2.11.0
wycofywanie 2.2.1 backports.tarfile 1.2.0 bcrypt 3.2.0
beautifulsoup4 4.12.3 czarny 24.4.2 wybielacz 4.1.0
kierunkowskaz 1.7.0 błogość 0.7.11 boto3 1.34.69
botocore 1.34.69 Brotli 1.0.9 cachetools (narzędzia do zarządzania pamięcią podręczną) 5.3.3
katalog 2.0.10 kodery kategorii 2.6.3 certyfikat 2024.6.2
cffi 1.16.0 chardet 4.0.0 normalizator zestawu znaków 2.0.4
wyłącznik obwodowy 2.1.3 kliknij 8.1.7 cloudpathlib 0.21.0
cloudpickle (biblioteka Python do serializacji obiektów) 2.2.1 cmdstanpy 1.2.5 kolorowy 0.5.6
log kolorów 6.9.0 komunikacja 0.2.1 kompozytor 0.29.0
wyrób cukierniczy 0.1.5 configparser 5.2.0 ContourPy 1.2.0
fajna_nazwa 2.2.0 kryptografia 42.0.5 rowerzysta 0.11.0
cymem 2.0.11 Cython 3.0.11 dacyt 1.9.2
databricks-automl-runtime 0.2.21 proces inżynierii cech w Databricks 0.10.2 databricks-sdk 0.30.0
zbiory danych 3.5.0 dbl-tempo 0.1.26 dbus-python 1.3.2
debugpy 1.6.7 dekorator 5.1.1 Deepspeed 0.16.5
defusedxml (biblioteka zabezpieczająca przetwarzanie XML) 0.7.1 Przestarzałe 1.2.18 koper 0.3.8
distlib 0.3.8 dm-tree 0.1.9 Konwertowanie docstringów na markdown 0,11
einops 0.8.1 punkty wejścia 0,4 ocenić 0.4.3
wykonywanie 0.8.3 aspekty — omówienie 1.1.1 Powiadomienia Farama 0.0.4
fastapi 0.115.12 fastjsonschema 2.21.1 koło szybkiego tekstu 0.9.2
blokada plików 3.13.1 flash_attn 2.7.4.post1 Flask 2.2.5
flatbuffers 25.2.10 fonttools 4.51.0 Fqdn 1.5.1
zablokowana lista 1.4.0 fsspec 2023.5.0 przyszłość 0.18.3
Гаст 0.4.0 gitdb (baza danych Git) 4.0.11 GitPython 3.1.37
google-api-core 2.20.0 google-auth (autoryzacja Google) 2.21.0 google-auth-oauthlib (biblioteka uwierzytelniania OAuth dla Google) 1.2.1
google-cloud-core 2.4.3 Google Cloud Storage (usługa przechowywania danych w chmurze od Google) 2.10.0 google-crc32c (biblioteka do obsługi algorytmu crc32c od Google) 1.7.1
Google-pasta 0.2.0 Google Media z Możliwością Wznowienia 2.7.2 googleapis-common-protos 1.70.0
gql 3.5.2 graphql-core 3.2.4 zielona nitka 3.0.1
grpcio 1.60.0 status grpcio 1.60.0 gunicorn 20.1.0
Gviz-API 1.10.0 sala gimnastyczna 0.28.1 h11 0.14.0
h5py 3.11.0 hjson 3.1.0 wakacje 0,54
htmlmin 0.1.12 httpcore 1.0.8 httplib2 0.20.4
httpx 0.28.1 Hugging Face Hub 0.29.3 IDNA 3.7
ImageHash 4.3.1 imageio 2.33.1 niezrównoważona nauka 0.12.3
importlib-metadata 6.0.0 importlib_resources 6.5.2 odchylić 7.3.1
ipyflow-core 0.0.201 ipykernel 6.28.0 ipython 8.25.0
ipython-genutils 0.2.0 ipywidgets 7.7.2 isodate 0.6.1
izoduracja 20.11.0 to jest niebezpieczne 2.2.0 jaraco.context 5.3.0
jaraco.functools 4.0.1 jaraco.text 3.12.1 jax-jumpy 1.0.0
Jedi 0.19.1 Jinja2 3.1.4 drżenie 0.9.0
jmespath 1.0.1 joblib 1.4.2 joblibspark 0.5.3
json5 0.9.6 jsonpatch 1,33 JsonPointer 3.0.0
jsonschema 4.19.2 Specyfikacje schematu JSON 2023.7.1 If the term needs to stay in English, it should remain "jupyter-events". If a translation is needed, it could potentially be "wydarzenia jupyter", depending on the context and recognition among the target audience. 0.10.0
jupyter-lsp 2.2.0 jupyter_client 8.6.0 jupyter_core 5.7.2
jupyter_server 2.14.1 jupyter_server_terminals (terminale serwera Jupyter) 0.4.4 jupyterlab 4.0.11
jupyterlab-pygments 0.1.2 jupyterlab_server 2.25.1 Keras 3.9.0
kiwisolver 1.4.4 langchain 0.3.21 langchain-core 0.3.51
langchain-text-splitters (narzędzie do dzielenia tekstu) 0.3.8 kody językowe 3.5.0 langsmith 0.1.133
dane_językowe 1.3.0 launchpadlib 1.11.0 lazr.restfulclient 0.14.6
lazr.uri 1.0.6 leniwy ładowacz 0,4 libclang 15.0.6.1
librosa 0.10.2 lightgbm 4.5.0 narzędzia błyskawiczne 0.14.3
linkify —it-py 2.0.0 llvmlite 0.42.0 lz4 4.3.2
Mako 1.2.0 marisa-trie 1.2.0 Markdown 3.4.1
markdown —it-py 2.2.0 MarkupSafe 2.1.3 biblioteka matplotlib 3.8.4
biblioteka matplotlib-inline 0.1.6 Mccabe 0.7.0 mdit-py-plugins 0.3.0
mdurl 0.1.0 memray 1.17.1 Mistune 2.0.4
ml-dtypes 0.4.1 mlflow-skinny 2.21.3 więcej itertools 10.3.0
mosaicml-cli 0.6.41 mosaicml-streaming 0.11.0 mpmath 1.3.0
msal 1.32.0 msal-extensions 1.3.1 msgpack 1.1.0
multidict 6.0.4 wielometoda 1.12 wieloprocesowy 0.70.16
MurmurHash 1.0.12 mypy 1.10.0 mypy-extensions 1.0.0
namex 0.0.8 NBClient 0.8.0 nbconvert - narzędzie do konwersji plików Jupyter Notebook 7.10.0
nbformat 5.9.2 nest-asyncio 1.6.0 networkx 3.2.1
Ninja 1.11.1.1 Natural Language Toolkit (nltk) 3.8.1 nodeenv 1.9.1
notes 7.0.8 notebook_shim 0.2.3 numba 0.59.1
numpy 1.26.4 nvidia-cublas-cu12 12.4.5.8 nvidia-cuda-cupti-cu12 12.4.127
nvidia-cuda-nvrtc-cu12 12.4.127 środowisko uruchomieniowe NVIDIA CUDA cu12 12.4.127 nvidia-cudnn-cu12 9.1.0.70
nvidia-cufft-cu12 11.2.1.3 nvidia-curand-cu12 10.3.5.147 nvidia-cusolver-cu12 11.6.1.9
nvidia-cusparse-cu12 12.3.1.170 nvidia-cusparselt-cu12 0.6.2 nvidia-nccl-cu12 2.21.5
nvidia-nvjitlink-cu12 12.4.127 nvidia-nvtx-cu12 12.4.127 oauthlib 3.2.0
Oci 2.150.0 openai 1.69.0 opencensus 0.11.4
opencensus-context 0.1.3 opentelemetry-api 1.32.0 opentelemetry-sdk 1.32.0
opentelemetry-semantic-conventions (standardowe konwencje semantyczne w OpenTelemetry) 0.53b0 opt_einsum 3.4.0 optree 0.15.0
optuna 3.6.1 integracja Optuna 3.6.0 orjson 3.10.16
Zastępuje 7.4.0 opakowanie 24.1 Pandas 1.5.3
pandocfilters 1.5.0 paramiko - biblioteka do protokołu SSH2 dla języka Python 3.4.0 parso 0.8.3
specyfikacja ścieżki 0.10.3 ofiara 0.5.6 pexpect 4.8.0
phik 0.12.4 poduszka 10.3.0 pip (menedżer pakietów Pythona) 24,2
platformdirs 3.10.0 kreślenie 5.22.0 wtyczkowy 1.0.0
pmdarima 2.0.4 kundel 1.8.2 przeszhetowany 3.0.9
prometheus-client 0.14.1 zestaw narzędzi prompt 3.0.43 prorok 1.1.6
proto-plus 1.26.1 Protobuf (w skrócie od Protocol Buffers) 4.24.1 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
py-cpuinfo 9.0.0 py-szpieg 0.4.0 pyarrow 15.0.2
pyasn1 0.4.8 pyasn1-modules 0.2.8 pybind11 2.13.6
pyccolo 0.0.65 pycparser 2.21 pydantic (biblioteka Python do walidacji danych i zarządzania ustawieniami) 2.8.2
pydantic_core 2.20.1 pyflakes (narzędzie do analizy statycznej kodu Python) 3.2.0 Pygments 2.15.1
PyGObject 3.48.2 PyJWT 2.7.0 PyNaCl 1.5.0
pyodbc 5.0.1 pyOpenSSL 24.0.0 pyparsing – biblioteka do przetwarzania tekstu w Pythonie 3.0.9
pyright 1.1.294 pytesseract 0.3.10 python-dateutil (biblioteka Pythona do zarządzania datami) 2.9.0.post0
Pythonowy edytor 1.0.4 python-json-logger 2.0.7 python-lsp-jsonrpc 1.1.2
python-lsp-server 1.10.0 python-snappy 0.6.1 pytoolconfig 1.2.6
pytorch-ranger 0.1.1 pytz (biblioteka Pythona do obliczeń stref czasowych) 2024.1 PyWavelets 1.5.0
PyYAML 6.0.1 pyzmq 25.1.2 kwestionariusz 2.1.0
promień 2.37.0 odwoływanie się 0.30.2 wyrażenie regularne 2023-10-3
żądania 2.32.2 requests-oauthlib 1.3.1 requests-toolbelt (narzędzie wspomagające dla biblioteki requests w Pythonie) 1.0.0
rfc3339-validator 0.1.4 rfc3986-validator 0.1.1 bogaty 13.3.5
lina 1.12.0 rpds-py 0.10.6 RSA 4.9
ruamel.yaml 0.18.10 ruamel.yaml.clib 0.2.12 s3transfer 0.10.2
bezpiecznetensory 0.4.4 scikit-image 0.23.2 scikit-learn 1.4.2
scipy (biblioteka naukowa dla Pythona) 1.13.1 urodzony na morzu 0.13.2 Send2Trash 1.8.2
transformatory zdań 3.4.1 element zdania 0.2.0 setuptools 74.0.0
kształt 0.46.0 shellingham 1.5.4 simplejson 3.17.6
sześć 1.16.0 fragmentator 0.0.8 inteligentne-otwarcie 5.2.1
smmap 5.0.0 Sniffio 1.3.0 Plik dźwiękowy 0.12.1
sitko do zupy 2,5 soxr 0.5.0.post1 przestronny 3.7.5
spacy-legacy 3.0.12 spacy-loggers 1.0.5 SQLAlchemy 2.0.30
sqlparse 0.4.2 serio 2.5.1 ssh-import-id (narzędzie do importowania kluczy SSH) 5.11
stos danych 0.2.0 cyna 0.5.1 gwiazdka 0.46.2
statsmodels - biblioteka do modelowania statystycznego 0.14.2 sympy 1.13.1 sporządzać tabelę 0.9.0
splątane w Unicode 0.2.0 Wytrzymałość 8.2.2 TensorBoard 2.17.0
serwer danych TensorBoard 0.7.2 wtyczka TensorBoard do profilowania 2.17.0 tensorboardX 2.6.2.2
TensorFlow 2.17.0 tensorflow-estimator (moduł TensorFlow do estymacji) 2.15.0 termcolor (narzędzie do zarządzania kolorami w terminalu) 3.0.1
zakończony 0.17.1 Tekstowy 3.1.0 tf_keras 2.17.0
cienki 8.2.5 threadpoolctl 2.2.0 tifffile 2023.4.12
tiktoken 0.7.0 tinycss2 1.2.1 tokenize-rt 4.2.1
narzędzia tokenizacji 0.21.0 tomli 2.0.1 pochodnia 2.6.0+cu124
optymalizator latarki 0.3.0 torcheval 0.0.7 torchmetrics 1.6.0
TorchVision (Wizja Pochodni 0.21.0+cu124 tornado 6.4.1 tqdm 4.66.4
traitlety 5.14.3 Transformersi 4.50.2 Triton 3.2.0
osłona typów 4.4.2 pisarz 0.15.2 types-protobuf 3.20.3
types-psutil 5.9.0 types-pytz 2023.3.1.1 types-PyYAML 6.0.0
typy-żądań 2.31.0.0 types-setuptools 68.0.0.0 typy-sześć 1.16.0
types-urllib3 1.26.25.14 moduł typing_extensions 4.11.0 uc-micro-py 1.0.1
ujson (szybka biblioteka do obsługi formatu JSON) 5.10.0 nienadzorowane uaktualnienia 0.1 Szablon adresu URI 1.3.0
urllib3 1.26.16 uvicorn 0.34.1 moduły sprawdzania poprawności 0.34.0
virtualenv 20.26.2 Wizje 0.7.5 wadllib 1.3.6
wasabi 1.1.3 szerokość(wcwidth) 0.2.5 łasica 0.4.1
kolory sieci Web 24.11.1 kodowania webowe 0.5.1 websocket-klient 1.8.0
websockets 11.0.3 Narzędzie 3.0.3 czymjestłatka 1.0.2
wheel 0.43.0 wordcloud 1.9.4 zawinięty 1.14.1
xgboost 2.0.3 xgboost-ray 0.1.19 xxhash 3.4.1
yapf (Yet Another Python Formatter - Kolejny Formatator Pythona) 0.33.0 Yarl 1.9.3 ydata-profiling (profilowanie danych) 4.9.0
zamek błyskawiczny 3.17.0 zstd 1.5.5.1

Biblioteki języka R

Biblioteki języka R są identyczne z bibliotekami języka R w środowisku Databricks Runtime 16.4 LTS.

Biblioteki Java i Scala (klaster Scala 2.12)

Oprócz bibliotek Java i Scala w środowisku Databricks Runtime 16.4 LTS środowisko Databricks Runtime 16.4 LTS ML zawiera następujące elementy JAR:

Klastry procesora CPU

Identyfikator grupy Identyfikator artefaktu wersja
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-spark_2.12 1.7.3
ml.dmlc xgboost4j_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.4-db1-spark3.5
org.mlflow mlflow-client 2.15.1
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

Klastry procesora GPU

Identyfikator grupy Identyfikator artefaktu wersja
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-gpu_2.12 1.7.3
ml.dmlc xgboost4j-spark-gpu_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.4-db1-spark3.5
org.mlflow mlflow-client 2.15.1
org.tensorflow spark-tensorflow-connector_2.12 1.15.0
  • Last updated on