Udostępnij przez

Databricks Runtime 15.1 do uczenia maszynowego (EoS)

Uwaga

Obsługa tej wersji środowiska Databricks Runtime została zakończona. Aby uzyskać datę zakończenia pomocy technicznej, zobacz Historia zakończenia pomocy technicznej. Wszystkie obsługiwane wersje środowiska Databricks Runtime można znaleźć w Dokumentacji wersji i zgodności Databricks Runtime.

Środowisko Databricks Runtime 15.1 for Machine Learning zapewnia gotowe do użycia środowisko do uczenia maszynowego i nauki o danych oparte na środowisku Databricks Runtime 15.1 (EoS). Środowisko Databricks Runtime ML zawiera wiele popularnych bibliotek uczenia maszynowego, w tym TensorFlow, PyTorch i XGBoost. Środowisko Databricks Runtime ML obejmuje rozwiązanie AutoML— narzędzie do automatycznego trenowania potoków uczenia maszynowego. Środowisko Databricks Runtime ML obsługuje również trenowanie rozproszonego uczenia głębokiego przy użyciu struktury Horovod.

Nowe funkcje i ulepszenia

Środowisko Databricks Runtime 15.1 ML jest oparte na środowisku Databricks Runtime 15.1. Aby uzyskać informacje na temat nowości w środowisku Databricks Runtime 15.1, w tym Apache Spark MLlib i SparkR, zapoznaj się z informacjami o wydaniu Databricks Runtime 15.1 (EoS).

Krytyczne zmiany

Starszy interfejs wiersza polecenia usługi Databricks nie jest już instalowany domyślnie

W środowisku Databricks Runtime 14.3 LTS ML i nowszym, ponieważ wstępnie zainstalowana wersja biblioteki MLflow wymagała starszego interfejsu wiersza polecenia usługi Databricks, została ona automatycznie zainstalowana w programie $PATH. Środowisko Databricks Runtime 15.1 ML zawiera bibliotekę MLflow w wersji 2.10.2, która nie wymaga starszego interfejsu wiersza polecenia.

Począwszy od środowiska Databricks Runtime 15.1 ML, dziedziczny interfejs wiersza polecenia Databricks nie jest już automatycznie instalowany w $PATH. Jest to zmiana powodująca niezgodność dla użytkowników, którzy zależą od starszego interfejsu wiersza polecenia instalowanego w środowisku uruchomieniowym. Polecenia takie jak %sh databricks ... nie działają już w środowisku Databricks Runtime 15.1 ML i nowszym.

Aby nadal korzystać ze starszego interfejsu wiersza polecenia Databricks z notatnika, zainstaluj go jako bibliotekę klastrową lub bibliotekę notatnika. Nowy interfejs wiersza polecenia usługi Databricks jest dostępny w terminalu internetowym. Aby uzyskać więcej informacji, zobacz Używanie terminalu internetowego i interfejsu wiersza polecenia usługi Databricks.

MLeap nie jest już dostępne począwszy od Databricks Runtime 15.1 ML

Rozwiązanie MLeap nie jest już dostępne w środowisku Databricks Runtime 15.1 ML i nowszym. Aby spakować modele do wdrażania we frameworkach opartych na JVM, usługa Databricks zaleca użycie formatu ONNX.

Wycofanie platform Horovod i HorovodRunner

Horovod i HorovodRunner są teraz przestarzałe. W przypadku rozproszonego uczenia głębokiego usługa Databricks zaleca używanie narzędzia TorchDistributor do trenowania rozproszonego za pomocą biblioteki PyTorch lub interfejsu tf.distribute.Strategy API na potrzeby trenowania rozproszonego za pomocą biblioteki TensorFlow. Narzędzia Horovod i HorovodRunner są wstępnie zainstalowane w środowisku Databricks Runtime 15.1 ML, ale zostaną usunięte w następnej głównej wersji ML środowiska Databricks Runtime.

Uwaga

horovod.spark nie obsługuje pyarrow wersji 11.0 lub nowszej (zobacz odpowiedni problem na GitHubie). Środowisko Databricks Runtime 15.1 ML zawiera pyarrow w wersji 14.0.1. Aby korzystać z horovod.spark z środowiska Databricks Runtime 15.1 ML lub nowszego, należy ręcznie zainstalować pyarrow, określając wersję poniżej 11.0.

Środowisko systemu

Środowisko systemowe w środowisku Databricks Runtime 15.1 ML różni się od środowiska Databricks Runtime 15.1 w następujący sposób:

  • W przypadku klastrów gpu środowisko Databricks Runtime ML obejmuje następujące biblioteki procesora GPU FIRMY NVIDIA:
    • CUDA 12.1
    • cuDNN 8.9.0.131-1
    • NCCL 2.17.1
    • TensorRT 8.6.1.6-1

Biblioteki

W poniższych sekcjach wymieniono biblioteki zawarte w środowisku Databricks Runtime 15.1 ML, które różnią się od bibliotek zawartych w środowisku Databricks Runtime 15.1.

W tej sekcji:

Biblioteki najwyższego poziomu

Środowisko Databricks Runtime 15.1 ML obejmuje następujące biblioteki najwyższego poziomu:

Biblioteki języka Python

Środowisko Databricks Runtime 15.1 ML używa virtualenv do zarządzania pakietami języka Python i zawiera wiele popularnych pakietów uczenia maszynowego.

Oprócz pakietów określonych w poniższych sekcjach środowisko Databricks Runtime 15.1 ML zawiera również następujące pakiety:

  • hyperopt 0.2.7+db4
  • sparkdl 3.0.0_db1
  • automl 1.25.0

Aby odtworzyć środowisko Databricks Runtime ML dla języka Python w lokalnym wirtualnym środowisku Python, pobierz plik requirements-15.1.txt i uruchom pip install -r requirements-15.1.txt. To polecenie instaluje wszystkie biblioteki typu open source używane przez Databricks Runtime ML, ale nie instaluje bibliotek opracowanych przez Databricks, takich jak databricks-automl, databricks-feature-store, lub rozwidlenie Databricks z hyperopt.

Biblioteki języka Python w klastrach procesora CPU

Biblioteka Wersja Biblioteka Wersja Biblioteka Wersja
absl-py 1.0.0 przyspieszać 0.25.0 aiohttp 3.8.5
aiohttp-cors 0.7.0 aiosignal 1.2.0 anyio 3.5.0
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 Astor 0.8.1
asttokens 2.0.5 astunparse 1.6.3 limit czasu oczekiwania asynchronicznego 4.0.2
attrs 22.1.0 odczyt dźwięku 3.0.1 azure-core 1.30.1
azure-cosmos 4.3.1 Azure Storage Blob 12.19.0 azure-storage-plik-datalake 12.14.0
Oddzwonienie 0.2.0 bcrypt 3.2.0 beautifulsoup4 4.12.2
czarny 23.3.0 wybielacz 4.1.0 błogosławiony 1.20.0
kierunkowskaz 1.4 błogość 0.7.11 boto3 1.34.39
botocore 1.34.39 cachetools (narzędzia do zarządzania pamięcią podręczną) 5.3.3 katalog 2.0.10
kodery kategorii 2.6.3 certyfikat 2023.7.22 cffi 1.15.1
chardet 4.0.0 normalizator zestawu znaków 2.0.4 kliknij 8.0.4
cloudpathlib 0.16.0 cloudpickle (biblioteka Python do serializacji obiektów) 2.2.1 cmdstanpy 1.2.1
kolorowy 0.5.6 Komunikacja 0.1.2 słodycze 0.1.4
configparser 5.2.0 ContourPy 1.0.5 kryptografia 41.0.3
rowerzysta 0.11.0 cymem 2.0.8 Cython 0.29.32
dacyt 1.8.1 databricks-automl-runtime 0.2.21 proces inżynierii cech w Databricks 0.3.0
databricks-sdk 0.20.0 dataclasses-json 0.6.4 zbiory danych 2.16.1
dbl-tempo 0.1.26 dbus-python 1.2.18 debugpy 1.6.7
dekorator 5.1.1 Deepspeed 0.13.1 defusedxml (biblioteka zabezpieczająca przetwarzanie XML) 0.7.1
koper 0.3.6 bufor dyskowy 5.6.3 distlib 0.3.8
dm-tree 0.1.8 punkty wejścia 0,4 oceniać 0.4.1
Wykonywanie 0.8.3 aspekty — omówienie 1.1.1 Powiadomienia Farama 0.0.4
fastjsonschema 2.19.1 FastText 0.9.2 blokada plików 3.9.0
Flask 2.2.5 flatbuffers 26.05.23 fonttools 4.25.0
lista zamrożona 1.3.3 fsspec 2023.5.0 przyszłość 0.18.3
gość 0.4.0 gitdb (baza danych Git) 4.0.11 GitPython 3.1.27
google-api-core 2.17.1 uwierzytelnianie Google 2.21.0 google-auth-oauthlib (biblioteka uwierzytelniania OAuth dla Google) 1.0.0
google-cloud-core 2.4.1 przechowywanie w chmurze Google 2.11.0 google-crc32c (biblioteka do obsługi algorytmu crc32c od Google) 1.5.0
Google-pasta 0.2.0 Google Media z Możliwością Wznowienia 2.7.0 googleapis-common-protos 1.62.0
gpustat 1.1.1 zielona nitka 2.0.1 grpcio 1.60.0
status grpcio 1.60.0 gunicorn 20.1.0 Gviz-API 1.10.0
sala gimnastyczna 0.28.1 h11 0.14.0 h5py 3.9.0
hjson 3.1.0 wakacje 0.38 korowód 0.28.1+db1
htmlmin 0.1.12 httpcore 1.0.4 httplib2 0.20.2
httpx 0.27.0 Hugging Face Hub 0.20.2 IDNA 3.4
ImageHash 4.3.1 imageio 2.31.1 niezrównoważona nauka 0.11.0
importlib-metadata 6.0.0 importlib_resources 6.1.2 ipyflow-core 0.0.198
ipykernel 6.25.1 ipython 8.15.0 ipython-genutils 0.2.0
ipywidgets 8.0.4 isodate 0.6.1 jegodangerous 2.0.1
jax-jumpy 1.0.0 Jedi 0.18.1 Jeepney 0.7.1
Jinja2 3.1.2 jmespath 0.10.0 joblib 1.2.0
joblibspark 0.5.1 jsonpatch 1,33 JsonPointer 2,4
jsonschema 4.17.3 serwer Jupyter 1.23.4 jupyter_client 7.4.9
jupyter_core 5.3.0 jupyterlab-pygments 0.1.2 Widżety JupyterLab 3.0.5
Keras 2.15.0 brelok 23.5.0 kiwisolver 1.4.4
langchain 0.1.3 langchain-community 0.0.20 langchain-core 0.1.23
kody językowe 3.3.0 langsmith 0.0.87 launchpadlib 1.10.16
lazr.restfulclient 0.14.4 lazr.uri 1.0.6 leniwy ładowacz 0,2
libclang 16.0.6 librosa 0.10.1 lightgbm 4.2.0
llvmlite 0.40.0 lxml jest biblioteką do analizy XML i HTML. 4.9.2 lz4 4.3.2
Mako 1.2.0 Markdown 3.4.1 markdown —it-py 2.2.0
MarkupSafe 2.1.1 Zefir 3.21.1 biblioteka matplotlib 3.7.2
biblioteka matplotlib-inline 0.1.6 mdurl 0.1.0 rozstroić 0.8.4
ml-dtypes 0.2.0 mlflow-skinny 2.10.2 więcej itertools 8.10.0
mpmath 1.3.0 msgpack 1.0.8 multidict 6.0.2
wielometoda 1.11.2 przetwarzanie wieloprocesowe 0.70.14 MurmurHash 1.0.10
mypy-extensions 0.4.3 nbclassic 0.5.5 NBClient 0.5.13
nbconvert - narzędzie do konwersji plików Jupyter Notebook 6.5.4 nbformat 5.7.0 nest-asyncio 1.5.6
networkx 3.1 Ninja 1.11.1.1 Natural Language Toolkit (nltk) 3.8.1
notes 6.5.4 notebook_shim 0.2.2 numba 0.57.1
numpy 1.23.5 nvidia —ml-py 12.535.133 oauthlib 3.2.0
openai 1.9.0 opencensus 0.11.4 opencensus-context 0.1.3
opt-einsum 3.3.0 opakowanie 23.2 Pandas 1.5.3
pandocfilters 1.5.0 paramiko - biblioteka do protokołu SSH2 dla języka Python 2.9.2 parso 0.8.3
specyfikacja ścieżki 0.10.3 Patsy 0.5.3 petastorm 0.12.1
pexpect 4.8.0 phik 0.12.4 pickleshare (jeśli to nazwa własna, nie trzeba tłumaczyć) 0.7.5
Poduszka 9.4.0 pip (menedżer pakietów Pythona) 23.2.1 platformdirs 3.10.0
kreślenie 5.9.0 pmdarima 2.0.4 kundel 1.8.1
przeszhetowany 3.0.9 prometheus-client 0.14.1 zestaw narzędzi prompt 3.0.36
prorok 1.1.5 Protobuf (w skrócie od Protocol Buffers) 4.24.1 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
py-cpuinfo 8.0.0 py-szpieg 0.3.14 pyarrow 14.0.1
pyarrow-hotfix 0,6 pyasn1 0.4.8 pyasn1-modules 0.2.8
pybind11 2.11.1 pyccolo 0.0.52 pycparser 2.21
pydantic (biblioteka Python do walidacji danych i zarządzania ustawieniami) 1.10.6 Pygments 2.15.1 PyGObject 3.42.1
PyJWT 2.3.0 PyNaCl 1.5.0 pynvml 11.5.0
pyodbc 4.0.38 pyparsing – biblioteka do przetwarzania tekstu w Pythonie 3.0.9 pirstent 0.18.0
pytesseract 0.3.10 python-dateutil (biblioteka Pythona do zarządzania datami) 2.8.2 Python-editor 1.0.4
python-lsp-jsonrpc 1.1.1 pytz (biblioteka Pythona do obliczeń stref czasowych) 2022.7 PyWavelets 1.4.1
PyYAML 6.0 pyzmq 23.2.0 promień 2.9.3
wyrażenie regularne 2022.7.9 żądania 2.31.0 requests-oauthlib 1.3.1
Odpowiedzi 0.13.3 bogaty 13.7.1 RSA 4.9
s3transfer 0.10.0 bezpiecznetensory 0.3.2 scikit-image 0.20.0
scikit-learn 1.3.0 scipy (biblioteka naukowa dla Pythona) 1.11.1 urodzony na morzu 0.12.2
SecretStorage 3.3.1 Send2Trash 1.8.0 transformatory zdań 2.2.2
element zdania 0.1.99 setuptools 68.0.0 Shap 0.44.0
simplejson 3.17.6 sześć 1.16.0 fragmentator 0.0.7
inteligentne-otwarcie 5.2.1 smmap 5.0.0 Sniffio 1.2.0
plik dźwiękowy 0.12.1 sito do zupy 2,4 soxr 0.3.7
przestronny 3.7.2 spacy-legacy 3.0.12 spacy-loggers 1.0.5
spark-tensorflow-distributor (biblioteka do dystrybucji TensorFlow w Spark) 1.0.0 SQLAlchemy 1.4.39 sqlparse 0.4.2
serio 2.4.8 ssh-import-id (narzędzie do importowania kluczy SSH) 5,11 stos danych 0.2.0
cyna 0.3.0 statsmodels - biblioteka do modelowania statystycznego 0.14.0 sympy 1.11.1
splątane w Unicode 0.2.0 Wytrzymałość 8.2.2 tablica tensorboard 2.15.1
serwer danych TensorBoard 0.7.2 wtyczka TensorBoard do profilowania 2.15.0 tensorboardX 2.6.2.2
tensorflow-cpu 2.15.0 tensorflow-estimator (moduł TensorFlow do estymacji) 2.15.0 tensorflow-io-gcs-filesystem 0.36.0
termcolor (narzędzie do zarządzania kolorami w terminalu) 2.4.0 zakończone 0.17.1 cienki 8.2.3
threadpoolctl 2.2.0 tifffile 2021.7.2 tiktoken 0.5.2
tinycss2 1.2.1 tokenize-rt 4.2.1 tokenizatory 0.15.0
pochodnia 2.1.2+ procesor torcheval 0.0.7 TorchVision (Wizja Pochodni 0.16.2+ procesor
tornado 6.3.2 tqdm 4.65.0 traitlety 5.7.1
Transformatory 4.36.2 strażnik typów 2.13.3 pisarz 0.9.0
monitorowanie wpisywania 0.9.0 moduł typing_extensions 4.7.1 tzdata 2022.1
ujson (szybka biblioteka do obsługi formatu JSON) 5.4.0 nienadzorowane uaktualnienia 0.1 urllib3 1.26.16
virtualenv 20.21.0 Wizje 0.7.5 wadllib 1.3.6
wasabi 1.1.2 szerokość(wcwidth) 0.2.5 łasica 0.3.4
kodowania webowe 0.5.1 websocket-klient 0.58.0 Narzędzie 2.2.3
wheel 0.38.4 widgetsnbextension 4.0.5 wordcloud 1.9.3
zawinięty 1.14.1 xgboost 2.0.3 xxhash 3.4.1
Yarl 1.8.1 profilowanie danych 4.5.1 zamek błyskawiczny 3.11.0

Biblioteki języka Python w klastrach gpu

Biblioteka Wersja Biblioteka Wersja Biblioteka Wersja
absl-py 1.0.0 przyspieszać 0.25.0 aiohttp 3.8.5
aiohttp-cors 0.7.0 aiosignal 1.2.0 anyio 3.5.0
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 Astor 0.8.1
asttokens 2.0.5 astunparse 1.6.3 limit czasu oczekiwania asynchronicznego 4.0.2
attrs 22.1.0 odczyt dźwięku 3.0.1 azure-core 1.30.1
azure-cosmos 4.3.1 Azure Storage Blob 12.19.0 azure-storage-plik-datalake 12.14.0
Oddzwonienie 0.2.0 bcrypt 3.2.0 beautifulsoup4 4.12.2
czarny 23.3.0 wybielacz 4.1.0 błogosławiony 1.20.0
kierunkowskaz 1.4 błogość 0.7.11 boto3 1.34.39
botocore 1.34.39 cachetools (narzędzia do zarządzania pamięcią podręczną) 5.3.3 katalog 2.0.10
kodery kategorii 2.6.3 certyfikat 2023.7.22 cffi 1.15.1
chardet 4.0.0 normalizator zestawu znaków 2.0.4 kliknij 8.0.4
cloudpathlib 0.16.0 cloudpickle (biblioteka Python do serializacji obiektów) 2.2.1 cmdstanpy 1.2.1
kolorowy 0.5.6 Komunikacja 0.1.2 słodycze 0.1.4
configparser 5.2.0 ContourPy 1.0.5 kryptografia 41.0.3
rowerzysta 0.11.0 cymem 2.0.8 Cython 0.29.32
dacyt 1.8.1 databricks-automl-runtime 0.2.21 proces inżynierii cech w Databricks 0.3.0
databricks-sdk 0.20.0 dataclasses-json 0.6.4 zbiory danych 2.16.1
dbl-tempo 0.1.26 dbus-python 1.2.18 debugpy 1.6.7
dekorator 5.1.1 Deepspeed 0.13.1 defusedxml (biblioteka zabezpieczająca przetwarzanie XML) 0.7.1
koper 0.3.6 bufor dyskowy 5.6.3 distlib 0.3.8
dm-tree 0.1.8 einops 0.7.0 punkty wejścia 0,4
oceniać 0.4.1 Wykonywanie 0.8.3 aspekty — omówienie 1.1.1
Powiadomienia Farama 0.0.4 fastjsonschema 2.19.1 FastText 0.9.2
blokada plików 3.9.0 flash-attn 2.5.0 Flask 2.2.5
flatbuffers 26.05.23 fonttools 4.25.0 lista zamrożona 1.3.3
fsspec 2023.5.0 przyszłość 0.18.3 gość 0.4.0
gitdb (baza danych Git) 4.0.11 GitPython 3.1.27 google-api-core 2.17.1
uwierzytelnianie Google 2.21.0 google-auth-oauthlib (biblioteka uwierzytelniania OAuth dla Google) 1.0.0 google-cloud-core 2.4.1
przechowywanie w chmurze Google 2.11.0 google-crc32c (biblioteka do obsługi algorytmu crc32c od Google) 1.5.0 Google-pasta 0.2.0
Google Media z Możliwością Wznowienia 2.7.0 googleapis-common-protos 1.62.0 gpustat 1.1.1
zielona nitka 2.0.1 grpcio 1.60.0 status grpcio 1.60.0
gunicorn 20.1.0 Gviz-API 1.10.0 sala gimnastyczna 0.28.1
h11 0.14.0 h5py 3.9.0 hjson 3.1.0
wakacje 0.38 korowód 0.28.1+db1 htmlmin 0.1.12
httpcore 1.0.4 httplib2 0.20.2 httpx 0.27.0
Hugging Face Hub 0.20.2 IDNA 3.4 ImageHash 4.3.1
imageio 2.31.1 niezrównoważona nauka 0.11.0 importlib-metadata 6.0.0
importlib_resources 6.1.2 ipyflow-core 0.0.198 ipykernel 6.25.1
ipython 8.15.0 ipython-genutils 0.2.0 ipywidgets 8.0.4
isodate 0.6.1 jegodangerous 2.0.1 jax-jumpy 1.0.0
Jedi 0.18.1 Jeepney 0.7.1 Jinja2 3.1.2
jmespath 0.10.0 joblib 1.2.0 joblibspark 0.5.1
jsonpatch 1,33 JsonPointer 2,4 jsonschema 4.17.3
serwer Jupyter 1.23.4 jupyter_client 7.4.9 jupyter_core 5.3.0
jupyterlab-pygments 0.1.2 Widżety JupyterLab 3.0.5 Keras 2.15.0
brelok 23.5.0 kiwisolver 1.4.4 langchain 0.1.3
langchain-community 0.0.20 langchain-core 0.1.23 kody językowe 3.3.0
langsmith 0.0.87 launchpadlib 1.10.16 lazr.restfulclient 0.14.4
lazr.uri 1.0.6 leniwy ładowacz 0,2 libclang 16.0.6
librosa 0.10.1 lightgbm 4.2.0 llvmlite 0.40.0
lxml jest biblioteką do analizy XML i HTML. 4.9.2 lz4 4.3.2 Mako 1.2.0
Markdown 3.4.1 markdown —it-py 2.2.0 MarkupSafe 2.1.1
Zefir 3.21.1 biblioteka matplotlib 3.7.2 biblioteka matplotlib-inline 0.1.6
mdurl 0.1.0 rozstroić 0.8.4 ml-dtypes 0.2.0
mlflow-skinny 2.10.2 więcej itertools 8.10.0 mpmath 1.3.0
msgpack 1.0.8 multidict 6.0.2 wielometoda 1.11.2
przetwarzanie wieloprocesowe 0.70.14 MurmurHash 1.0.10 mypy-extensions 0.4.3
nbclassic 0.5.5 NBClient 0.5.13 nbconvert - narzędzie do konwersji plików Jupyter Notebook 6.5.4
nbformat 5.7.0 nest-asyncio 1.5.6 networkx 3.1
Ninja 1.11.1.1 Natural Language Toolkit (nltk) 3.8.1 notes 6.5.4
notebook_shim 0.2.2 numba 0.57.1 numpy 1.23.5
nvidia —ml-py 12.535.133 oauthlib 3.2.0 openai 1.9.0
opencensus 0.11.4 opencensus-context 0.1.3 opt-einsum 3.3.0
opakowanie 23.2 Pandas 1.5.3 pandocfilters 1.5.0
paramiko - biblioteka do protokołu SSH2 dla języka Python 2.9.2 parso 0.8.3 specyfikacja ścieżki 0.10.3
Patsy 0.5.3 petastorm 0.12.1 pexpect 4.8.0
phik 0.12.4 pickleshare (jeśli to nazwa własna, nie trzeba tłumaczyć) 0.7.5 Poduszka 9.4.0
pip (menedżer pakietów Pythona) 23.2.1 platformdirs 3.10.0 kreślenie 5.9.0
pmdarima 2.0.4 kundel 1.8.1 przeszhetowany 3.0.9
zestaw narzędzi prompt 3.0.36 prorok 1.1.5 Protobuf (w skrócie od Protocol Buffers) 4.24.1
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 py-cpuinfo 8.0.0 py-szpieg 0.3.14
pyarrow 14.0.1 pyarrow-hotfix 0,6 pyasn1 0.4.8
pyasn1-modules 0.2.8 pybind11 2.11.1 pyccolo 0.0.52
pycparser 2.21 pydantic (biblioteka Python do walidacji danych i zarządzania ustawieniami) 1.10.6 Pygments 2.15.1
PyGObject 3.42.1 PyJWT 2.3.0 PyNaCl 1.5.0
pynvml 11.5.0 pyodbc 4.0.38 pyparsing – biblioteka do przetwarzania tekstu w Pythonie 3.0.9
pirstent 0.18.0 pytesseract 0.3.10 python-dateutil (biblioteka Pythona do zarządzania datami) 2.8.2
Python-editor 1.0.4 python-lsp-jsonrpc 1.1.1 pytz (biblioteka Pythona do obliczeń stref czasowych) 2022.7
PyWavelets 1.4.1 PyYAML 6.0 pyzmq 23.2.0
promień 2.9.3 wyrażenie regularne 2022.7.9 żądania 2.31.0
requests-oauthlib 1.3.1 Odpowiedzi 0.13.3 bogaty 13.7.1
RSA 4.9 s3transfer 0.10.0 bezpiecznetensory 0.3.2
scikit-image 0.20.0 scikit-learn 1.3.0 scipy (biblioteka naukowa dla Pythona) 1.11.1
urodzony na morzu 0.12.2 SecretStorage 3.3.1 Send2Trash 1.8.0
transformatory zdań 2.2.2 element zdania 0.1.99 setuptools 68.0.0
Shap 0.44.0 simplejson 3.17.6 sześć 1.16.0
fragmentator 0.0.7 inteligentne-otwarcie 5.2.1 smmap 5.0.0
Sniffio 1.2.0 plik dźwiękowy 0.12.1 sito do zupy 2,4
soxr 0.3.7 przestronny 3.7.2 spacy-legacy 3.0.12
spacy-loggers 1.0.5 spark-tensorflow-distributor (biblioteka do dystrybucji TensorFlow w Spark) 1.0.0 SQLAlchemy 1.4.39
sqlparse 0.4.2 serio 2.4.8 ssh-import-id (narzędzie do importowania kluczy SSH) 5,11
stos danych 0.2.0 cyna 0.3.0 statsmodels - biblioteka do modelowania statystycznego 0.14.0
sympy 1.11.1 splątane w Unicode 0.2.0 Wytrzymałość 8.2.2
tablica tensorboard 2.15.1 serwer danych TensorBoard 0.7.2 wtyczka TensorBoard do profilowania 2.15.0
tensorboardX 2.6.2.2 TensorFlow 2.15.0 tensorflow-estimator (moduł TensorFlow do estymacji) 2.15.0
tensorflow-io-gcs-filesystem 0.36.0 termcolor (narzędzie do zarządzania kolorami w terminalu) 2.4.0 zakończone 0.17.1
cienki 8.2.3 threadpoolctl 2.2.0 tifffile 2021.7.2
tiktoken 0.5.2 tinycss2 1.2.1 tokenize-rt 4.2.1
tokenizatory 0.15.0 pochodnia 2.1.2+cu121 torcheval 0.0.7
TorchVision (Wizja Pochodni 0.16.2+cu121 tornado 6.3.2 tqdm 4.65.0
traitlety 5.7.1 Transformatory 4.36.2 tryton 2.1.0
strażnik typów 2.13.3 pisarz 0.9.0 monitorowanie wpisywania 0.9.0
moduł typing_extensions 4.7.1 tzdata 2022.1 ujson (szybka biblioteka do obsługi formatu JSON) 5.4.0
nienadzorowane uaktualnienia 0.1 urllib3 1.26.16 virtualenv 20.21.0
Wizje 0.7.5 wadllib 1.3.6 wasabi 1.1.2
szerokość(wcwidth) 0.2.5 łasica 0.3.4 kodowania webowe 0.5.1
websocket-klient 0.58.0 Narzędzie 2.2.3 wheel 0.38.4
widgetsnbextension 4.0.5 wordcloud 1.9.3 zawinięty 1.14.1
xgboost 2.0.3 xxhash 3.4.1 Yarl 1.8.1
profilowanie danych 4.5.1 zamek błyskawiczny 3.11.0

Biblioteki R

Biblioteki języka R są identyczne z bibliotekami języka R w środowisku Databricks Runtime 15.1.

Biblioteki Java i Scala (klaster Scala 2.12)

Oprócz bibliotek Java i Scala w środowisku Databricks Runtime 15.1 środowisko Databricks Runtime 15.1 ML zawiera następujące jednostki JAR:

Klastry procesora CPU

Identyfikator grupy Identyfikator artefaktu Wersja
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-spark_2.12 1.7.3
ml.dmlc xgboost4j_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-db2-spark3.4
org.mlflow mlflow-client 2.10.2
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

Klastry procesora GPU

Identyfikator grupy Identyfikator artefaktu Wersja
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-gpu_2.12 1.7.3
ml.dmlc xgboost4j-spark-gpu_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-db2-spark3.4
org.mlflow mlflow-client 2.10.2
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0
  • Last updated on