Udostępnij przez

Databricks Runtime 15.0 do uczenia maszynowego (EoS)

Uwaga

Obsługa tej wersji środowiska Databricks Runtime została zakończona. Aby uzyskać datę zakończenia pomocy technicznej, zobacz Historia zakończenia pomocy technicznej. Wszystkie obsługiwane wersje środowiska Databricks Runtime można znaleźć w temacie Databricks Runtime release notes versions and compatibility (Wersje i zgodność środowiska Databricks Runtime).

Środowisko Databricks Runtime 15.0 for Machine Learning zapewnia gotowe do użycia środowisko do uczenia maszynowego i nauki o danych oparte na środowisku Databricks Runtime 15.0 (EoS). Środowisko Databricks Runtime ML zawiera wiele popularnych bibliotek uczenia maszynowego, w tym TensorFlow, PyTorch i XGBoost. Środowisko Databricks Runtime ML obejmuje rozwiązanie AutoML— narzędzie do automatycznego trenowania potoków uczenia maszynowego. Środowisko Databricks Runtime ML obsługuje również trenowanie rozproszonego uczenia głębokiego przy użyciu struktury Horovod.

Nowe funkcje i ulepszenia

Środowisko Databricks Runtime 15.0 ML jest oparte na środowisku Databricks Runtime 15.0. Aby uzyskać informacje o nowościach w środowisku Databricks Runtime 15.0, w tym Apache Spark MLlib i SparkR, zobacz notki release dotyczące środowiska Databricks Runtime 15.0 (EoS).

Zmiany powodujące niezgodność

Starszy interfejs wiersza polecenia usługi Databricks nie jest już instalowany domyślnie

W środowisku Databricks Runtime 14.3 LTS ML i nowszym, ponieważ wstępnie zainstalowana wersja biblioteki MLflow wymagała starszego interfejsu wiersza polecenia usługi Databricks (databricks/databricks-cli), została ona automatycznie zainstalowana w $PATH. Środowisko Databricks Runtime 15.0 ML zawiera bibliotekę MLflow w wersji 2.10.2, która nie wymaga starszego interfejsu wiersza polecenia.

Począwszy od wersji Databricks Runtime 15.0 ML, starszy interfejs CLI Databricks nie jest już automatycznie umieszczany w $PATH. Jest to zmiana powodująca niekompatybilność dla użytkowników, którzy polegają na przestarzałym interfejsie wiersza polecenia obecnym w środowisku uruchomieniowym. Polecenia takie jak %sh databricks ... nie działają już w środowisku Databricks Runtime 15.0 ML i nowszym.

Aby nadal korzystać ze starszego interfejsu wiersza polecenia (CLI) usługi Databricks z notatnika, zainstaluj go jako bibliotekę klastra lub notatnika. Nowy interfejs wiersza polecenia usługi Databricks (databricks/cli) jest dostępny w terminalu internetowym. Aby uzyskać więcej informacji, zobacz Używanie terminalu internetowego i interfejsu wiersza polecenia usługi Databricks.

Rozwiązanie MLeap nie jest już dostępne, począwszy od środowiska Databricks Runtime 15.0 ML

Rozwiązanie MLeap nie jest już dostępne w środowisku Databricks Runtime 15.0 ML i nowszym. Aby spakować modele do wdrażania na platformach opartych na JVM, usługa Databricks zaleca użycie formatu ONNX.

Zaprzestanie wsparcia dla Horovod i HorovodRunner

Horovod i HorovodRunner są teraz przestarzałe. W przypadku rozproszonego uczenia głębokiego usługa Databricks zaleca używanie narzędzia TorchDistributor do trenowania rozproszonego za pomocą biblioteki PyTorch lub interfejsu tf.distribute.Strategy API na potrzeby trenowania rozproszonego za pomocą biblioteki TensorFlow. Narzędzia Horovod i HorovodRunner są wstępnie zainstalowane w Databricks Runtime 15.0 ML, ale zostaną usunięte w następnej głównej wersji Databricks Runtime ML.

Uwaga

horovod.spark nie obsługuje pyarrow w wersji 11.0 i nowszych (zobacz odpowiednie zgłoszenie GitHub). Środowisko Databricks Runtime 15.0 ML zawiera wersję pyarrow 14.0.1. Aby używać horovod.spark z Databricks Runtime 15.0 ML lub nowszym, należy ręcznie zainstalować pakiet pyarrow, określając wersję poniżej 11.0.

Środowisko systemu

Środowisko systemowe w środowisku Databricks Runtime 15.0 ML różni się od środowiska Databricks Runtime 15.0 w następujący sposób:

  • W przypadku klastrów gpu środowisko Databricks Runtime ML obejmuje następujące biblioteki procesora GPU FIRMY NVIDIA:
    • CUDA 12.1
    • cuDNN 8.9.0.131-1
    • NCCL 2.17.1
    • TensorRT 8.6.1.6-1

Biblioteki

W poniższych sekcjach wymieniono biblioteki zawarte w środowisku Databricks Runtime 15.0 ML, które różnią się od bibliotek zawartych w środowisku Databricks Runtime 15.0.

W tej sekcji:

Biblioteki najwyższego poziomu

Środowisko Databricks Runtime 15.0 ML obejmuje następujące biblioteki najwyższego poziomu:

Biblioteki języka Python

Środowisko Databricks Runtime 15.0 ML używa virtualenv do zarządzania pakietami języka Python i zawiera wiele popularnych pakietów uczenia maszynowego.

Oprócz pakietów określonych w poniższych sekcjach środowisko Databricks Runtime 15.0 ML zawiera również następujące pakiety:

  • hyperopt 0.2.7+db4
  • sparkdl 3.0.0_db1
  • automl 1.25.0

Aby odtworzyć środowisko Databricks Runtime ML dla języka Python w lokalnym środowisku wirtualnym języka Python, pobierz plik requirements-15.0.txt i uruchom polecenie pip install -r requirements-15.0.txt. To polecenie instaluje wszystkie biblioteki open source, które są używane przez Databricks Runtime ML, ale nie instaluje bibliotek opracowanych przez Databricks, takich jak databricks-automl, databricks-feature-store, lub rozwidlenie Databricks dla hyperopt.

Biblioteki języka Python w klastrach procesora CPU

Biblioteka Wersja Biblioteka Wersja Biblioteka Wersja
absl-py 1.0.0 przyspieszać 0.25.0 aiohttp 3.8.5
aiohttp-cors 0.7.0 aiosignal 1.2.0 anyio 3.5.0
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 Astor 0.8.1
asttokens 2.0.5 astunparse 1.6.3 limit czasu asynchronicznego 4.0.2
attrs 22.1.0 odczyt dźwięku 3.0.1 azure-core 1.30.1
azure-cosmos 4.3.1 Azure Storage Blob 12.19.0 Usługa przechowywania w chmurze Azure (azure-storage-file-datalake) 12.14.0
oddzwonienie 0.2.0 bcrypt 3.2.0 beautifulsoup4 4.12.2
czarny 23.3.0 wybielacz 4.1.0 błogosławiony 1.20.0
kierunkowskaz 1.4 błogość 0.7.11 boto3 1.34.39
botocore 1.34.39 cachetools (narzędzia do zarządzania pamięcią podręczną) 5.3.3 katalog 2.0.10
kodery kategorii 2.6.3 certyfikat 2023.7.22 cffi 1.15.1
chardet 4.0.0 normalizator zestawu znaków 2.0.4 kliknięcie 8.0.4
cloudpathlib 0.16.0 cloudpickle (biblioteka Python do serializacji obiektów) 2.2.1 cmdstanpy 1.2.1
kolorowy 0.5.6 Komunikacja 0.1.2 słodycze 0.1.4
configparser 5.2.0 ContourPy 1.0.5 kryptografia 41.0.3
rowerzysta 0.11.0 cymem 2.0.8 Cython 0.29.32
dacyt 1.8.1 databricks-automl-runtime 0.2.21 databricks inżynieria cech 0.3.0
databricks-sdk 0.20.0 dataclasses-json 0.6.4 zestawy danych 2.16.1
dbl-tempo 0.1.26 dbus-python 1.2.18 debugpy 1.6.7
dekorator 5.1.1 Deepspeed 0.13.1 defusedxml (biblioteka zabezpieczająca przetwarzanie XML) 0.7.1
koper 0.3.6 bufor dyskowy 5.6.3 distlib 0.3.8
dm-tree 0.1.8 punkty wejścia 0,4 ocenić 0.4.1
Wykonywanie 0.8.3 aspekty — omówienie 1.1.1 Powiadomienia Farama 0.0.4
fastjsonschema 2.19.1 FastText 0.9.2 blokada plików 3.9.0
Flask 2.2.5 flatbuffers 26.05.23 fonttools 4.25.0
zamrożona lista 1.3.3 fsspec 2023.5.0 przyszłość 0.18.3
Гаст 0.4.0 gitdb (baza danych Git) 4.0.11 GitPython 3.1.27
google-api-core 2.17.1 google-auth (autoryzacja Google) 2.21.0 google-auth-oauthlib (biblioteka uwierzytelniania OAuth dla Google) 1.0.0
google-cloud-core 2.4.1 google-cloud-storage (usługa przechowywania w chmurze Google) 2.11.0 google-crc32c (biblioteka do obsługi algorytmu crc32c od Google) 1.5.0
Google-pasta 0.2.0 Google Media z Możliwością Wznowienia 2.7.0 googleapis-common-protos 1.62.0
gpustat 1.1.1 zielona nitka 2.0.1 grpcio 1.60.0
status grpcio 1.60.0 gunicorn 20.1.0 Gviz-API 1.10.0
sala gimnastyczna 0.28.1 h11 0.14.0 h5py 3.9.0
hjson 3.1.0 wakacje 0.38 korowód 0.28.1+db1
htmlmin 0.1.12 httpcore 1.0.4 httplib2 0.20.2
httpx 0.27.0 Hugging Face Hub 0.20.2 IDNA 3.4
ImageHash 4.3.1 imageio 2.31.1 niezrównoważona nauka 0.11.0
importlib-metadata 6.0.0 importlib_resources 6.1.2 ipyflow-core 0.0.198
ipykernel 6.25.1 ipython 8.15.0 ipython-genutils 0.2.0
ipywidgets 8.0.4 isodate 0.6.1 to jest niebezpieczne 2.0.1
jax-jumpy 1.0.0 Jedi 0.18.1 Jeepney 0.7.1
Jinja2 3.1.2 jmespath 0.10.0 joblib 1.2.0
joblibspark 0.5.1 jsonpatch 1,33 JsonPointer 2,4
jsonschema 4.17.3 serwer Jupyter 1.23.4 jupyter_client 7.4.9
jupyter_core 5.3.0 jupyterlab-pygments 0.1.2 Widżety JupyterLab 3.0.5
Keras 2.15.0 brelok 23.5.0 kiwisolver 1.4.4
langchain 0.1.3 langchain-community 0.0.20 langchain-core 0.1.23
kody językowe 3.3.0 langsmith 0.0.87 launchpadlib 1.10.16
lazr.restfulclient 0.14.4 lazr.uri 1.0.6 leniwy ładowacz 0,2
libclang 16.0.6 librosa 0.10.1 lightgbm 4.2.0
llvmlite 0.40.0 lxml jest biblioteką do analizy XML i HTML. 4.9.2 lz4 4.3.2
Mako 1.2.0 Markdown 3.4.1 markdown —it-py 2.2.0
MarkupSafe 2.1.1 Zefir 3.21.1 biblioteka matplotlib 3.7.2
biblioteka matplotlib-inline 0.1.6 mdurl 0.1.0 Mistune 0.8.4
ml-dtypes 0.2.0 mlflow-skinny 2.10.2 więcej itertools 8.10.0
mpmath 1.3.0 msgpack 1.0.8 multidict 6.0.2
wielometoda 1.11.2 przetwarzanie wieloprocesowe 0.70.14 szmurhash 1.0.10
mypy-extensions 0.4.3 nbclassic 0.5.5 NBClient 0.5.13
nbconvert - narzędzie do konwersji plików Jupyter Notebook 6.5.4 nbformat 5.7.0 nest-asyncio 1.5.6
networkx 3.1 Ninja 1.11.1.1 Natural Language Toolkit (nltk) 3.8.1
notes 6.5.4 notebook_shim 0.2.2 numba 0.57.1
numpy 1.23.5 nvidia —ml-py 12.535.133 oauthlib 3.2.0
OpenAI 1.9.0 opencensus 0.11.4 opencensus-context 0.1.3
opt-einsum 3.3.0 opakowanie 23.2 Pandas 2.0.3
pandocfilters 1.5.0 paramiko - biblioteka do protokołu SSH2 dla języka Python 2.9.2 parso 0.8.3
specyfikacja ścieżki 0.10.3 Patsy 0.5.3 petastorm 0.12.1
pexpect 4.8.0 phik 0.12.4 pickleshare (jeśli to nazwa własna, nie trzeba tłumaczyć) 0.7.5
Poduszka 9.4.0 pip (menedżer pakietów Pythona) 23.2.1 platformdirs 3.10.0
kreślenie 5.9.0 pmdarima 2.0.4 kundel 1.8.1
przeszhetowany 3.0.9 prometheus-client 0.14.1 zestaw narzędzi prompt 3.0.36
prorok 1.1.5 Protobuf (w skrócie od Protocol Buffers) 4.24.1 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
py-cpuinfo 8.0.0 py-szpieg 0.3.14 pyarrow 14.0.1
pyarrow-hotfix 0,6 pyasn1 0.4.8 pyasn1-modules 0.2.8
pybind11 2.11.1 pyccolo 0.0.52 pycparser 2.21
pydantic (biblioteka Python do walidacji danych i zarządzania ustawieniami) 1.10.6 Pygments 2.15.1 PyGObject 3.42.1
PyJWT 2.3.0 PyNaCl 1.5.0 pynvml 11.5.0
pyodbc 4.0.38 pyparsing – biblioteka do przetwarzania tekstu w Pythonie 3.0.9 pirstent 0.18.0
pytesseract 0.3.10 python-dateutil (biblioteka Pythona do zarządzania datami) 2.8.2 Python-editor 1.0.4
python-lsp-jsonrpc 1.1.1 pytz (biblioteka Pythona do obliczeń stref czasowych) 2022.7 PyWavelets 1.4.1
PyYAML 6.0 pyzmq 23.2.0 promień 2.9.3
wyrażenie regularne 2022.7.9 żądania 2.31.0 requests-oauthlib 1.3.1
Odpowiedzi 0.13.3 bogaty 13.7.1 RSA 4.9
s3transfer 0.10.0 bezpiecznetensory 0.3.2 scikit-image 0.20.0
scikit-learn 1.3.0 scipy (biblioteka naukowa dla Pythona) 1.11.1 urodzony na morzu 0.12.2
SecretStorage 3.3.1 Send2Trash 1.8.0 transformatory zdań 2.2.2
element zdania 0.1.99 setuptools 68.0.0 Shap 0.44.0
simplejson 3.17.6 Sześć 1.16.0 fragmentator 0.0.7
inteligentne-otwarcie 5.2.1 smmap 5.0.0 Sniffio 1.2.0
plik dźwiękowy 0.12.1 sito do zup 2,4 soxr 0.3.7
przestronny 3.7.2 spacy-legacy 3.0.12 spacy-loggers 1.0.5
spark-tensorflow-distributor (biblioteka do dystrybucji TensorFlow w Spark) 1.0.0 SQLAlchemy 1.4.39 sqlparse 0.4.2
serio 2.4.8 ssh-import-id (narzędzie do importowania kluczy SSH) 5,11 stos danych 0.2.0
cyna 0.3.0 statsmodels - biblioteka do modelowania statystycznego 0.14.0 sympy 1.11.1
splątane w unicode 0.2.0 Wytrzymałość 8.2.2 TensorBoard 2.15.1
serwer danych TensorBoard 0.7.2 tensorboard-plugin-profile (plugin profilowania tensorboard) 2.15.0 tensorboardX 2.6.2.2
tensorflow-cpu 2.15.0 tensorflow-estimator (moduł TensorFlow do estymacji) 2.15.0 tensorflow-io-gcs-filesystem 0.36.0
termcolor (narzędzie do zarządzania kolorami w terminalu) 2.4.0 ukończony 0.17.1 cienki 8.2.3
threadpoolctl 2.2.0 tifffile 2021.7.2 tiktoken 0.5.2
tinycss2 1.2.1 tokenize-rt 4.2.1 tokenizatory 0.15.0
pochodnia 2.1.2+ procesor torcheval 0.0.7 TorchVision (Wizja Pochodni 0.16.2+ procesor
tornado 6.3.2 tqdm 4.65.0 traitlety 5.7.1
Transformatory 4.36.2 stróż typów 2.13.3 pisarz 0.9.0
inspekcja pisania 0.9.0 moduł typing_extensions 4.7.1 tzdata 2022.1
ujson (szybka biblioteka do obsługi formatu JSON) 5.4.0 nienadzorowane uaktualnienia 0.1 urllib3 1.26.16
virtualenv 20.21.0 Wizje 0.7.5 wadllib 1.3.6
wasabi 1.1.2 szerokość(wcwidth) 0.2.5 łasica 0.3.4
kodowania webowe 0.5.1 klient websocket 0.58.0 Narzędzie 2.2.3
wheel 0.38.4 widgetsnbextension 4.0.5 wordcloud 1.9.3
zawijanie 1.14.1 xgboost 2.0.3 xxhash 3.4.1
Yarl 1.8.1 profilowanie danych 4.5.1 zamek błyskawiczny 3.11.0

Biblioteki języka Python w klastrach gpu

Biblioteka Wersja Biblioteka Wersja Biblioteka Wersja
absl-py 1.0.0 przyspieszać 0.25.0 aiohttp 3.8.5
aiohttp-cors 0.7.0 aiosignal 1.2.0 anyio 3.5.0
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 Astor 0.8.1
asttokens 2.0.5 astunparse 1.6.3 limit czasu asynchronicznego 4.0.2
attrs 22.1.0 odczyt dźwięku 3.0.1 azure-core 1.30.1
azure-cosmos 4.3.1 Azure Storage Blob 12.19.0 Usługa przechowywania w chmurze Azure (azure-storage-file-datalake) 12.14.0
oddzwonienie 0.2.0 bcrypt 3.2.0 beautifulsoup4 4.12.2
czarny 23.3.0 wybielacz 4.1.0 błogosławiony 1.20.0
kierunkowskaz 1.4 błogość 0.7.11 boto3 1.34.39
botocore 1.34.39 cachetools (narzędzia do zarządzania pamięcią podręczną) 5.3.3 katalog 2.0.10
kodery kategorii 2.6.3 certyfikat 2023.7.22 cffi 1.15.1
chardet 4.0.0 normalizator zestawu znaków 2.0.4 kliknięcie 8.0.4
cloudpathlib 0.16.0 cloudpickle (biblioteka Python do serializacji obiektów) 2.2.1 cmdstanpy 1.2.1
kolorowy 0.5.6 Komunikacja 0.1.2 słodycze 0.1.4
configparser 5.2.0 ContourPy 1.0.5 kryptografia 41.0.3
rowerzysta 0.11.0 cymem 2.0.8 Cython 0.29.32
dacyt 1.8.1 databricks-automl-runtime 0.2.21 databricks inżynieria cech 0.3.0
databricks-sdk 0.20.0 dataclasses-json 0.6.4 zestawy danych 2.16.1
dbl-tempo 0.1.26 dbus-python 1.2.18 debugpy 1.6.7
dekorator 5.1.1 Deepspeed 0.13.1 defusedxml (biblioteka zabezpieczająca przetwarzanie XML) 0.7.1
koper 0.3.6 bufor dyskowy 5.6.3 distlib 0.3.8
dm-tree 0.1.8 einops 0.7.0 punkty wejścia 0,4
ocenić 0.4.1 Wykonywanie 0.8.3 aspekty — omówienie 1.1.1
Powiadomienia Farama 0.0.4 fastjsonschema 2.19.1 FastText 0.9.2
blokada plików 3.9.0 flash-attn 2.5.0 Flask 2.2.5
flatbuffers 26.05.23 fonttools 4.25.0 zamrożona lista 1.3.3
fsspec 2023.5.0 przyszłość 0.18.3 Гаст 0.4.0
gitdb (baza danych Git) 4.0.11 GitPython 3.1.27 google-api-core 2.17.1
google-auth (autoryzacja Google) 2.21.0 google-auth-oauthlib (biblioteka uwierzytelniania OAuth dla Google) 1.0.0 google-cloud-core 2.4.1
google-cloud-storage (usługa przechowywania w chmurze Google) 2.11.0 google-crc32c (biblioteka do obsługi algorytmu crc32c od Google) 1.5.0 Google-pasta 0.2.0
Google Media z Możliwością Wznowienia 2.7.0 googleapis-common-protos 1.62.0 gpustat 1.1.1
zielona nitka 2.0.1 grpcio 1.60.0 status grpcio 1.60.0
gunicorn 20.1.0 Gviz-API 1.10.0 sala gimnastyczna 0.28.1
h11 0.14.0 h5py 3.9.0 hjson 3.1.0
wakacje 0.38 korowód 0.28.1+db1 htmlmin 0.1.12
httpcore 1.0.4 httplib2 0.20.2 httpx 0.27.0
Hugging Face Hub 0.20.2 IDNA 3.4 ImageHash 4.3.1
imageio 2.31.1 niezrównoważona nauka 0.11.0 importlib-metadata 6.0.0
importlib_resources 6.1.2 ipyflow-core 0.0.198 ipykernel 6.25.1
ipython 8.15.0 ipython-genutils 0.2.0 ipywidgets 8.0.4
isodate 0.6.1 to jest niebezpieczne 2.0.1 jax-jumpy 1.0.0
Jedi 0.18.1 Jeepney 0.7.1 Jinja2 3.1.2
jmespath 0.10.0 joblib 1.2.0 joblibspark 0.5.1
jsonpatch 1,33 JsonPointer 2,4 jsonschema 4.17.3
serwer Jupyter 1.23.4 jupyter_client 7.4.9 jupyter_core 5.3.0
jupyterlab-pygments 0.1.2 Widżety JupyterLab 3.0.5 Keras 2.15.0
brelok 23.5.0 kiwisolver 1.4.4 langchain 0.1.3
langchain-community 0.0.20 langchain-core 0.1.23 kody językowe 3.3.0
langsmith 0.0.87 launchpadlib 1.10.16 lazr.restfulclient 0.14.4
lazr.uri 1.0.6 leniwy ładowacz 0,2 libclang 16.0.6
librosa 0.10.1 lightgbm 4.2.0 llvmlite 0.40.0
lxml jest biblioteką do analizy XML i HTML. 4.9.2 lz4 4.3.2 Mako 1.2.0
Markdown 3.4.1 markdown —it-py 2.2.0 MarkupSafe 2.1.1
Zefir 3.21.1 biblioteka matplotlib 3.7.2 biblioteka matplotlib-inline 0.1.6
mdurl 0.1.0 Mistune 0.8.4 ml-dtypes 0.2.0
mlflow-skinny 2.10.2 więcej itertools 8.10.0 mpmath 1.3.0
msgpack 1.0.8 multidict 6.0.2 wielometoda 1.11.2
przetwarzanie wieloprocesowe 0.70.14 szmurhash 1.0.10 mypy-extensions 0.4.3
nbclassic 0.5.5 NBClient 0.5.13 nbconvert - narzędzie do konwersji plików Jupyter Notebook 6.5.4
nbformat 5.7.0 nest-asyncio 1.5.6 networkx 3.1
Ninja 1.11.1.1 Natural Language Toolkit (nltk) 3.8.1 notes 6.5.4
notebook_shim 0.2.2 numba 0.57.1 numpy 1.23.5
nvidia —ml-py 12.535.133 oauthlib 3.2.0 OpenAI 1.9.0
opencensus 0.11.4 opencensus-context 0.1.3 opt-einsum 3.3.0
opakowanie 23.2 Pandas 2.0.3 pandocfilters 1.5.0
paramiko - biblioteka do protokołu SSH2 dla języka Python 2.9.2 parso 0.8.3 specyfikacja ścieżki 0.10.3
Patsy 0.5.3 petastorm 0.12.1 pexpect 4.8.0
phik 0.12.4 pickleshare (jeśli to nazwa własna, nie trzeba tłumaczyć) 0.7.5 Poduszka 9.4.0
pip (menedżer pakietów Pythona) 23.2.1 platformdirs 3.10.0 kreślenie 5.9.0
pmdarima 2.0.4 kundel 1.8.1 przeszhetowany 3.0.9
zestaw narzędzi prompt 3.0.36 prorok 1.1.5 Protobuf (w skrócie od Protocol Buffers) 4.24.1
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 py-cpuinfo 8.0.0 py-szpieg 0.3.14
pyarrow 14.0.1 pyarrow-hotfix 0,6 pyasn1 0.4.8
pyasn1-modules 0.2.8 pybind11 2.11.1 pyccolo 0.0.52
pycparser 2.21 pydantic (biblioteka Python do walidacji danych i zarządzania ustawieniami) 1.10.6 Pygments 2.15.1
PyGObject 3.42.1 PyJWT 2.3.0 PyNaCl 1.5.0
pynvml 11.5.0 pyodbc 4.0.38 pyparsing – biblioteka do przetwarzania tekstu w Pythonie 3.0.9
pirstent 0.18.0 pytesseract 0.3.10 python-dateutil (biblioteka Pythona do zarządzania datami) 2.8.2
Python-editor 1.0.4 python-lsp-jsonrpc 1.1.1 pytz (biblioteka Pythona do obliczeń stref czasowych) 2022.7
PyWavelets 1.4.1 PyYAML 6.0 pyzmq 23.2.0
promień 2.9.3 wyrażenie regularne 2022.7.9 żądania 2.31.0
requests-oauthlib 1.3.1 Odpowiedzi 0.13.3 bogaty 13.7.1
RSA 4.9 s3transfer 0.10.0 bezpiecznetensory 0.3.2
scikit-image 0.20.0 scikit-learn 1.3.0 scipy (biblioteka naukowa dla Pythona) 1.11.1
urodzony na morzu 0.12.2 SecretStorage 3.3.1 Send2Trash 1.8.0
transformatory zdań 2.2.2 element zdania 0.1.99 setuptools 68.0.0
Shap 0.44.0 simplejson 3.17.6 Sześć 1.16.0
fragmentator 0.0.7 inteligentne-otwarcie 5.2.1 smmap 5.0.0
Sniffio 1.2.0 plik dźwiękowy 0.12.1 sito do zup 2,4
soxr 0.3.7 przestronny 3.7.2 spacy-legacy 3.0.12
spacy-loggers 1.0.5 spark-tensorflow-distributor (biblioteka do dystrybucji TensorFlow w Spark) 1.0.0 SQLAlchemy 1.4.39
sqlparse 0.4.2 serio 2.4.8 ssh-import-id (narzędzie do importowania kluczy SSH) 5,11
stos danych 0.2.0 cyna 0.3.0 statsmodels - biblioteka do modelowania statystycznego 0.14.0
sympy 1.11.1 splątane w unicode 0.2.0 Wytrzymałość 8.2.2
TensorBoard 2.15.1 serwer danych TensorBoard 0.7.2 tensorboard-plugin-profile (plugin profilowania tensorboard) 2.15.0
tensorboardX 2.6.2.2 TensorFlow 2.15.0 tensorflow-estimator (moduł TensorFlow do estymacji) 2.15.0
tensorflow-io-gcs-filesystem 0.36.0 termcolor (narzędzie do zarządzania kolorami w terminalu) 2.4.0 ukończony 0.17.1
cienki 8.2.3 threadpoolctl 2.2.0 tifffile 2021.7.2
tiktoken 0.5.2 tinycss2 1.2.1 tokenize-rt 4.2.1
tokenizatory 0.15.0 pochodnia 2.1.2+cu121 torcheval 0.0.7
TorchVision (Wizja Pochodni 0.16.2+cu121 tornado 6.3.2 tqdm 4.65.0
traitlety 5.7.1 Transformatory 4.36.2 tryton 2.1.0
stróż typów 2.13.3 pisarz 0.9.0 inspekcja pisania 0.9.0
moduł typing_extensions 4.7.1 tzdata 2022.1 ujson (szybka biblioteka do obsługi formatu JSON) 5.4.0
nienadzorowane uaktualnienia 0.1 urllib3 1.26.16 virtualenv 20.21.0
Wizje 0.7.5 wadllib 1.3.6 wasabi 1.1.2
szerokość(wcwidth) 0.2.5 łasica 0.3.4 kodowania webowe 0.5.1
klient websocket 0.58.0 Narzędzie 2.2.3 wheel 0.38.4
widgetsnbextension 4.0.5 wordcloud 1.9.3 zawijanie 1.14.1
xgboost 2.0.3 xxhash 3.4.1 Yarl 1.8.1
profilowanie danych 4.5.1 zamek błyskawiczny 3.11.0

Biblioteki R

Biblioteki języka R są identyczne z bibliotekami języka R w środowisku Databricks Runtime 15.0.

Biblioteki Java i Scala (klaster Scala 2.12)

Oprócz bibliotek Java i Scala w środowisku Databricks Runtime 15.0 środowisko Databricks Runtime 15.0 ML zawiera następujące jednostki JAR:

Klastry procesora CPU

Identyfikator grupy Identyfikator artefaktu Wersja
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-spark_2.12 1.7.3
ml.dmlc xgboost4j_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-db2-spark3.4
org.mlflow mlflow-client 2.10.2
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

Klastry procesora GPU

Identyfikator grupy Identyfikator artefaktu Wersja
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-gpu_2.12 1.7.3
ml.dmlc xgboost4j-spark-gpu_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-db2-spark3.4
org.mlflow mlflow-client 2.10.2
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0
  • Last updated on