Udostępnij przez

Databricks Runtime 15.3 dla uczenia maszynowego (EoS)

Uwaga / Notatka

Obsługa tej wersji środowiska Databricks Runtime została zakończona. Aby uzyskać datę zakończenia pomocy technicznej, zobacz Historia zakończenia pomocy technicznej. Wszystkie obsługiwane wersje środowiska Databricks Runtime można znaleźć w sekcji Notatki o wersjach i zgodności środowiska Databricks Runtime.

Środowisko Databricks Runtime 15.3 dla uczenia maszynowego zapewnia gotowe środowiskoto-go do uczenia maszynowego i nauki o danych oparte na środowisku Databricks Runtime 15.3 (EoS). Środowisko Databricks Runtime ML zawiera wiele popularnych bibliotek uczenia maszynowego, w tym TensorFlow, PyTorch i XGBoost. Środowisko Databricks Runtime ML obejmuje rozwiązanie AutoML— narzędzie do automatycznego trenowania potoków uczenia maszynowego. Środowisko Databricks Runtime ML obsługuje również trenowanie rozproszonego uczenia głębokiego przy użyciu struktury Horovod.

Nowe funkcje i ulepszenia

Środowisko Databricks Runtime 15.3 ML jest oparte na środowisku Databricks Runtime 15.3. Aby uzyskać informacje na temat nowości w środowisku Databricks Runtime 15.3, w tym Apache Spark MLlib i SparkR, zobacz notatki wydania dotyczące Databricks Runtime 15.3 (EoS).

Podziały danych i wagi próbek w automatycznym uczeniu maszynowym

Rozwiązanie AutoML obsługuje teraz ręczne podziały danych, dzięki czemu można określić wiersz po wierszu zestawy danych trenowania, walidacji i testowania dla modeli klasyfikacji i regresji. Zobacz Dzielenie danych na zbiory treningowe, walidacyjne i testowe.

Rozwiązanie AutoML obsługuje teraz wagi próbek, co pozwala dostosować znaczenie każdego wiersza podczas trenowania modelu regresji. Aby uzyskać więcej szczegółów, zobacz parametry regresji dla interfejsu API języka Python AutoML.

Środowisko systemu

Środowisko systemowe w środowisku Databricks Runtime 15.3 ML różni się od środowiska Databricks Runtime 15.3 w następujący sposób:

  • W przypadku klastrów gpu środowisko Databricks Runtime ML obejmuje następujące biblioteki procesora GPU FIRMY NVIDIA:
    • CUDA 12.1
    • cusolver 11.4.5.107-1
    • cupti 12.1
    • cuDNN 8.9.0.131-1
    • NCCL 2.17.1
    • TensorRT 8.6.1.6-1

Biblioteki

W poniższych sekcjach wymieniono biblioteki zawarte w środowisku Databricks Runtime 15.3 ML, które różnią się od bibliotek zawartych w środowisku Databricks Runtime 15.3.

W tej sekcji:

Biblioteki najwyższego poziomu

Środowisko Databricks Runtime 15.3 ML obejmuje następujące biblioteki najwyższego poziomu:

Biblioteki języka Python

Środowisko Databricks Runtime 15.3 ML używa virtualenv do zarządzania pakietami języka Python i zawiera wiele popularnych pakietów uczenia maszynowego.

Oprócz pakietów określonych w poniższych sekcjach środowisko Databricks Runtime 15.3 ML zawiera również następujące pakiety:

  • hyperopt 0.2.7+db3
  • sparkdl 3.0.0_db1
  • automl 1.27.0

Aby odtworzyć środowisko Python używane w Databricks Runtime ML w lokalnym wirtualnym środowisku Pythona, pobierz plik requirements-15.3.txt i uruchom polecenie pip install -r requirements-15.3.txt. To polecenie instaluje wszystkie biblioteki typu open source używane przez Databricks Runtime ML, ale nie instaluje bibliotek opracowanych przez Databricks, takich jak databricks-automl, databricks-feature-engineering, lub fork Databricks hyperopt.

Biblioteki języka Python w klastrach procesora CPU

Biblioteka wersja Biblioteka wersja Biblioteka wersja
absl-py 1.0.0 przyspieszać 0.30.1 aiohttp 3.8.5
aiohttp-cors 0.7.0 aiosignal 1.2.0 anyio 3.5.0
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 Astor 0.8.1
asttokens 2.0.5 astunparse 1.6.3 asynchroniczne przekroczenie limitu czasu 4.0.2
attrs 22.1.0 odczyt dźwięku 3.0.1 azure-core 1.30.1
azure-cosmos 4.3.1 azure-identity 1.16.0 Azure Storage Blob 12.19.1
Usługa przechowywania w chmurze Azure (azure-storage-file-datalake) 12.14.0 Wezwanie zwrotne 0.2.0 bcrypt 3.2.0
beautifulsoup4 4.12.2 czarny 23.3.0 wybielacz 4.1.0
kierunkowskaz 1.4 błogość 0.7.11 boto3 1.34.39
botocore 1.34.39 Brotli 1.0.9 cachetools (narzędzia do zarządzania pamięcią podręczną) 5.3.3
katalog 2.0.10 kodery kategorii 2.6.3 certyfikat 2023.7.22
cffi 1.15.1 chardet 4.0.0 normalizator zestawu znaków 2.0.4
wyłącznik obwodowy 1.4.0 kliknij 8.0.4 cloudpathlib 0.16.0
cloudpickle (biblioteka Python do serializacji obiektów) 2.2.1 cmdstanpy 1.2.2 kolorowy 0.5.6
komunikacja 0.1.2 wyrób cukierniczy 0.1.4 configparser 5.2.0
ContourPy 1.0.5 kryptografia 41.0.3 rowerzysta 0.11.0
cymem 2.0.8 Cython 0.29.32 dacyt 1.8.1
databricks-automl-runtime 0.2.21 proces inżynierii cech w Databricks 0.5.0 databricks-sdk 0.20.0
dataclasses-json 0.6.6 zbiory danych 2.19.1 dbl-tempo 0.1.26
dbus-python 1.2.18 debugpy 1.6.7 dekorator 5.1.1
Deepspeed 0.14.0 defusedxml (biblioteka zabezpieczająca przetwarzanie XML) 0.7.1 koper 0.3.6
bufor dyskowy 5.6.3 distlib 0.3.8 dm-tree 0.1.8
punkty wejścia 0,4 ocenić 0.4.2 wykonywanie 0.8.3
aspekty — omówienie 1.1.1 Powiadomienia Farama 0.0.4 fastjsonschema 2.19.1
FastText 0.9.2 blokada plików 3.13.4 Flask 2.2.5
flatbuffers 24.3.25 fonttools 4.25.0 zablokowana lista 1.3.3
fsspec 2023.5.0 przyszłość 0.18.3 Гаст 0.4.0
gitdb (baza danych Git) 4.0.11 GitPython 3.1.27 google-api-core 2.18.0
google-auth (autoryzacja Google) 2.21.0 google-auth-oauthlib (biblioteka uwierzytelniania OAuth dla Google) 1.0.0 google-cloud-core 2.4.1
Google Cloud Storage (usługa przechowywania danych w chmurze od Google) 2.10.0 google-crc32c (biblioteka do obsługi algorytmu crc32c od Google) 1.5.0 Google-pasta 0.2.0
Google Media z Możliwością Wznowienia 2.7.0 googleapis-common-protos 1.63.0 zielona nitka 2.0.1
grpcio 1.60.0 status grpcio 1.60.0 gunicorn 20.1.0
Gviz-API 1.10.0 sala gimnastyczna 0.28.1 h11 0.14.0
h5py 3.10.0 hjson 3.1.0 wakacje 0.45
korowód 0.28.1+db1 htmlmin 0.1.12 httpcore 1.0.5
httplib2 0.20.2 httpx 0.27.0 Hugging Face Hub 0.21.2
IDNA 3.4 ImageHash 4.3.1 imageio 2.31.1
niezrównoważona nauka 0.11.0 importlib-metadata 6.0.0 importlib_resources 6.4.0
ipyflow-core 0.0.198 ipykernel 6.25.1 ipython 8.15.0
ipython-genutils 0.2.0 ipywidgets 7.7.2 isodate 0.6.1
to jest niebezpieczne 2.0.1 jax-jumpy 1.0.0 Jedi 0.18.1
autobus typowy dla Filipin znany jako jeepney 0.7.1 Jinja2 3.1.2 jmespath 0.10.0
joblib 1.2.0 joblibspark 0.5.1 jsonpatch 1,33
JsonPointer 2,4 jsonschema 4.17.3 serwer Jupyter 1.23.4
jupyter_client 7.4.9 jupyter_core 5.3.0 jupyterlab-pygments 0.1.2
Keras 3.1.1 breloczek 23.5.0 kiwisolver 1.4.4
langchain 0.1.20 langchain-community 0.0.38 langchain-core 0.1.52
langchain-text-splitters (narzędzie do dzielenia tekstu) 0.0.2 kody językowe 3.4.0 langsmith 0.1.63
dane_językowe 1.2.0 launchpadlib 1.10.16 lazr.restfulclient 0.14.4
lazr.uri 1.0.6 leniwy ładowacz 0.2 libclang 15.0.6.1
librosa 0.10.1 lightgbm 4.3.0 linkify —it-py 2.0.0
llvmlite 0.40.0 lxml jest biblioteką do analizy XML i HTML. 4.9.2 lz4 4.3.2
Mako 1.2.0 marisa-trie 1.1.1 Markdown 3.4.1
markdown —it-py 2.2.0 MarkupSafe 2.1.1 pianka cukrowa 3.21.2
biblioteka matplotlib 3.7.2 biblioteka matplotlib-inline 0.1.6 mdit-py-plugins 0.3.0
mdurl 0.1.0 memray 1.12.0 Mistune 0.8.4
ml-dtypes 0.3.2 mlflow-skinny 2.11.3 więcej itertools 8.10.0
mosaicml-streaming 0.7.4 mpmath 1.3.0 msal 1.28.0
msal-extensions 1.1.0 msgpack 1.0.8 multidict 6.0.2
wielometoda 1.11.2 wieloprocesowy 0.70.14 MurmurHash 1.0.10
mypy-extensions 0.4.3 namex 0.0.8 nbclassic 0.5.5
NBClient 0.5.13 nbconvert - narzędzie do konwersji plików Jupyter Notebook 6.5.4 nbformat 5.7.0
nest-asyncio 1.5.6 networkx 3.1 Ninja 1.11.1.1
Natural Language Toolkit (nltk) 3.8.1 notes 6.5.4 notebook_shim 0.2.2
numba 0.57.1 numpy 1.23.5 oauthlib 3.2.0
Oci 2.126.4 openai 1.29.0 opencensus 0.11.4
opencensus-context 0.1.3 opt-einsum 3.3.0 optree 0.11.0
orjson 3.10.3 opakowanie 23.2 Pandas 1.5.3
pandocfilters 1.5.0 paramiko - biblioteka do protokołu SSH2 dla języka Python 3.4.0 parso 0.8.3
specyfikacja ścieżki 0.10.3 ofiara 0.5.3 petastorm 0.12.1
pexpect 4.8.0 phik 0.12.4 pickleshare (jeśli to nazwa własna, nie trzeba tłumaczyć) 0.7.5
Poduszka 9.4.0 pip (menedżer pakietów Pythona) 23.2.1 platformdirs 3.10.0
kreślenie 5.9.0 pmdarima 2.0.4 kundel 1.8.1
portalocker 2.8.2 przeszhetowany 3.0.9 prometheus-client 0.14.1
zestaw narzędzi prompt 3.0.36 prorok 1.1.5 proto-plus 1.23.0
Protobuf (w skrócie od Protocol Buffers) 4.24.1 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 py-cpuinfo 8.0.0
py-szpieg 0.3.14 pyarrow 14.0.1 pyarrow-hotfix 0,6
pyasn1 0.4.8 pyasn1-modules 0.2.8 pybind11 2.12.0
pyccolo 0.0.52 pycparser 2.21 pydantic (biblioteka Python do walidacji danych i zarządzania ustawieniami) 1.10.6
Pygments 2.15.1 PyGObject 3.42.1 PyJWT 2.3.0
PyNaCl 1.5.0 pynvml 11.5.0 pyodbc 4.0.38
pyOpenSSL 23.2.0 pyparsing – biblioteka do przetwarzania tekstu w Pythonie 3.0.9 pirstent 0.18.0
pytesseract 0.3.10 python-dateutil (biblioteka Pythona do zarządzania datami) 2.8.2 Pythonowy edytor 1.0.4
python-lsp-jsonrpc 1.1.1 python-snappy 0.6.1 pytz (biblioteka Pythona do obliczeń stref czasowych) 2022.7
PyWavelets 1.4.1 PyYAML 6.0 pyzmq 23.2.0
promień 2.12.0 wyrażenie regularne 2022.7.9 żądania 2.31.0
requests-oauthlib 1.3.1 bogaty 13.7.1 RSA 4.9
s3transfer 0.10.1 bezpiecznetensory 0.4.2 scikit-image 0.20.0
scikit-learn 1.3.0 scipy (biblioteka naukowa dla Pythona) 1.11.1 urodzony na morzu 0.12.2
SecretStorage 3.3.1 Send2Trash 1.8.0 transformatory zdań 2.7.0
element zdania 0.1.99 setuptools 68.0.0 kształt 0.44.0
simplejson 3.17.6 sześć 1.16.0 fragmentator 0.0.7
inteligentne-otwarcie 5.2.1 smmap 5.0.0 Sniffio 1.2.0
Plik dźwiękowy 0.12.1 sitko do zupy 2,4 soxr 0.3.7
przestronny 3.7.2 spacy-legacy 3.0.12 spacy-loggers 1.0.5
spark-tensorflow-distributor (biblioteka do dystrybucji TensorFlow w Spark) 1.0.0 SQLAlchemy 1.4.39 sqlparse 0.4.2
serio 2.4.8 ssh-import-id (narzędzie do importowania kluczy SSH) 5.11 stos danych 0.2.0
cyna 0.5.0 statsmodels - biblioteka do modelowania statystycznego 0.14.0 sympy 1.11.1
splątane w Unicode 0.2.0 Wytrzymałość 8.2.2 TensorBoard 2.16.2
serwer danych TensorBoard 0.7.2 TensorBoard_wtyczka_profil 2.15.1 tensorboardX 2.6.2.2
TensorFlow 2.16.1 tensorflow-estimator (moduł TensorFlow do estymacji) 2.15.0 tensorflow-io-gcs-filesystem 0.37.0
termcolor (narzędzie do zarządzania kolorami w terminalu) 2.4.0 zakończony 0.17.1 Tekstowy 0.63.3
tf_keras 2.16.0 cienki 8.2.3 threadpoolctl 2.2.0
tifffile 2021.7.2 tiktoken 0.5.2 tinycss2 1.2.1
tokenize-rt 4.2.1 narzędzia tokenizacji 0.19.0 pochodnia 2.3.0+ procesor
torcheval 0.0.7 TorchVision (Wizja Pochodni 0.18.0+procesor tornado 6.3.2
tqdm 4.65.0 traitlety 5.7.1 Transformersi 4.40.2
osłona typów 2.13.3 pisarz 0.9.4 monitorowanie pisania 0.9.0
moduł typing_extensions 4.10.0 tzdata 2022.1 uc-micro-py 1.0.1
ujson (szybka biblioteka do obsługi formatu JSON) 5.4.0 nienadzorowane uaktualnienia 0.1 urllib3 1.26.16
virtualenv 20.24.2 Wizje 0.7.5 wadllib 1.3.6
wasabi 1.1.2 szerokość(wcwidth) 0.2.5 łasica 0.3.4
kodowania webowe 0.5.1 websocket-klient 0.58.0 Narzędzie 2.2.3
wheel 0.38.4 wordcloud 1.9.3 zawinięty 1.14.1
xgboost 2.0.3 xxhash 3.4.1 Yarl 1.8.1
ydata-profiling (profilowanie danych) 4.5.1 zamek błyskawiczny 3.11.0 zstd 1.5.5.1

Biblioteki języka Python w klastrach gpu

Biblioteka wersja Biblioteka wersja Biblioteka wersja
absl-py 1.0.0 przyspieszać 0.30.1 aiohttp 3.8.5
aiohttp-cors 0.7.0 aiosignal 1.2.0 anyio 3.5.0
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 Astor 0.8.1
asttokens 2.0.5 astunparse 1.6.3 asynchroniczne przekroczenie limitu czasu 4.0.2
attrs 22.1.0 odczyt dźwięku 3.0.1 azure-core 1.30.1
azure-cosmos 4.3.1 azure-identity 1.16.0 Azure Storage Blob 12.19.1
Usługa przechowywania w chmurze Azure (azure-storage-file-datalake) 12.14.0 Wezwanie zwrotne 0.2.0 bcrypt 3.2.0
beautifulsoup4 4.12.2 czarny 23.3.0 wybielacz 4.1.0
kierunkowskaz 1.4 błogość 0.7.11 boto3 1.34.39
botocore 1.34.39 Brotli 1.0.9 cachetools (narzędzia do zarządzania pamięcią podręczną) 5.3.3
katalog 2.0.10 kodery kategorii 2.6.3 certyfikat 2023.7.22
cffi 1.15.1 chardet 4.0.0 normalizator zestawu znaków 2.0.4
wyłącznik obwodowy 1.4.0 kliknij 8.0.4 cloudpathlib 0.16.0
cloudpickle (biblioteka Python do serializacji obiektów) 2.2.1 cmdstanpy 1.2.2 kolorowy 0.5.6
komunikacja 0.1.2 wyrób cukierniczy 0.1.4 configparser 5.2.0
ContourPy 1.0.5 kryptografia 41.0.3 rowerzysta 0.11.0
cymem 2.0.8 Cython 0.29.32 dacyt 1.8.1
databricks-automl-runtime 0.2.21 proces inżynierii cech w Databricks 0.5.0 databricks-sdk 0.20.0
dataclasses-json 0.6.6 zbiory danych 2.19.1 dbl-tempo 0.1.26
dbus-python 1.2.18 debugpy 1.6.7 dekorator 5.1.1
Deepspeed 0.14.0 defusedxml (biblioteka zabezpieczająca przetwarzanie XML) 0.7.1 koper 0.3.6
bufor dyskowy 5.6.3 distlib 0.3.8 dm-tree 0.1.8
einops 0.8.0 punkty wejścia 0,4 ocenić 0.4.2
wykonywanie 0.8.3 aspekty — omówienie 1.1.1 Powiadomienia Farama 0.0.4
fastjsonschema 2.19.1 FastText 0.9.2 blokada plików 3.13.4
flash-attn 2.5.8 Flask 2.2.5 flatbuffers 24.3.25
fonttools 4.25.0 zablokowana lista 1.3.3 fsspec 2023.5.0
przyszłość 0.18.3 Гаст 0.4.0 gitdb (baza danych Git) 4.0.11
GitPython 3.1.27 google-api-core 2.18.0 google-auth (autoryzacja Google) 2.21.0
google-auth-oauthlib (biblioteka uwierzytelniania OAuth dla Google) 1.0.0 google-cloud-core 2.4.1 Google Cloud Storage (usługa przechowywania danych w chmurze od Google) 2.10.0
google-crc32c (biblioteka do obsługi algorytmu crc32c od Google) 1.5.0 Google-pasta 0.2.0 Google Media z Możliwością Wznowienia 2.7.0
googleapis-common-protos 1.63.0 zielona nitka 2.0.1 grpcio 1.60.0
status grpcio 1.60.0 gunicorn 20.1.0 Gviz-API 1.10.0
sala gimnastyczna 0.28.1 h11 0.14.0 h5py 3.10.0
hjson 3.1.0 wakacje 0.45 korowód 0.28.1+db1
htmlmin 0.1.12 httpcore 1.0.5 httplib2 0.20.2
httpx 0.27.0 Hugging Face Hub 0.21.2 IDNA 3.4
ImageHash 4.3.1 imageio 2.31.1 niezrównoważona nauka 0.11.0
importlib-metadata 6.0.0 importlib_resources 6.4.0 ipyflow-core 0.0.198
ipykernel 6.25.1 ipython 8.15.0 ipython-genutils 0.2.0
ipywidgets 7.7.2 isodate 0.6.1 to jest niebezpieczne 2.0.1
jax-jumpy 1.0.0 Jedi 0.18.1 autobus typowy dla Filipin znany jako jeepney 0.7.1
Jinja2 3.1.2 jmespath 0.10.0 joblib 1.2.0
joblibspark 0.5.1 jsonpatch 1,33 JsonPointer 2,4
jsonschema 4.17.3 serwer Jupyter 1.23.4 jupyter_client 7.4.9
jupyter_core 5.3.0 jupyterlab-pygments 0.1.2 Keras 3.1.1
breloczek 23.5.0 kiwisolver 1.4.4 langchain 0.1.20
langchain-community 0.0.38 langchain-core 0.1.52 langchain-text-splitters (narzędzie do dzielenia tekstu) 0.0.2
kody językowe 3.4.0 langsmith 0.1.63 dane_językowe 1.2.0
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
leniwy ładowacz 0.2 libclang 15.0.6.1 librosa 0.10.1
lightgbm 4.3.0 linkify —it-py 2.0.0 llvmlite 0.40.0
lxml jest biblioteką do analizy XML i HTML. 4.9.2 lz4 4.3.2 Mako 1.2.0
marisa-trie 1.1.1 Markdown 3.4.1 markdown —it-py 2.2.0
MarkupSafe 2.1.1 pianka cukrowa 3.21.2 biblioteka matplotlib 3.7.2
biblioteka matplotlib-inline 0.1.6 mdit-py-plugins 0.3.0 mdurl 0.1.0
memray 1.12.0 Mistune 0.8.4 ml-dtypes 0.3.2
mlflow-skinny 2.11.3 więcej itertools 8.10.0 mosaicml-streaming 0.7.4
mpmath 1.3.0 msal 1.28.0 msal-extensions 1.1.0
msgpack 1.0.8 multidict 6.0.2 wielometoda 1.11.2
wieloprocesowy 0.70.14 MurmurHash 1.0.10 mypy-extensions 0.4.3
namex 0.0.8 nbclassic 0.5.5 NBClient 0.5.13
nbconvert - narzędzie do konwersji plików Jupyter Notebook 6.5.4 nbformat 5.7.0 nest-asyncio 1.5.6
networkx 3.1 Ninja 1.11.1.1 Natural Language Toolkit (nltk) 3.8.1
notes 6.5.4 notebook_shim 0.2.2 numba 0.57.1
numpy 1.23.5 nvidia-cublas-cu12 12.1.3.1 nvidia-cuda-cupti-cu12 12.1.105
nvidia-cuda-nvrtc-cu12 12.1.105 środowisko uruchomieniowe NVIDIA CUDA cu12 12.1.105 nvidia-cudnn-cu12 8.9.2.26
nvidia-cufft-cu12 11.0.2.54 nvidia-curand-cu12 10.3.2.106 nvidia-cusolver-cu12 11.4.5.107
nvidia-cusparse-cu12 12.1.0.106 nvidia-nccl-cu12 2.20.5 nvidia-nvjitlink-cu12 12.5.40
nvidia-nvtx-cu12 12.1.105 oauthlib 3.2.0 Oci 2.126.4
openai 1.29.0 opencensus 0.11.4 opencensus-context 0.1.3
opt-einsum 3.3.0 optree 0.11.0 orjson 3.10.3
opakowanie 23.2 Pandas 1.5.3 pandocfilters 1.5.0
paramiko - biblioteka do protokołu SSH2 dla języka Python 3.4.0 parso 0.8.3 specyfikacja ścieżki 0.10.3
ofiara 0.5.3 petastorm 0.12.1 pexpect 4.8.0
phik 0.12.4 pickleshare (jeśli to nazwa własna, nie trzeba tłumaczyć) 0.7.5 Poduszka 9.4.0
pip (menedżer pakietów Pythona) 23.2.1 platformdirs 3.10.0 kreślenie 5.9.0
pmdarima 2.0.4 kundel 1.8.1 portalocker 2.8.2
przeszhetowany 3.0.9 prometheus-client 0.14.1 zestaw narzędzi prompt 3.0.36
prorok 1.1.5 proto-plus 1.23.0 Protobuf (w skrócie od Protocol Buffers) 4.24.1
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 py-cpuinfo 8.0.0 py-szpieg 0.3.14
pyarrow 14.0.1 pyarrow-hotfix 0,6 pyasn1 0.4.8
pyasn1-modules 0.2.8 pybind11 2.12.0 pyccolo 0.0.52
pycparser 2.21 pydantic (biblioteka Python do walidacji danych i zarządzania ustawieniami) 1.10.6 Pygments 2.15.1
PyGObject 3.42.1 PyJWT 2.3.0 PyNaCl 1.5.0
pynvml 11.5.0 pyodbc 4.0.38 pyOpenSSL 23.2.0
pyparsing – biblioteka do przetwarzania tekstu w Pythonie 3.0.9 pirstent 0.18.0 pytesseract 0.3.10
python-dateutil (biblioteka Pythona do zarządzania datami) 2.8.2 Pythonowy edytor 1.0.4 python-lsp-jsonrpc 1.1.1
python-snappy 0.6.1 pytz (biblioteka Pythona do obliczeń stref czasowych) 2022.7 PyWavelets 1.4.1
PyYAML 6.0 pyzmq 23.2.0 promień 2.12.0
wyrażenie regularne 2022.7.9 żądania 2.31.0 requests-oauthlib 1.3.1
bogaty 13.7.1 RSA 4.9 s3transfer 0.10.1
bezpiecznetensory 0.4.2 scikit-image 0.20.0 scikit-learn 1.3.0
scipy (biblioteka naukowa dla Pythona) 1.11.1 urodzony na morzu 0.12.2 SecretStorage 3.3.1
Send2Trash 1.8.0 transformatory zdań 2.7.0 element zdania 0.1.99
setuptools 68.0.0 kształt 0.44.0 simplejson 3.17.6
sześć 1.16.0 fragmentator 0.0.7 inteligentne-otwarcie 5.2.1
smmap 5.0.0 Sniffio 1.2.0 Plik dźwiękowy 0.12.1
sitko do zupy 2,4 soxr 0.3.7 przestronny 3.7.2
spacy-legacy 3.0.12 spacy-loggers 1.0.5 spark-tensorflow-distributor (biblioteka do dystrybucji TensorFlow w Spark) 1.0.0
SQLAlchemy 1.4.39 sqlparse 0.4.2 serio 2.4.8
ssh-import-id (narzędzie do importowania kluczy SSH) 5.11 stos danych 0.2.0 cyna 0.5.0
statsmodels - biblioteka do modelowania statystycznego 0.14.0 sympy 1.11.1 splątane w Unicode 0.2.0
Wytrzymałość 8.2.2 TensorBoard 2.16.2 serwer danych TensorBoard 0.7.2
TensorBoard_wtyczka_profil 2.15.1 tensorboardX 2.6.2.2 TensorFlow 2.16.1
tensorflow-estimator (moduł TensorFlow do estymacji) 2.15.0 tensorflow-io-gcs-filesystem 0.37.0 termcolor (narzędzie do zarządzania kolorami w terminalu) 2.4.0
zakończony 0.17.1 Tekstowy 0.63.3 tf_keras 2.16.0
cienki 8.2.3 threadpoolctl 2.2.0 tifffile 2021.7.2
tiktoken 0.5.2 tinycss2 1.2.1 tokenize-rt 4.2.1
narzędzia tokenizacji 0.19.0 pochodnia 2.3.0+cu121 torcheval 0.0.7
TorchVision (Wizja Pochodni 0.18.0+cu121 tornado 6.3.2 tqdm 4.65.0
traitlety 5.7.1 Transformersi 4.40.2 Triton 2.3.0
osłona typów 2.13.3 pisarz 0.9.4 monitorowanie pisania 0.9.0
moduł typing_extensions 4.10.0 tzdata 2022.1 uc-micro-py 1.0.1
ujson (szybka biblioteka do obsługi formatu JSON) 5.4.0 nienadzorowane uaktualnienia 0.1 urllib3 1.26.16
virtualenv 20.24.2 Wizje 0.7.5 wadllib 1.3.6
wasabi 1.1.2 szerokość(wcwidth) 0.2.5 łasica 0.3.4
kodowania webowe 0.5.1 websocket-klient 0.58.0 Narzędzie 2.2.3
wheel 0.38.4 wordcloud 1.9.3 zawinięty 1.14.1
xgboost 2.0.3 xxhash 3.4.1 Yarl 1.8.1
ydata-profiling (profilowanie danych) 4.5.1 zamek błyskawiczny 3.11.0 zstd 1.5.5.1

Biblioteki języka R

Biblioteki języka R są identyczne z bibliotekami języka R w środowisku Databricks Runtime 15.3.

Biblioteki Java i Scala (klaster Scala 2.12)

Oprócz bibliotek Java i Scala w środowisku Databricks Runtime 15.3 środowisko Databricks Runtime 15.3 ML zawiera następujące jednostki JAR:

Klastry procesora CPU

Identyfikator grupy Identyfikator artefaktu wersja
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-spark_2.12 1.7.3
ml.dmlc xgboost4j_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.3-db1-spark3.5
org.mlflow mlflow-client 2.11.1
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

Klastry procesora GPU

Identyfikator grupy Identyfikator artefaktu wersja
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-gpu_2.12 1.7.3
ml.dmlc xgboost4j-spark-gpu_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.3-db1-spark3.5
org.mlflow mlflow-client 2.11.1
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0
  • Last updated on