Udostępnij za pośrednictwem

Databricks Runtime 14.0 dla uczenia maszynowego (EoS)

Uwaga / Notatka

Obsługa tej wersji środowiska Databricks Runtime została zakończona. Aby zapoznać się z datą zakończenia wsparcia, zobacz End-of-support and end-of-life history (Koniec wsparcia technicznego i historia zakończenia życia). Wszystkie obsługiwane wersje środowiska Databricks Runtime można znaleźć w sekcji Notatki o wersjach i zgodności środowiska Databricks Runtime.

Środowisko Databricks Runtime 14.0 dla uczenia maszynowego zapewnia gotowe do użycia środowisko dla uczenia maszynowego i nauki o danych na podstawie Databricks Runtime 14.0 (EoS). Środowisko Databricks Runtime ML zawiera wiele popularnych bibliotek uczenia maszynowego, w tym TensorFlow, PyTorch i XGBoost. Środowisko Databricks Runtime ML obejmuje rozwiązanie AutoML— narzędzie do automatycznego trenowania potoków uczenia maszynowego. Środowisko Databricks Runtime ML obsługuje również trenowanie rozproszonego uczenia głębokiego przy użyciu struktury Horovod.

Aby uzyskać więcej informacji, w tym instrukcje dotyczące tworzenia klastra uczenia maszynowego usługi Databricks Runtime, zobacz Sztuczna inteligencja i uczenie maszynowe w usłudze Databricks.

Nowe funkcje i ulepszenia

Środowisko Databricks Runtime 14.0 ML jest oparte na środowisku Databricks Runtime 14.0. Aby uzyskać informacje o nowościach w Databricks Runtime 14.0, w tym o Apache Spark MLlib i SparkR, zapoznaj się z informacjami zawartymi w Databricks Runtime 14.0 (EoS) release notes.

Środowisko systemu

Środowisko systemowe w środowisku Databricks Runtime 14.0 ML różni się od środowiska Databricks Runtime 14.0 w następujący sposób:

  • DBUtils: Databricks Runtime ML nie zawiera narzędzia Library utility (dbutils.library) (starsza wersja). Zamiast tego użyj poleceń %pip. Zobacz biblioteki Python Python Notebook.
  • W przypadku klastrów gpu środowisko Databricks Runtime ML obejmuje następujące biblioteki procesora GPU FIRMY NVIDIA:
    • CUDA 11.8
    • cuDNN 8.9.0.131-1
    • NCCL 2.15.1
    • TensorRT 8.5.3-1

Środowisko Databricks Runtime 14.0 ML zawiera bibliotekę XGBoost 1.7.6, która nie obsługuje klastrów gpu z możliwościami obliczeniowymi 5.2 i nowszymi.

Następujące pakiety uwzględnione w poprzednich wersjach uczenia maszynowego środowiska Databricks Runtime zostały usunięte w środowisku Databricks Runtime 14.0 ML:

  • miniconda
  • MLeap

Biblioteki

W poniższych sekcjach wymieniono biblioteki zawarte w środowisku Databricks Runtime 14.0 ML, które różnią się od bibliotek zawartych w środowisku Databricks Runtime 14.0.

W tej sekcji:

Biblioteki najwyższego poziomu

Środowisko Databricks Runtime 14.0 ML obejmuje następujące biblioteki najwyższego poziomu:

biblioteki Python

Środowisko Databricks Runtime 14.0 ML używa usługi Virtualenv do zarządzania pakietami Python i zawiera wiele popularnych pakietów uczenia maszynowego.

Oprócz pakietów określonych w poniższych sekcjach środowisko Databricks Runtime 14.0 ML zawiera również następujące pakiety:

  • hyperopt 0.2.7+db4
  • sparkdl 3.0.0_db1
  • automl 1.21.1

Aby odtworzyć środowisko Python ML w Databricks Runtime w lokalnym środowisku wirtualnym Python, pobierz plik requirements-14.0.txt i uruchom pip install -r requirements-14.0.txt. To polecenie instaluje wszystkie biblioteki open source używane przez usługę Databricks Runtime ML, ale nie instaluje bibliotek opracowanych przez usługę Databricks, takich jak databricks-automl, databricks-feature-store lub rozwidlenie usługi Databricks hyperopt.

biblioteki Python w klastrach procesora CPU

Biblioteka wersja Biblioteka wersja Biblioteka wersja
absl-py 1.0.0 przyspieszać 0.21.0 aiohttp 3.8.5
aiosignal 1.3.1 anyio 3.5.0 appdirs 1.4.4
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 Astor 0.8.1
asttokens 2.0.5 astunparse 1.6.3 asynchroniczne przekroczenie limitu czasu 4.0.3
attrs 22.1.0 odczyt dźwięku 3.0.0 azure-core 1.29.1
azure-cosmos 4.3.1 Azure Storage Blob 12.17.0 Usługa przechowywania w chmurze Azure (azure-storage-file-datalake) 12.12.0
Wezwanie zwrotne 0.2.0 bcrypt 3.2.0 beautifulsoup4 4.11.1
czarny 22.6.0 wybielacz 4.1.0 kierunkowskaz 1.4
błogość 0.7.10 boto3 1.24.28 botocore 1.27.96
cachetools (narzędzia do zarządzania pamięcią podręczną) 5.3.1 katalog 2.0.9 kodery kategorii 2.6.1
certyfikat 2022.12.7 cffi 1.15.1 chardet 4.0.0
normalizator zestawu znaków 2.0.4 kliknij 8.0.4 cloudpickle (biblioteka Python do serializacji obiektów) 2.0.0
cmdstanpy 1.1.0 komunikacja 0.1.2 wyrób cukierniczy 0.1.1
configparser 5.2.0 ContourPy 1.0.5 konwertuj datę 2.4.0
kryptografia 39.0.1 rowerzysta 0.11.0 cymem 2.0.7
Cython 0.29.32 dacyt 1.8.1 databricks-automl-runtime 0.2.18
databricks-cli 0.17.7 Sklep z funkcjami Databricks (databricks-feature-store) 0.14.1 databricks-sdk 0.1.6
dataclasses-json 0.5.14 zbiory danych 2.14.1 dbl-tempo 0.1.23
dbus-python 1.2.18 debugpy 1.6.7 dekorator 5.1.1
Deepspeed 0.10.0 defusedxml (biblioteka zabezpieczająca przetwarzanie XML) 0.7.1 koper 0.3.6
bufor dyskowy 5.6.1 distlib 0.3.7 Konwertowanie docstringów na markdown 0.11
punkty wejścia 0,4 ephem 4.1.4 ocenić 0.4.0
wykonywanie 0.8.3 aspekty — omówienie 1.1.1 fastapi 0.98.0
fastjsonschema 2.18.0 FastText 0.9.2 blokada plików 3.9.0
Flask 2.2.5 FlatBuffers 26.05.23 fonttools 4.25.0
zablokowana lista 1.4.0 fsspec 2022.11.0 przyszłość 0.18.3
Гаст 0.4.0 Biblioteka środowiska uruchomieniowego GCC 1.10.0 gitdb (baza danych Git) 4.0.10
GitPython 3.1.27 google-api-core 2.11.1 google-auth (autoryzacja Google) 2.21.0
google-auth-oauthlib (biblioteka uwierzytelniania OAuth dla Google) 1.0.0 google-cloud-core 2.3.3 Google Cloud Storage (usługa przechowywania danych w chmurze od Google) 2.10.0
google-crc32c (biblioteka do obsługi algorytmu crc32c od Google) 1.5.0 Google-pasta 0.2.0 Google Media z Możliwością Wznowienia 2.5.0
googleapis-common-protos 1.60.0 zielona nitka 2.0.1 grpcio 1.48.2
grpcio-status 1.48.1 gunicorn 20.1.0 Gviz-API 1.10.0
h11 0.14.0 h5py 3.7.0 hjson 3.1.0
wakacje 0,28 korowód 0.28.1 htmlmin 0.1.12
httplib2 0.20.2 httptools 0.6.0 Hugging Face Hub 0.14.1
IDNA 3.4 ImageHash 4.3.1 niezrównoważona nauka 0.10.1
importlib-metadata 4.11.3 importlib-resources 6.0.1 ipykernel 6.25.0
ipython 8.14.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 to jest niebezpieczne 2.0.1 Jedi 0.18.1
jeepney 0.7.1 Jinja2 3.1.2 jmespath 0.10.0
joblib 1.2.0 joblibspark 0.5.1 jsonschema 4.17.3
jupyter-client 7.3.4 serwer Jupyter 1.23.4 jupyter_core 5.2.0
jupyterlab-pygments 0.1.2 Widżety JupyterLab 1.0.0 Keras 2.13.1
breloczek 23.5.0 kiwisolver 1.4.4 langchain 0.0.225
langchainplus-sdk 0.0.20 kody językowe 3.3.0 launchpadlib 1.10.16
lazr.restfulclient 0.14.4 lazr.uri 1.0.6 leniwy ładowacz 0,3
libclang 15.0.6.1 librosa 0.10.0 lightgbm 3.3.5
llvmlite 0.39.1 Księżycowy Kalendarz 0.0.9 lxml jest biblioteką do analizy XML i HTML. 4.9.1
Mako 1.2.0 Markdown 3.4.1 MarkupSafe 2.1.1
pianka cukrowa 3.20.1 matplotlib 3.7.0 matplotlib-inline 0.1.6
Mccabe 0.7.0 Mistune 0.8.4 mlflow-skinny 2.5.0
more-itertools 8.10.0 mpmath 1.2.1 msgpack 1.0.5
multidict 6.0.4 wielometoda 1.9.1 wieloprocesowy 0.70.14
MurmurHash 1.0.9 mypy-extensions 0.4.3 nbclassic 0.5.2
NBClient 0.5.13 nbconvert - narzędzie do konwersji plików Jupyter Notebook 6.5.4 nbformat 5.7.0
nest-asyncio 1.5.6 networkx 2.8.4 Ninja 1.11.1
Natural Language Toolkit (nltk) 3.7 nodeenv 1.8.0 notes 6.5.2
notebook_shim 0.2.2 numba 0.56.4 numexpr 2.8.4
numpy 1.23.5 oauthlib 3.2.0 openai 0.27.8
openapi-schema-pydantic 1.2.4 opt-einsum 3.3.0 opakowanie 22,0
Pandas 1.5.3 pandocfilters 1.5.0 paramiko - biblioteka do protokołu SSH2 dla języka Python 2.9.2
parso 0.8.3 specyfikacja ścieżki 0.10.3 patia 0.10.2
ofiara 0.5.3 petastorm 0.12.1 pexpect 4.8.0
phik 0.12.3 pickleshare (jeśli to nazwa własna, nie trzeba tłumaczyć) 0.7.5 Poduszka 9.4.0
pip 22.3.1 platformdirs 2.5.2 kreślenie 5.9.0
pluggy - system zarządzania wtyczkami 1.0.0 pmdarima 2.0.3 kundel 1.4.0
przeszhetowany 3.0.8 prometheus-client 0.14.1 zestaw narzędzi prompt 3.0.36
prorok 1.1.4 Protobuf (w skrócie od Protocol Buffers) 4.24.0 psutil (biblioteka Pythona do monitorowania systemów i procesów) 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
py-cpuinfo 9.0.0 pyarrow 8.0.0 pyasn1 0.4.8
pyasn1-modules 0.2.8 pybind11 2.11.1 pycparser 2.21
pydantic (biblioteka Python do walidacji danych i zarządzania ustawieniami) 1.10.6 pyflakes (narzędzie do analizy statycznej kodu Python) 3.0.1 Pygments 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 PyMeeus 0.5.12
PyNaCl 1.5.0 pyodbc 4.0.32 pyparsing – biblioteka do przetwarzania tekstu w Pythonie 3.0.9
pyright 1.1.294 pyrsistent 0.18.0 pytesseract 0.3.10
python-dateutil (biblioteka Pythona do zarządzania datami) 2.8.2 python-dotenv 1.0.0 Pythonowy edytor 1.0.4
python-lsp-jsonrpc 1.0.0 python-lsp-server 1.7.1 pytoolconfig 1.2.5
pytz (biblioteka Pythona do obliczeń stref czasowych) 2022.7 PyWavelets 1.4.1 PyYAML 6.0
pyzmq 23.2.0 wyrażenie regularne 2022.7.9 żądania 2.28.1
requests-oauthlib 1.3.1 Odpowiedzi 0.18.0 lina 1.7.0
rsa 4.9 s3transfer 0.6.2 safetensors 0.3.2
scikit-learn 1.1.1 urodzony na morzu 0.12.2 SecretStorage 3.3.1
Send2Trash 1.8.0 transformatory zdań 2.2.2 element zdania 0.1.99
setuptools 65.6.3 kształt 0.41.0 simplejson 3.17.6
sześć 1.16.0 fragmentator 0.0.7 inteligentne-otwarcie 5.2.1
smmap 5.0.0 Sniffio 1.2.0 Plik dźwiękowy 0.12.1
soupsieve 2.3.2.post1 soxr 0.3.6 przestronny 3.5.4
spacy-legacy 3.0.12 spacy-loggers 1.0.4 spark-tensorflow-distributor (biblioteka do dystrybucji TensorFlow w Spark) 1.0.0
SQLAlchemy 1.4.39 sqlparse 0.4.2 serio 2.4.7
ssh-import-id (narzędzie do importowania kluczy SSH) 5.11 stos danych 0.2.0 Starlette 0.27.0
statsmodels - biblioteka do modelowania statystycznego 0.13.5 sympy 1.11.1 sporządzać tabelę 0.8.10
splątane w Unicode 0.2.0 Wytrzymałość 8.1.0 TensorBoard 2.13.0
serwer danych TensorBoard 0.7.1 wtyczka TensorBoard do profilowania 2.13.0 tensorflow-cpu 2.13.0
tensorflow-estimator (moduł TensorFlow do estymacji) 2.13.0 tensorflow-io-gcs-filesystem 0.33.0 termcolor (narzędzie do zarządzania kolorami w terminalu) 2.3.0
zakończony 0.17.1 cienki 8.1.12 threadpoolctl 2.2.0
tiktoken 0.4.0 tinycss2 1.2.1 tokenize-rt 4.2.1
narzędzia tokenizacji 0.13.3 tomli 2.0.1 pochodnia 2.0.1+ procesor
TorchVision 0.15.2+procesor tornado 6.1 tqdm 4.64.1
traitlets 5.7.1 Transformersi 4.31.0 typeguard 2.13.3
pisarz 0.9.0 monitorowanie pisania 0.9.0 moduł typing_extensions 4.4.0
ujson (szybka biblioteka do obsługi formatu JSON) 5.4.0 nienadzorowane uaktualnienia 0.1 urllib3 1.26.14
uvicorn 0.23.2 uvloop 0.17.0 virtualenv 20.16.7
Wizje 0.7.5 wadllib 1.3.6 wasabi 1.1.2
watchfiles 0.19.0 szerokość(wcwidth) 0.2.5 kodowania webowe 0.5.1
websocket-klient 0.58.0 websockets 11.0.3 Narzędzie 2.2.2
czymjestłatka 1.0.2 wheel 0.38.4 widgetsnbextension 3.6.1
wordcloud 1.9.2 zawinięty 1.14.1 xgboost 1.7.6
xxhash 3.3.0 yapf (Yet Another Python Formatter - Kolejny Formatator Pythona) 0.31.0 Yarl 1.9.2
ydata-profiling (profilowanie danych) 4.2.0 zamek błyskawiczny 3.11.0

biblioteki Python w klastrach gpu

Biblioteka wersja Biblioteka wersja Biblioteka wersja
absl-py 1.0.0 przyspieszać 0.21.0 aiohttp 3.8.5
aiosignal 1.3.1 anyio 3.5.0 appdirs 1.4.4
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 Astor 0.8.1
asttokens 2.0.5 astunparse 1.6.3 asynchroniczne przekroczenie limitu czasu 4.0.3
attrs 22.1.0 odczyt dźwięku 3.0.0 azure-core 1.29.1
azure-cosmos 4.3.1 Azure Storage Blob 12.17.0 Usługa przechowywania w chmurze Azure (azure-storage-file-datalake) 12.12.0
Wezwanie zwrotne 0.2.0 bcrypt 3.2.0 beautifulsoup4 4.11.1
czarny 22.6.0 wybielacz 4.1.0 kierunkowskaz 1.4
błogość 0.7.10 boto3 1.24.28 botocore 1.27.96
cachetools (narzędzia do zarządzania pamięcią podręczną) 5.3.1 katalog 2.0.9 kodery kategorii 2.6.1
certyfikat 2022.12.7 cffi 1.15.1 chardet 4.0.0
normalizator zestawu znaków 2.0.4 kliknij 8.0.4 cloudpickle (biblioteka Python do serializacji obiektów) 2.0.0
cmake 3.27.2 cmdstanpy 1.1.0 komunikacja 0.1.2
wyrób cukierniczy 0.1.1 configparser 5.2.0 ContourPy 1.0.5
konwertuj datę 2.4.0 kryptografia 39.0.1 rowerzysta 0.11.0
cymem 2.0.7 Cython 0.29.32 dacyt 1.8.1
databricks-automl-runtime 0.2.18 databricks-cli 0.17.7 Sklep z funkcjami Databricks (databricks-feature-store) 0.14.1
databricks-sdk 0.1.6 dataclasses-json 0.5.14 zbiory danych 2.14.1
dbl-tempo 0.1.23 dbus-python 1.2.18 debugpy 1.6.7
dekorator 5.1.1 Deepspeed 0.10.0 defusedxml (biblioteka zabezpieczająca przetwarzanie XML) 0.7.1
koper 0.3.6 bufor dyskowy 5.6.1 distlib 0.3.7
Konwertowanie docstringów na markdown 0.11 einops 0.6.1 punkty wejścia 0,4
ephem 4.1.4 ocenić 0.4.0 wykonywanie 0.8.3
aspekty — omówienie 1.1.1 fastapi 0.98.0 fastjsonschema 2.18.0
FastText 0.9.2 blokada plików 3.9.0 flash-attn 2.0.1
Flask 2.2.5 FlatBuffers 26.05.23 fonttools 4.25.0
zablokowana lista 1.4.0 fsspec 2022.11.0 przyszłość 0.18.3
Гаст 0.4.0 Biblioteka środowiska uruchomieniowego GCC 1.10.0 gitdb (baza danych Git) 4.0.10
GitPython 3.1.27 google-api-core 2.11.1 google-auth (autoryzacja Google) 2.21.0
google-auth-oauthlib (biblioteka uwierzytelniania OAuth dla Google) 1.0.0 google-cloud-core 2.3.3 Google Cloud Storage (usługa przechowywania danych w chmurze od Google) 2.10.0
google-crc32c (biblioteka do obsługi algorytmu crc32c od Google) 1.5.0 Google-pasta 0.2.0 Google Media z Możliwością Wznowienia 2.5.0
googleapis-common-protos 1.60.0 zielona nitka 2.0.1 grpcio 1.48.2
grpcio-status 1.48.1 gunicorn 20.1.0 Gviz-API 1.10.0
h11 0.14.0 h5py 3.7.0 hjson 3.1.0
wakacje 0,28 korowód 0.28.1 htmlmin 0.1.12
httplib2 0.20.2 httptools 0.6.0 Hugging Face Hub 0.14.1
IDNA 3.4 ImageHash 4.3.1 niezrównoważona nauka 0.10.1
importlib-metadata 4.11.3 importlib-resources 6.0.1 ipykernel 6.25.0
ipython 8.14.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 to jest niebezpieczne 2.0.1 Jedi 0.18.1
jeepney 0.7.1 Jinja2 3.1.2 jmespath 0.10.0
joblib 1.2.0 joblibspark 0.5.1 jsonschema 4.17.3
jupyter-client 7.3.4 serwer Jupyter 1.23.4 jupyter_core 5.2.0
jupyterlab-pygments 0.1.2 Widżety JupyterLab 1.0.0 Keras 2.13.1
breloczek 23.5.0 kiwisolver 1.4.4 langchain 0.0.225
langchainplus-sdk 0.0.20 kody językowe 3.3.0 launchpadlib 1.10.16
lazr.restfulclient 0.14.4 lazr.uri 1.0.6 leniwy ładowacz 0,3
libclang 15.0.6.1 librosa 0.10.0 lightgbm 3.3.5
Zapalił 16.0.6 llvmlite 0.39.1 Księżycowy Kalendarz 0.0.9
lxml jest biblioteką do analizy XML i HTML. 4.9.1 Mako 1.2.0 Markdown 3.4.1
MarkupSafe 2.1.1 pianka cukrowa 3.20.1 matplotlib 3.7.0
matplotlib-inline 0.1.6 Mccabe 0.7.0 Mistune 0.8.4
mlflow-skinny 2.5.0 more-itertools 8.10.0 mpmath 1.2.1
msgpack 1.0.5 multidict 6.0.4 wielometoda 1.9.1
wieloprocesowy 0.70.14 MurmurHash 1.0.9 mypy-extensions 0.4.3
nbclassic 0.5.2 NBClient 0.5.13 nbconvert - narzędzie do konwersji plików Jupyter Notebook 6.5.4
nbformat 5.7.0 nest-asyncio 1.5.6 networkx 2.8.4
Ninja 1.11.1 Natural Language Toolkit (nltk) 3.7 nodeenv 1.8.0
notes 6.5.2 notebook_shim 0.2.2 numba 0.56.4
numexpr 2.8.4 numpy 1.23.5 oauthlib 3.2.0
openai 0.27.8 openapi-schema-pydantic 1.2.4 opt-einsum 3.3.0
opakowanie 22,0 Pandas 1.5.3 pandocfilters 1.5.0
paramiko - biblioteka do protokołu SSH2 dla języka Python 2.9.2 parso 0.8.3 specyfikacja ścieżki 0.10.3
patia 0.10.2 ofiara 0.5.3 petastorm 0.12.1
pexpect 4.8.0 phik 0.12.3 pickleshare (jeśli to nazwa własna, nie trzeba tłumaczyć) 0.7.5
Poduszka 9.4.0 pip 22.3.1 platformdirs 2.5.2
kreślenie 5.9.0 pluggy - system zarządzania wtyczkami 1.0.0 pmdarima 2.0.3
kundel 1.4.0 przeszhetowany 3.0.8 zestaw narzędzi prompt 3.0.36
prorok 1.1.4 Protobuf (w skrócie od Protocol Buffers) 4.24.0 psutil (biblioteka Pythona do monitorowania systemów i procesów) 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
py-cpuinfo 9.0.0 pyarrow 8.0.0 pyasn1 0.4.8
pyasn1-modules 0.2.8 pybind11 2.11.1 pycparser 2.21
pydantic (biblioteka Python do walidacji danych i zarządzania ustawieniami) 1.10.6 pyflakes (narzędzie do analizy statycznej kodu Python) 3.0.1 Pygments 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 PyMeeus 0.5.12
PyNaCl 1.5.0 pyodbc 4.0.32 pyparsing – biblioteka do przetwarzania tekstu w Pythonie 3.0.9
pyright 1.1.294 pyrsistent 0.18.0 pytesseract 0.3.10
python-dateutil (biblioteka Pythona do zarządzania datami) 2.8.2 python-dotenv 1.0.0 Pythonowy edytor 1.0.4
python-lsp-jsonrpc 1.0.0 python-lsp-server 1.7.1 pytoolconfig 1.2.5
pytz (biblioteka Pythona do obliczeń stref czasowych) 2022.7 PyWavelets 1.4.1 PyYAML 6.0
pyzmq 23.2.0 wyrażenie regularne 2022.7.9 żądania 2.28.1
requests-oauthlib 1.3.1 Odpowiedzi 0.18.0 lina 1.7.0
rsa 4.9 s3transfer 0.6.2 safetensors 0.3.2
scikit-learn 1.1.1 urodzony na morzu 0.12.2 SecretStorage 3.3.1
Send2Trash 1.8.0 transformatory zdań 2.2.2 element zdania 0.1.99
setuptools 65.6.3 kształt 0.41.0 simplejson 3.17.6
sześć 1.16.0 fragmentator 0.0.7 inteligentne-otwarcie 5.2.1
smmap 5.0.0 Sniffio 1.2.0 Plik dźwiękowy 0.12.1
soupsieve 2.3.2.post1 soxr 0.3.6 przestronny 3.5.4
spacy-legacy 3.0.12 spacy-loggers 1.0.4 spark-tensorflow-distributor (biblioteka do dystrybucji TensorFlow w Spark) 1.0.0
SQLAlchemy 1.4.39 sqlparse 0.4.2 serio 2.4.7
ssh-import-id (narzędzie do importowania kluczy SSH) 5.11 stos danych 0.2.0 Starlette 0.27.0
statsmodels - biblioteka do modelowania statystycznego 0.13.5 sympy 1.11.1 sporządzać tabelę 0.8.10
splątane w Unicode 0.2.0 Wytrzymałość 8.1.0 TensorBoard 2.13.0
serwer danych TensorBoard 0.7.1 wtyczka TensorBoard do profilowania 2.13.0 TensorFlow 2.13.0
tensorflow-estimator (moduł TensorFlow do estymacji) 2.13.0 tensorflow-io-gcs-filesystem 0.33.0 termcolor (narzędzie do zarządzania kolorami w terminalu) 2.3.0
zakończony 0.17.1 cienki 8.1.12 threadpoolctl 2.2.0
tiktoken 0.4.0 tinycss2 1.2.1 tokenize-rt 4.2.1
narzędzia tokenizacji 0.13.3 tomli 2.0.1 pochodnia 2.0.1+cu118
TorchVision 0.15.2+cu118 tornado 6.1 tqdm 4.64.1
traitlets 5.7.1 Transformersi 4.31.0 Triton 2.0.0
typeguard 2.13.3 pisarz 0.9.0 monitorowanie pisania 0.9.0
moduł typing_extensions 4.4.0 ujson (szybka biblioteka do obsługi formatu JSON) 5.4.0 nienadzorowane uaktualnienia 0.1
urllib3 1.26.14 uvicorn 0.23.2 uvloop 0.17.0
virtualenv 20.16.7 Wizje 0.7.5 wadllib 1.3.6
wasabi 1.1.2 watchfiles 0.19.0 szerokość(wcwidth) 0.2.5
kodowania webowe 0.5.1 websocket-klient 0.58.0 websockets 11.0.3
Narzędzie 2.2.2 czymjestłatka 1.0.2 wheel 0.38.4
widgetsnbextension 3.6.1 wordcloud 1.9.2 zawinięty 1.14.1
xgboost 1.7.6 xxhash 3.3.0 yapf (Yet Another Python Formatter - Kolejny Formatator Pythona) 0.31.0
Yarl 1.9.2 ydata-profiling (profilowanie danych) 4.2.0 zamek błyskawiczny 3.11.0

Biblioteki języka R

Biblioteki języka R są identyczne z bibliotekami języka R w środowisku Databricks Runtime 14.0.

biblioteki Java i Scala (klaster Scala 2.12)

Oprócz bibliotek Java i Scala w środowisku Databricks Runtime 14.0 środowisko Databricks Runtime 14.0 ML zawiera następujące elementy JAR:

Klastry procesora CPU

Identyfikator grupy Identyfikator artefaktu wersja
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-spark_2.12 1.7.3
ml.dmlc xgboost4j_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-db2-spark3.4
org.mlflow mlflow-client 2.5.0
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

Klastry procesora GPU

Identyfikator grupy Identyfikator artefaktu wersja
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-gpu_2.12 1.7.3
ml.dmlc xgboost4j-spark-gpu_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-db2-spark3.4
org.mlflow mlflow-client 2.5.0
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0
  • Last updated on