Udostępnij za pośrednictwem

Databricks Runtime 11.2 for Machine Learning (EoS)

Uwaga / Notatka

Obsługa tej wersji środowiska Databricks Runtime została zakończona. Aby zapoznać się z datą zakończenia wsparcia, zobacz End-of-support and end-of-life history (Koniec wsparcia technicznego i historia zakończenia życia). Wszystkie obsługiwane wersje środowiska Databricks Runtime można znaleźć w sekcji Notatki o wersjach i zgodności środowiska Databricks Runtime.

Środowisko Databricks Runtime 11.2 dla uczenia maszynowego zapewnia gotowe środowisko na potrzeby uczenia maszynowego i nauki o danych na podstawie Databricks Runtime 11.2 (EoS). Środowisko Databricks Runtime ML zawiera wiele popularnych bibliotek uczenia maszynowego, w tym TensorFlow, PyTorch i XGBoost. Środowisko Databricks Runtime ML obejmuje rozwiązanie AutoML— narzędzie do automatycznego trenowania potoków uczenia maszynowego. Środowisko Databricks Runtime ML obsługuje również trenowanie rozproszonego uczenia głębokiego przy użyciu struktury Horovod.

Aby uzyskać więcej informacji, w tym instrukcje dotyczące tworzenia klastra uczenia maszynowego usługi Databricks Runtime, zobacz Sztuczna inteligencja i uczenie maszynowe w usłudze Databricks.

Nowe funkcje i ulepszenia

Środowisko Databricks Runtime 11.2 ML jest oparte na środowisku Databricks Runtime 11.2. Aby uzyskać informacje na temat nowości w środowisku Databricks Runtime 11.2, w tym Apache Spark MLlib oraz SparkR, zapoznaj się z informacjami o wersji Databricks Runtime 11.2 (EoS).

Ulepszenia rozwiązania AutoML

Rozwiązanie AutoML ma teraz lepszą obsługę niezrównoważonych zestawów danych w przypadku problemów klasyfikacji. Aby uzyskać szczegółowe informacje, zobacz Obsługa niezrównoważonych zestawów danych dla problemów klasyfikacji.

Ulepszenia w Databricks Feature Store

Następujące ulepszenia zostały wprowadzone w usłudze Databricks Feature Store.

  • W przypadku sklepów online pola użytkownika i hasła zostały wycofane. Aby uniknąć niezgodności w przyszłości, zmień wszystkie zastosowania tych pól na write_secret_prefix.
  • Wszystkie dokumenty i dane wyjściowe klienta sklepu z funkcjami odwołują się teraz do wersji klienta (na przykład 0.6.1) zamiast wersji Databricks Runtime ML (na przykład 11.2).

Środowisko systemu

Środowisko systemowe w środowisku Databricks Runtime 11.2 ML różni się od środowiska Databricks Runtime 11.2 w następujący sposób:

  • DBUtils: Databricks Runtime ML nie zawiera narzędzia Library utility (dbutils.library) (starsza wersja). Zamiast tego użyj poleceń %pip. Zobacz biblioteki Python Python Notebook.
  • W przypadku klastrów gpu środowisko Databricks Runtime ML obejmuje następujące biblioteki procesora GPU FIRMY NVIDIA:
    • CUDA 11.3
    • cuDNN 8.0.5.39
    • NCCL 2.9.9
    • TensorRT 7.2.2

Biblioteki

W poniższych sekcjach wymieniono biblioteki zawarte w środowisku Databricks Runtime 11.2 ML, które różnią się od bibliotek zawartych w środowisku Databricks Runtime 11.2.

W tej sekcji:

Biblioteki najwyższego poziomu

Środowisko Databricks Runtime 11.2 ML obejmuje następujące biblioteki najwyższego poziomu:

biblioteki Python

Środowisko Databricks Runtime 11.2 ML używa usługi Virtualenv do zarządzania pakietami Python i zawiera wiele popularnych pakietów uczenia maszynowego.

Oprócz pakietów określonych w poniższych sekcjach środowisko Databricks Runtime 11.2 ML zawiera również następujące pakiety:

  • hyperopt 0.2.7.db1
  • sparkdl 2.2.0_db6
  • feature_store 0.6.0
  • automl 1.12.3

biblioteki Python w klastrach procesora CPU

Aby odtworzyć środowisko Python ML środowiska Databricks Runtime w lokalnym wirtualnym środowisku Python, pobierz plik requirements-11.2.txt i uruchom pip install -r requirements-11.2.txt. To polecenie instaluje wszystkie biblioteki open source używane przez usługę Databricks Runtime ML, ale nie instaluje niestandardowych bibliotek opracowanych przez Azure Databricks, takich jak databricks-automl, databricks-feature-store lub fork Databricks hyperopt.

Biblioteka Wersja Biblioteka Wersja Biblioteka Wersja
absl-py 1.0.0 Antergos Linux 2015.10 (ISO w trybie ciągłym) argon2-cffi 20.1.0
Astor 0.8.1 astunparse 1.6.3 generator asynchroniczny 1.10
attrs 21.2.0 azure-core 1.22.1 azure-cosmos 4.2.0
Wezwanie zwrotne 0.2.0 backports.ustawienia-punktów-wejścia 1.1.1 bcrypt 3.2.2
czarny 22.3.0 wybielacz 4.0.0 błogość 0.7.8
boto3 1.21.18 botocore 1.24.18 cachetools (narzędzia do zarządzania pamięcią podręczną) 5.2.0
katalog 2.0.8 certyfikat 2021.10.8 cffi 1.14.6
chardet 4.0.0 normalizator zestawu znaków 2.0.4 kliknij 8.0.3
cloudpickle (biblioteka Python do serializacji obiektów) 2.0.0 cmdstanpy 0.9.68 configparser 5.2.0
konwertuj datę 2.4.0 kryptografia 3.4.8 rowerzysta 0.10.0
cymem 2.0.6 Cython 0.29.24 databricks-automl-runtime 0.2.10
databricks-cli 0.17.0 dbl-tempo 0.1.12 dbus-python 1.2.16
debugpy 1.4.1 dekorator 5.1.0 defusedxml (biblioteka zabezpieczająca przetwarzanie XML) 0.7.1
koper 0.3.4 bufor dyskowy 5.4.0 distlib 0.3.5
informacje o dystrybucji 0.23ubuntu1 punkty wejścia 0,3 ephem 4.1.3
aspekty — omówienie 1.0.0 FastText 0.9.2 blokada plików 3.3.1
Flask 1.1.2 FlatBuffers 1.12 fsspec 2021.8.1
przyszłość 0.18.2 Гаст 0.4.0 gitdb (baza danych Git) 4.0.9
GitPython 3.1.27 google-auth (autoryzacja Google) 2.6.0 google-auth-oauthlib (biblioteka uwierzytelniania OAuth dla Google) 0.4.6
Google-pasta 0.2.0 grpcio 1.44.0 gunicorn 20.1.0
Gviz-API 1.10.0 h5py 3.3.0 konwerter hidżri 2.2.4
wakacje 0.14.2 korowód 0.25.0 htmlmin 0.1.12
Hugging Face Hub 0.8.1 IDNA 3.2 ImageHash 4.2.1
niezrównoważona nauka 0.8.1 importlib-metadata 4.8.1 ipykernel 6.12.1
ipython 7.32.0 ipython-genutils 0.2.0 ipywidgets 7.7.0
isodate 0.6.1 to jest niebezpieczne 2.0.1 Jedi 0.18.0
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.0.1
joblibspark 0.5.0 jsonschema 3.2.0 jupyter-client 6.1.12
jupyter-core 4.8.1 jupyterlab-pygments 0.1.2 Widżety JupyterLab 1.0.0
Keras 2.9.0 Przetwarzanie wstępne w Keras 1.1.2 kiwisolver 1.3.1
koreański kalendarz księżycowy 0.2.1 kody językowe 3.3.0 libclang 14.0.6
lightgbm 3.3.2 llvmlite 0.37.0 Księżycowy Kalendarz 0.0.9
Mako 1.2.0 Markdown 3.3.6 MarkupSafe 2.0.1
matplotlib 3.4.3 matplotlib-inline 0.1.2 missingno (błąd w grze Pokémon) 0.5.1
Mistune 0.8.4 mleap 0.20.0 mlflow-skinny 1.28.0
wielometoda 1.8 MurmurHash 1.0.8 mypy-extensions 0.4.3
NBClient 0.5.3 nbconvert - narzędzie do konwersji plików Jupyter Notebook 6.1.0 nbformat 5.1.3
nest-asyncio 1.5.1 networkx 2.6.3 Natural Language Toolkit (nltk) 3.6.5
notes 6.4.5 numba 0.54.1 numpy 1.20.3
oauthlib 3.2.0 opt-einsum 3.3.0 opakowanie 21,0
Pandas 1.3.4 Pandas Profiling 3.1.0 pandocfilters 1.4.3
paramiko - biblioteka do protokołu SSH2 dla języka Python 2.9.2 parso 0.8.2 specyfikacja ścieżki 0.9.0
patia 0.6.2 ofiara 0.5.2 petastorm 0.11.4
pexpect 4.8.0 phik 0.12.2 pickleshare (jeśli to nazwa własna, nie trzeba tłumaczyć) 0.7.5
Poduszka 8.4.0 pip 21.2.4 platformdirs 2.5.2
kreślenie 5.9.0 pmdarima 1.8.5 przeszhetowany 3.0.7
prometheus-client 0.11.0 zestaw narzędzi prompt 3.0.20 prorok 1.0.1
Protobuf (w skrócie od Protocol Buffers) 3.19.4 psutil (biblioteka Pythona do monitorowania systemów i procesów) 5.8.0 psycopg2 2.9.3
ptyprocess 0.7.0 pyarrow 7.0.0 pyasn1 0.4.8
pyasn1-modules 0.2.8 pybind11 2.10.0 pycparser 2,20
pydantic (biblioteka Python do walidacji danych i zarządzania ustawieniami) 1.9.2 Pygments 2.10.0 PyGObject 3.36.0
PyJWT 2.4.0 PyMeeus 0.5.11 PyNaCl 1.5.0
pyodbc 4.0.31 pyparsing – biblioteka do przetwarzania tekstu w Pythonie 3.0.4 pyrsistent 0.18.0
pystan 2.19.1.1 python-apt 2.0.0+ubuntu0.20.4.7 python-dateutil (biblioteka Pythona do zarządzania datami) 2.8.2
Pythonowy edytor 1.0.4 pytz (biblioteka Pythona do obliczeń stref czasowych) 2021.3 PyWavelets 1.1.1
PyYAML 6.0 pyzmq 22.2.1 wyrażenie regularne 2021.8.3
żądania 2.26.0 requests-oauthlib 1.3.1 requests-unixsocket 0.2.0
rsa 4.9 s3transfer 0.5.2 scikit-learn 0.24.2
scipy (biblioteka naukowa dla Pythona) 1.7.1 urodzony na morzu 0.11.2 Send2Trash 1.8.0
setuptools 58.0.4 setuptools-git 1.2 kształt 0.41.0
simplejson 3.17.6 sześć 1.16.0 fragmentator 0.0.7
inteligentne-otwarcie 5.2.1 smmap 5.0.0 przestronny 3.4.0
spacy-legacy 3.0.9 spacy-loggers 1.0.3 spark-tensorflow-distributor (biblioteka do dystrybucji TensorFlow w Spark) 1.0.0
sqlparse 0.4.2 serio 2.4.4 ssh-import-id (narzędzie do importowania kluczy SSH) 5.10
statsmodels - biblioteka do modelowania statystycznego 0.12.2 sporządzać tabelę 0.8.9 splątane w Unicode 0.1.0
Wytrzymałość 8.0.1 TensorBoard 2.9.1 serwer danych TensorBoard 0.6.1
wtyczka TensorBoard do profilowania 2.8.0 wtyczka-tensorboard-wit 1.8.1 tensorflow-cpu 2.9.1
tensorflow-estimator (moduł TensorFlow do estymacji) 2.9.0 tensorflow-io-gcs-filesystem 0.26.0 termcolor (narzędzie do zarządzania kolorami w terminalu) 1.1.0
zakończony 0.9.4 ścieżka testowa 0.5.0 cienki 8.1.0
threadpoolctl 2.2.0 tokenize-rt 4.2.1 narzędzia tokenizacji 0.12.1
tomli 2.0.1 pochodnia 1.11.0+procesor TorchVision 0.12.0+ procesor
tornado 6.1 tqdm 4.62.3 traitlets 5.1.0
Transformersi 4.20.1 pisarz 0.4.2 wpisywanie rozszerzeń 3.10.0.2
ujson (szybka biblioteka do obsługi formatu JSON) 4.0.2 nienadzorowane uaktualnienia 0.1 urllib3 1.26.7
virtualenv 20.8.0 Wizje 0.7.4 wasabi 0.10.1
szerokość(wcwidth) 0.2.5 kodowania webowe 0.5.1 websocket-klient 1.3.1
Narzędzie 2.0.2 wheel 0.37.0 widgetsnbextension 3.6.0
zawinięty 1.12.1 xgboost 1.5.2 zamek błyskawiczny 3.6.0

biblioteki Python w klastrach gpu

Biblioteka Wersja Biblioteka Wersja Biblioteka Wersja
absl-py 1.0.0 Antergos Linux 2015.10 (ISO w trybie ciągłym) argon2-cffi 20.1.0
Astor 0.8.1 astunparse 1.6.3 generator asynchroniczny 1.10
attrs 21.2.0 azure-core 1.22.1 azure-cosmos 4.2.0
Wezwanie zwrotne 0.2.0 backports.ustawienia-punktów-wejścia 1.1.1 bcrypt 3.2.2
czarny 22.3.0 wybielacz 4.0.0 błogość 0.7.8
boto3 1.21.18 botocore 1.24.18 cachetools (narzędzia do zarządzania pamięcią podręczną) 5.2.0
katalog 2.0.8 certyfikat 2021.10.8 cffi 1.14.6
chardet 4.0.0 normalizator zestawu znaków 2.0.4 kliknij 8.0.3
cloudpickle (biblioteka Python do serializacji obiektów) 2.0.0 cmdstanpy 0.9.68 configparser 5.2.0
konwertuj datę 2.4.0 kryptografia 3.4.8 rowerzysta 0.10.0
cymem 2.0.6 Cython 0.29.24 databricks-automl-runtime 0.2.10
databricks-cli 0.17.0 dbl-tempo 0.1.12 dbus-python 1.2.16
debugpy 1.4.1 dekorator 5.1.0 defusedxml (biblioteka zabezpieczająca przetwarzanie XML) 0.7.1
koper 0.3.4 bufor dyskowy 5.4.0 distlib 0.3.5
informacje o dystrybucji 0.23ubuntu1 punkty wejścia 0,3 ephem 4.1.3
aspekty — omówienie 1.0.0 FastText 0.9.2 blokada plików 3.3.1
Flask 1.1.2 FlatBuffers 1.12 fsspec 2021.8.1
przyszłość 0.18.2 Гаст 0.4.0 gitdb (baza danych Git) 4.0.9
GitPython 3.1.27 google-auth (autoryzacja Google) 2.6.0 google-auth-oauthlib (biblioteka uwierzytelniania OAuth dla Google) 0.4.6
Google-pasta 0.2.0 grpcio 1.44.0 gunicorn 20.1.0
Gviz-API 1.10.0 h5py 3.3.0 konwerter hidżri 2.2.4
wakacje 0.14.2 korowód 0.25.0 htmlmin 0.1.12
Hugging Face Hub 0.8.1 IDNA 3.2 ImageHash 4.2.1
niezrównoważona nauka 0.8.1 importlib-metadata 4.8.1 ipykernel 6.12.1
ipython 7.32.0 ipython-genutils 0.2.0 ipywidgets 7.7.0
isodate 0.6.1 to jest niebezpieczne 2.0.1 Jedi 0.18.0
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.0.1
joblibspark 0.5.0 jsonschema 3.2.0 jupyter-client 6.1.12
jupyter-core 4.8.1 jupyterlab-pygments 0.1.2 Widżety JupyterLab 1.0.0
Keras 2.9.0 Przetwarzanie wstępne w Keras 1.1.2 kiwisolver 1.3.1
koreański kalendarz księżycowy 0.2.1 kody językowe 3.3.0 libclang 14.0.6
lightgbm 3.3.2 llvmlite 0.37.0 Księżycowy Kalendarz 0.0.9
Mako 1.2.0 Markdown 3.3.6 MarkupSafe 2.0.1
matplotlib 3.4.3 matplotlib-inline 0.1.2 missingno (błąd w grze Pokémon) 0.5.1
Mistune 0.8.4 mleap 0.20.0 mlflow-skinny 1.28.0
wielometoda 1.8 MurmurHash 1.0.8 mypy-extensions 0.4.3
NBClient 0.5.3 nbconvert - narzędzie do konwersji plików Jupyter Notebook 6.1.0 nbformat 5.1.3
nest-asyncio 1.5.1 networkx 2.6.3 Natural Language Toolkit (nltk) 3.6.5
notes 6.4.5 numba 0.54.1 numpy 1.20.3
oauthlib 3.2.0 opt-einsum 3.3.0 opakowanie 21,0
Pandas 1.3.4 Pandas Profiling 3.1.0 pandocfilters 1.4.3
paramiko - biblioteka do protokołu SSH2 dla języka Python 2.9.2 parso 0.8.2 specyfikacja ścieżki 0.9.0
patia 0.6.2 ofiara 0.5.2 petastorm 0.11.4
pexpect 4.8.0 phik 0.12.2 pickleshare (jeśli to nazwa własna, nie trzeba tłumaczyć) 0.7.5
Poduszka 8.4.0 pip 21.2.4 platformdirs 2.5.2
kreślenie 5.9.0 pmdarima 1.8.5 przeszhetowany 3.0.7
zestaw narzędzi prompt 3.0.20 prorok 1.0.1 Protobuf (w skrócie od Protocol Buffers) 3.19.4
psutil (biblioteka Pythona do monitorowania systemów i procesów) 5.8.0 psycopg2 2.9.3 ptyprocess 0.7.0
pyarrow 7.0.0 pyasn1 0.4.8 pyasn1-modules 0.2.8
pybind11 2.10.0 pycparser 2,20 pydantic (biblioteka Python do walidacji danych i zarządzania ustawieniami) 1.9.2
Pygments 2.10.0 PyGObject 3.36.0 PyJWT 2.4.0
PyMeeus 0.5.11 PyNaCl 1.5.0 pyodbc 4.0.31
pyparsing – biblioteka do przetwarzania tekstu w Pythonie 3.0.4 pyrsistent 0.18.0 pystan 2.19.1.1
python-apt 2.0.0+ubuntu0.20.4.7 python-dateutil (biblioteka Pythona do zarządzania datami) 2.8.2 Pythonowy edytor 1.0.4
pytz (biblioteka Pythona do obliczeń stref czasowych) 2021.3 PyWavelets 1.1.1 PyYAML 6.0
pyzmq 22.2.1 wyrażenie regularne 2021.8.3 żądania 2.26.0
requests-oauthlib 1.3.1 requests-unixsocket 0.2.0 rsa 4.9
s3transfer 0.5.2 scikit-learn 0.24.2 scipy (biblioteka naukowa dla Pythona) 1.7.1
urodzony na morzu 0.11.2 Send2Trash 1.8.0 setuptools 58.0.4
setuptools-git 1.2 kształt 0.41.0 simplejson 3.17.6
sześć 1.16.0 fragmentator 0.0.7 inteligentne-otwarcie 5.2.1
smmap 5.0.0 przestronny 3.4.0 spacy-legacy 3.0.9
spacy-loggers 1.0.3 spark-tensorflow-distributor (biblioteka do dystrybucji TensorFlow w Spark) 1.0.0 sqlparse 0.4.2
serio 2.4.4 ssh-import-id (narzędzie do importowania kluczy SSH) 5.10 statsmodels - biblioteka do modelowania statystycznego 0.12.2
sporządzać tabelę 0.8.9 splątane w Unicode 0.1.0 Wytrzymałość 8.0.1
TensorBoard 2.9.1 serwer danych TensorBoard 0.6.1 wtyczka TensorBoard do profilowania 2.8.0
wtyczka-tensorboard-wit 1.8.1 TensorFlow 2.9.1 tensorflow-estimator (moduł TensorFlow do estymacji) 2.9.0
tensorflow-io-gcs-filesystem 0.26.0 termcolor (narzędzie do zarządzania kolorami w terminalu) 1.1.0 zakończony 0.9.4
ścieżka testowa 0.5.0 cienki 8.1.0 threadpoolctl 2.2.0
tokenize-rt 4.2.1 narzędzia tokenizacji 0.12.1 tomli 2.0.1
pochodnia 1.11.0+cu113 TorchVision 0.12.0+cu113 tornado 6.1
tqdm 4.62.3 traitlets 5.1.0 Transformersi 4.20.1
pisarz 0.4.2 wpisywanie rozszerzeń 3.10.0.2 ujson (szybka biblioteka do obsługi formatu JSON) 4.0.2
nienadzorowane uaktualnienia 0.1 urllib3 1.26.7 virtualenv 20.8.0
Wizje 0.7.4 wasabi 0.10.1 szerokość(wcwidth) 0.2.5
kodowania webowe 0.5.1 websocket-klient 1.3.1 Narzędzie 2.0.2
wheel 0.37.0 widgetsnbextension 3.6.0 zawinięty 1.12.1
xgboost 1.5.2 zamek błyskawiczny 3.6.0

Biblioteki języka R

Biblioteki języka R są identyczne z bibliotekami języka R w środowisku Databricks Runtime 11.2.

biblioteki Java i Scala (klaster Scala 2.12)

Oprócz bibliotek Java i Scala w środowisku Databricks Runtime 11.2 środowisko Databricks Runtime 11.2 ML zawiera następujące elementy JAR:

Klastry procesora CPU

Identyfikator grupy Identyfikator artefaktu Wersja
com.typesafe.akka akka-actor_2.12 2.5.23
ml.combust.mleap mleap-databricks-runtime_2.12 v0.20.0-db1
ml.dmlc xgboost4j-spark_2.12 1.5.2
ml.dmlc xgboost4j_2.12 1.5.2
org.graphframes graphframes_2.12 0.8.2-db1-spark3.2
org.mlflow mlflow-client 1.28.0
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

Klastry procesora GPU

Identyfikator grupy Identyfikator artefaktu Wersja
com.typesafe.akka akka-actor_2.12 2.5.23
ml.combust.mleap mleap-databricks-runtime_2.12 v0.20.0-db1
ml.dmlc xgboost4j-gpu_2.12 1.5.2
ml.dmlc xgboost4j-spark-gpu_2.12 1.5.2
org.graphframes graphframes_2.12 0.8.2-db1-spark3.2
org.mlflow mlflow-client 1.28.0
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0
  • Last updated on