Databricks Runtime 11.0 for Machine Edukacja (nieobsługiwane)

Środowisko Databricks Runtime 11.0 for Machine Edukacja zapewnia gotowe do użycia środowisko do uczenia maszynowego i nauki o danych oparte na środowisku Databricks Runtime 11.0 (nieobsługiwane). Środowisko Databricks Runtime ML zawiera wiele popularnych bibliotek uczenia maszynowego, w tym TensorFlow, PyTorch i XGBoost. Środowisko Databricks Runtime ML obejmuje rozwiązanie AutoML— narzędzie do automatycznego trenowania potoków uczenia maszynowego. Środowisko Databricks Runtime ML obsługuje również trenowanie rozproszonego uczenia głębokiego przy użyciu struktury Horovod.

Aby uzyskać więcej informacji, w tym instrukcje dotyczące tworzenia klastra uczenia maszynowego usługi Databricks, zobacz AI and Machine Edukacja on Databricks (Sztuczna inteligencja i maszyna Edukacja w usłudze Databricks).

Nowe funkcje i ulepszenia

Środowisko Databricks Runtime 11.0 ML jest oparte na środowisku Databricks Runtime 11.0. Aby uzyskać informacje na temat nowości w środowisku Databricks Runtime 11.0, w tym apache Spark MLlib i SparkR, zobacz informacje o wersji środowiska Databricks Runtime 11.0 (nieobsługiwane).

Ulepszenia rozwiązania AutoML usługi Databricks

Rozwiązanie AutoML usługi Databricks obsługuje teraz wyższe ułamki próbkowania w celu uzyskania lepszej wydajności w dużych zestawach danych. Aby uzyskać szczegółowe informacje, zobacz Próbkowanie dużych zestawów danych.

Środowisko systemu

Środowisko systemowe w środowisku Databricks Runtime 11.0 ML różni się od środowiska Databricks Runtime 11.0 w następujący sposób:

Biblioteki

W poniższych sekcjach wymieniono biblioteki zawarte w środowisku Databricks Runtime 11.0 ML, które różnią się od bibliotek zawartych w środowisku Databricks Runtime 11.0.

W tej sekcji:

Biblioteki najwyższego poziomu

Środowisko Databricks Runtime 11.0 ML obejmuje następujące biblioteki najwyższego poziomu:

Biblioteki języka Python

Środowisko Databricks Runtime 11.0 ML używa usługi Virtualenv do zarządzania pakietami języka Python i zawiera wiele popularnych pakietów uczenia maszynowego.

Oprócz pakietów określonych w poniższych sekcjach środowisko Databricks Runtime 11.0 ML zawiera również następujące pakiety:

  • hyperopt 0.2.7.db1
  • sparkdl 2.2.0-db6
  • feature_store 0.4.1
  • automl 1.10

Biblioteki języka Python w klastrach procesora CPU

Biblioteka Wersja Biblioteka Wersja Biblioteka Wersja
absl-py 1.0.0 Antergos Linux 2015.10 (rolling ISO) argon2-cffi 20.1.0
Astor 0.8.1 astunparse 1.6.3 async-generator 1.10
attrs 21.2.0 backcall 0.2.0 backports.entry-points-selectable 1.1.1
bcrypt 3.2.2 Bleach 4.0.0 blis 0.7.7
boto3 1.21.18 botocore 1.24.18 cachetools 5.1.0
Katalog 2.0.7 certifi 2021.10.8 cffi 1.14.6
chardet 4.0.0 charset-normalizer 2.0.4 kliknięcie 8.0.3
cloudpickle 2.0.0 cmdstanpy 0.9.68 configparser 5.2.0
konwertuj 2.4.0 Kryptografii 3.4.8 Cycler 0.10.0
cymem 2.0.6 Cython 0.29.24 databricks-automl-runtime 0.2.8
databricks-cli 0.16.4 dbl-tempo 0.1.12 dbus-python 1.2.16
debugpy 1.4.1 Dekorator 5.1.0 defusedxml 0.7.1
Koperek 0.3.4 diskcache 5.4.0 distlib 0.3.4
dystrybucja informacji 0.23ubuntu1 punkty wejścia 0.3 efem 4.1.3
aspekty — omówienie 1.0.0 fasttext 0.9.2 filelock 3.3.1
Flask 1.1.2 flatbuffers 2.0 fsspec 2021.8.1
Przyszłości 0.18.2 Gast 0.5.3 gitdb 4.0.9
GitPython 3.1.27 google-auth 2.6.0 google-auth-oauthlib 0.4.6
makaron google 0.2.0 grpcio 1.44.0 gunicorn 20.1.0
gviz-api 1.10.0 h5py 3.3.0 konwerter hidżri 2.2.3
Wakacje 0,13 horovod 0.24.3 htmlmin 0.1.12
przytulanieface-hub 0.6.0 Idna 3.2 ImageHash 4.2.1
niezrównoważona nauka 0.8.1 importlib-metadata 4.8.1 ipykernel 6.12.1
Ipython 7.32.0 ipython-genutils 0.2.0 ipywidgets 7.7.0
isodate 0.6.1 jegodangerous 2.0.1 Jedi 0.18.0
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.0.1
joblibspark 0.5.0 jsonschema 3.2.0 jupyter-client 6.1.12
jupyter-core 4.8.1 jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0
keras 2.8.0 Przetwarzanie wstępne protokołu Keras 1.1.2 kiwisolver 1.3.1
koreański kalendarz księżycowy 0.2.1 langcodes 3.3.0 libclang 14.0.1
lightgbm 3.3.2 llvmlite 0.38.0 KsiężycowyCalendar 0.0.9
Mako 1.2.0 Znaczniki języka Markdown 3.3.6 Znaczniki Sejf 2.0.1
matplotlib 3.4.3 biblioteka matplotlib-inline 0.1.2 missingno 0.5.1
mistune 0.8.4 mleap 0.20.0 mlflow-skinny 1.26.0
multimethod 1.8 szmurhash 1.0.7 nbclient 0.5.3
nbconvert 6.1.0 nbformat 5.1.3 nest-asyncio 1.5.1
networkx 2.6.3 nltk 3.6.5 notes 6.4.5
numba 0.55.1 Numpy 1.20.3 oauthlib 3.2.0
opt-einsum 3.3.0 Opakowania 21,0 Pandas 1.3.4
Profilowanie biblioteki pandas 3.1.0 pandocfilters 1.4.3 paramiko 2.9.2
parso 0.8.2 pathy 0.6.1 Patsy 0.5.2
petastorm 0.11.4 pexpect 4.8.0 phik 0.12.2
pickleshare 0.7.5 Poduszkę 8.4.0 Pip 21.2.4
platformdirs 2.5.2 kreślenie 5.6.0 pmdarima 1.8.5
preshed 3.0.6 prometheus-client 0.11.0 prompt-toolkit 3.0.20
Proroka 1.0.1 protobuf 3.19.4 psutil 5.8.0
psycopg2 2.9.3 ptyprocess 0.7.0 pyarrow 7.0.0
pyasn1 0.4.8 pyasn1-modules 0.2.8 pybind11 2.9.2
pycparser 2,20 pydantic 1.8.2 Pygments 2.10.0
PyGObject 3.36.0 PyMeeus 0.5.11 PyNaCl 1.5.0
pyodbc 4.0.31 pyparsing 3.0.4 pirstent 0.18.0
pystan 2.19.1.1 python-apt 2.0.0+ubuntu0.20.4.7 python-dateutil 2.8.2
Python-editor 1.0.4 pytz 2021.3 PyWavelets 1.1.1
PyYAML 6.0 pyzmq 22.2.1 Regex 2021.8.3
żądania 2.26.0 requests-oauthlib 1.3.1 requests-unixsocket 0.2.0
rsa 4.8 s3transfer 0.5.2 sacremoses 0.0.53
scikit-learn 0.24.2 scipy 1.7.1 seaborn 0.11.2
Send2Trash 1.8.0 setuptools 58.0.4 setuptools-git 1.2
Shap 0.40.0 simplejson 3.17.6 Sześć 1.16.0
Fragmentatora 0.0.7 smart-open 5.2.1 smmap 5.0.0
spacy 3.2.3 spacy-legacy 3.0.9 spacy-loggers 1.0.2
spark-tensorflow-distributor 1.0.0 sqlparse 0.4.2 srsly 2.4.3
ssh-import-id 5.10 statsmodels 0.12.2 tabulacji 0.8.9
splątane-up-in-unicode 0.1.0 Wytrzymałość 8.0.1 tablica tensorboard 2.8.0
tensorboard-data-server 0.6.1 tensorboard-plugin-profile 2.5.0 tensorboard-plugin-wit 1.8.1
tensorflow-cpu 2.8.0 tensorflow-estimator 2.8.0 tensorflow-io-gcs-filesystem 0.25.0
termcolor 1.1.0 terminado 0.9.4 ścieżka testowa 0.5.0
tf-estimator-nightly 2.8.0.dev2021212109 cienki 8.0.15 threadpoolctl 2.2.0
tokenizatory 0.12.1 Palnika 1.11.0+procesor torchvision 0.12.0+ procesor
Tornado 6.1 tqdm 4.62.3 traitlety 5.1.0
Transformatory 4.17.0 typer 0.4.1 wpisywanie rozszerzeń 3.10.0.2
ujson 4.0.2 nienadzorowane uaktualnienia 0.1 urllib3 1.26.7
Virtualenv 20.8.0 Wizje 0.7.4 Wasabi 0.9.1
wcwidth 0.2.5 webencodings 0.5.1 websocket-client 1.3.1
Werkzeug 2.0.2 Koła 0.37.0 widgetsnbextension 3.6.0
zawijanie 1.12.1 xgboost 1.5.2 zipp 3.6.0

Biblioteki języka Python w klastrach gpu

Biblioteka Wersja Biblioteka Wersja Biblioteka Wersja
absl-py 1.0.0 Antergos Linux 2015.10 (rolling ISO) argon2-cffi 20.1.0
Astor 0.8.1 astunparse 1.6.3 async-generator 1.10
attrs 21.2.0 backcall 0.2.0 backports.entry-points-selectable 1.1.1
bcrypt 3.2.2 Bleach 4.0.0 blis 0.7.7
boto3 1.21.18 botocore 1.24.18 cachetools 5.1.0
Katalog 2.0.7 certifi 2021.10.8 cffi 1.14.6
chardet 4.0.0 charset-normalizer 2.0.4 kliknięcie 8.0.3
cloudpickle 2.0.0 cmdstanpy 0.9.68 configparser 5.2.0
konwertuj 2.4.0 Kryptografii 3.4.8 Cycler 0.10.0
cymem 2.0.6 Cython 0.29.24 databricks-automl-runtime 0.2.8
databricks-cli 0.16.4 dbl-tempo 0.1.12 dbus-python 1.2.16
debugpy 1.4.1 Dekorator 5.1.0 defusedxml 0.7.1
Koperek 0.3.4 diskcache 5.4.0 distlib 0.3.4
dystrybucja informacji 0.23ubuntu1 punkty wejścia 0.3 efem 4.1.3
aspekty — omówienie 1.0.0 fasttext 0.9.2 filelock 3.3.1
Flask 1.1.2 flatbuffers 2.0 fsspec 2021.8.1
Przyszłości 0.18.2 Gast 0.5.3 gitdb 4.0.9
GitPython 3.1.27 google-auth 2.6.0 google-auth-oauthlib 0.4.6
makaron google 0.2.0 grpcio 1.44.0 gunicorn 20.1.0
gviz-api 1.10.0 h5py 3.3.0 konwerter hidżri 2.2.3
Wakacje 0,13 horovod 0.24.3 htmlmin 0.1.12
przytulanieface-hub 0.6.0 Idna 3.2 ImageHash 4.2.1
niezrównoważona nauka 0.8.1 importlib-metadata 4.8.1 ipykernel 6.12.1
Ipython 7.32.0 ipython-genutils 0.2.0 ipywidgets 7.7.0
isodate 0.6.1 jegodangerous 2.0.1 Jedi 0.18.0
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.0.1
joblibspark 0.5.0 jsonschema 3.2.0 jupyter-client 6.1.12
jupyter-core 4.8.1 jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0
keras 2.8.0 Przetwarzanie wstępne protokołu Keras 1.1.2 kiwisolver 1.3.1
koreański kalendarz księżycowy 0.2.1 langcodes 3.3.0 libclang 14.0.1
lightgbm 3.3.2 llvmlite 0.38.0 KsiężycowyCalendar 0.0.9
Mako 1.2.0 Znaczniki języka Markdown 3.3.6 Znaczniki Sejf 2.0.1
matplotlib 3.4.3 biblioteka matplotlib-inline 0.1.2 missingno 0.5.1
mistune 0.8.4 mleap 0.20.0 mlflow-skinny 1.26.0
multimethod 1.8 szmurhash 1.0.7 nbclient 0.5.3
nbconvert 6.1.0 nbformat 5.1.3 nest-asyncio 1.5.1
networkx 2.6.3 nltk 3.6.5 notes 6.4.5
numba 0.55.1 Numpy 1.20.3 oauthlib 3.2.0
opt-einsum 3.3.0 Opakowania 21,0 Pandas 1.3.4
Profilowanie biblioteki pandas 3.1.0 pandocfilters 1.4.3 paramiko 2.9.2
parso 0.8.2 pathy 0.6.1 Patsy 0.5.2
petastorm 0.11.4 pexpect 4.8.0 phik 0.12.2
pickleshare 0.7.5 Poduszkę 8.4.0 Pip 21.2.4
platformdirs 2.5.2 kreślenie 5.6.0 pmdarima 1.8.5
preshed 3.0.6 prompt-toolkit 3.0.20 Proroka 1.0.1
protobuf 3.19.4 psutil 5.8.0 psycopg2 2.9.3
ptyprocess 0.7.0 pyarrow 7.0.0 pyasn1 0.4.8
pyasn1-modules 0.2.8 pybind11 2.9.2 pycparser 2,20
pydantic 1.8.2 Pygments 2.10.0 PyGObject 3.36.0
PyMeeus 0.5.11 PyNaCl 1.5.0 pyodbc 4.0.31
pyparsing 3.0.4 pirstent 0.18.0 pystan 2.19.1.1
python-apt 2.0.0+ubuntu0.20.4.7 python-dateutil 2.8.2 Python-editor 1.0.4
pytz 2021.3 PyWavelets 1.1.1 PyYAML 6.0
pyzmq 22.2.1 Regex 2021.8.3 żądania 2.26.0
requests-oauthlib 1.3.1 requests-unixsocket 0.2.0 rsa 4.8
s3transfer 0.5.2 sacremoses 0.0.53 scikit-learn 0.24.2
scipy 1.7.1 seaborn 0.11.2 Send2Trash 1.8.0
setuptools 58.0.4 setuptools-git 1.2 Shap 0.40.0
simplejson 3.17.6 Sześć 1.16.0 Fragmentatora 0.0.7
smart-open 5.2.1 smmap 5.0.0 spacy 3.2.3
spacy-legacy 3.0.9 spacy-loggers 1.0.2 spark-tensorflow-distributor 1.0.0
sqlparse 0.4.2 srsly 2.4.3 ssh-import-id 5.10
statsmodels 0.12.2 tabulacji 0.8.9 splątane-up-in-unicode 0.1.0
Wytrzymałość 8.0.1 tablica tensorboard 2.8.0 tensorboard-data-server 0.6.1
tensorboard-plugin-profile 2.5.0 tensorboard-plugin-wit 1.8.1 tensorflow 2.8.0
tensorflow-estimator 2.8.0 tensorflow-io-gcs-filesystem 0.25.0 termcolor 1.1.0
terminado 0.9.4 ścieżka testowa 0.5.0 tf-estimator-nightly 2.8.0.dev2021212109
cienki 8.0.15 threadpoolctl 2.2.0 tokenizatory 0.12.1
Palnika 1.11.0+cu113 torchvision 0.12.0+cu113 Tornado 6.1
tqdm 4.62.3 traitlety 5.1.0 Transformatory 4.17.0
typer 0.4.1 wpisywanie rozszerzeń 3.10.0.2 ujson 4.0.2
nienadzorowane uaktualnienia 0.1 urllib3 1.26.7 Virtualenv 20.8.0
Wizje 0.7.4 Wasabi 0.9.1 wcwidth 0.2.5
webencodings 0.5.1 websocket-client 1.3.1 Werkzeug 2.0.2
Koła 0.37.0 widgetsnbextension 3.6.0 zawijanie 1.12.1
xgboost 1.5.2 zipp 3.6.0

Pakiety platformy Spark zawierające moduły języka Python

Pakiet Platformy Spark Moduł języka Python Wersja
ramki grafu ramki grafu 0.8.2-db1-spark3.2

Biblioteki języka R

Biblioteki języka R są identyczne z bibliotekami języka R w środowisku Databricks Runtime 11.0.

Biblioteki Java i Scala (klaster Scala 2.12)

Oprócz bibliotek Java i Scala w środowisku Databricks Runtime 11.0 środowisko Databricks Runtime 11.0 ML zawiera następujące elementy JAR:

Klastry procesora CPU

Identyfikator grupy Identyfikator artefaktu Wersja
com.typesafe.akka akka-actor_2.12 2.5.23
ml.combust.mleap mleap-databricks-runtime_2.12 0.18.1-23eb1ef
ml.dmlc xgboost4j-spark_2.12 1.5.2
ml.dmlc xgboost4j_2.12 1.5.2
org.graphframes graphframes_2.12 0.8.2-db1-spark3.2
org.mlflow mlflow-client 1.26.0
org.mlflow mlflow-spark 1.26.0
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

Klastry procesora GPU

Identyfikator grupy Identyfikator artefaktu Wersja
com.typesafe.akka akka-actor_2.12 2.5.23
ml.combust.mleap mleap-databricks-runtime_2.12 0.18.1-23eb1ef
ml.dmlc xgboost4j-spark_2.12 1.5.2
ml.dmlc xgboost4j_2.12 1.5.2
org.graphframes graphframes_2.12 0.8.2-db1-spark3.2
org.mlflow mlflow-client 1.26.0
org.mlflow mlflow-spark 1.26.0
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0